¿Se acuerda de esa gran idea que tiene para mejorar su negocio? Ronny Kohavi, un arquitecto de la División de Servición En Línea de Microsoft, advierte que existen buenas razones para sospechar que en realidad es pésima. Varios estudios de la industria del software indican que cuando las ideas que, según sus creadores, tendrían éxito son evaluadas a través de experimentos controlados, menos del 50 por ciento funcionan en realidad.

"Esto nos hace ser humildes", afirma Kohavi. Sin embargo, observa, es difícil convencer a la gente de que utilice los datos para evaluar una idea en lugar de confiar en su intuición.

Kohavi ha sido un verdadero creyente durante años, aunque la mayoría de las empresas no utilizan estos principios. Afirma que cuando comenzó en Microsoft en 2005 y fundó una plataforma de experimentación interna, no pudo encontrar ningún grupo interno que estuviera haciendo pruebas de control antes de lanzar cambios en los sitios web de Microsoft.

Kohavi conocía el valor de hacer pruebas desde su etapa como director de minería de datos y personalización en Amazon, donde su equipo había evaluado una idea conocida como búsqueda basada en el comportamiento. La idea: cuando los usuarios buscasen por palabras clave, se les presentarían no sólo los resultados que coincidiesen con las palabras sino también otros elementos que la gente realmente hubiese comprado después haber hecho una búsqueda con esas palabras. Al equipo de búsqueda no le gustó la idea, porque significaba recomendar productos que parecían ajenos a lo que el usuario había buscado.

Sin embargo, la idea se puso a prueba, y los resultados sugirieron que la adición de esta característica aumentaría los ingresos en un impresionante 3 por ciento. Amazon desplazó recursos para hacer el cambio tan pronto como fuera posible, y desde entonces se ha convertido en una de las características de personalización de la empresa con mayor éxito.

Lo importante es, según señala Kohavi, poner a prueba ideas de forma rápida, permitiendo que los recursos se destinen a los proyectos que sean más útiles.

En Microsoft, Kohavi se dedicó a unir personas a su causa, al tiempo que construía su plataforma de experimentación. Organizó eventos—por ejemplo, ofreciendo una bonita camiseta tipo polo a cualquier persona que pudiera adivinar el resultado de seis de los ocho experimentos. A pesar de que recibió más de 200 respuestas, su equipo no tuvo que regalar ni una sola camiseta. La intuición nunca coincidió con los datos.

"La plataforma de experimentación es la responsable de decirnos que nuestro bebé es realmente muy feo", bromea Kohavi. Aunque puede ser una verdad difícil de aceptar, añade, el beneficio para la empresa—y también para los empleados responsables de idear y aplicar las ideas—es enorme. Incluso cuando los resultados no son tan significativos como lo eran con la búsqueda basada en el comportamiento, las pruebas pueden ayudar en gran medida a evitar el desperdicio de recursos.

"Hay que decidir si vamos a confiar en los datos y perforar a más profundidad", afirma Kohavi.

En un momento dado, por ejemplo, Microsoft estaba considerando la posibilidad de añadir más anuncios a su página web msn.com. Los diseñadores señalaron que cualquier reacción negativa por parte de los usuarios se vería compensada por el aumento de ingresos originado por los anuncios.

Kohavi organizó un experimento controlado para evaluar exactamente el efecto que podrían tener los anuncios, teniendo en cuenta el valor de los clics de los usuarios y el tiempo invertido en el sitio. Los resultados fueron alarmantes: la degradación de la experiencia de usuario era tan grave que superó con creces los ingresos previstos. El proyecto se detuvo, y la característica nunca se lanzó.

"Las empresas tienen que probar muchas cosas y estar dispuestas a fracasar", asegura Greg Linden, un ingeniero más conocido por el diseño de las características clave de recomendación en Amazon. Linden conoce y admira a Kohavi. Insiste en que "la experimentación constante, continua y en todas partes es lo más importante".

Kohavi se centra ahora en la realización de pruebas en Bing, el motor de búsqueda de Microsoft. Cualquier persona que visite el sitio, afirma, participará en "decenas de experimentos" dirigidos a ayudar a Microsoft a modificar su producto de búsqueda para atraer a los usuarios de manera más eficaz.