8 cosas que hacer antes de realizar un experimento empresarial

Los experimentos empresariales, especialmente en formatos digitales, como las pruebas A/B, se han disparado en la última década. Sin embargo, esa promesa tiene un precio que pocos líderes empresariales están dispuestos a pagar. Y como evangelistas de experimentos, tenemos en parte la culpa. Con nuestro entusiasmo, no dedicamos el tiempo suficiente a detallar las inversiones organizativas necesarias para aprovechar todo el potencial de esta herramienta. Los líderes empresariales suelen tener la impresión de que la experimentación es una caja negra brillante y reluciente que simplemente se inserta en la organización. Esta mentalidad de conectar y usar puede resultar costosa, ya que esconde resultados desordenados en un buen paquete que genera una confianza peligrosamente infundada en datos, habilidades y estrategias defectuosos. Hemos aprendido estos costes por las malas, diseñando, estropeando, ejecutando y rescatando experimentos en varios contextos organizacionales. A través de estas pruebas y tribulaciones, ha surgido una lista de verificación para implementar experimentos en las organizaciones empresariales: asegúrese de saber cómo recopilar y medir los datos; pague por un buen experto en estadística; comience poco a poco en entornos de bajo riesgo; lleve a cabo muchos experimentos diferentes; permita a los gerentes compartir los experimentos entre silos y dé la bienvenida al escrutinio de toda la organización; dese tiempo suficiente y no apresure los experimentos; y asegúrese de que los gerentes no tienen incentivos para hackear los resultados.

••• Los experimentos empresariales, especialmente en formatos digitales, como las pruebas A/B, se han disparado en la última década. Y por una buena razón. La experimentación promete el poder del método científico para reducir la incertidumbre. ¿Deberíamos lanzar este producto? ¿Qué mensajes maximizan la participación de los consumidores? ¿Esta herramienta generará un ROI suficiente cuando se extienda a todos los empleados? Sin embargo, esa promesa tiene un precio que pocos líderes empresariales están dispuestos a pagar. Y como evangelistas de experimentos, tenemos en parte la culpa. Con nuestro entusiasmo, no dedicamos el tiempo suficiente a detallar las inversiones organizativas necesarias para aprovechar todo el potencial de esta herramienta. Los líderes empresariales suelen tener la impresión de que la experimentación es una caja negra brillante y reluciente que simplemente se conecta a la organización: los datos fluyen, las estadísticas hacen su magia y algún doctorado de su equipo de ciencia de datos le da una respuesta que espera (sin saber realmente por qué) tenga una[Valor p inferior a 0,05](/2016/02/a-refresher-on-statistical-significance). Esta mentalidad de conectar y usar puede resultar costosa, ya que esconde resultados desordenados en un buen paquete que genera una confianza peligrosamente infundada en datos, habilidades y estrategias defectuosos. He aquí un escenario al que nos enfrentamos recientemente: imagine gastar medio año y unos cuantos millones de dólares en una serie de experimentos administrativos para probar rigurosamente las nuevas tecnologías de un posible proveedor. A mitad de camino, el vendedor informa de resultados positivos, importantes desde el punto de vista empresarial (empatado muy bien con una reverencia, por supuesto) y pide interrumpir la prueba antes de tiempo. Tiene un equipo interno de científicos de datos que investiga los diseños. Descubren que el proveedor no dio suficiente potencia a las pruebas, los datos están plagados de confusión y los resultados no son significativos desde el punto de vista estadístico. ¿Qué es lo que hace? Según la experiencia de los autores, ya que esto está lejos de ser hipotético, los costes irrecuperables, la inercia y el razonamiento optimista de su jefe lo llevan a adoptar la oferta del proveedor de todos modos. Si los experimentadores realmente queremos llevar el rigor de la ciencia a los negocios, tenemos la responsabilidad de abrir la caja negra, desglosar las complejidades estadísticas y operativas y sumar exactamente lo que le costará a la organización utilizar esta herramienta para sacar el máximo provecho. Hemos aprendido estos costes por las malas, diseñando, estropeando, ejecutando y rescatando experimentos en varios contextos organizacionales. A través de estas pruebas y tribulaciones, ha aparecido una lista de verificación para implementar experimentos en las organizaciones empresariales. Esperamos que le ayude a prepararse para invertir mejor en la experimentación e implementarla. **Asegúrese de que puede medir.** Los experimentos dependen de la medición. Si no puede medir correctamente la atribución de un anuncio digital a una venta, por ejemplo, no tendrá suerte realizando un experimento para averiguar qué anuncios son realmente efectivos. ¿Aún no ha invertido en una buena medición? No vaya a #2. **Pague por un buen traductor.** Con demasiada frecuencia, los experimentos se dejan en manos de los vendedores digitales o los directores de producto, que carecen de la fluidez estadística necesaria para diseñar, implementar y analizar los experimentos correctamente. Se necesita una verdadera experiencia estadística para que la experimentación funcione. Igual de importante es la habilidad de traducir. Cuando su «experta en estadísticas» hable de un análisis de poder, por ejemplo, debería poder utilizar términos que reflejen su apetito por el riesgo (por falsos positivos y negativos), el precio que está dispuesto a pagar financiera o temporalmente (por un tamaño de muestra determinado) y un impacto lo suficientemente significativo como para cambiar su estrategia (es decir, su efecto mínimo detectable). Al contratar, asegúrese de evaluar la capacidad de comunicar estos conceptos a los directores de producto, los vendedores y otros colaboradores. **Encuentre una caja de arena para jugar.** Antes de realizar experimentos con cualquier cosa que tenga mucho en juego, intente diseñar y ejecutar una sencilla prueba A/B desde cero en un entorno que usted controle por completo. Por ejemplo, envíe una encuesta a sus colegas: invite a la mitad con un correo electrónico y a la otra mitad con otro y compruebe qué versión arroja más aperturas y clics. Calcule el análisis del poder a mano, teniendo en cuenta las implicaciones de cada entrada, incluso si tiene que buscar en Google todos los términos o acudir a su experto en estadística interno para pedirle consejo. Planifique su implementación con el mayor detalle posible, teniendo en cuenta lo que podría (y saldrá) mal, y anótelo para poder cubrir los vacíos después de los hechos. Luego ejecútelo, recopile sus datos y analícelos, aunque sus conocimientos de Excel o R estén oxidados. Su experimento será duro y es probable que sus resultados no sirvan para nada, pero la experiencia lo preparará para entender y diseñar mejor los entresijos de las pruebas futuras. En la experimentación, tiene que caminar antes de poder correr. **Extienda sus huevos experimentales en varias cestas.** La experimentación empresarial es como el capitalismo de riesgo, no la negociación intradía. Las grandes «victorias» pueden ser pocas y distantes entre sí, pero esos ganadores suelen tener un impacto enorme. A medida que avance en experimentos empresariales más significativos, combínelos y láncelos como «carteras». Realice varios tratamientos a la vez, si su muestra lo permite. Si no, planifique varios experimentos en diferentes canales, que se realicen de forma simultánea o secuencial, pero todos bajo el mismo paraguas estratégico. Enmarcar sus pruebas como una cartera protege a cada persona de las presiones organizativas para obtener resultados «positivos» mediante el hackeo u otra manipulación de los resultados. Además, es probable que realice un gran número de experimentos, pero solo unos pocos le darán beneficios desmesurados. **Adopte el sistema de amigos.** Como parte de repartir sus apuestas, comprométase a experimentar con otra persona de otra parte de la organización. Aprenderán más de los errores y éxitos de los demás que de cualquier libro de texto. De hecho, en una clase de laboratorio de Chicago Booth en la que enseñamos a los MBA a experimentar con proyectos prácticos, su sesión favorita es aquella en la que intercambian historias de guerra. Además, sembrará las semillas de la institucionalización del conocimiento experimental en toda la organización. **Hágalo público.** Los científicos de todas las disciplinas «preregistran» los experimentos y publican públicamente diseños detallados y análisis planificados antes del lanzamiento. (La medicina lo ha hecho durante décadas.) La práctica ayuda a detectar errores, compartir lo aprendido y atar a los experimentadores al proverbial mástil cuando se ven tentados a modificar los resultados después de los hechos. Si bien la ventaja competitiva prohíbe a la mayoría de las empresas compartir ese tipo de contenido público, no debería haber ninguna objeción a rellenar una plantilla con lo que planea hacer, cuándo y por qué, y a publicarla internamente, como lo haría con su presupuesto anual o sus objetivos estratégicos. El escrutinio constructivo es una parte fundamental del proceso experimental, así que acéptelo y facilite las cosas a las partes interesadas. **Más que dinero, presupuesto, tiempo.** En la primavera de 2018, Pandora publicó los resultados de un experimento que abordaba una pregunta fundamental sobre su negocio: ¿qué nivel de anuncios empuja a los usuarios gratuitos a suscribirse en lugar de abandonar el servicio por completo? El experimento tardó 21 meses en completarse y requirió un tamaño de muestra de 35 millones de usuarios. La información experimental, incluso en entornos de pruebas relativamente más fáciles, como los productos digitales, lleva tiempo y escala. **Lo más importante, incentivos de reforma.** Como cualquier iniciativa nueva, los experimentos suelen fracasar debido al «rechazo a los órganos» cultural. Requieren correr riesgos a corto plazo y, a menudo, fallar, todo ello al servicio del aprendizaje a largo plazo, y pocas empresas le dan una palmadita en la espalda por el fracaso, incluso si está aceptando uno para el equipo. Hace poco trabajamos con una empresa de salud cuyos líderes adoptaron sinceramente el método científico e invirtieron recursos para probar la experimentación en muchos canales de la empresa. Sin embargo, estos ejecutivos se esforzaron por seguir adelante y, de hecho, permitir que su equipo lanzara los experimentos diseñados. ¿Por qué? Las exigencias de los inversores presionaron a los ejecutivos para que analizaran incluso los pequeños problemas en los resultados semanales y hicieran que sus equipos se esforzaran por responder, lo que pospuso la experimentación semana tras semana. Si se toma en serio la experimentación, tiene que revisar los incentivos empresariales tradicionales. Vincula los fondos de bonificaciones a los resultados en un horizonte de varios años o, mejor aún, a las métricas que indiquen el cumplimiento de los procesos racionales de toma de decisiones. Además, para reducir el posible problema de un experimento «fallido», invite a las partes interesadas de la organización a apostar por los resultados de cada experimento; aumentará la participación y, al mismo tiempo, recopilará comentarios sobre la intuición de la organización. Los negocios se basan en tomar decisiones sobre productos, marketing y operaciones en un entorno de incertidumbre. El método científico puede ayudarnos a reducir esa incertidumbre y a un precio —financiero, operativo y cultural— que las organizaciones tienen que estar dispuestas a pagar en un lapso no de semanas o meses, sino de años. Cuanto más acepten esto los propietarios de los productos, los directores generales, los ejecutivos y, quizás lo más importante, los inversores que controlan la paciencia de la organización, más probabilidades tendremos de aprovechar los beneficios de llevar la ciencia a los negocios.