Emprendedores: cuidado con las métricas de vanidad

En publicaciones anteriores, hablamos de los desafíos comunes a los que se enfrentan los emprendedores— desde los del garaje hasta los innovadores de las grandes empresas. En para saber si estamos progresando, centramos nuestra atención en los resultados de los modelos (desde cosas como los ingresos brutos y los beneficios) a los insumos, insistiendo en que el camino hacia una innovación exitosa consiste en demostrar la viabilidad del concepto a microescala.

La idea es sencilla. Establezca métricas de referencia mediante la creación del producto mínimo viable— el mínimo requerido para medir la respuesta de los primeros usuarios. Luego, en cada ciclo de desarrollo, utilice los conocimientos adquiridos por estudiando a los clientes para hacer mejoras. Esta es la fuente del aprendizaje validado, una prueba de que la información de los clientes se traduce en mejoras tangibles en las métricas.

Pero esto deja un problema muy difícil aún por resolver: ¿Cómo sabemos que estos cambios son los que realmente afectan a los cambios en las métricas que observamos?

Esta es la maldición de las métricas de vanidad, cifras que se ven bien en el papel pero no están orientadas a la acción: visitas a sitios web, volumen de mensajes o «miles y miles de millones servidos». Se ven muy bien en un comunicado de prensa, pero ¿qué logran?

Pensemos en un escenario en el que un equipo hace un cambio de producto y al mes siguiente aumentan las visitas a la página. Como humanos, estamos programados para inferir la causalidad de la correlación: cuando las cifras suben, tendemos a llevarnos el mérito. Pero cuando las cifras bajan, solemos culpar a alguien o algo más. Peor aún, los diferentes miembros del equipo tienden a atribuir los cambios positivos a cualquier proyecto en el que estuvieran trabajando en ese momento (pero no a los cambios negativos, por supuesto). Como resultado, diferentes partes del equipo «aprenden» constantemente en su propia realidad privada. Cuando esos equipos se enfrentan a decisiones difíciles, les resulta increíblemente difícil unirse y tomar una decisión informada y basada en hechos.

Para evitar caer en esta trampa, le recomiendo que siga las tres A de las métricas. Todas las métricas deben ser procesable, accesible, y auditable.

Procesable: Cuando un empleado ve un informe sobre una métrica específica, es fundamental que tenga alguna idea de cómo replicar el resultado en el informe. Técnicas como pruebas divididas, en el que grupos discretos de clientes ven diferentes versiones del producto, es el estándar de referencia en este caso. Seguir el método científico da confianza en que el comportamiento observado se debió, de hecho, al cambio que se estaba probando.

Accesible: La mayoría de los sistemas de almacenamiento de datos proporcionan informes que son demasiado complicados de leer y tardan demasiado en generarse. Como resultado, muchos equipos no obtienen ningún beneficio de ellos. Para que los informes valgan la pena, es fundamental que:

• Todos en la empresa entienden cómo leerlos
• Todos los miembros de la empresa tienen fácil acceso a los datos más recientes

Además, para mantener una accesibilidad alta, el ciclo de retroalimentación entre la realización de una acción y la visualización de los resultados debe ser lo más breve posible. Según mi experiencia, esperar aunque sea a un resumen semanal o tener que pedirle a un experto en almacenamiento de datos que elabore un informe crea demasiados problemas. Los datos clave deberían estar disponibles para cualquier empleado, en cualquier momento y en cuestión de minutos. Para lograr ese objetivo, los informes en sí mismos tienen que ser extremadamente sencillos.

Auditable: La mayor ventaja de las métricas procesables es que se pueden utilizar para obtener los mayores ahorros en todo el desarrollo de productos, cuando le dicen que no necesita hacer nada. Las métricas tienen que ser creíbles para las personas que impulsan la visión del producto, incluidos los fundadores de la empresa. Aunque entiendan un informe y sepan cuál es su causa, eso no significa que vayan a aprender realmente. ¿El informe es exacto? Créame, cuando es su idea la que está en juego, es mucho más fácil creer que el informe es el problema y no la idea.

Por lo tanto, es importante que los escépticos puedan auditar un informe. Cuando sea posible, esto debería significar que la generación de informes es sencilla. Espero que se pueda crear con acceso directo a los datos principales. Por ejemplo, un informe sobre los ingresos que se generan directamente a partir de la base de datos maestra de pedidos es más creíble que uno que requiera varios pasos intermedios. Lo más importante es que debería ser posible convertir los números resumidos del informe a los clientes reales que los generaron.

Recuerde que las métricas son en realidad informes sobre personas. Aquí es donde fallan la mayoría de los paquetes de métricas disponibles. Por ejemplo, piense en un informe que afirma que, en una prueba dividida entre dos funciones propuestas, la función A generó más ingresos que la función B. ¿Qué personas utilizaron la función A? ¿Qué personas utilizaron la función B? ¿Puede un escéptico llamarlos y hacerles preguntas sobre el uso de cada función? Si no, ¿cómo podemos generar información práctica sobre qué probar a continuación? O piense en un informe que muestre las cantidades de resúmenes, como las visitas a sitios web o las tasas de deserción. Son difíciles de visualizar. Pero si, en cambio, nuestras estadísticas dicen que un estadio deportivo lleno de gente se negó a comprar nuestro producto. Ay. Todos podemos identificarnos visceralmente con eso.

He descubierto que la mayoría de los emprendedores —de empresas de cualquier tamaño— estarán de acuerdo fácilmente en que una mejor analítica conduce a mejores resultados. Pero, ¿cómo saben cuándo tiene sentido hacer inversiones en infraestructura?

Para dar sentido a estas compensaciones, necesitamos una heurística para evaluar el valor de los nuevos procesos, herramientas o infraestructuras en un contexto empresarial. Ese será el tema del próximo post de esta serie.

Eric Ries es el autor de StartupLessonsLearned.com y es asesor de muchas empresas emergentes, empresas y firmas de capital riesgo.