Medición del rendimiento de su algoritmo
por Michael Ross , Michael Ross
Resumen.
Comprender cómo evaluar y gestionar el rendimiento algorítmico podría marcar la diferencia entre el éxito y el fracaso. Este artículo describe un enfoque de seis pasos para definir qué medir y controlar. Un aspecto fundamental de este enfoque es averiguar dónde están los residuos midiendo los estados de fallo. Son fundamentales para supervisar el rendimiento, priorizar las mejoras y comprender si las acciones realmente mejoran el rendimiento.
• • •
Un minorista estadounidense gastaba 50 millones de dólares al año en pujar por un millón de palabras clave en Google. Este gasto generó 500 millones de dólares en ventas (equivalente a un ROAS o retorno de la inversión publicitaria de 10). Quedaron muy satisfechos con los resultados y tenían previsto aumentar su gasto.
Pero cuando ayudé al minorista a analizar el rendimiento a nivel de palabras clave, descubrimos un panorama diferente: si bien el rendimiento general fue bueno, estaban gastando 7 millones de dólares al año en miles de palabras clave long tail que no generaron ventas. Enterrado en su algoritmo de pujas de Google había un parámetro que determinaba la cantidad de gasto aceptable antes de que se detuviera una palabra clave específica. Con solo cambiar el valor de este único parámetro, la empresa ahorró 7 millones de dólares al año sin afectar las ventas.
Cuando nos enfrentamos a millones de palabras clave, es tentador retroceder a una media agregada simplificada, como el ROAS (que es, al fin y al cabo, el objetivo en este caso). Pero observar los resultados agregados no basta para gestionar y optimizar un algoritmo que funciona a nivel atómico. Para ello, necesitamos un nuevo enfoque para comprender y gestionar el rendimiento de los algoritmos.
La digitalización requiere algoritmos
Las empresas solían operar a nivel agregado porque los mecanismos que tenían eran contundentes, pero Las tecnologías digitales ahora permiten microdecisiones quirúrgicas en toda la empresa. El volumen de estas decisiones requiere automatización, y los algoritmos definen las suposiciones, los datos y la lógica que determinan cómo se toman las microdecisiones.
Estos algoritmos son cada vez más omnipresentes en las empresas impulsadas digitalmente y toman decisiones en una amplia gama de áreas, incluidos precios, promociones, asignación de inventario, cadena de suministro, programación de recursos, decisiones crediticias, fraude, marketing digital, órdenes de clasificación de productos, recomendaciones y personalización. Una característica común de estas decisiones es que tienen cierta incertidumbre inherente que requiere que se haga un compromiso. Por ejemplo, las decisiones de marketing digital tienen una compensación entre volumen y beneficio. Las decisiones en la cadena de suministro tienen un compromiso de disponibilidad de residuos. Las decisiones de recursos tienen una compensación entre el coste del servicio.
Los líderes empresariales reconocen la necesidad de gestionar y optimizar estos nuevos sistemas de decisión, tanto para sortear las compensaciones como para impulsar la mejora continua. Pero, ¿cómo? Las métricas y los KPI son el mecanismo del control de la gestión, pero los enfoques tradicionales de los informes no funcionan para estas nuevas decisiones impulsadas por algoritmos, como explicamos a continuación.
La anatomía de un algoritmo
Para gestionar un algoritmo de decisión, tiene que empezar por entender cómo se construye. Es útil desglosar las características de un algoritmo en 4 P y destacar las compensaciones que se deben hacer en cada uno:
Propósito: ¿Cuál es el objetivo del algoritmo?
Defina el objetivo principal y cualquier barrera o restricción. Por lo general, existe un compromiso entre seleccionar un objetivo empresarial complejo (por ejemplo, beneficios) y un objetivo proxy o más simple y más aislado (por ejemplo, ROAS). Por ejemplo, elegir maximizar las ventas dentro de las barreras de ROAS o maximizar los beneficios dará lugar a una lógica de decisión muy diferente.
Precisión: H¿Qué tan personalizada es la microdecisión?
Por ejemplo, para el minorista que puja por millones de palabras clave, ¿deberían establecer un único objetivo de ROAS para todas las palabras clave, millones de objetivos a nivel de palabras clave «personalizados» o algo intermedio? La compensación tiene que ver con la gestión: ¿Vale la pena el esfuerzo los recursos humanos necesarios para establecer estrategias de nivel atómico?
Predicción: H¿Cómo se modela la incertidumbre?
Podría ser una simple extrapolación o un modelo de AI/ML extremadamente complejo. Además, los modelos de predicción se pueden simplificar a medida que las microdecisiones se vuelven más frecuentes. Por ejemplo, una aerolínea europea solía fijar precios semanalmente y había desarrollado modelos de previsión muy sofisticados para las tasas de reposición previstas. A medida que evolucionaron, su precio cambiaba de semanal a cada pocos minutos y pudieron responder a la demanda real en lugar de necesitar modelos de predicción. Las compensaciones aquí son entre la precisión de la previsión, la interpretabilidad y la frecuencia de las decisiones.
Política: W¿Cuáles son las reglas/lógica/matemáticas que determinan la microdecisión real?
La compensación aquí es entre un algoritmo simple y fácil de entender y una fórmula más compleja que ofrezca un mejor resultado, pero que solo los expertos puedan entender. Por ejemplo, podríamos definir las pujas por palabra clave con una regla simple o una fórmula de regresión compleja.
Estos ejemplos dan vida al concepto de» satisfactorio» desarrollado por el economista Herb Simon, ganador del Premio Nobel, la elección entre encontrar soluciones óptimas para un mundo simplificado o encontrar soluciones satisfactorias para un mundo más realista. No hay un algoritmo «perfecto». Pero ahora tenemos los datos y las herramientas para pensar de manera diferente y encontrar soluciones «lo suficientemente buenas» para el mundo real.
Como hemos visto, la naturaleza de los algoritmos requiere nuevos tipos de compensaciones, tanto a nivel de microdecisión como a nivel de algoritmos. Un papel fundamental de los líderes es navegar por estas compensaciones, tanto cuando se diseña el algoritmo como de forma continua. Mejorar los algoritmos es cada vez más una cuestión de cambiar las reglas o los parámetros del software, más como ajustar las perillas de un ecualizador gráfico que rediseñar una planta física o implementar un nuevo sistema de IT.
Las nuevas métricas de los algoritmos
Los algoritmos a menudo se tratan con una reverencia inmerecida: Como son inteligentes, deben tener razón. Y en muchos casos, los algoritmos han supuesto una gran mejora con respecto a «lo que se hacía antes». Pero este tipo de sesgo cognitivo puede llevar a los gerentes a una falsa sensación de autocomplacencia.
Las métricas son fundamentales para medir el rendimiento de los algoritmos, pero también para resaltar las oportunidades de mejora y, en particular, donde las compensaciones pueden estar suboptimizando. La naturaleza diferente de los datos creados por estos sistemas de decisión digitales motiva un nuevo enfoque.
Los métodos tradicionales para definir las métricas se centran en el control de gestión y la información se considera una actividad ad hoc independiente. Pero ahora las métricas se pueden diseñar para impulsar un ciclo de mejora continua y, a medida que aumenta la velocidad de los informes, pueden crear bucles de retroalimentación cada vez más autónomos. Esto requiere un cambio de mentalidad para los gerentes acostumbrados a las reuniones semanales de gestión en las que sus colegas explican el rendimiento.
Otra complejidad es la interdependencia creada por la atomización, que requiere una medición del rendimiento que cruza los silos. Por ejemplo, en el mundo predigital, los vendedores minoristas podían medir el rendimiento de la publicidad televisiva independientemente del rendimiento de las ventas de los precios y las promociones. Ahora, la publicidad en Google (determinada por un algoritmo de marketing) dirige el tráfico directamente a los productos e interactúa con las decisiones de precios y promociones (determinadas por un algoritmo de ventas). Medir el rendimiento de cada algoritmo de forma independiente puede dar una visión engañosa. Hay tres adaptaciones críticas a las métricas cuando se gestionan los algoritmos de gestión del rendimiento:
De métricas descendentes a ascendentes
Tradicional: objetivos corporativos que caen en cascada en silos funcionales.
Nuevo enfoque: Las métricas de bajo nivel necesarias para evaluar los algoritmos deben acumularse en los KPI corporativos.
Desde los resultados hasta las métricas de entrada
Tradicional: Métricas centradas en los resultados centradas en los agregados y los promedios.
Nuevo enfoque: Métricas centradas en los insumos centradas en las distribuciones y la despromediación. En el mundo predigital, el reto consistía en gestionar «a la media» y gestionar los valores atípicos. Ahora la atomización permite a las empresas explotar la heterogeneidad y aprovechar los valores atípicos.
Desde informes hasta métricas procesables
Tradicional: una mentalidad informadora, con informes estáticos que requieren revisión e interpretación humanas.
Nuevo enfoque : orientado a la acción, reconociendo que a medida que se reduce la latencia desde la decisión hasta la información, se crea la oportunidad de automatizar semio totalmente un ciclo de comentarios.
Cómo gestionar su algoritmo
Entonces, ¿qué hace? A continuación se muestra un enfoque de seis pasos para gestionar algoritmos y definir qué medir y supervisar. Un aspecto fundamental de este enfoque es averiguar dónde están los residuos midiendo los estados de fallo. Son fundamentales para supervisar el rendimiento, priorizar las mejoras y comprender si las acciones están mejorando el rendimiento.
1. Definir el objetivo empresarial.
Es fundamental identificar el objetivo empresarial en el que influye el algoritmo. Esto podría ser un beneficio, el retorno de la inversión o el valor de por vida del cliente. Por ejemplo, un minorista decidió que el objetivo de su algoritmo de marketing digital era el valor de por vida del cliente.
2. Identificar el nivel atómico.
Comprenda el nivel en el que se está tomando actualmente la microdecisión y cuál es el nivel más bajo en el que podría ser posible tomar esa decisión. Por ejemplo, un minorista pujaba por palabra clave, pero reconoció que era posible pujar en función de la geografía, el dispositivo, la hora del día y otras características del cliente.
3. Definir éxito/barreras.
Determine su rendimiento aceptable. Esto siempre será un juicio para el liderazgo empresarial y, por lo general, debería llevar a una conversación sobre el apetito por el riesgo. Este paso establecerá barreras en el nivel de microdecisión. Por ejemplo, un minorista decidió que quería que su publicidad se amortizara en un plazo de seis meses, por lo que estaba dispuesto a invertir si seguía confiando en la rentabilidad.
4. Cuantifique los estados de fallo.
Comprenda el coste de equivocarse. Este es el paso crítico que asigna un valor en dólares al rendimiento fuera de las barreras. A veces será una simple medida del gasto desperdiciado, pero en otros casos puede ser necesario un modelo para estimar la oportunidad perdida. Por ejemplo, un minorista identificó dos áreas clave de despilfarro: gastar menos en palabras clave que generaban un alto volumen de clientes rentables y gastar de más en palabras clave con una amortización superior a seis meses.
5. Mida el rendimiento.
¿Cuál es el desperdicio total y la oportunidad perdida? El siguiente paso es analizar el rendimiento en el nivel más bajo identificado en el paso 2 para comprender el valor comercial total fuera de las barreras. Un fallo común en este caso es analizar el rendimiento al mismo nivel en el que está operando actualmente; esto suele ser autogestionable y oculta tanto problemas como oportunidades. Por ejemplo, un minorista pudo identificar el gasto desperdiciado de XM $ y la oportunidad perdida de $ Ym del valor de por vida del cliente.
6. Comprenda qué es lo que genera el desperdicio.
Por último, analice el rendimiento a través de la lente de las 4P (propósito, precisión, predicción y política) para comprender qué elemento del algoritmo es el mayor impulsor del desperdicio y la oportunidad perdida. Por ejemplo, un minorista descubrió que había oportunidades de mejorar cada aspecto de su algoritmo de pujas, siendo la precisión la principal causa principal de la oportunidad perdida.
Estos son RR.HH. para algoritmos. Comprender cómo evaluar y gestionar el rendimiento algorítmico podría marcar la diferencia entre el éxito y el fracaso.
