Medir el rendimiento de su algoritmo

Un minorista estadounidense gastaba 50 millones de dólares al año en pujar por un millón de palabras clave en Google. Este gasto generó 500 millones de dólares en ventas (lo que equivale a un ROAS, o retorno de la inversión publicitaria, de 10). Quedaron muy satisfechos con los resultados y tenían previsto aumentar sus gastos.

Pero cuando ayudé al minorista a analizar el rendimiento a nivel de palabras clave, descubrimos un panorama diferente: si bien el rendimiento general era bueno, gastaba 7 millones de dólares al año en miles de palabras clave de cola larga que no generaban ventas. En su algoritmo de ofertas de Google había un parámetro que determinaba la cantidad de gasto aceptable antes de que se detuviera una palabra clave específica. Con solo cambiar el valor de este parámetro único, la empresa ahorró 7 millones de dólares al año sin afectar a las ventas.

Cuando se enfrentan a millones de palabras clave, resulta tentador recurrir a una media agregada simplificada, como el ROAS (que, al fin y al cabo, es el objetivo en este caso). Pero analizar los resultados agregados no basta para gestionar y optimizar un algoritmo que funciona a nivel atómico. Para ello, necesitamos un nuevo enfoque para entender y gestionar el rendimiento de los algoritmos.

La digitalización requiere algoritmos

Las empresas solían operar a nivel agregado porque los mecanismos que tenían eran contundentes, pero las tecnologías digitales ahora permiten las microdecisiones quirúrgicas en toda la empresa. El volumen de estas decisiones requiere automatización y los algoritmos definen las suposiciones, los datos y la lógica que determinan la forma en que se toman las microdecisiones.

Estos algoritmos están cada vez más presentes en las empresas impulsadas por la tecnología digital y toman decisiones en una amplia gama de áreas, como los precios, las promociones, la asignación del inventario, la cadena de suministro, la programación de recursos, la toma de decisiones crediticias, el fraude, el marketing digital, la clasificación de los productos, las recomendaciones y la personalización. Una característica común de estas decisiones es que tienen una incertidumbre inherente que requiere una compensación. Por ejemplo, las decisiones de marketing digital tienen una compensación entre volumen y beneficio. Las decisiones sobre la cadena de suministro tienen una compensación entre la disponibilidad de residuos. Las decisiones de asignación de recursos tienen una compensación por el coste del servicio.

Los líderes empresariales reconocen la necesidad de gestionar y optimizar estos nuevos sistemas de decisiones, tanto para hacer frente a las desventajas como para impulsar la mejora continua. Pero, ¿cómo? Las métricas y los KPI son el mecanismo de control de la gestión, pero los enfoques tradicionales de presentación de informes no funcionan para estas nuevas decisiones impulsadas por algoritmos, como explicamos más adelante.

La anatomía de un algoritmo

Para gestionar un algoritmo de decisiones, tiene que empezar por entender cómo está construido. Resulta útil desglosar las características de un algoritmo en 4 P y destacar las compensaciones que se pueden hacer en cada una de ellas:

Propósito: ¿Cuál es el objetivo del algoritmo?

Defina el objetivo principal y cualquier barrera o restricción. Por lo general, hay una compensación entre seleccionar un objetivo empresarial complejo (por ejemplo, beneficios) y un objetivo sustitutivo o un objetivo más simple y aislado (por ejemplo, el ROAS). Por ejemplo, elegir maximizar las ventas dentro de las barreras del ROAS o maximizar los beneficios llevará a una lógica de decisión muy diferente.

Precisión: H**¿Qué tan personalizada es la microdecisión?**

Por ejemplo, para el minorista que puje por millones de palabras clave, ¿debería fijar un único objetivo de ROAS para todas las palabras clave, o millones de objetivos «personalizados» a nivel de palabras clave, o algo intermedio? La compensación tiene que ver con la gestión: ¿vale la pena el esfuerzo del recurso humano necesario para establecer estrategias a nivel atómico?

Predicción: H**¿Cómo se modela la incertidumbre?**

Podría ser una simple extrapolación o un modelo de IA/ML extremadamente complejo. Además, los modelos de predicción se pueden simplificar a medida que las microdecisiones se hacen más frecuentes. Por ejemplo, una compañía aérea europea fijaba los precios semanalmente y había desarrollado modelos de previsión muy sofisticados para las tarifas de llenado previstas. A medida que evolucionaban, su precio cambiaba de una vez por semana a cada pocos minutos y podían responder a la demanda real en lugar de necesitar modelos de predicción. Las compensaciones en este caso son entre la precisión de las previsiones, la interpretabilidad y la frecuencia de las decisiones.

Política: W**¿Cuáles son las reglas, la lógica y las matemáticas que determinan la microdecisión real?**

En este caso, la compensación es entre un algoritmo simple y fácil de entender y una fórmula más compleja que ofrezca un mejor resultado, pero que solo los expertos puedan entender. Por ejemplo, podríamos definir las ofertas por palabras clave con una regla simple o una fórmula de regresión compleja.

Estos ejemplos dan vida al concepto de» satisfactorio» desarrollada por el economista Herb Simon, ganador del Premio Nobel, la opción entre encontrar las soluciones óptimas para un mundo simplificado o encontrar soluciones satisfactorias para un mundo más realista. No existe un algoritmo «perfecto». Pero ahora tenemos los datos y las herramientas para pensar de forma diferente y encontrar soluciones «lo suficientemente buenas» para el mundo real.

Como hemos visto, la naturaleza de los algoritmos requiere nuevos tipos de compensaciones, tanto a nivel de microdecisión como a nivel de algoritmo. Una función fundamental de los líderes es gestionar estas compensaciones, tanto a la hora de diseñar el algoritmo como de forma continua. Mejorar los algoritmos se basa cada vez más en cambiar las reglas o los parámetros del software, más como ajustar las perillas de un ecualizador gráfico que rediseñar una planta física o implementar un nuevo sistema de TI.

Las nuevas métricas de los algoritmos

Los algoritmos suelen ser tratados con una reverencia inmerecida: como son inteligentes, deben tener razón. Y en muchos casos, los algoritmos han supuesto una enorme mejora con respecto a «lo que se hacía antes». Pero este tipo de sesgo cognitivo puede llevar a los directivos a una falsa sensación de autocomplacencia.

Las métricas son fundamentales para medir el rendimiento de los algoritmos, pero también para destacar las oportunidades de mejora y, en particular, las desventajas que pueden estar suboptimimizando. La diferente naturaleza de los datos que crean estos sistemas de decisiones digitales motiva un nuevo enfoque.

Los métodos tradicionales para definir las métricas se centran en el control de la gestión y la información se considera una actividad ad hoc independiente. Pero ahora las métricas se pueden diseñar para impulsar un ciclo de mejora continua y, a medida que aumenta la velocidad de los informes, pueden crear ciclos de retroalimentación cada vez más autónomos. Esto requiere un cambio de mentalidad para que los directivos estén acostumbrados a las reuniones semanales de dirección en las que sus colegas explican el desempeño.

Otra complejidad es la interdependencia creada por la atomización, que requiere una medición del rendimiento que cruce los silos. Por ejemplo, en el mundo predigital, los vendedores minoristas podían medir el rendimiento de la publicidad televisiva independientemente del rendimiento de las ventas de los precios y las promociones. Ahora, la publicidad en Google (determinada por un algoritmo de marketing) dirige el tráfico directamente a los productos e interactúa con las decisiones de precios y promociones (determinadas por un algoritmo de ventas). Medir el rendimiento de cada algoritmo de forma independiente puede dar una visión engañosa. Hay tres adaptaciones fundamentales de las métricas a la hora de gestionar el rendimiento de los algoritmos:

De las métricas de arriba hacia abajo a las de abajo hacia arriba

Tradicional: los objetivos corporativos se convierten en cascada en silos funcionales.
Nuevo enfoque: las métricas de bajo nivel necesarias para evaluar los algoritmos tienen que acumularse en los KPI corporativos.

Desde los resultados hasta las métricas de entrada

Tradicional: métricas centradas en los resultados centradas en los agregados y los promedios.

Nuevo enfoque: métricas centradas en las entradas centradas en las distribuciones y la reducción del promedio. En el mundo predigital, el desafío consistía en gestionar «según la media» y gestionar los valores atípicos. Ahora la atomización permite a las empresas aprovechar la heterogeneidad y aprovechar los valores atípicos.

Desde la elaboración de informes hasta las métricas procesables

Tradicional: una mentalidad de informar, con informes estáticos que requieren revisión e interpretación humanas.

Nuevo enfoque : orientado a la acción, reconociendo que, a medida que se reduce la latencia entre la decisión y la información, se crea la oportunidad de semiautomatizar o automatizar por completo un ciclo de retroalimentación.

Cómo gestionar su algoritmo

Entonces, ¿qué hace? A continuación se muestra un enfoque de seis pasos para gestionar los algoritmos y definir qué medir y supervisar. Lo fundamental de este enfoque es determinar dónde está el desperdicio midiendo los estados de fallo. Son fundamentales para supervisar el rendimiento, priorizar las mejoras y entender si las acciones están mejorando el rendimiento.

1. Definir el objetivo empresarial.

Es fundamental identificar el objetivo empresarial en el que influye el algoritmo. Podrían ser beneficios, rentabilidad de la inversión o valor vitalicio del cliente. Por ejemplo, un minorista decidió que el objetivo de su algoritmo de marketing digital era el valor de vida del cliente.

2. Identificar el nivel atómico.

Comprenda el nivel en el que se toma la microdecisión actualmente y cuál es el nivel más bajo en el que podría tomarse esa decisión. Por ejemplo, un minorista hacía una oferta por palabra clave, pero reconoció que era posible pujar en función de la ubicación geográfica, el dispositivo, la hora del día y otras características del cliente.

3. Defina el éxito/barreras.

Determine su rendimiento aceptable. Esto siempre será un juicio para los líderes empresariales y, por lo general, debería llevar a una conversación sobre el apetito por el riesgo. Este paso establecerá barreras a nivel de microdecisión. Por ejemplo, un minorista decidió que quería que su publicidad se amortizara en un plazo de seis meses, por lo que estaba dispuesto a invertir si seguía confiando en la rentabilidad.

4. Cuantifique los estados de fallo.

Comprenda el precio de equivocarse. Este es el paso fundamental que asigna un valor en dólares al rendimiento fuera de las barandillas. A veces se trata simplemente de una medida del gasto desperdiciado, pero en otros casos puede que se necesite un modelo para estimar la oportunidad perdida. Por ejemplo, un minorista identificó dos áreas clave de despilfarro: gastar menos en palabras clave que generaban un gran volumen de clientes rentables y gastar de más en palabras clave con una amortización superior a seis meses.

5. Mida el rendimiento.

¿Qué es el desperdicio total y la oportunidad perdida? El siguiente paso es analizar el rendimiento en el nivel más bajo identificado en el paso 2 para entender el valor empresarial total fuera de las barreras. Un error común en este caso es analizar el rendimiento al mismo nivel en el que opera actualmente; esto normalmente es autosatisfactorio y esconde tanto los problemas como las oportunidades. Por ejemplo, un minorista pudo identificar un gasto desperdiciado de X millones de dólares y una oportunidad perdida de un millón de dólares del valor de por vida del cliente.

6. Comprenda qué es lo que genera el despilfarro.

Por último, analice el rendimiento desde la perspectiva de las 4 P (propósito, precisión, predicción y política) para entender qué elemento del algoritmo es el que más impulsa el desperdicio y la pérdida de oportunidades. Por ejemplo, un minorista descubrió que había oportunidades de mejorar cada aspecto de su algoritmo de pujas, siendo la precisión la principal causa de la pérdida de oportunidades.

Esto es Recursos Humanos para algoritmos. Entender cómo evaluar y gestionar el rendimiento algorítmico podría marcar la diferencia entre el éxito y el fracaso.