Investigación: Cuando las pruebas A/B no le cuentan toda la historia
Resumen.
Cuando se trata de la prevención de las transgresiones, los especialistas en marketing tradicionalmente empiezan por identificar qué clientes tienen más probabilidades de perder y luego realizar pruebas A/B para determinar si una intervención de retención propuesta será eficaz para retener a esos clientes de alto riesgo. Si bien esta estrategia puede ser efectiva, el autor comparte nuevas investigaciones basadas en experimentos de campo con más de 14.000 clientes, lo que sugiere que no siempre es la mejor manera de maximizar el ROI en el gasto en marketing. En cambio, el autor sostiene que las empresas deben utilizar datos de pruebas A/B junto con los datos demográficos y de comportamiento de los clientes para determinar qué subgrupo de clientes será más sensible a la intervención específica que se está considerando. Es importante destacar que los datos sugieren que este subgrupo no se corresponde necesariamente con el grupo de clientes «de alto riesgo»; en otras palabras, es muy posible que la intervención no sea tan efectiva para retener clientes de alto riesgo como para retener a otro grupo de clientes. Al identificar las características que realmente se correlacionan con la alta sensibilidad a una intervención determinada, los especialistas en marketing pueden dirigir proactivamente sus campañas a los clientes que serán más receptivos a ellos, reduciendo en última instancia las tasas de pérdida y aumentando el ROI.
Cada año, los especialistas en marketing gastan miles de millones de dólares en campañas destinadas a atraer, retener y vender más clientes. Sin embargo, a pesar de esta inversión masiva, puede ser sumamente difícil determinar qué tan efectivas son realmente estas iniciativas y cómo pueden mejorarse. Un método común para medir el retorno de la inversión (ROI) de una campaña es ejecutar un Prueba A/B: Los especialistas en marketing se dirigirán a los clientes con dos intervenciones diferentes y luego compararán los resultados entre los dos grupos. Con el enfoque correcto del análisis, estas pruebas A/B pueden proporcionar información útil, pero también tienen el potencial de ser muy engañosas.
Para comprender las deficiencias de cómo se emplean a menudo las pruebas A/B, es útil considerar un ejemplo hipotético. Imagina que trabajas para una gran organización artística que está preocupada por la disminución de las tasas de retención entre sus miembros. Estás pensando en enviar un pequeño regalo junto con la notificación de renovación a los miembros que has determinado que corren un mayor riesgo de cancelar sus membresías, pero dado que esto conlleva un costo, quieres asegurarte de que la intervención sea efectiva antes de implementarla de forma más amplia. Así que decides llevar a cabo una pequeña campaña piloto, eligiendo aleatoriamente a un grupo de miembros «en riesgo» para recibir un regalo y otro no hacerlo, para ver si los que reciben el regalo tienen más probabilidades de renovarse.
Ahora, supongamos que no encuentras ninguna diferencia en las tasas de retención entre los miembros que reciben el regalo y los del grupo de control. Si finalizaste tu análisis allí, probablemente te llevaría a cancelar el programa de regalos, ya que los datos parecen sugerir que enviar regalos no tiene ningún impacto en la retención. Pero tras un examen más detenido de los datos, es posible que descubra que para un determinado subgrupo de clientes, como los que habían visitado el lugar en el último año, el regalo aumentó significativamente sus posibilidades de renovación, mientras que para los clientes que no habían visitado el lugar en mucho tiempo, el regalo en realidad los hizo menos propensos a renovarse, tal vez porque sirvió como un recordatorio más destacado de la poca frecuencia que habían estado utilizando su membresía. El uso de una prueba A/B para evaluar el efecto medio de una intervención puede encubrir información importante sobre las cuales es probable que los clientes sean más o menos receptivos a esa campaña (ya sea que el análisis sugiera que la intervención tiene un efecto positivo, negativo o, como en este ejemplo, un efecto insignificante), lo que lleva especialistas en marketing para tomar decisiones equivocadas en torno a qué campañas llevar a cabo con qué clientes.
Optimización de las campañas de prevención de los
Esto no es solo hipotético; de hecho, este ejemplo se basa en una organización real con la que trabajé como parte de mi investigación. Cuando se trata de aumentar la retención, las empresas suelen identificar» alto riesgo » clientes, es decir, clientes cuyo comportamiento reciente u otras características sugieren que son particularmente propensos a cancelar sus suscripciones o dejar de comprar el producto de una empresa, y luego realizar pruebas A/B para determinar si sus campañas de retención serán efectivas con este grupo. Si bien esta es una estrategia comprensible (ciertamente no querrás desperdiciar recursos de marketing en clientes que de todos modos no iban a batir), mi investigación sugiere que puede ser muy contraproducente, ya que puede llevar a los especialistas en marketing a tomar decisiones erróneas que realmente reducen las tasas de retención generales y el retorno de la inversión en marketing.
Concretamente, llevé a cabo experimentos de campo con dos grandes empresas que estaban implementando campañas de retención. En la primera parte de mi estudio, las empresas desarrollaron intervenciones de reducción de los movimientos y luego realizaron pruebas A/B que rastreaban las tasas de pérdida de un total de más de 14.000 clientes, donde un grupo de clientes asignados aleatoriamente recibió las intervenciones y la otra no. A continuación, recopilé un amplio conjunto de datos de información de los clientes, incluida la actividad reciente y el compromiso con la empresa, la tenencia como cliente de la empresa, la ubicación y otras métricas que se utilizaron para predecir el riesgo de pérdida, y examiné cuál de estas características se correlacionaba con una respuesta positiva al campañas de retención.
En ambas empresas, descubrí que los clientes que habían sido identificados como que tenían el mayor riesgo de agitación no eran necesariamente los mejores objetivos para los programas de retención; de hecho, había poca correlación entre el nivel de riesgo de pérdida de los clientes y su sensibilidad a las intervenciones. Los datos mostraron que hay era un grupo distinto de clientes que respondieron enérgicamente a cada intervención (clientes con características demográficas o de comportamiento particulares que se correlacionan consistentemente con tener menos probabilidades de que se produzcan después de recibir las intervenciones), pero ese grupo de «alta sensibilidad» casi no se solapó con el personas identificadas como «alto riesgo de agitación». Y esto tuvo serias implicaciones para el ROI: Mi análisis descubrió que si las dos empresas gastaran la misma cantidad de presupuesto de marketing dirigido al grupo de alta sensibilidad en lugar del grupo de alto riesgo de pérdida, reduciría sus tasas de pérdida en un 5% y un 8% adicionales, respectivamente.
Por supuesto, los factores específicos que hacen que un cliente tenga más probabilidades de estar receptivo a una campaña de retención variarán de organización a organización e incluso de campaña a campaña, pero ejecutar pilotos como los descritos anteriormente puede ayudarlo a identificar las características que serán los mejores predictores de su sensibilidad de los clientes a una intervención específica. Por ejemplo, una de las organizaciones de mi estudio fue una empresa de telecomunicaciones con acceso a datos detallados sobre métricas de comportamiento, como el número de llamadas que los clientes habían realizado en el último mes, el número de textos que enviaron, gigabytes de datos descargados y más. Para esta empresa, los datos mostraron que la última vez que un cliente se había comprometido con la empresa predijo su nivel de riesgo de rebasamiento, pero no tuvo ningún impacto en su sensibilidad a la intervención de la rotación. Lo que sí predijo la sensibilidad fue su uso de datos, lo que sugiere que, para maximizar el ROI, la empresa debería considerar la posibilidad de dirigirse a su campaña de retención no a los clientes que no habían participado durante mucho tiempo, sino a los clientes que usaron más datos.
Pasar de la predicción a la receta
Entonces, ¿qué significa esto para los especialistas en marketing? El punto de vista clave es que las intervenciones de marketing deben centrarse en función de la respuesta esperada de cada cliente a esa intervención, no en lo que se espera que hagan los clientes en ausencia de dicha intervención. En cierto sentido, los especialistas en marketing son como los médicos: los médicos no solo dan tratamientos aleatorios a los pacientes que tienen más probabilidades de morir, sino que prescriben tratamientos específicos a los pacientes que tienen más probabilidades de responder positivamente a esos tratamientos.
En lugar de intentar predecir lo que harán los clientes (es decir, tratar de determinar su riesgo de agitación), los especialistas en marketing deben centrarse en cómo responderán los diferentes tipos de clientes a campañas concretas y, a continuación, diseñar campañas que sean más eficaces para reducir la pérdida entre un grupo determinado de clientes. Las empresas deben aprovechar los datos de las pruebas A/B no solo para intentar medir la eficacia global de una campaña entre todos los clientes, sino para explorar qué tipos de clientes serán más sensibles a determinadas intervenciones. Esto significa combinar los datos demográficos y de transacciones históricas de los clientes con los datos recopilados mediante pruebas A/B para identificar los comportamientos y características que hacen que un cliente responda con mayor probabilidad a una intervención en particular. Afortunadamente, muchas empresas ya recopilan todos estos datos; se trata simplemente de aprovecharlos de una forma nueva.
***
El concepto de campañas de marketing dirigidas no es nada nuevo, pero es fundamental pensar detenidamente cómo toma esas decisiones de segmentación. En lugar de simplemente adivinar qué factores podrían indicar que alguien es un objetivo sólido, o centrarse en un grupo que se ha considerado de alta prioridad (como clientes de alto riesgo de pérdida), las empresas deben dirigirse a los clientes que serán los más sensibles a la intervención específica que están implementando. Para maximizar el ROI, los especialistas en marketing deben dejar de preguntar, «¿Es eficaz esta intervención?» y empieza a preguntar, «¿Para quién es la más eficaz esta intervención?» — y, a continuación, orientar sus campañas en consecuencia.
— Escrito por Eva Ascarza
