Cómo los anuncios orientados y los precios dinámicos pueden perpetuar el sesgo
Resumen.
En una nueva investigación, los autores estudian el uso de precios dinámicos y descuentos específicos, en los que preguntaron si (y cómo) podrían surgir sesgos si los precios que pagan los consumidores se deciden por un algoritmo. Supongamos que su empresa desea utilizar datos históricos para entrenar un algoritmo para identificar a los clientes que son más receptivos a los descuentos de precios. Siempre y cuando los perfiles de cliente que introduce en el algoritmo contengan atributos que se correlacionan con características demográficas, es muy probable que el algoritmo termine haciendo recomendaciones diferentes para diferentes grupos. ¿Qué pasa si los usuarios de los barrios blancos respondieron más fuerte a sus esfuerzos de marketing en el último trimestre? Dado que los algoritmos dinámicos de precios están diseñados para ofrecer descuentos a los usuarios con mayor probabilidad de responder a dichos algoritmos, es probable que campañas como las descritas anteriormente ofrezcan sistemáticamente bajar precios a más alto personas de ingresos.
En teoría, la personalización del marketing debe ser una propuesta ganar-ganar tanto para empresas como para clientes. Al ofrecer la combinación correcta de comunicaciones, recomendaciones y promociones, todas adaptadas a los gustos particulares de cada individuo, las tecnologías de marketing pueden dar como resultado experiencias de los consumidores que satisfagan de forma única.
Mientras que los intentos de personalización pueden dar a la práctica un mal rap, las tecnologías de segmentación son cada vez más sofisticadas cada día. Los nuevos avances en aprendizaje automático y big data están haciendo que la personalización sea más relevante, menos intrusiva y menos molesta para los consumidores. Sin embargo, junto con estos desarrollos viene un riesgo oculto: la capacidad de los sistemas automatizados para perpetuar sesgos dañinos.
En una nueva investigación, estudiamos el uso de precios dinámicos y descuentos específicos, en los que preguntamos si (y cómo) podrían surgir sesgos si los precios que pagan los consumidores se deciden por un algoritmo. Un cuento de advertencia de este tipo de práctica de marketing personalizado es el de Princeton Review. En 2015, se reveló que la compañía de preparación de pruebas fue cobrar a los clientes en diferentes códigos postales diferentes precios, con discrepancias entre algunas áreas que llegan a cientos de dólares, a pesar de que todas sus sesiones de tutoría tuvieron lugar a través de teleconferencia. A corto plazo, este tipo de precios dinámicos puede haber parecido una ventaja fácil para aumentar los ingresos. Pero la investigación ha demostrado consistentemente que los consumidores la consideran intrínsecamente injusta, lo que lleva a reducir la confianza y las intenciones de recompra. Además, el sesgo de Princeton Review tenía un elemento racial: una investigación de seguimiento muy publicitada de periodistas de ProPublica demostraron cómo el sistema de la compañía estaba, en promedio, cobrando sistemáticamente a las familias asiáticas precios más altos que los no asiáticos.
Incluso las mayores empresas tecnológicas y expertos algorítmicos han encontrado dificultades para ofrecer servicios altamente personalizados y evitar la discriminación. Varios estudios han demostrado que los anuncios de oportunidades de empleo bien remuneradas en plataformas como Facebook y Google se publican desproporcionadamente a los hombres. Y, justo este año, Facebook fue demandado y se consideró que violaba la Ley de vivienda justa por permitir que los anunciantes inmobiliarios se dirigieran a los usuarios por clases protegidas, incluidas la raza, el género, la edad y más.
¿Qué está pasando con los algoritmos de personalización y por qué son tan difíciles de disputar? En el entorno actual, con software de automatización de marketing y retargeting automático, plataformas de pruebas A/B que optimizan dinámicamente las experiencias de los usuarios a lo largo del tiempo y plataformas publicitarias que seleccionan automáticamente segmentos de audiencia, las decisiones empresariales más importantes se toman automáticamente sin supervisión humana. Y aunque los datos que utilizan los vendedores para segmentar a sus clientes no son inherentemente demográficos, estas variables a menudo se correlacionan con características sociales.
Para entender cómo funciona esto, supongamos que su empresa desea utilizar datos históricos para entrenar un algoritmo para identificar a los clientes que son más receptivos a los descuentos de precios. Si los perfiles de cliente que introduce en el algoritmo contienen atributos que se correlacionan con características demográficas, es muy probable que el algoritmo termine haciendo recomendaciones diferentes para diferentes grupos. Considere, por ejemplo, con qué frecuencia las ciudades y barrios se dividen por clases étnicas y sociales y con qué frecuencia los datos de navegación de un usuario pueden correlacionarse con su ubicación geográfica (por ejemplo, a través de su dirección IP o historial de búsqueda). ¿Qué pasa si los usuarios de los barrios blancos respondieron más fuerte a sus esfuerzos de marketing en el último trimestre? O quizás los usuarios de las zonas de ingresos altos eran los más sensibles a los descuentos en los precios. (Esto se sabe que sucede en algunas circunstancias no porque los clientes de altos ingresos no puedan pagar precios completos sino porque compran con más frecuencia en línea y saber esperar a que bajen los precios.) Un algoritmo entrenado en estos datos históricos aprendería, incluso sin conocer la raza o los ingresos de los clientes, a ofrecer más descuentos a los blancos y ricos.
Para investigar este fenómeno, analizamos docenas de experimentos de precios de comercio electrónico a gran escala para analizar cómo la gente de los Estados Unidos respondía a diferentes promociones de precios. Mediante el uso de la dirección IP de un cliente como aproximación de su ubicación, pudimos hacer coincidir cada usuario con un distrito del censo de Estados Unidos y utilizar datos públicos para tener una idea de los ingresos promedio en su área. Analizando los resultados de millones de visitas a sitios web, confirmamos que, como en el ejemplo hipotético anterior, las personas de las zonas ricas respondieron más fuertemente a los descuentos en comercio electrónico que los de las más pobres y, dado que los algoritmos dinámicos de precios están diseñados para ofrecer ofertas a los usuarios con mayor probabilidad de responderlos, campañas de marketing probablemente ofrecería sistemáticamente bajar precios a más alto personas de ingresos en el futuro.
¿Qué puede hacer su empresa para minimizar estos resultados socialmente indeseables? Una posibilidad para la mitigación de riesgos algorítmicos es la supervisión formal de los sistemas internos de su empresa. Es probable que tales «auditorías de IA» sean procesos complicados, que implican evaluaciones de precisión, equidad, interpretabilidad y robustez de todas las decisiones algorítmicas consecuentes en su organización.
Si bien esto suena costoso a corto plazo, puede resultar beneficioso para muchas empresas a largo plazo. Debido a que la «equidad» y el «sesgo» son difíciles de definir universalmente, el hábito de tener más de un conjunto de ojos buscando inequidades algorítmicas en sus sistemas aumenta las posibilidades de que atrape código pícaro antes de que se envíe. Dadas las complejidades sociales, técnicas y legales asociadas con la justicia algorítmica, es probable que se convierta en rutina contar con un equipo de expertos internos o externos capacitados que intente encontrar puntos ciegos y vulnerabilidades en cualquier proceso de negocio que dependa de la toma de decisiones automatizada.
A medida que los avances en el aprendizaje automático continúan dando forma a nuestra economía y aumentan las preocupaciones sobre la desigualdad de riqueza y la justicia social, los líderes corporativos deben ser conscientes de las formas en que las decisiones automatizadas pueden causar daño tanto a sus clientes como a sus organizaciones. Es más importante que nunca considerar cómo sus campañas de marketing automatizadas pueden discriminar a los grupos sociales y étnicos. Los gestores que anticipen estos riesgos y actúen en consecuencia serán los que establezcan sus empresas para el éxito a largo plazo.
— Escrito por Alex P. Miller Alex P. Miller Kartik Hosanagar
