Cómo los anuncios segmentados y los precios dinámicos pueden perpetuar el sesgo

En una nueva investigación, los autores estudian el uso de precios dinámicos y descuentos segmentados, y se preguntan si (y cómo) podrían surgir sesgos si los precios que pagan los consumidores se deciden mediante un algoritmo. Supongamos que su empresa quiere utilizar los datos históricos para entrenar un algoritmo que identifique a los clientes que son más receptivos a los descuentos en los precios. Mientras los perfiles de los clientes que incluya en el algoritmo contengan atributos que se correlacionen con las características demográficas, es muy probable que el algoritmo acabe haciendo diferentes recomendaciones para diferentes grupos. ¿Y si los usuarios de los barrios blancos respondieran mejor a sus esfuerzos de marketing en el último trimestre? Dado que los algoritmos de precios dinámicos están diseñados para ofrecer descuentos a los usuarios con más probabilidades de responder a esos algoritmos, es probable que campañas como las descritas anteriormente ofrezcan sistemáticamente más abajo precios hasta más alto personas con ingresos.

••• En teoría, la personalización del marketing debería ser una propuesta en la que todos ganen tanto para las empresas como para los clientes. Al ofrecer la combinación perfecta de comunicaciones, recomendaciones y promociones (todas adaptadas a los gustos particulares de cada persona), las tecnologías de marketing pueden ofrecer experiencias de consumo únicas y satisfactorias. Si bien los intentos torpes de personalización pueden dar la práctica[una mala reputación](https://www.theonion.com/woman-stalked-across-8-websites-by-obsessed-shoe-advert-1819578313), las tecnologías de segmentación son cada vez más sofisticadas. Los nuevos avances en el aprendizaje automático y los macrodatos están haciendo que la personalización sea más relevante, menos intrusiva y menos molesta para los consumidores. Sin embargo, estos avances conllevan un riesgo oculto: la capacidad de los sistemas automatizados de perpetuar los sesgos dañinos. En una nueva investigación, estudiamos el uso de precios dinámicos y descuentos segmentados, y nos preguntamos si (y cómo) podrían surgir sesgos si los precios que pagan los consumidores se deciden mediante un algoritmo. Un cuento con moraleja sobre este tipo de prácticas de marketing personalizadas es el de Princeton Review. En 2015, se reveló que la empresa de preparación de los exámenes era[cobrar a los clientes de diferentes códigos postales precios diferentes](https://techscience.org/a/2015090102/), con discrepancias entre algunas áreas que alcanzaron los cientos de dólares, a pesar de que todas sus sesiones de tutoría se llevaron a cabo por teleconferencia. A corto plazo, este tipo de precios dinámicos puede haber parecido una victoria fácil para aumentar los ingresos. Pero [la investigación ha demostrado consistentemente](https://academic.oup.com/jcr/article-abstract/33/3/304/1891884?redirectedFrom=fulltext) que los consumidores lo consideran intrínsecamente injusto,[lo que lleva a una disminución de la confianza y las intenciones de recompra](https://www.sciencedirect.com/science/article/pii/S1094996804701218). Es más, el sesgo de Princeton Review tenía un elemento racial:[una investigación de seguimiento muy publicitada](https://www.propublica.org/article/asians-nearly-twice-as-likely-to-get-higher-price-from-princeton-review) de periodistas de ProPublica demostró cómo el sistema de la empresa cobraba, de media, sistemáticamente a las familias asiáticas precios más altos que a las no asiáticas. Incluso a las mayores empresas de tecnología y a los expertos en algorítmica les resulta difícil ofrecer servicios altamente personalizados y, al mismo tiempo, evitar la discriminación. Varios[estudios](https://pubsonline.informs.org/doi/10.1287/mnsc.2018.3093) han demostrado que los anuncios de oportunidades laborales bien remuneradas en plataformas como Facebook y Google se muestran de manera desproporcionada a los hombres. Y, justo este año,[Facebook fue demandado](https://nationalfairhousing.org/facebook-settlement/) y se descubrió que había infringido la Ley de Vivienda Justa al permitir a los anunciantes inmobiliarios dirigirse a los usuarios por clases protegidas, incluidas la raza, el género, la edad y más. ¿Qué pasa con los algoritmos de personalización y por qué son tan difíciles de gestionar? En el entorno actual, con el software de automatización de marketing y la resegmentación automática, las plataformas de pruebas A/B que optimizan dinámicamente las experiencias de los usuarios a lo largo del tiempo y las plataformas de anuncios que seleccionan automáticamente los segmentos de audiencia, las decisiones empresariales más importantes se toman automáticamente sin la supervisión humana. Y si bien los datos que los vendedores utilizan para segmentar a sus clientes no son intrínsecamente demográficos, estas variables suelen estar correlacionadas con las características sociales. Para entender cómo funciona esto, supongamos que su empresa quiere utilizar los datos históricos para entrenar un algoritmo que identifique a los clientes que son más receptivos a los descuentos en los precios. Si los perfiles de los clientes que incluye en el algoritmo contienen atributos que se correlacionan con las características demográficas, es muy probable que el algoritmo acabe haciendo recomendaciones diferentes para diferentes grupos. Tenga en cuenta, por ejemplo, la frecuencia con la que las ciudades y los barrios se dividen por clases étnicas y sociales y la frecuencia con la que los datos de navegación del usuario pueden correlacionarse con su ubicación geográfica (por ejemplo, a través de su dirección IP o historial de búsquedas). ¿Y si los usuarios de los barrios blancos respondieran mejor a sus esfuerzos de marketing en el último trimestre? O quizás los usuarios de las zonas de ingresos altos eran los más sensibles a los descuentos en los precios. (Se sabe que esto ocurre en algunas circunstancias, no porque los clientes con altos ingresos no puedan pagar el precio completo, sino porque compran con más frecuencia en línea y[sabe esperar a que bajen los precios](https://pubsonline.informs.org/doi/10.1287/mnsc.2013.1860).) Un algoritmo basado en esos datos históricos aprendería, incluso sin saber la raza o los ingresos de los clientes, a ofrecer más descuentos a los clientes blancos y adinerados. Para investigar este fenómeno, analizamos docenas de experimentos de precios de comercio electrónico a gran escala para analizar la forma en que la gente de los Estados Unidos respondía a las diferentes promociones de precios. Al utilizar la dirección IP de un cliente como aproximación de su ubicación, hemos podido hacer coincidir a cada usuario con una zona censal de los EE. UU. y utilizar los datos públicos para hacernos una idea del ingreso medio de su zona. Al analizar los resultados de millones de visitas al sitio web, confirmamos que, como en el hipotético ejemplo anterior, las personas de las zonas ricas respondieron con más fuerza a los descuentos del comercio electrónico que las de las más pobres y, dado que los algoritmos de precios dinámicos están diseñados para ofrecer ofertas a los usuarios con más probabilidades de responderlas, las campañas de marketing probablemente ofrezcan de forma sistemática _más abajo_ precios hasta _más alto_ personas con ingresos en el futuro. ¿Qué puede hacer su empresa para minimizar estos resultados socialmente indeseables? Una posibilidad de mitigar el riesgo algorítmico es la supervisión formal de los sistemas internos de la empresa. Es probable que estas «auditorías de IA» sean procesos complicados, que impliquen evaluaciones de la precisión, la imparcialidad, la interpretabilidad y la solidez de todas las decisiones algorítmicas consecuentes de su organización. Si bien esto parece caro a corto plazo, puede resultar beneficioso para muchas empresas a largo plazo. Como «imparcialidad» y «sesgo» son difíciles de definir de manera universal, adquirir el hábito de tener más de un par de ojos buscando las desigualdades algorítmicas en sus sistemas aumenta las probabilidades de que detecte el código deshonesto antes de que se publique. Dadas las complejidades sociales, técnicas y legales asociadas a la imparcialidad algorítmica, es probable que se convierta en algo habitual que un equipo de expertos internos o externos formados trate de encontrar puntos ciegos y vulnerabilidades en cualquier proceso empresarial que se base en la toma de decisiones automatizada. A medida que los avances en el aprendizaje automático siguen dando forma a nuestra economía y aumenta la preocupación por la desigualdad patrimonial y la justicia social, los líderes corporativos deben ser conscientes de las formas en que las decisiones automatizadas pueden perjudicar tanto a sus clientes como a sus organizaciones. Es más importante que nunca tener en cuenta cómo sus campañas de marketing automatizadas pueden discriminar a los grupos sociales y étnicos. Los directivos que anticipen estos riesgos y actúen en consecuencia serán los que preparen a sus empresas para el éxito a largo plazo.