La IA puede ayudar a abordar la inequidad si las empresas se ganan la confianza de los usuarios

Resumen.

Si bien las empresas pueden dedicar mucho tiempo a probar modelos antes del lanzamiento, muchas dedican muy poco tiempo a considerar cómo funcionarán en forma salvaje. En particular, no consideran por completo cómo las tasas de adopción pueden deformar la intención de los desarrolladores. Por ejemplo, Airbnb lanzó un algoritmo de precios para cerrar la brecha de ingresos entre los anfitriones blancos y negros. Si bien el algoritmo redujo la disparidad económica entre los adoptantes en un 71,3%, los anfitriones negros tenían un 41% menos de probabilidades de utilizarlo, por lo que en muchos casos amplió la brecha de ganancias. La empresa necesitaba considerar mejor cómo se percibiría el algoritmo y abordarlo en su implementación para alentar a su público objetivo, los anfitriones negros, a confiar en él. Esto presenta dos lecciones para las empresas: considerar cómo se percibirá una herramienta algorítmica y crear un plan específico para generar confianza.

Las predicciones alcistas sugieren que la inteligencia artificial (IA) podría contribuir hasta 15,7 billones de dólares para la economía mundial para 2030. Desde coches autónomos hasta aprobaciones hipotecarias más rápidas y decisiones publicitarias automatizadas, los algoritmos de IA prometen numerosos beneficios para las empresas y sus clientes.

Lamentablemente, es posible que estos beneficios no se disfruten por igual. El sesgo algorítmico, cuando los algoritmos producen resultados discriminatorios contra ciertas categorías de personas, normalmente minorías y mujeres, también puede empeorar las desigualdades sociales existentes, especialmente en lo que respecta a raza y género. Desde el algoritmo de predicción de reincidencia utilizado en los tribunales para el algoritmo de predicción de atención utilizados por los hospitales, los estudios han encontrado evidencia de sesgos algorítmicos que empeoran las disparidades raciales para los afectados, no mejoran.

Muchas empresas han puesto un esfuerzo considerable en combatir el sesgo algorítmico en su gestión y servicios. A menudo utilizan enfoques basados en la ciencia de datos para investigar cuáles serán las predicciones de un algoritmo antes de lanzarlo al mundo. Esto puede incluir examinar diferentes especificaciones del modelo de IA, especificar la función objetiva que el modelo debe minimizar, seleccionar los datos de entrada que se van a integrar en el modelo, preprocesar los datos y realizar predicciones del modelo de posprocesamiento.

Sin embargo, el resultado final de la implementación de un algoritmo depende no solo de las predicciones del algoritmo, sino también de cómo las empresas y los clientes lo utilizarán en última instancia, y este contexto crítico de receptividad y adopción de algoritmos a menudo se pasa por alto. Argumentamos que el despliegue de algoritmos debe tener en cuenta las condiciones del mercado en las que se utiliza el algoritmo. Estas condiciones del mercado pueden afectar a qué y a quién y en qué medida afectarán las decisiones del algoritmo y, por lo tanto, influyen en los beneficios obtenidos para los usuarios del uso del algoritmo.

Por ejemplo, para ayudar a sus anfitriones a maximizar sus ingresos (es decir, los ingresos de la propiedad), Airbnb lanzó una herramienta de precios inteligente basada en algoritmos de IA que ajusta automáticamente el precio diario de un anuncio. Los anfitriones de Airbnb tienen muy poca información sobre propiedades de Airbnb competidoras, tarifas de hotel, estacionalidad y otros impactos de demanda que pueden usar para poner el precio correcto a sus propiedades. El algoritmo de precios inteligentes tenía por objeto ayudar con esto, incorporando información relevante sobre las características del alojamiento, la propiedad y el vecindario de las enormes fuentes de información de la compañía para determinar el mejor precio para una propiedad. En nuestro estudio publicado recientemente, los ingresos diarios medios de los anfitriones que adoptaron los precios inteligentes aumentó un 8,6%. Sin embargo, tras el lanzamiento del algoritmo, la brecha de ingresos raciales aumentó (es decir, los huéspedes blancos ganaban más) a nivel de población, lo que incluye tanto a los adoptantes como a los no adoptantes, porque los huéspedes negros tenían significativamente menos probabilidades de adoptar el algoritmo que los huéspedes blancos.

En las pruebas, la herramienta hizo exactamente lo que debía hacer. Descubrimos que era perfectamente ciego en cuanto a que los precios de anuncios similares se redujeron en la misma cantidad independientemente de la raza del anfitrión. El algoritmo mejoró los ingresos para los hosts negros más que para los hosts blancos. Esto se debe a que la curva de demanda de propiedades para los anfitriones negros era más elástica (es decir, más sensible a los cambios de precios) que la curva de demanda de propiedades equivalentes propiedad de anfitriones blancos. Como la reducción de precios fue la misma, el número de reservas aumentó más para los anfitriones negros que para los blancos, lo que dio lugar a un aumento de los ingresos para los anfitriones negros que para los blancos. Desde la perspectiva de la ciencia de datos, tuvo un despliegue perfecto: este algoritmo bienintencionado para ciegos raciales tenía como objetivo proporcionar beneficios financieros al mejorar los ingresos de todos los adoptantes y ofrecer beneficios sociales al reducir la brecha de ingresos raciales entre los adoptantes.

En el mundo real, sin embargo, era una historia diferente. El lanzamiento del algoritmo terminó ampliándose en lugar de reducir la disparidad racial en Airbnb. Esta consecuencia no deseada podría haberse evitado internalizando las condiciones del mercado durante el despliegue del algoritmo.

Determinamos que las empresas deben tener en cuenta las siguientes condiciones del mercado durante la creación del algoritmo de IA: 1) la receptividad de los usuarios objetivo a un algoritmo de IA, 2) las reacciones de los consumidores a las predicciones de algoritmos y 3) si el algoritmo debería regularse para abordar las desigualdades raciales y económicas mediante incorporar el comportamiento estratégico de las empresas en el desarrollo del algoritmo. Airbnb, por ejemplo, debería haber preguntado: 1) ¿Cómo reaccionarán los anfitriones de Airbnb (más concretamente, adoptarán) el algoritmo? y 2) ¿Cómo se puede animar a los anfitriones negros a adoptarlo? Estas condiciones del mercado determinan el resultado final del mercado (por ejemplo, el precio del producto, la demanda de propiedades, los beneficios para los usuarios) de la aplicación de un algoritmo de IA y, por lo tanto, deben analizarse y considerarse por adelantado.

¿Cómo percibirán un algoritmo los usuarios objetivo?

El algoritmo de precios inteligentes de Airbnb aumentó los ingresos diarios de todos los que lo usaron. Los anfitriones blancos experimentaron un aumento de 5,20 dólares al día, y los anfitriones negros experimentaron un aumento de 13,9 dólares. El nuevo precio redujo la disparidad económica entre los adoptantes en un 71,3%.

Sin embargo, como los anfitriones negros tenían un 41% menos de probabilidades que los blancos de adoptar el algoritmo, el resultado de la introducción del algoritmo no fue del todo satisfactorio. Para los anfitriones negros que no usaron el algoritmo, la brecha de ganancias en realidad aumentó. Esto lleva a la siguiente pregunta: Si usted es el CEO de una empresa que desea erradicar la inequidad racial y recibe un informe de algoritmos de este tipo, ¿qué espera sembrar en el equipo directivo de ciencia e ingeniería?

Para abordar la baja receptividad de los anfitriones negros a la nueva herramienta, Airbnb podría animar a los anfitriones negros a adoptar el algoritmo, por ejemplo, recompensando a los usuarios negros que lo prueben o compartiendo una descripción detallada y pruebas de los beneficios de usar el algoritmo. También descubrimos que la brecha de adopción racial era más significativa entre los anfitriones con un nivel socioeconómico bajo (SES), por lo que sería más eficiente apuntar a los anfitriones negros en los cuartiles más bajos del SES.

Sin embargo, para hacer esto, es esencial entender por qué la gente duda en primer lugar. Hay muchas razones por las que las personas pueden no ser receptivas a entregar el control a un algoritmo. Por ejemplo, la educación y los ingresos tienen se ha encontrado para explicar una barrera de adopción de alta tecnología para los usuarios negros, especialmente cuando el uso de la tecnología es costoso (financieramente). Incluso si la tecnología se ofrece de forma gratuita (por ejemplo, el algoritmo de precios inteligentes de Airbnb), la confianza también desempeña un papel importante: Documento de trabajo (Shunyuan Zhang es coautor con Yang Yang) indicó que la concienciación sobre los prejuicios raciales haría que los grupos desfavorecidos tuvieran menos confianza y dudaran más en adoptar algoritmos en general, incluidos los ciegos raciales que ofrecen beneficios financieros, de salud o educativos a los usuarios.

En conversaciones con una empresa de comercio electrónico centrada en artículos usados, los autores del estudio descubrieron que solo el 20% de los vendedores utilizaban la herramienta gratuita de precios que ofrece la empresa, lo que hace que los precios sean ineficientes y las ventas sean lentas. Una encuesta preliminar sugirió que los vendedores podrían sobrestimar el valor de sus artículos usados y no estar dispuestos a aceptar sugerencias de precios previstas por algoritmos; esto se denomina efecto de dotación. Por ejemplo, imagina que un vendedor publica un vestido de segunda mano que cree que vale 15 dólares, pero el algoritmo de precios, que se entrenó en un enorme conjunto de datos y modelos, sugiere 10 dólares y el vendedor reacciona negativamente. En respuesta a reacciones como esta, la empresa pudo explicar al vendedor cómo se hizo la sugerencia de 10 dólares y presentar artículos similares que tenían un precio y se vendieron a 10 dólares. Proporcionar dicha explicación aumenta la transparencia de las operaciones comerciales y mejora la confianza del cliente.

En pocas palabras, al incorporar diferencias en la adopción de algoritmos de IA entre grupos raciales, las empresas deben personalizar sus esfuerzos de promoción de algoritmos e intentar abordar las preocupaciones de los usuarios que más desean adoptarlo.

¿Cómo reaccionarán los consumidores a los efectos de un algoritmo de IA?

Es un error ver los algoritmos de IA simplemente como modelos que generan decisiones e impactan en las personas que reciben esas decisiones. El impacto va en ambos sentidos: la forma en que los consumidores (es decir, los receptores de decisiones) reaccionan a las decisiones de IA determinará el efecto del algoritmo en los resultados del mercado.

El algoritmo de precios inteligentes de Airbnb es un buen ejemplo de este fenómeno. Supongamos que eres el CEO de Airbnb y que estás informando sobre el algoritmo desarrollado por tu empresa en una audiencia del comité de la Cámara de Representantes sobre IA equitativa. Tal vez te alegrará que tu algoritmo, condicionado a la adopción, pueda combatir la inequidad racial. Sin embargo, podrías hacer más para mitigar la disparidad racial. Debe tener en cuenta las siguientes condiciones clave de marketing: 1) Los hosts en blanco y negro pueden enfrentarse a curvas de demanda diferentes y 2) Los hosts negros están menos representados en los datos utilizados para entrenar el algoritmo de IA. Específicamente, la curva de demanda de las propiedades de los hosts negros era más elástica que la de propiedades similares propiedad de hosts blancos. Las diferentes curvas de demanda pueden surgir de la discriminación social, lo que lleva a los huéspedes a ser más sensibles a los precios de las propiedades de propiedad negra que de las de propiedad blanca.

Dado que los huéspedes respondieron mejor a las reducciones de precio de las propiedades propiedad de negros, incorporar esta condición del mercado al implementar un algoritmo de IA es fundamental. Puede reducir aún más la brecha de ingresos entre los anfitriones blancos y negros mediante el uso directo de la raza o la inclusión indirecta de características estrechas o correlacionadas en el algoritmo. Ignorar las diferencias inherentes en las condiciones del mercado puede dar lugar a sugerencias de precios que están más lejos de los precios óptimos para los anfitriones negros que de los precios óptimos para los anfitriones blancos. Esto se debe a que los anfitriones negros representan solo el 9% de los alojamientos de Airbnb, mientras que los anfitriones blancos representan el 80%.

¿Qué deben hacer las empresas?

Si forma parte de un grupo de trabajo de equidad de IA a nivel corporativo o gubernamental, ¿qué debe hacer al considerar cómo implementar un algoritmo destinado a mitigar las disparidades raciales? Si tuvieras que esbozar el ecosistema del algoritmo focal, ¿quiénes serían los creadores, los usuarios objetivo y los receptores de decisiones del algoritmo? ¿Cómo reaccionarían al algoritmo y cómo afectarían sus reacciones al resultado final del algoritmo?

primero, considere realmente cómo percibirán el algoritmo los usuarios objetivo. Esto dará forma a cómo funciona en el mundo real. Pregunte si los usuarios conocen (o pueden ser conscientes) de cómo funciona el algoritmo. Si saben que su empresa está implementando un nuevo algoritmo destinado a abordar una desigualdad, ¿cómo reaccionarán? Si los usuarios infrarrepresentados pueden sentirse presionados o sienten que el algoritmo puede estar sesgado contra ellos, será menos probable que lo utilicen. Tenga en cuenta cómo la discriminación histórica y los problemas recientes con una representación insuficiente en los conjuntos de datos pueden hacer que sus usuarios objetivo se sientan escépticos (por ejemplo, podría decirse que preocupaciones bien fundadas en la atención médica puede generar desigualdad en la vacunación contra el Covid-19).

Segundo, concéntrese en generar confianza y ayudar a los usuarios a comprender qué el algoritmo está destinado a hacer y cómo funciona. Si la adopción de algoritmos es opcional (como en el caso de Airbnb), este proceso de considerar si los usuarios, en particular los usuarios de grupos infrarrepresentados, entenderán, confiarán y adoptarán el algoritmo es aún más importante. Es importante comunicarse claramente con ellos sobre el propósito de introducir el algoritmo y cómo funciona, así como incentivarlos a usar el algoritmo, especialmente cuando es más efectivo para los grupos minoritarios o basados en el género. Haz que explicar cómo se lanzó la iniciativa para reducir las desigualdades raciales —y cómo lo hará— parte de tu estrategia de despliegue.

***

Debido a la escalabilidad y al valor de las predicciones precisas, las empresas implementarán y aplicarán cada vez más algoritmos en sus operaciones y servicios, y es probable que la adopción solo aumente. Sin embargo, las empresas deben abordar la preocupación de que los algoritmos puedan producir resultados sesgados contra los grupos desfavorecidos. Desafortunadamente, los enfoques comunes basados en la ciencia de datos, incluido el procesamiento de datos y la calibración de las especificaciones del modelo, son insuficientes e ineficientes. Para que las empresas combatan mejor los problemas de sesgo algorítmico, considerar la percepción y adopción de algoritmos y las condiciones del mercado como las que hemos descrito debería ser una parte importante del despliegue de herramientas algorítmicas.

Bien hecho, estas herramientas pueden mitigar los sesgos humanos y salvar las consecuencias económicas derivadas de ellas. Si se hace mal, solo con unos pocos algoritmos de firmas establecidas, puede socavar y ralentizar por completo el despliegue del algoritmo de IA.

— Escrito por Shunyuan Zhang, Param Vir Singh, Nitin Mehta Param Vir Singh,