¿Qué hacemos con respecto a los sesgos en IA?

Resumen.

En los últimos años, la sociedad ha empezado a luchar con la cantidad de sesgos humanos que pueden entrar en los sistemas de inteligencia artificial, con resultados perjudiciales. En un momento en que muchas empresas buscan implementar sistemas de IA en todas sus operaciones, ser conscientes de esos riesgos y trabajar para reducirlos es una prioridad urgente. ¿Qué pueden hacer los CEOs y sus equipos de alta dirección para liderar el camino en el sesgo y la imparcialidad? Entre otros, vemos seis pasos esenciales: en primer lugar, los líderes empresariales tendrán que mantenerse al día en este campo de investigación que se mueve rápidamente. En segundo lugar, cuando su empresa u organización esté implementando IA, establezca procesos responsables que puedan mitigar el sesgo. Considere la posibilidad de utilizar una cartera de herramientas técnicas, así como prácticas operacionales como «equipos rojos» internos o auditorías de terceros. Tercero, participar en conversaciones basadas en hechos en torno a posibles sesgos humanos. Esto podría adoptar la forma de ejecutar algoritmos junto con los responsables de tomar decisiones humanas, comparar resultados y usar «técnicas de explicabilidad» que ayuden a determinar qué llevó al modelo a tomar una decisión, con el fin de entender por qué puede haber diferencias. En cuarto lugar, considere cómo los humanos y las máquinas pueden trabajar juntos para mitigar los sesgos, incluso con procesos «humanos en el bucle». En quinto lugar, invertir más, proporcionar más datos y adoptar un enfoque multidisciplinario en la investigación de sesgos (respetando la privacidad) para continuar avanzando en este campo. Por último, invierta más en diversificar el propio campo de IA. Una comunidad de IA más diversa estaría mejor equipada para anticipar, revisar y detectar sesgos e involucrar a las comunidades afectadas.

Los sesgos humanos están bien documentados, desde pruebas de asociación implícitas que demuestran sesgos que tal vez ni siquiera conozcamos, hasta experimentos de campo que demuestran cuánto pueden afectar estos sesgos a los resultados. En los últimos años, la sociedad ha empezado a luchar con lo mucho que estos sesgos humanos pueden llegar a los sistemas de inteligencia artificial, con resultados perjudiciales. En un momento en que muchas empresas buscan implementar sistemas de IA en todas sus operaciones, ser conscientes de esos riesgos y trabajar para reducirlos es una prioridad urgente.

El problema no es completamente nuevo. En 1988, la Comisión para la Igualdad Racial del Reino Unido declaró culpable de discriminación a una escuela de medicina británica. El programa informático que utilizaba para determinar qué candidatos serían invitados a entrevistar era determinado a ser tendencioso contra las mujeres y las personas con nombres no europeos. Sin embargo, el programa se había desarrollado para igualar las decisiones de admisión humana, con una precisión del 90 al 95 por ciento. Además, la escuela tenía una mayor proporción de estudiantes no europeos admitidos que la mayoría de las otras escuelas de medicina de Londres. Usar un algoritmo no curaba la toma de decisiones humanas sesgadas. Pero simplemente volver a los responsables de la toma de decisiones humanas tampoco resolvería el problema.

Treinta años después, los algoritmos se han vuelto considerablemente más complejos, pero seguimos enfrentando el mismo desafío. La IA puede ayudar a identificar y reducir el impacto de los sesgos humanos, pero también puede empeorar el problema al hornear y desplegar sesgos a escala en áreas de aplicación sensibles. Por ejemplo, como el sitio de noticias de investigación ProPublica tiene fundar, un algoritmo de justicia penal utilizado en Broward Country, Florida, calificó erróneamente a los acusados afroamericanos como «alto riesgo» a casi el doble de la tasa que etiquetó erróneamente a los acusados blancos. Otras investigaciones han encontrado que la formación de modelos de procesamiento de lenguaje natural en artículos de noticias puede conducirlos para exhibir estereotipos de género.

El sesgo puede penetrar en algoritmos de varias maneras. Los sistemas de IA aprenden a tomar decisiones basadas en datos de capacitación, que pueden incluir decisiones humanas sesgadas o reflejar desigualdades históricas o sociales, incluso si se eliminan variables sensibles como el género, la raza u la orientación sexual. Amazon dejó de usar un algoritmo de contratación después de considerar que favorecía a los solicitantes basándose en palabras como «ejecutado» o «capturado» que se encuentran más comúnmente en los currículos de los hombres, por ejemplo. Otra fuente de sesgo es el muestreo de datos defectuoso, en el que los grupos están excesivamente representados o insuficientemente en los datos de capacitación. Por ejemplo, Joy Buolamwini en el MIT trabajando con Timnit Gebru fundar que las tecnologías de análisis facial tenían tasas de error más elevadas para las minorías y, en particular, para las mujeres pertenecientes a minorías, posiblemente debido a datos no representativos de capacitación.

El sesgo es toda nuestra responsabilidad. Lastima a los discriminados, por supuesto, y también perjudica a todos al reducir la capacidad de las personas para participar en la economía y la sociedad. Reduce el potencial de la IA para las empresas y la sociedad fomentando la desconfianza y produciendo resultados distorsionados. Los líderes empresariales y de la organización deben asegurarse de que los sistemas de IA que utilizan mejoren la toma de decisiones humanas, y tienen la responsabilidad de fomentar el progreso en la investigación y las normas que reduzcan el sesgo en la IA.

De la creciente investigación académica sobre el sesgo de IA, surgen dos imperativos para la acción. En primer lugar, debemos aprovechar de manera responsable el varias maneras que la IA puede mejorar en la adopción de decisiones humanas tradicionales. Los sistemas de aprendizaje automático ignoran las variables que no predicen con precisión los resultados (en los datos disponibles para ellos). Esto contrasta con los humanos, que pueden mentir o ni siquiera darse cuenta de los factores que los llevaron a, digamos, contratar o ignorar a un candidato de empleo en particular. También puede ser más fácil sondear algoritmos para detectar sesgos, potencialmente revelando sesgos humanos que habían pasado desapercibidos o no probados (aunque los modelos de aprendizaje profundo sean inescrutables, un cerebro humano es la última «caja negra»). Finalmente, el uso de la IA para mejorar la toma de decisiones puede beneficiar a los grupos tradicionalmente desfavorecidos, como los investigadores Jon Kleinberg, Sendhil Mullainathan y otros llaman los «beneficios dispares de una mejor predicción».

El segundo imperativo es acelerar los progresos que hemos visto en la lucha contra la parcialidad en la IA. Aquí, no hay soluciones rápidas. De hecho, uno de los pasos más complejos es también el más obvio: la comprensión y la medición de la «equidad». Los investigadores han desarrollado formas técnicas de definir la equidad, tales como exigir que los modelos tengan el mismo valor predictivo entre grupos o exigir que los modelos tengan tasas iguales de falso positivo y falso negativo entre grupos. Sin embargo, esto conduce a un desafío importante: diferente equidad definiciones por lo general no se puede satisfacer al mismo tiempo.

Aún así, incluso a medida que evolucionan las definiciones y métricas de equidad, los investigadores también han progresado en una amplia variedad de técnicas que garantizan que los sistemas de IA puedan cumplirlos, procesando datos de antemano, alterando las decisiones del sistema posteriormente o incorporando definiciones de equidad en el propio proceso de formación. Una técnica prometedora es» equidad contrafáctica», que asegura que las decisiones de un modelo sean las mismas en un mundo contrafáctico en el que se modificaron los atributos considerados sensibles, como la raza, el género u la orientación sexual. Silvia Chiappa de DeepMind incluso ha desarrollado un específico de ruta un enfoque de equidad contrafáctica que puede manejar casos complicados en los que algunos caminos por los que los rasgos sensibles afectan a los resultados se consideran justos, mientras que otras influencias se consideran injustas. Por ejemplo, el modelo podría utilizarse para ayudar a garantizar que la admisión a un departamento específico de una universidad no se vea afectada por el sexo del solicitante, al tiempo que podría seguir permitiendo que la tasa general de admisión de la universidad varíe según el sexo si, por ejemplo, las estudiantes tendían a solicitar a departamentos más competitivos.

Estas mejoras ayudarán, pero otros desafíos requieren algo más que soluciones técnicas, incluyendo cómo determinar cuándo un sistema es lo suficientemente justo como para ser liberado, y en qué situaciones la toma de decisiones totalmente automatizada debe ser permisible en absoluto. Estas preguntas requieren perspectivas multidisciplinarias, incluso de especialistas en ética, científicos sociales y otros pensadores de humanidades.

¿Qué pueden hacer los CEOs y sus equipos de alta dirección para liderar el camino en el sesgo y la imparcialidad? Entre otros, vemos seis pasos esenciales:

En primer lugar, los líderes empresariales tendrán que mantenerse al día en este campo de investigación que se mueve rápidamente. Varias organizaciones proporcionan recursos para obtener más información, como el Informes anuales del Instituto AI Now, el Asociación en materia de IA, y la Grupo Equidad, Transparencia y Privacidad del Instituto Alan Turing.

En segundo lugar, cuando su empresa u organización esté implementando IA, establezca procesos responsables que puedan mitigar el sesgo. Considere la posibilidad de utilizar una cartera de herramientas técnicas, así como prácticas operacionales como «equipos rojos» internos o auditorías de terceros. Las compañías tecnológicas están proporcionando algo de ayuda aquí. Entre otras cosas, AI de Google ha publicado prácticas recomendadas, mientras que la» Equidad 360» reúne herramientas técnicas comunes.

Tercero, participar en conversaciones basadas en hechos en torno a posibles sesgos humanos. Hace mucho tiempo que confiamos en proxies como controles de procedimiento cuando decidimos si las decisiones humanas eran justas. Ahora, con herramientas más avanzadas para sondear el sesgo en las máquinas, podemos elevar los estándares a los que mantenemos a los humanos. Esto podría adoptar la forma de ejecutar algoritmos junto con los encargados de tomar decisiones humanas, comparar resultados y usar» explicabilidad técnicas» que ayudan a determinar qué llevó al modelo a tomar una decisión para entender por qué puede haber diferencias. Es importante destacar que cuando encontramos sesgos, no es suficiente cambiar un algoritmo: los líderes empresariales también deberían mejorar los procesos impulsados por el hombre que lo subyacen.

En cuarto lugar, considere cómo los humanos y las máquinas pueden trabajar juntos para mitigar los sesgos. Algunos sistemas «humanos en el bucle» hacen recomendaciones o proporcionan opciones que los humanos verifican o pueden elegir entre ellas. La transparencia acerca de la confianza de estos algoritmos en su recomendación puede ayudar a los humanos a entender cuánto peso darle.

En quinto lugar, invertir más, proporcionar más datos y adoptar un enfoque multidisciplinario en la investigación de sesgos (respetando la privacidad) para continuar avanzando en este campo. Importantes esfuerzos para tomar decisiones de los diseñadores más transparente y incrustar ética en los programas de estudios de informática, entre otros, señalan el camino a seguir en materia de colaboración. Se necesitarán más.

Por último, invierta más en diversificar el propio campo de IA. Una comunidad de IA más diversa estaría mejor equipada para anticipar, revisar y detectar sesgos e involucrar a las comunidades afectadas. Esto requerirá inversiones en educación y oportunidades, trabajo como el de AI4ALL, una organización sin fines de lucro enfocada en desarrollar una cartera diversa e inclusiva de talento de IA en comunidades insuficientemente representadas a través de la educación y la tutoría.

La IA tiene muchos beneficios potenciales para las empresas, la economía y para hacer frente a los desafíos sociales más apremiantes de la sociedad, incluido el impacto de los sesgos humanos. Pero eso sólo será posible si la gente confía en estos sistemas para producir resultados imparciales. La IA puede ayudar a los humanos con sesgo, pero solo si los humanos están trabajando juntos para combatir el sesgo en la IA.

— Escrito por James Manyika, Brittany Presten James Manyika,