¿Es AI Bias un problema de responsabilidad social corporativa?

A finales de 2018, Amazon dejó de utilizar su sistema de contratación basado en IA porque consideran que es tendencioso contra la mujer. Según fuentes cercanas al asunto, la herramienta dio calificaciones bajas a currículos con los términos «mujer» o «mujer» en las solicitudes de funciones técnicas, y llegó a rebajar la categoría de aspirantes de dos colegios de mujeres.

Este problema no es nuevo. En 2003, la Oficina Nacional de Crecimiento Económico (NBER) llevó a cabo un experimento para rastrear la presencia de prejuicios raciales en la contratación. En la prueba, enviaron dos series de currículos ficticios con información idéntica sobre educación y experiencia. Un conjunto de currículos tenía nombres afroamericanos que sonaban, y el otro conjunto tenía nombres caucásicos. Descubrieron que los «solicitantes» caucásicos recibieron un 50% más de devoluciones de llamada que sus homólogos afroamericanos, lo que renueva la pregunta: ¿Cómo podemos crear prácticas de reclutamiento más justas y equitativas? Se suponía que los sistemas algorítmicos de reclutamiento eran la respuesta. Se argumentó que eliminaban el sesgo humano porque sus determinaciones se basaban en predicciones estadísticas de los candidatos más propensos a ser «adecuados».

Centro de información

IA y sesgo

Patrocinado por SASConstruir sistemas de aprendizaje automático justos y equitativos.

Sin embargo, esta solución no tuvo en cuenta cómo funcionan realmente estos algoritmos. En el caso de Amazon, los algoritmos que impulsan la herramienta de contratación automatizada fueron entrenados para identificar candidatos fuertes identificando las palabras clave más utilizadas en los currículos de los mejores resultados de la empresa. Esto parece lógico, pero es en realidad donde se arrastra el sesgo. Los algoritmos no pueden ser entrenados para entender el contexto social. En el caso del empleo, la política en el lugar de trabajo suele desempeñar un papel en las evaluaciones del desempeño. Por ejemplo, algunos empleados pueden ser evaluados como mejor desempeño porque están relacionados con un ejecutivo senior, tienen antigüedad o están en los mismos grupos sociales que sus gerentes. Sin embargo, nada de esto se recoge en los formularios de evaluación de empleados que se utilizaron para decidir qué currículos se usarían para capacitar a las herramientas automatizadas de contratación. Los científicos informáticos simplemente sacan los currículos de los empleados con las tasas de rendimiento más altas dentro de cada rol. Pero, esos currículos claramente no muestran la imagen completa. Y propagan el status-quo, y todos los sesgos inherentes que vienen con él.

Esta es la razón por la que la científica de datos Cathy O'Neil argumenta que los modelos estadísticos producidos por los sistemas algorítmicos de toma de decisiones son simplemente opiniones escritas en código. Ella argumenta que no debemos asumir que los conjuntos de datos de capacitación son precisos o imparciales, porque están codificados con los sesgos de sus productores mayoritariamente blancos y masculinos. Esto es lo que la abogada Rashida Richardson llama datos sucios.

¿Por qué es esto tan peligroso? Debido a que las decisiones tomadas con datos sucios se devuelven a los conjuntos de datos de capacitación y se utilizan para evaluar información nueva. Esto podría crear un bucle de retroalimentación tóxico, en el que las decisiones basadas en sesgos históricos siguen siendo tomadas a perpetuidad.

Cómo las empresas pueden reducir el sesgo en los datos de capacitación

Uno de los grupos que han estado pensando en el impacto del sesgo en los datos de capacitación es el Jefes Ejecutivos para Fines Corporativos (CECP), una coalición de 200 CEO de las empresas líderes del mundo. En 2018, publicaron AI para siempre: Lo que los profesionales de la RSE deben saber, un informe que sostiene que los equipos de responsabilidad social corporativa (RSE) deberían recopilar datos de impacto social en sus poblaciones objetivo para contrarrestar los sesgos que pueden ser expresados por los sistemas de IA. Sin embargo, algunos líderes de la industria consideran que el enfoque no va lo suficientemente lejos. En una entrevista con CBS News, Marc Benioff, CEO de Salesforce, abogó por una ley nacional de datos que mejoraría la calidad de los datos sobre capacitación.

Este es también un enfoque que el Congreso está considerando. En junio, formé parte de un equipo que presentó el Ley de responsabilidad algorítmica a la Cámara de Representantes de los Estados Unidos, lo que obligaría a las empresas a auditar los sistemas de IA en busca de sesgos antes de utilizarlos en sus procesos. Este es un primer paso en la gobernanza de los sistemas de IA. Actualmente las entradas a los sistemas algorítmicos de toma de decisiones están protegidas por las leyes de propiedad intelectual, pero esto haría que este código fuera objeto de una revisión del tipo FDA. En ausencia de saber cómo se ponderan las entradas algorítmicas, solo podemos hacer inferencias de las salidas en cuanto a si los sistemas de IA están expresando sesgo racial y por qué. Por ejemplo, el Algoritmo COMPAS, que se utiliza ampliamente en el sistema de justicia penal de los Estados Unidos para evaluar las tasas de reincidencia, daba consistentemente a los acusados negros penas de cárcel más largas que sus contrapartes blancos.

Los reglamentos propuestos son intervenciones útiles, pero no proporcionan una solución inmediata a nuestro problema de sesgo de IA. Aquí hay una oportunidad para las empresas que desean una ventaja de primera en diferenciarse en el mercado mediante el uso de IA justa y precisa. Estas empresas podrían contratar tecnólogos de interés público crítico — equipos formados por científicos informáticos, sociólogos, antropólogos, juristas y activistas — para desarrollar estrategias para desarrollar datos de formación más justos y precisos. Estos equipos están encargados de llevar a cabo investigaciones que puedan ayudar a asesorar a los grupos de RSE sobre cómo realizar inversiones estratégicas con grupos que trabajan para reducir la expresión del racismo, el sexismo, el ableismo, la homofobia y la xenofobia en nuestra sociedad. Esto reduciría estos sesgos que se codifican en conjuntos de datos utilizados en el aprendizaje automático y, a su vez, produciría sistemas de IA más justos y precisos.

La reducción del sesgo en los datos de capacitación requerirá una inversión sostenida y múltiple en la creación de una sociedad más justa. Y las empresas que actualmente están anunciando estos valores deberían estar haciendo más para apoyarlos.

— Mutale Nkonde Via HBR.org