Nuevas pruebas muestran que los motores de búsqueda refuerzan los estereotipos sociales

En abril, una estudiante de MBA llamada Bonnie Kamona, denunció que una búsqueda de imágenes en Google de «pelo poco profesional para el trabajo» produjo un conjunto de imágenes que mostraban casi exclusivamente a mujeres de color. Por el contrario, su búsqueda de «peluquería profesional» arrojó imágenes de mujeres blancas. Dos meses después, el tuitero Ali Kabir informe en una búsqueda de imágenes de «tres adolescentes negros» dio como resultado una buena cantidad de fotos policiales, mientras que «tres adolescentes blancos» recuperó imágenes de jóvenes divirtiéndose.

Estas historias son consistentes con un creciente cuerpo de investigación sobre el sesgo de los motores de búsqueda.

Centro Insight

• La era de la automatización

  Patrocinado por KPMG

  Cómo la robótica y el aprendizaje automático están cambiando los negocios.

Un buen ejemplo es la obra de Matthew Kay, Cynthia Matuszek y Sean Munson, en la que consideraban las búsquedas de imágenes en Google para consultas relacionadas con las profesiones. Compararon las distribuciones de género observadas en las imágenes sobre una profesión determinada con las documentadas en las estadísticas laborales de los EE. UU. Por ejemplo, los resultados de las imágenes que muestran a «médicos» muestran muchas más imágenes de hombres de las que cabría esperar dado el número de hombres que realmente trabajan en la profesión. Lo contrario ocurrió con las «enfermeras». En otras palabras, los investigadores demostraron que los motores de búsqueda de imágenes exageran los estereotipos de género en relación con las profesiones.

En un proyecto con mis colegas de la Escuela de Información de la Universidad de Sheffield, Jo Bates y Paul Clough, hemos realizado experimentos para evaluar si los motores de búsqueda de imágenes perpetúan los estereotipos de género más generalizados.

Estos son los antecedentes. Un día cualquiera, mientras estemos en el mundo, debemos interactuar con personas de muchos ámbitos de la vida; por lo tanto, debemos emitir juicios sobre los demás de forma rápida y precisa. Los investigadores del campo de la «percepción de la persona» clasifican estos juicios en dos dimensiones: «calidez» y «agencia». Se considera que las personas cálidas tienen intenciones prosociales y no nos amenazan, aunque los rasgos cálidos pueden ser positivos o negativos; por ejemplo, adjetivos como «emocional», «amable», «inseguro» o «comprensivo» se considerarían «calidez». Los agentes son aquellos que tienen la competencia para llevar a cabo sus metas y deseos y se les atribuyen rasgos como «inteligente», «racional» y «asertivo».

Los psicólogos creen que los estereotipos sociales se construyen esencialmente a partir de combinaciones de estas dos dimensiones. Los estereotipos de género predominantes sostienen que se espera que las mujeres sean muy cálidas y poco agencias. Por el contrario, los hombres se caracterizan por la agencia, pero no por la calidez. Las personas que no se ajustan a estos estereotipos sufren una reacción social y económica por parte de sus pares. Por ejemplo, en contextos organizacionales, mujeres agentes y hombres cálidos a menudo se pasan por alto para puestos de liderazgo.

Con este marco en mente, llevamos a cabo experimentos en el motor de búsqueda Bing para comprobar si la distribución por género de las imágenes que muestran a personas cálidas frente a personas agénticas perpetuaría los estereotipos de género imperantes. Enviamos consultas basadas en 68 rasgos de carácter (por ejemplo, «persona emocional», «persona inteligente») a Bing y analizamos las primeras 1000 imágenes de cada consulta. Porque los resultados de los motores de búsqueda suelen estar personalizados y porque la ubicación del usuario es conocido por ser una característica clave utilizada en la personalización, recopilamos los resultados de cuatro grandes regiones anglófonas (EE. UU., Reino Unido, India y Sudáfrica) realizando nuestras consultas a través de los servidores regionales correspondientes. A continuación, agrupamos los rasgos de los personajes en función de la proporción de imágenes recuperadas que mostraban solo a mujeres, solo a hombres o una mezcla, para ver si los rasgos de carácter cálidos se representaban principalmente con imágenes de mujeres y los rasgos de carácter de los agentes con imágenes de hombres.

Nuestros resultados confirmaron en gran medida que los resultados de las búsquedas de imágenes perpetúan los estereotipos de género. Si bien había algunos rasgos de carácter cálidos que devolvían un conjunto de imágenes equilibradas en cuanto al género (por ejemplo, «cariñoso», «comunicativo»), eso solo era cierto para los rasgos que tenían connotaciones positivas y podría decirse que son rasgos que, si bien son «cálidos», en realidad nos ayudan a alcanzar nuestros objetivos. Por otro lado, los rasgos cálidos con connotaciones negativas (por ejemplo, «tímida», «insegura») siempre tenían más probabilidades de recuperar imágenes de mujeres. Además, si bien los cuatro servidores regionales de Bing no muestran las mismas imágenes en respuesta a una consulta determinada (la media de superposición entre dos regiones es de alrededor de la mitad), los patrones de distribución de género en las imágenes recuperadas para determinar los rasgos cálidos frente a los agentes eran bastante consistentes. En otras palabras, los sesgos de género en los resultados de las búsquedas de imágenes no estaban restringidos a un mercado regional en particular.

Tras haber documentado los sesgos de género inherentes a los algoritmos de búsqueda de imágenes, ¿qué podemos hacer? Esperamos que nuestro trabajo inspire a los desarrolladores de búsquedas a pensar críticamente sobre cada etapa del proceso de ingeniería y sobre cómo y por qué podrían entrar en ellas los sesgos. También creemos que los desarrolladores que utilizan API como Bing, que utilizábamos para realizar nuestras investigaciones, deben ser conscientes de que cualquier sesgo existente se trasladará a sus propias creaciones. También creemos que es posible desarrollar métodos automatizados de detección de sesgos, como utilizar técnicas de reconocimiento de imágenes para comprobar quién está representado (y quién no) en un conjunto de resultados. Las empresas de motores de búsqueda como Google y Microsoft deberían priorizar este trabajo, al igual que los periodistas, investigadores y activistas.

Por último, los usuarios pueden beneficiarse de ser más «conscientes de los sesgos» en sus interacciones con los algoritmos de búsqueda. Actualmente estamos experimentando con formas de despertar la atención de los usuarios durante las interacciones con los servicios de búsqueda. Los usuarios deben ser conscientes no solo de los posibles problemas con los resultados algorítmicos, sino también de tener una idea de cómo funcionan estos algoritmos.

Es más fácil decirlo que hacerlo. Décadas de investigación ha demostrado que los usuarios que interactúan con un sistema informático tienden a abordarlo como lo harían con cualquier otro humano actor. Esto significa que las personas aplican las expectativas sociales a un sistema como Google. La búsqueda de imágenes de Google, por supuesto, no tiene a un humano informado, que elija las imágenes relevantes en respuesta a una consulta y que reconozca la necesidad de presentar resultados que no sean descaradamente estereotipados. Las decisiones de un motor de búsqueda moderno se basan en un complejo conjunto de algoritmos que se han desarrollado mediante el aprendizaje automático. La usuaria lo sabe; sin embargo, al observar resultados inesperados u ofensivos, las expectativas sociales la llevan a preguntarse si los algoritmos subyacentes podrían ser «racistas» o «sexistas».

Pero nuestro instinto de dotar a estos sistemas de agencia, de asumir que son como nosotros, puede dificultar nuestra capacidad de cambiarlos. Al igual que nosotros, los algoritmos pueden estar sesgados. Las razones pueden ser complicadas (datos de entrenamiento incorrectos o sesgados, uso de proxies, comentarios sesgados de los usuarios) y las formas de abordarlas pueden parecerse poco a las formas en que abordamos los sesgos en nosotros mismos.