Abordar los sesgos que afectan a los algoritmos

Parte del poder de la IA y el aprendizaje profundo es que el entrenamiento de la IA puede aprender indiscriminadamente cosas que no le damos instrucciones explícitas para que aprenda. Lamentablemente, puede captar tendencias que preferiríamos no incluir, como el sesgo de género inherente a nuestro uso del lenguaje. Las empresas deben permanecer vigilantes para mantener los sesgos fuera de sus sistemas de IA. Tienen que incorporar la formación contra los prejuicios junto con su formación en IA y aprendizaje automático, detectar el potencial de sesgo en lo que hacen y corregirlo activamente. Además de los procesos habituales de preguntas y respuestas del software, la IA necesita someterse a una capa adicional de preguntas y respuestas sociales para poder detectar los problemas antes de que lleguen al consumidor y provocar una reacción masiva. Entender estos peligros es responsabilidad no solo de los líderes de las iniciativas de IA, sino de todos los ejecutivos. Un líder de RR.PP. que comprenda la dinámica de las redes sociales y la despiadada cultura de los trolls podría evitar los peligros de un bot de Twitter con IA autodidacta. Un ejecutivo especializado en la legislación sobre recursos humanos y discriminación laboral puede ayudar a señalar los posibles peligros de los robots de revisión de currículums. Y un gerente con experiencia operativa en varios países podría detectar lo delicado que es traducir pronombres sin género. Los conocimientos institucionales para detectar los peligros de la IA ya están en su empresa, solo tiene que darles rienda suelta.

••• Los ejecutivos, atraídos por el canto de sirena de la IA, tienen que entender tanto las posibilidades como los riesgos endémicos de la IA y los datos. Incluso en los albores de la interacción de los humanos con la IA a través de medios como la voz y el chat, se han documentado muchos fracasos en los que la IA intenta hablar y entender el lenguaje humano. A continuación, destacaremos tres ejemplos recientes y destacados de Microsoft, Google y Amazon, y mostraremos cómo los líderes de la IA pueden aprender de estos errores para implementar programas que protejan sus iniciativas de IA. **(Mal) aprender la jerga adolescente** En marzo de 2016,[Microsoft desarrolló un bot de chat para Twitter](https://www.theverge.com/2016/3/23/11290200/tay-ai-chatbot-released-microsoft) usando una IA llamada Tay, creada extrayendo conversaciones públicas. Anunciado como una IA «conversacional», el bot tenía como objetivo poner a prueba los límites del lenguaje conversacional: la empresa describió a Tay como «la familia de la IA de Internet que no tiene frío». El bot también aprendería y se adaptaría en función de sus conversaciones en Twitter. Lamentablemente,[Los trolls de Internet tardaron menos de 24 horas en entrenar a Tay](https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist) lanzar tuits terriblemente racistas, misóginos y, en general, ofensivos. Lo que comenzó como un divertido bot de chat diseñado para entablar una conversación «casual y divertida» se transformó en una pesadilla de RR.PP. **Recordatorios de IA sordos** Facebook tiene una función llamada «Recuerdos» que muestra a los usuarios lo que ha ocurrido en esta fecha en años anteriores. Puede recordar a la gente vacaciones memorables, bodas de amigos u otras ocasiones alegres. Sin embargo, también puede recordar a las personas recuerdos dolorosos, como el aniversario de la muerte de un familiar, o puede pedirle que diga feliz cumpleaños a un amigo fallecido. En abril de 2019, Facebook anunció que utilizaría[inteligencia artificial para filtrar esos recordatorios sin tacto](https://www.npr.org/2019/04/09/711399357/facebook-promises-to-stop-asking-you-to-wish-happy-birthday-to-your-friend-who-d). Lamentablemente, se trata de una tarea notoriamente difícil en la que el gigante de las redes sociales ha fracasado anteriormente. En noviembre de 2016, su función de conmemoración [pensó erróneamente que muchos usuarios vivos habían muerto](https://techcrunch.com/2016/11/11/facebook-suddenly-thinks-a-bunch-of-people-are-dead-dont-panic/), incluido uno de mis amigos. Se especuló que esto afectó desproporcionadamente a los seguidores de la campaña y al personal de la candidata presidencial Hilary Clinton, quienes recibieron condolencias generalizadas por su derrota, que los algoritmos de Facebook malinterpretaron. **Traducir misoginia** El traductor de Google utiliza la IA y el aprendizaje profundo para procesar terabytes de datos de texto y ofrecer un servicio de traducción automática a docenas de idiomas. Pero en noviembre de 2017,[se informó de que sus algoritmos de IA eran sexistas](https://qz.com/1141122/google-translates-gender-bias-pairs-he-with-hardworking-and-she-with-lazy-and-other-examples/) . Por ejemplo, en turco, hay un pronombre único en tercera persona «o» que no indica el género; en inglés, normalmente utilizamos «él» o «ella», según el género. Al traducir del turco al inglés, el algoritmo de traducción decidía un género al traducir la «o» neutral en cuanto al género, y producía traducciones sexistas como «él es médico», «ella es enfermera», «él es trabajador» o «es perezosa». El problema va más allá de traducir del turco (muchos otros idiomas marcan el género de manera diferente al inglés), lo que pone de relieve la complejidad del lenguaje humano. Si bien Google solucionó el problema rápidamente una vez que se dio cuenta, el incidente fue una vergüenza para el gigante tecnológico. **Contratación sexista** Inundado de millones de currículums,[Según se informa, Amazon intentó desarrollar una IA que pudiera evaluar a los posibles candidatos](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G). El algoritmo de IA se entrenó en los currículums que había recibido la empresa, analizando los patrones en los currículums de las anteriores contrataciones exitosas y aplicando esas características a los nuevos candidatos. Lamentablemente, el algoritmo reforzó los sesgos de la contratación para puestos dominados por los hombres, como la ingeniería de software. Vio un patrón existente y se basó en él. El algoritmo aprendió por sí solo que los currículums que incluían frases como «Sociedad de Mujeres Científicas» eran menos preferidos porque contenían la palabra «mujeres». En octubre de 2018, la empresa desechó el proyecto, según Reuters. **¿Qué podemos aprender de los fracasos de la IA?** Estos ejemplos nos enseñan un riesgo clave de la IA. En primer lugar, debemos darnos cuenta de que los riesgos de la IA son riesgos empresariales. Parte del poder de la IA y el aprendizaje profundo es que el entrenamiento de la IA puede aprender indiscriminadamente todos los matices del idioma, incluso si no le damos instrucciones explícitas para que lo haga. Lamentablemente, puede captar tendencias que preferiríamos no incluir, como el sesgo de género inherente a nuestro uso del lenguaje. Esto forma parte de una preocupación mayor con la IA, que refuerza los sesgos y estereotipos que podemos tener de forma inherente, pero que ni siquiera nos damos cuenta. Es fundamental tener en cuenta que la IA no tiene un sesgo fundamental. Como hemos visto, el sesgo de estos algoritmos es el resultado de datos de entrenamiento sesgados creados por humanos. No es la tecnología fundamental la que es racista o sexista, sino los datos en los que entrenamos los algoritmos. Lamentablemente, la solución no puede consistir simplemente en recopilar datos imparciales, ya que casi todos los datos humanos están fundamentalmente sesgados de alguna manera. Las empresas deben permanecer vigilantes para mantener los sesgos fuera de sus sistemas de IA. Tienen que incorporar la formación contra los prejuicios junto con su formación en IA y aprendizaje automático, detectar el potencial de sesgo en lo que hacen y corregirlo activamente. Y junto con nuestros procesos habituales de preguntas y respuestas sobre el software, la IA necesita someterse a una capa adicional de preguntas y respuestas sociales para poder detectar los problemas antes de que lleguen al consumidor y se traduzcan en una reacción masiva. Además, los científicos de datos e ingenieros de IA que entrenan los modelos necesitan tomar cursos sobre los riesgos de la IA. Lo que es más importante, los líderes empresariales necesitan una formación especializada en IA para entender tanto las posibilidades como los riesgos. Esto no es técnico (los ejecutivos no necesitan ser profesionales prácticos), pero sí que tienen que entender la ciencia de datos y la IA lo suficiente como para gestionar los productos y servicios de IA. Los líderes empresariales tienen que entender el potencial de la IA para transformar los negocios para mejor, así como sus posibles deficiencias y peligros. Entender estos peligros es responsabilidad no solo de los líderes de las iniciativas de IA, sino de todos los ejecutivos. Un líder de RR.PP. que comprenda la dinámica de las redes sociales y la despiadada cultura de los trolls podría haber evitado los peligros de un bot de Twitter con IA autodidacta. Un ejecutivo especializado en la legislación sobre recursos humanos y discriminación laboral puede ayudar a señalar los posibles peligros de los robots de revisión de currículums. Y un gerente con experiencia operativa en varios países podría detectar lo delicado que es traducir pronombres sin género. Los riesgos de la IA pueden provenir de cualquier aspecto de la empresa y ningún gerente tiene el contexto para detectarlo todo. Más bien, en un mundo en el que la IA lo impregna todo, las empresas tienen que formar a todos sus líderes empresariales sobre el potencial y los riesgos de la IA, de modo que todas las líneas de negocio puedan detectar oportunidades y señalar sus preocupaciones. Los conocimientos institucionales para detectar los peligros de la IA ya están en su empresa, solo tiene que darles rienda suelta.