La equidad de la IA no es solo una cuestión ética

Andriy Onufriyenko/Getty Images

La autoridad que administra los exámenes de ingreso a la universidad de nivel A en el Reino Unido, Ofqual, se encontró recientemente sumido en un escándalo. Incapaz de realizar exámenes en directo debido a la COVID-19, diseñó y empleó un algoritmo que basaba las puntuaciones en parte en la actuación histórica de las escuelas a las que asistían los estudiantes. La protesta fue inmediata, ya que los estudiantes que ya estaban en desventaja se vieron penalizados aún más con puntuaciones desinfladas artificialmente, sus esfuerzos ignorados y su futuro sumido en el caos.

Esto está lejos de ser un incidente aislado. Incluso las empresas de tecnología más sofisticadas del mundo se han enfrentado a problemas similares. En 2018, el algoritmo de contratación de Amazon era marcado para penalizar las solicitudes que contenían la palabra «mujer». Más recientemente, el algoritmo de tarjetas de crédito de Apple estaba tan sesgado contra las mujeres que a la esposa del fundador Steve Wozniak se le dio un límite de crédito 10 veces más bajo que el suyo, a pesar de que comparten todos los activos y cuentas.

Centro de información

• La IA y la igualdad

  Patrocinado por SAS

  Diseñar sistemas que sean justos para todos.

Está claro que esto es injusto. Igual de importante es que estos sesgos socavan la eficiencia y la productividad. Si vemos un valor en poner a los mejores estudiantes en las mejores escuelas, el sesgo inherente al algoritmo de Ofqual socava ese propósito. Del mismo modo, un algoritmo de contratación sesgado socava la capacidad de la empresa para atraer a los mejores talentos y un algoritmo de calificación crediticia sesgado socava la capacidad de tomar decisiones crediticias inteligentes.

Así como los costes del sesgo son sustanciales, los beneficios de eliminar los prejuicios pueden ser igual de importantes. De hecho, un estudio de econometría en la Universidad de Stanford encontrado que al menos «el 25% del crecimiento del PIB estadounidense entre 1960 y 2010 puede atribuirse a un mayor equilibrio racial y de género en el lugar de trabajo», y que la cifra podría llegar al 40%.

Fuentes de sesgo

Para aprovechar al máximo las rentables oportunidades de la IA, primero tenemos que entender de dónde vienen los sesgos. A menudo se supone que la tecnología es neutra, pero la realidad dista mucho de serlo. Los algoritmos de aprendizaje automático los crean personas que todos tienen sesgos. Nunca son del todo «objetivos», sino que reflejan la visión del mundo de quienes los crean y los datos que reciben.  

Los juicios humanos sesgados pueden afectar a los sistemas de IA de dos maneras diferentes. La primera es el sesgo en los datos de los que aprenden los sistemas. Puede verlo usted mismo: haga una búsqueda de imágenes en Google para «corte de pelo profesional» y otra para «corte de pelo poco profesional». «Corte de pelo profesional» arroja resultados que son exclusivamente para hombres blancos, mientras que «corte de pelo poco profesional» tiene mucha más diversidad racial y de género.(Este número era salió a la superficie originalmente de usuarios de Twitter en 2016.)

  ¿Es realmente cierto que solo los hombres blancos se cortan el pelo de forma profesional? Por supuesto que no. Los resultados de Google se basan en artículos escritos sobre cortes de pelo profesionales. Reflejan las decisiones editoriales humanas de incluir y priorizar a los hombres blancos. Así que una búsqueda supuestamente «neutral» proporciona un resultado decididamente poco neutral. El sesgo basado en normas históricas es bastante común.  

Una segunda fuente de sesgo se produce en la forma en que se diseñan los algoritmos. Los algoritmos de aprendizaje automático generalmente se basan en la correlación, más que en las relaciones causales. Por ejemplo, es relativamente fácil diseñar un algoritmo que encuentre una relación entre las lecturas de temperatura y el consumo de helado, y muestre que a medida que aumentan las lecturas del termómetro, la gente come más helado. 

Por supuesto, las lecturas de altas temperaturas en sí mismas no causa aumento de la venta de helados. Poner un termómetro junto a una estufa no provocará una repentina prisa por algo frío. Los humanos lo entienden. Los algoritmos a menudo no lo hacen. El problema es que hay un factor intermedio, llamado factor de confusión, que afecta tanto a las lecturas de los termómetros como a las ventas de helados, es decir, cuando hace calor, y los algoritmos no suelen diseñarse para tener en cuenta.

El helado es un ejemplo bastante trivial. Pero, ¿y si se utilizaran las correlaciones entre el código postal de un delincuente penal y las tasas de reincidencia, con la pobreza como factor de confusión, para determinar las penas de prisión? ¿Condenaríamos a personas a penas de prisión más largas simplemente por ser pobres? Lamentablemente, hay pruebas considerables de que esta injusticia está ocurriendo ahora mismo, y no solo con las tasas de reincidencia.

Investigadores, liderados por un pionero de la inteligencia artificial Perla de Judea, están trabajando para mitigar este tipo de sesgo mediante desarrollando técnicas de IA causal, pero al menos por ahora, nuestros sistemas están plagados de sesgos algorítmicos.

Mitigar el sesgo sistémico de la IA

A menos que haya una intervención concertada, los algoritmos seguirán reflejando y reforzando los prejuicios que frenan a la sociedad y a las empresas. Por ejemplo, los desarrolladores ya no deberían poder simplemente insertar código fuente abierto en los sistemas sin saber lo que contiene, y las empresas de software ya no deberían poder utilizar el concepto de «algoritmos propietarios» para ofuscar el escrutinio de un diseño de código de mala calidad.

Podemos evitar parte de los daños utilizando diseño ético de IA principios. También tenemos que asegurarnos de que nuestros algoritmos son explicable, auditable y transparente. Del mismo modo que no aceptaríamos que los humanos tomaran decisiones importantes que afecten a otros sin ningún tipo de supervisión o responsabilidad, no debemos aceptar que los algoritmos lo hagan.

En este caso, el caso Ofqual es instructivo. Como la agencia fue transparente en cuanto a la forma en que se creó el algoritmo, la fuente del sesgo se reveló rápidamente, se han tomado medidas correctivas de manera oportuna, y es probable que gran parte de los daños se hayan mitigado. Como La ley de Linus afirma: «Con suficientes ojos, todos los bichos son poco profundos».

Todos los sistemas de IA tienen que rendir cuentas. No podemos perder de vista el hecho de que los sistemas de IA son herramientas. Tienen que diseñarse para beneficiar a los humanos, no para perjudicarlos.

Desbloquear el valor mitigando los sesgos

Un ejemplo del enorme efecto que puede tener el sesgo sistémico es el mercado crediticio. En los EE. UU., particularmente, hay un fea historia de la línea roja eso discriminó a las minorías raciales y, en gran medida, excluyó efectivamente a los grupos desfavorecidos del sistema financiero.

Sin embargo, los bancos no ganan dinero rechazando préstamos rentables, sino que ganan dinero concediendo préstamos a buenos riesgos crediticios. Fue este simple principio el que llevó a la agencia de crédito Experian a desarrollar su Programa Boost, que permite a los denominados clientes de «archivo reducido» con un historial crediticio limitado aumentar sus puntuaciones con información sobre su historial de pago de cosas como facturas de cable y teléfono móvil.

Desde que el programa se lanzó en enero de 2019, han participado más de 4 millones de personas. El 61 por ciento de las personas con un crédito «deficiente» —más de 150 000 personas— han podido subir a una calificación de «justa», lo que les da mucho más acceso a comprar un coche, alquilar o comprar una casa o solicitar un préstamo empresarial. Los prestamistas también pueden conceder mucho más crédito a clientes rentables.

La empresa espera aprovechar ese éxito con un modelo que mitigue los sesgos algorítmicos y de datos que afectan a la evaluación de los riesgos crediticios. «Creemos que al ofrecer una evaluación justa y equitativa a los consumidores, también ayudamos a los prestamistas a tomar decisiones más informadas y rentables», afirma Eric Haller, director de Experian Datalabs. «Todos ganan».

Las oportunidades de minimizar los sesgos van mucho más allá del sector crediticio. Tenemos que empezar a ver la eliminación del sesgo de la IA menos como algo «bueno de hacer» y más como un imperativo económico y competitivo. Los líderes empresariales tomen nota: Al hacer que nuestros sistemas de IA sean más justos, también podemos hacer que nuestras organizaciones sean más rentables y productivas.