¿Sus algoritmos mantienen sus estándares de imparcialidad?

La necesidad de adoptar una IA justa ha llegado tanto a las suites ejecutivas como a las salas de juntas. Con los recientes escándalos de sesgo de la IA de alto perfil, las empresas han empezado a darse cuenta de que tienen que replantearse su estrategia de IA para incluir no solo la imparcialidad de la IA, sino también la equidad algorítmica en general como principio fundamental. Sin embargo, muchas empresas se esfuerzan por elaborar una definición clara de equidad algorítmica para su organización. Sin una definición clara, las iniciativas de equidad bien intencionadas languidecen en el ámbito de las buenas intenciones y nunca tienen un impacto significativo. Pero definir la equidad no es tan fácil como parece. Y el hecho de que los líderes no entiendan las implicaciones de la IA o los algoritmos para la equidad puede tener consecuencias nefastas.

••• Tras los recientes[de alto perfil](https://techcrunch.com/2016/11/11/facebook-suddenly-thinks-a-bunch-of-people-are-dead-dont-panic/) [AI](https://qz.com/1141122/google-translates-gender-bias-pairs-he-with-hardworking-and-she-with-lazy-and-other-examples/) [sesgo](https://www.theverge.com/2016/3/23/11290200/tay-ai-chatbot-released-microsoft) [escándalos](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G), las empresas han empezado a darse cuenta de que tienen que replantearse su estrategia de IA para incluir no solo la imparcialidad de la IA, sino también la equidad algorítmica en general como principio fundamental. En el Instituto Pragmático, formamos a las 500 empresas de la lista Fortune sobre la ciencia de datos y la IA. A través de nuestro trabajo, hemos descubierto que muchas empresas se esfuerzan por elaborar una definición clara de equidad algorítmica para su organización. Sin una definición clara, las iniciativas de equidad bien intencionadas languidecen en el ámbito de las buenas intenciones y nunca tienen un impacto significativo. Pero definir la equidad no es tan fácil como parece. Dos ejemplos ponen de relieve lo difícil que puede ser esto. En primer lugar, piense en lo que ocurrió en Amazon en 2016, cuando la empresa lanzó la entrega Prime el mismo día en 27 áreas metropolitanas. La empresa se enfrentó a muchas críticas cuando[Bloomberg mostró](https://www.bloomberg.com/graphics/2016-amazon-same-day/) que, históricamente, barrios afroamericanos como el Bronx en la ciudad de Nueva York o el sur de Chicago estaban excluidos de sus barrios elegibles. En Atlanta, el 96% de los residentes blancos vivían en una zona de reparto el mismo día, mientras que solo el 41% de los residentes negros sí. El ejemplo fue particularmente discordante cuando salió a colación[dolorosos recuerdos de líneas rojas](https://www.washingtonpost.com/news/wonk/wp/2018/03/28/redlining-was-banned-50-years-ago-its-still-hurting-minorities-today/), una práctica de la década de 1930 en la que los barrios predominantemente poblados por minorías aparecían marcados con tinta roja como «peligrosos» en los mapas dibujados por la Corporación Federal de Préstamos para Propietarios de Viviendas, una práctica discriminatoria que se prohibió hace más de 50 años. En el caso de Amazon, fue necesaria la presión de congresistas y funcionarios municipales para que Amazon empezara a incluir muchos de los barrios que antes estaban excluidos en sus áreas de entrega de Prime el mismo día. La tienda online con sede en Seattle dijo a Bloomberg que una de las principales consideraciones que utilizó en el algoritmo para tomar esta decisión fue la concentración de miembros de Prime. Utilizar la concentración de miembros de Prime como KPI es, sin duda, rentable desde el punto de vista logístico y, tomado al pie de la letra, incluso puede parecer imparcial y justo. Sin embargo, dados los patrones históricos de desigualdad racial, las métricas centradas en la rentabilidad pueden mostrar un marcado sesgo en contra de las minorías. De hecho, la Ley de Derechos Civiles de 1964 prohíbe a los receptores de fondos federales utilizar»[facialmente neutro](https://www.justice.gov/crt/fcs/T6Manual7)» prácticas que tienen un impacto negativo injustificado en los miembros de una clase protegida. Aunque la ley no se aplique directamente a muchas empresas que no reciben fondos federales, sigue siendo una buena guía de las expectativas de la sociedad. Las empresas que buscan evitar el escándalo no solo deben evitar un trato dispar (tratar explícitamente a las clases protegidas de manera adversa), sino que también deben prestar atención al impacto dispar de sus acciones. El segundo ejemplo también viene de 2016, cuando[Publicación de ProPublica](https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing) un artículo sobre el sesgo de las máquinas, en el que se alega que un algoritmo utilizado por los tribunales para ayudar en las decisiones de libertad bajo fianza estaba sesgado contra los acusados negros. El algoritmo generaría una «puntuación de riesgo» para los acusados individuales que estimara sus probabilidades de reincidir. El medio de comunicación sin fines de lucro encontró que entre los acusados que _no_ finalmente reincidió, el algoritmo solo calificó erróneamente al 24% de los acusados blancos como de alto riesgo, frente al 45% de los acusados negros. Los acusados que finalmente no reincidieron tenían más probabilidades de que se les negara la libertad bajo fianza en espera del juicio y de que se les impusiera una sentencia más larga debido a su calificación de alto riesgo según el algoritmo. Sin embargo, un grupo de[investigadores independientes de Stanford y Berkeley](https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/) llegó a una conclusión diferente al examinar los mismos datos, al observar una métrica diferente. Descubrieron que los acusados que, según el algoritmo, tenían puntuaciones de riesgo similares tenían aproximadamente las mismas probabilidades de reincidir, independientemente de su raza. Puede parecer que esto invalida el análisis realizado por Pro-Publica, pero estos dos resultados son ciertos a la vez, a pesar de que sus interpretaciones son totalmente diferentes. Medir los datos según la reincidencia final del acusado (como hizo ProPublica) y según las puntuaciones de riesgo del acusado (como hicieron los investigadores) puede llevar a interpretaciones muy diferentes sobre la imparcialidad del algoritmo de decisión de libertad bajo fianza. De hecho,[investigadores de la Universidad de Chicago y la Universidad de Cornell](https://arxiv.org/abs/1609.05807) mostró que se garantiza que las medidas utilizadas por ProPublic y los investigadores de Stanford-Berkeley están reñidas. Más específicamente, dada la naturaleza imperfecta de pronosticar la reincidencia y el historial de desigualdad estructural que llevó al aumento de las tasas de encarcelamiento entre los afroamericanos, es[matemáticamente imposible](https://arxiv.org/abs/1609.05807) para garantizar la imparcialidad de estas dos medidas. En otras palabras, la definición de equidad se reduce a la medida que elijamos utilizar. Estos dos estudios de casos ilustran que los líderes corporativos tienen que educarse sobre la medición de la equidad para poder decidir de forma inteligente cómo definirla para sus organizaciones. También significa incorporar la medida elegida como indicador clave de rendimiento, o KPI, para utilizarla junto con las métricas empresariales tradicionales, como los ingresos o la rentabilidad. Las empresas siguen lidiando exactamente con esas definiciones y sus implicaciones, y estas son conversaciones importantes que deben empezar ahora. La IA y los algoritmos desempeñan un papel central en la economía del siglo XXI, y el hecho de que los líderes no entiendan las implicaciones de la IA o los algoritmos para la equidad puede tener consecuencias nefastas. En última instancia, son ellos los que deben determinar qué significa justo para su organización. Las empresas tienen que empezar a pensar en los espinosos temas de la equidad algorítmica hoy si quieren sortear nuestra compleja IA del mañana.