¿Sus algoritmos están defendiendo sus estándares de equidad?
Resumen.
La necesidad de adoptar una IA justa ha convertido en suites ejecutivas y salas de juntas por igual. Con recientes escándalos de sesgo de inteligencia artificial de alto perfil, las empresas han comenzado a darse cuenta de que necesitan replantear su estrategia de IA para incluir no solo la justicia de IA, sino también la justicia algorítmica de manera más amplia como un principio fundamental. Pero muchas empresas luchan por formar una definición clara de justicia algorítmica para su organización. Sin una definición clara, las iniciativas de justicia bien intencionadas languidecen en el ámbito de las buenas intenciones y nunca llegan a un impacto significativo. Pero definir la equidad no es tan fácil como puede parecer. Y el fracaso de los líderes para entender las implicaciones de justicia de la IA o algoritmos puede tener consecuencias terribles.
A raíz de la reciente alto perfil AI sesgo escándalos, las empresas han comenzado a darse cuenta de que necesitan replantear su estrategia de IA para incluir no solo la justicia de IA, sino también la justicia algorítmica de manera más amplia como un principio fundamental. En el Pragmatic Institute, educamos a las empresas Fortune 500 sobre ciencia de datos e IA. A través de nuestro trabajo, hemos descubierto que muchas empresas luchan por formar una definición clara de justicia algorítmica para su organización. Sin una definición clara, las iniciativas de justicia bien intencionadas languidecen en el ámbito de las buenas intenciones y nunca llegan a un impacto significativo. Pero definir la equidad no es tan fácil como puede parecer. Dos ejemplos destacan lo difícil que puede ser esto.
En primer lugar, considere lo que sucedió en Amazon en 2016, cuando la compañía lanzó la entrega Prime el mismo día a 27 áreas metropolitanas. La compañía se enfrentó a muchas críticas cuando Bloomberg mostró que barrios históricamente afroamericanos como el Bronx en la ciudad de Nueva York o el lado sur de Chicago fueron excluidos de sus barrios elegibles. En Atlanta, el 96% de los residentes blancos vivían en un área de parto en el mismo día, mientras que sólo el 41% de los residentes negros lo hicieron. El ejemplo fue particularmente desconcertado, ya que trajo recuerdos dolorosos de revestimiento rojo, una práctica en la década de 1930 en la que los barrios predominantemente poblados por minorías estaban marcados como «peligrosos» en tinta roja en mapas dibujados por la Corporación Federal de Préstamos para Propietarios de Vivienda, práctica discriminatoria que fue prohibida hace más de 50 años. En el caso de Amazon, se necesitó presión de congresistas y funcionarios municipales para que Amazon comenzara a incluir muchos de los barrios anteriormente excluidos en sus áreas de entrega Prime el mismo día.
El minorista en línea con sede en Seattle dijo a Bloomberg que una de las consideraciones clave que utilizó en el algoritmo para tomar esta decisión era la concentración de miembros Prime. Utilizar la concentración de miembros Prime como su KPI ciertamente es rentable desde una perspectiva logística y, teniendo en cuenta su valor nominal, incluso puede parecer imparcial y justo. Pero dados los patrones históricos de desigualdad racial, las métricas centradas en la rentabilidad pueden mostrar un fuerte sesgo contra las minorías. De hecho, la Ley de derechos civiles de 1964 prohíbe a los beneficiarios de fondos federales utilizar» neutrales facialmente» que tienen un impacto negativo injustificado en los miembros de una clase protegida. Incluso si la ley no es directamente aplicable a muchas empresas que no reciben fondos federales, sigue siendo una buena guía para las expectativas de la sociedad.
Las empresas que buscan evitar el escándalo no solo deben evitar un trato dispar (tratando explícitamente a las clases protegidas de manera adversa), sino que también deben tener en cuenta el impacto dispar de sus acciones.
El segundo ejemplo también viene de 2016, cuando ProPublica publicado un artículo sobre el sesgo de la máquina, en el que se alega que un algoritmo utilizado por los tribunales para ayudar en las decisiones sobre la libertad bajo fianza era parcial contra los acusados negros. El algoritmo produciría un «puntaje de riesgo» para los acusados individuales que estimaron su probabilidad de reincidencia. El medio de noticias sin fines de lucro encontró que entre los acusados que hicieron no finalmente reofender, sólo el 24% de los acusados blancos habían sido erróneamente etiquetados como de alto riesgo por el algoritmo, frente al 45% para los acusados negros. Los acusados que en última instancia no volvieron a ofender tenían más probabilidades de que se les negara la libertad bajo fianza en espera del juicio y eran más propensos a recibir una sentencia más larga debido a su calificación de alto riesgo del algoritmo.
Sin embargo, un grupo de investigadores independientes de Stanford y Berkeley llegó a una conclusión diferente examinando los mismos datos, mirando una métrica diferente. Encontraron que los acusados a los que el algoritmo juzgó tener puntuaciones de riesgo similares tenían casi la misma probabilidad de reincidencia, independientemente de su raza. Esto puede parecer invalidar el análisis realizado por Pro-Publica, pero estos dos resultados son simultáneamente verdaderos incluso mientras sus interpretaciones son muy diferentes. La medición de los datos por la reincidencia final del acusado (como hizo ProPublica) frente a las puntuaciones de riesgo del acusado (como lo hicieron los investigadores) puede conducir a interpretaciones muy diferentes sobre la imparcialidad del algoritmo de decisión de la fianza. De hecho, investigadores de la Universidad de Chicago y la Universidad de Cornell demostró que las medidas utilizadas por ProPublic y los investigadores de Stanford-Berkeley están garantizadas para estar en desacuerdo. Más concretamente, dado el carácter imperfecto de pronosticar la reincidencia y la historia de desigualdad estructural que condujo a mayores tasas de encarcelamiento entre los afroamericanos, es matemáticamente imposible para satisfacer la imparcialidad de estas dos medidas.
En otras palabras, la definición de equidad se reduce a la medida que elegimos usar.
Estos dos estudios de caso ilustran que los líderes corporativos necesitan educarse sobre la medición de la equidad para poder decidir de manera inteligente cómo definirla para sus organizaciones. También significa incorporar la medida elegida como un indicador clave de rendimiento, o KPI, que se utilizará junto con las métricas empresariales tradicionales como ingresos o rentabilidad. Las empresas todavía están lidiando con exactamente esas definiciones y sus implicaciones, y estas son conversaciones importantes para comenzar ahora. La IA y los algoritmos juegan un papel central en la economía del siglo XXI, y el fracaso de los líderes para comprender las implicaciones de la IA o algoritmos de justicia puede tener consecuencias terribles. En última instancia, depende de ellos determinar qué significa justo para su organización. Las empresas tienen que empezar a pensar en los espinosos temas de la justicia algorítmica hoy, si esperan navegar por nuestro complejo mañana impulsado por la IA.
— Escrito por Michael Li
