Uso de algoritmos para comprender los sesgos en su organización

Resumen.

Los algoritmos han tomado mucho calor recientemente para producir decisiones sesgadas. ¿Deberíamos estar indignados por el sesgo reflejado en la salida algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si dan pasos para dessesgar sus decisiones o perpetuar aún más sus decisiones sesgadas. Las organizaciones deben utilizar algoritmos para las lupas que son: los algoritmos pueden agregar puntos de datos individuales con el propósito de descubrir patrones que las personas tienen dificultades para detectar. Cuando los algoritmos surgen sesgos, las empresas deben aprovechar este «fracaso» como una oportunidad para aprender cuándo y cómo ocurre el sesgo. De esta manera, están mejor equipados para deprever sus prácticas actuales y mejorar su toma de decisiones en general.

Los algoritmos han tomado mucho calor recientemente para producir decisiones sesgadas. La gente está indignada por una algoritmo de reclutamiento Amazon desarrolló que pasó por alto las mujeres solicitantes de empleo. Del mismo modo, están indignados por regulación policial predictiva y sentencia predictiva que penalizan desproporcionadamente a las personas de color. Es importante destacar que la raza y el género no se incluyeron como insumos en ninguno de estos algoritmos.

¿Deberíamos estar indignados por el sesgo reflejado en la salida algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si dan pasos en dessesgar sus decisiones o perpetúan aún más su toma de decisiones sesgada.

Hasta ahora, la respuesta típica es que los medios de comunicación hagan el algoritmo de chivo expiatorio mientras que la empresa vuelve a la toma de decisiones humanas. Pero este es el enfoque equivocado para identificar y abordar el sesgo. Más bien, las organizaciones deben utilizar algoritmos estadísticos para las lupas que son: Los algoritmos pueden agregar puntos de datos individuales con el propósito de descubrir patrones que las personas tienen dificultades para detectar. Cuando los algoritmos surgen sesgos, las empresas deben aprovechar este «fracaso» como una oportunidad para aprender cuándo y cómo ocurre el sesgo. De esta manera, están mejor equipados para deprever sus prácticas actuales y mejorar su toma de decisiones en general.

El problema con los algoritmos de culpas

Llamar a algoritmos sesgados antropomorfiza ellos. Consideremos, por ejemplo, titulares como, «Por qué no es totalmente sorprendente que la IA de reclutamiento de Amazon estuviera sesgada contra las mujeres», «Amazon desata herramienta secreta de reclutamiento de IA que mostró parcialidad contra las mujeres», y «El algoritmo de contratación sexista de Amazon aún podría ser mejor que un humano.» Incluso los investigadores imparten agencia a los algoritmos cuestionando, «¿Por qué la inteligencia artificial discrimina?» y etiquetando la salida como «Sesgo de la máquina» y «Sesgo algorítmico». Esta simple elección de redacción puede parecer poco notable, pero los algoritmos antropomorfizantes cambian la culpa a la herramienta, en última instancia, aliviando a los responsables de la toma de decisiones reales de su responsabilidad. (En el aprendizaje automático, el «sesgo» tiene un significado diferente; el problema es con la aplicación más coloquial del término.)

Los verdaderos tomadores de decisiones son las personas que toman las decisiones de contratación. Dirigir erróneamente nuestra indignación significa que estos tomadores de decisiones, y sus gerentes, no son considerados responsables de resolver los problemas desenterrados por el procesamiento algorítmico. Los datos de entrada a los algoritmos de Amazon consistían en datos históricos: decisiones previas de contratación tomadas por personas; aquí es donde se originó el sesgo y donde las organizaciones deberían centrar los esfuerzos en debias. Culpar a un algoritmo para producir resultados sesgados es tan contraproducente como culpar a un espejo por reflejar un hematoma en la frente. Trashar el espejo no cura el hematoma, pero podría prolongar el tiempo que lleva solucionar el problema y detectar otros futuros.

Volver al juicio humano no resuelve el problema

Cuando las empresas desechan estos algoritmos en respuesta a la reacción, vuelven a sus procesos originales y defectuosos de toma de decisiones. Para la mayoría de las decisiones, las organizaciones han confiado históricamente en el juicio humano. Años de investigación muestran que el juicio humano es a menudo predeciblemente sesgado.

No sólo las personas inconsistente (lo que los investigadores consideran «baja confiabilidad»), pero también nos distraemos con información irrelevante (que con «baja validez predictiva»). Tome la contratación y las promociones: incluso después de controlar por sexo y edad, los investigadores descubrieron que las personas más altas ganan más dinero. Una pulgada de altura vale $789 adicionales por año de salario. Es poco probable que los gerentes tengan la intención de contratar o promocionar en función de la altura, pero esta información parece influir en sus juicios. Además, nos cansamos a medida que procesamos más información, aumentar la probabilidad que cometamos estos errores.

Si eso no fuera suficiente, el proceso del pensamiento humano también es fructíferamente opaco. Pídale a un gerente que describa cómo reclutan empleados de alto rendimiento y puede explicar que buscan «jugadores de equipo». Pero, ¿qué significa exactamente eso? Pueden decir que buscan a alguien que trabaja bien con los demás. Pero, ¿qué información buscan en un currículum vitae o durante una entrevista para señalarlo? La gente puede confiar en criterios subjetivos para tomar decisiones y ni siquiera darse cuenta hasta que tratan de explicar su proceso de pensamiento. Esto hace que sea difícil crear un proceso de decisión transparente, lo que hace casi imposible la coherencia. Es por eso que es peligroso alejarse de los algoritmos a favor del juicio humano. En última instancia entierra nuestros sesgos más profundos, haciéndolos más difíciles de detectar.

El caso de los algoritmos

La gente se cansa y se distrae. Los algoritmos no lo hacen. Por definición, las ecuaciones matemáticas llevan a cabo reglas creadas para ellos. Siguen siendo consistentes. Es por eso que incluso el algoritmo más simple, la regresión, es frecuentemente más preciso que los expertos.

Mientras que a las personas les resulta difícil explicar sus procesos de pensamiento, la mayoría de los algoritmos son transparentes, al menos para su creador. Para regresiones lineales simples, una persona necesita especificar cuánto peso, o importancia, recibe cada variable de entrada en la ecuación. La ecuación requiere variables de entrada y salida que son lo suficientemente objetivas como para cuantificarlas. Por lo tanto, los numéricos introducen transparencia en un proceso de decisión. (Ciertas formas de aprendizaje automático son excepciones. Aunque una persona decide qué conjunto de datos se utiliza, las reglas de decisión utilizadas por el algoritmo entrenado no son fácilmente explicables).

Por supuesto, hay una preocupación legítima sobre ciegamente siguiendo todos los resultados algorítmicos, independientemente de las circunstancias específicas, porque los algoritmos pueden sesgo compuesto que está presente en los datos de entrada. Un algoritmo ampliará cualquier patrón en los datos de entrada, por lo que si el sesgo está presente, el algoritmo también ampliará ese sesgo.

No es de extrañar que esta preocupación sea particularmente pertinente cuando las organizaciones prestan poca consideración a las variables de datos utilizadas como insumos. Y aún más preocupante es cuando las organizaciones no logran poner el algoritmo a través de iteraciones de pruebas. El juicio humano es necesario para evaluar la exactitud de la salida algorítmica, y los algoritmos necesitan retroalimentación para mejorar. La voluntad de una organización de invertir en algoritmos sin incluir retroalimentación como parte del proceso ha estimulado una llamada a auditoría algorítmica.

De hecho, Amazon comprobó la salida de sus algoritmos. Y, por suerte, compartieron su «fracaso». Esa producción nos dijo algo sorprendentemente específico sobre cómo el sesgo se infiltró en los procesos de contratación de la empresa. Amazon utilizó 500 modelos para identificar qué señales predijeron el éxito, definidas como si alguien fue contratado en la empresa. Al descubrir la existencia de sesgos, la compañía también descubrió pistas sobre dónde se originó. Ciertas palabras de los currículos de las personas se relacionaban con la contratación, verbos que expresaban confianza y describían cómo se llevaban a cabo las tareas, incluidos «ejecutados» y «capturados». La mayoría de los solicitantes que usaron esas palabras resultaron ser masculinos; estadísticamente, esas señales se correlacionaron con el género.

Esta comida para llevar permitió a Amazon identificar sesgos en sus decisiones anteriores de contratación. Los gerentes de contratación probablemente no eran conscientes de que este idioma en particular los influyó. O tal vez percibieron ese lenguaje como una señal de confianza de alguien. Es posible que se hayan basado más en eso que en otra información en el currículum, pensando que la confianza es un indicador de competencia más útil de lo que realmente es.

El descubrimiento de este tipo de asociación permite a una empresa mejorar sus prácticas actuales de contratación. Por ejemplo, Amazon puede redactar estas palabras irrelevantes en los currículums antes de que se revisen si saben que están asociadas con el género y no son informativas. Además, los programadores pueden explicar estadísticamente esta redacción para que un algoritmo no lo use como una señal predictiva.

Uso de algoritmos como lupa

Las organizaciones pueden usar algoritmos para ampliar intencionalmente posibles sesgos con el fin de identificarlos y abordarlos. La detección es el primer paso para solucionar el problema. Cuando los algoritmos superan sesgos, las empresas aprenden acerca de sus procesos de decisión pasados, qué impulsa sesgos y qué información irrelevante nos distrae de la información útil. Las empresas pueden aplicar esta estrategia de lupa a cualquier proceso de decisión importante que implique predicciones, desde la contratación hasta las promociones.

Aprovechar los algoritmos como lupa puede ahorrar tiempo a las organizaciones. Por ejemplo, si un departamento contrata a dos personas cada año, puede tomar un tiempo darse cuenta de que el departamento de diez consistentemente sólo incluye a una mujer. Pero cuando un algoritmo agrega decisiones poco frecuentes, encuentra patrones que no habríamos visto en años. Hacer que el sesgo sea claramente obvio da a las organizaciones la oportunidad de abordar el problema. La alternativa es que las organizaciones sigan actuando como de costumbre, dejando que el sesgo se filtre prácticamente en cada contratación o promoción.

Una lista de comprobación para aprovechar los algoritmos como lupas

Preparación para compilar el algoritmo

Equipo: ¿Qué tan diverso es el equipo que construye el algoritmo? La diversidad en el pensamiento es clave para descubrir nuestros propios puntos ciegos.

Salida: ¿Hemos aclarado y cuantificado nuestros objetivos para hacer nuestra predicción? ¿Hemos especificado lo que queremos predecir? Las estadísticas se centran en una variable dependiente a expensas de otras, y los algoritmos no entienden las compensaciones.

Entrada: ¿Cuán subjetiva es la información que usaremos para hacer nuestra predicción? Si sus variables de entrada son difíciles de cuantificar, es probable que sus objetivos no sean lo suficientemente claros. Intente especificar mejor su variable de salida (por ejemplo, desglose lo que significa ser un empleado de alto rendimiento).

Creación del Algoritmo

Objetivos de entrada: ¿Elegimos los datos correctos? Los datos enriquecidos deben incluir múltiples factores que describen cada instancia de observación (datos amplios) que usted tiene buenas razones para creer que son relevantes para la predicción. Por ejemplo, si es posible, pida a los empleados potenciales las mismas 10 preguntas en lugar de sólo 4.

Trampas de entrada que se deben evitar: Considere la fuente y la composición demográfica de los datos de entrada. ¿Es representativo de la población que nos gustaría producir para futuras decisiones? ¿Es diversa? Si no, ¿podemos eliminar variables que son proxies para la demografía? (Recuerde que la geografía puede correlacionarse con la raza y el estatus socioeconómico.)

Pruebas: ¿Ejecutamos múltiples iteraciones de fases de prueba? La retroalimentación es necesaria para desarrollar un algoritmo, así que examine la salida producida por los bucles de retroalimentación. Si la salida es sesgada, examine las relaciones agregadas por el algoritmo para entender por qué ocurre el sesgo (es decir, qué entrada específica produce la salida sesgada). Tómese tiempo para considerar si se deben realizar cambios en el algoritmo.

Interpretación de la salida del algoritmo

Comprobación de cordura: ¿Comprobamos que el algoritmo predice lo que esperamos con una nueva muestra (llamadas predicciones «fuera de muestra»)?

Auditoría: ¿Comprobamos que la salida parece imparcial? Un equipo separado debe auditar el proceso para cuestionar la idoneidad del producto y si el sentido común respalda la relación entre la variable de entrada y salida. Es importante destacar que el equipo debe considerar si hay variables no contabilizadas que podrían explicar el resultado. Finalmente, ¿hemos considerado si las posibles variables proxy están en juego?

Toma de decisiones basada en datos: ¿Qué acciones sugieren los resultados que debemos tomar? Tal vez la salida arroje luz sobre los supuestos hechos cuando se construyó el algoritmo o sugieren que se deben hacer cambios en el proceso de toma de decisiones del equipo. Por ejemplo, la salida puede llevar al equipo a considerar la posibilidad de excluir o incluir variables de entrada específicas.

Una vez que se detectan sesgos, las organizaciones pueden corregir decisiones sesgadas de tres maneras principales. El primero puede ser el más difícil. Implica crear mejores datos de entrada para el algoritmo, que comienza con el cambio de las prácticas actuales de contratación. En segundo lugar, podemos seguir utilizando los mismos datos históricos pero crear nuevas reglas para el algoritmo, como incluir una variable que especifique la diversidad. En tercer lugar, podemos examinar cómo las variables de entrada existentes pueden introducir sesgos o considerar nuevas variables de entrada más apropiadas. Para obtener una lista de comprobación detallada sobre cómo aprovechar sus algoritmos como lupa, consulte la sección «leer más» arriba.

Pregunte: «¿Cuál es la alternativa?»

Ningún algoritmo es perfecto. Pero tampoco lo son los humanos. Si lo estuviéramos, sabríamos el futuro. Cuando se enfrentan a una salida algorítmica menos que perfecta, la gente puede desear reflexivamente destruirlo.

Durante las discusiones en mi clase,» La Psicología del Big Data», los estudiantes leen acerca de un algoritmo creado para predecir qué estudiantes son más propensos a abandonar la universidad. El algoritmo fue preciso alrededor del 85% del tiempo. La discusión se centró en si confiar en resultados menos que perfectos. Los animé a considerar la alternativa al pensar en cuánto deberían confiar en el algoritmo. ¿Qué tan bien podría una persona predecir el mismo resultado? ¿Podrían incluso alcanzar un 60% de precisión? En comparación con un punto de referencia de 60% de precisión, el 85% comienza a verse mucho mejor.

Cuando se comparan directamente la precisión algorítmica y humana, el precisión predictiva de algoritmos sopla consistentemente incluso juicio experto fuera del agua. Es por eso que tenemos que considerar la alternativa a los juicios algorítmicos. De hecho, en mi investigación con colegas Julia Minson de la Universidad de Harvard y Don Moore de la Universidad de California, Berkeley, encontramos que expertos que ignoran el consejo del algoritmo hacen predicciones menos precisas en relación con los laicos que están dispuestos a seguir el consejo.

Al final, los algoritmos son herramientas. Las personas los construyen, determinan si su salida es precisa, y decide cuándo y cómo actuar sobre esa salida. Los datos pueden proporcionar información, pero las personas son responsables de las decisiones que se toman en base a ellos.

— Escrito por Jennifer M. Logg