¿Quiere decisiones menos sesgadas? Utilice algoritmos.

¿Es bueno el auge de la toma de decisiones algorítmica? Parece que hay un grupo creciente de autores, académicos y periodistas que responderían negativamente. En el centro de este trabajo está la preocupación de que los algoritmos suelen ser herramientas opacas, sesgadas e irresponsables que se utilizan en aras del poder institucional. Estas críticas e investigaciones suelen ser perspicaces e iluminadoras, y han hecho un buen trabajo al disiparnos de la idea de que los algoritmos son puramente objetivos. Pero hay un patrón entre estos críticos, y es que rara vez se preguntan qué tan bien funcionarían los sistemas que analizan sin algoritmos. Y esa es la pregunta más relevante para los profesionales y los responsables políticos: ¿Cómo se comparan el sesgo y el rendimiento de los algoritmos con los de los seres humanos? No es ningún secreto que los algoritmos están sesgados. Pero los humanos a los que sustituyen son significativamente  más sesgado. Después de todo, ¿de dónde vienen los sesgos institucionales si no de los humanos que tradicionalmente han estado al mando?

••• Se está produciendo una revolución silenciosa. A diferencia de gran parte de[cobertura de prensa sobre inteligencia artificial](https://www.independent.co.uk/life-style/gadgets-and-tech/news/google-child-ai-bot-nasnet-automl-machine-learning-artificial-intelligence-a8093201.html), esta revolución no tiene que ver con el ascenso de un ejército de androides inteligentes. Más bien, se caracteriza por un aumento constante de la automatización de los procesos de toma de decisiones tradicionalmente basados en las personas en las organizaciones de todo el país. Mientras que los avances como [AlphaGo Zero](https://www.nature.com/articles/nature24270) hacen titulares pegadizos, son las técnicas estadísticas y de aprendizaje automático bastante convencionales (mínimos cuadrados ordinarios, regresión logística, árboles de decisiones) las que añaden un valor real a los resultados de muchas organizaciones. Las aplicaciones en el mundo real van desde los diagnósticos médicos y las sentencias judiciales hasta la contratación de profesionales y la asignación de recursos en las agencias públicas. ¿Es buena esta revolución? Parece que hay un grupo creciente de autores, académicos y periodistas que responderían negativamente. Los títulos de libros de este género incluyen _[Armas de destrucción matemática](https://www.amazon.com/Weapons-Math-Destruction-Increases-Inequality/dp/0553418815)_, _[Automatizar la desigualdad](https://www.amazon.com/Automating-Inequality-High-Tech-Profile-Police/dp/1250074312)_, y _[La sociedad de la caja negra](https://www.amazon.com/Black-Box-Society-Algorithms-Information/dp/0674970845)_. También ha habido una oleada de artículos largos al estilo de una exposición, como»[Sesgo de la máquina](https://medium.com/r/?url=https%3A%2F%2Fwww.propublica.org%2Farticle%2Fmachine-bias-risk-assessments-in-criminal-sentencing),” “[La austeridad es un algoritmo](https://logicmag.io/03-austerity-is-an-algorithm/)» y»[¿Los algoritmos están creando la nueva infraestructura del racismo?](http://nautil.us/issue/55/trust/are-algorithms-building-the-new-infrastructure-of-racism)» En el centro de este trabajo está la preocupación de que los algoritmos suelen ser herramientas opacas, sesgadas e irresponsables que se utilizan en aras del poder institucional. Entonces, ¿qué tan preocupado debería preocuparnos por el auge moderno de los algoritmos? Estas críticas e investigaciones suelen ser perspicaces e iluminadoras, y han hecho un buen trabajo al disiparnos de la idea de que los algoritmos son puramente objetivos. Pero hay un patrón entre estos críticos, y es que rara vez se preguntan qué tan bien funcionarían los sistemas que analizan _sin algoritmos_. Y esa es la pregunta más relevante para los profesionales y los responsables políticos: ¿Cómo se comparan el sesgo y el rendimiento de los algoritmos con el status quo? En lugar de simplemente preguntarnos si los algoritmos son defectuosos, deberíamos preguntarnos cómo se comparan estos defectos con los de los seres humanos. ### **¿Qué dice la investigación?** Hay una gran cantidad de investigaciones sobre la toma de decisiones algorítmicas que se remontan a varias décadas. Y todos los estudios existentes sobre este tema tienen una conclusión notablemente similar: los algoritmos están menos sesgados y son más precisos que los humanos a los que sustituyen. A continuación se muestra un ejemplo de la investigación sobre lo que ocurre cuando a los algoritmos se les da el control de las tareas que tradicionalmente realizaban los humanos (el énfasis es mío): - En 2002[un equipo de economistas](https://www.tandfonline.com/doi/abs/10.1080/10511482.2002.9521447) estudió el impacto de los algoritmos de suscripción automatizados en el sector de los préstamos hipotecarios. Sus principales conclusiones fueron «que los sistemas [de suscripción automática] predicen el impago con más precisión que los aseguradores manuales» y **«que este aumento de la precisión se traduce en tasas de aprobación de los prestatarios más altas, especialmente para los solicitantes desatendidos».** En lugar de marginar a los compradores de vivienda tradicionalmente desatendidos, el sistema algorítmico fue el que más benefició a este segmento de consumidores. - Bo Cowgill llegó a una conclusión similar en la Escuela de Negocios de Columbia cuando estudiaba el rendimiento de un algoritmo de selección de puestos de trabajo en una empresa de software ([próxima investigación](http://www.columbia.edu/~bc2656/workingpapers.html)). Cuando la empresa lanzó el algoritmo para decidir qué candidatos debían ser entrevistados, **el algoritmo en realidad prefería a los candidatos «no tradicionales»** mucho más que los evaluadores humanos. En comparación con los humanos, el algoritmo mostró un sesgo significativamente menor contra los candidatos que estaban infrarrepresentados en la empresa (por ejemplo, los que no tenían referencias personales ni títulos de universidades prestigiosas). - En el contexto de las audiencias de libertad bajo fianza previas al juicio en la ciudad de Nueva York,[un equipo de destacados científicos de la computación y economistas](http://www.nber.org/papers/w23180) determinó que los algoritmos tienen el potencial de lograr decisiones significativamente más equitativas que los jueces que actualmente toman decisiones sobre la libertad bajo fianza, con «reducciones de la tasa de encarcelamiento [de] hasta un 41,9% sin aumento de las tasas de criminalidad». También descubrieron que en su modelo «todas las categorías de delitos, incluidos los delitos violentos, muestran reducciones [en las tasas de encarcelamiento]; y **estos avances se pueden lograr y, al mismo tiempo, reducir las disparidades raciales».** - [La revista New York Times informó recientemente](https://www.nytimes.com/2018/01/02/magazine/can-an-algorithm-tell-when-kids-are-in-danger.html) una historia larga para responder a la pregunta: «¿Puede un algoritmo saber cuándo los niños están en peligro?» Resulta que la respuesta es «sí» y que los algoritmos pueden realizar esta tarea con mucha más precisión que los humanos. En lugar de exacerbar los perniciosos prejuicios raciales asociados con algunos servicios gubernamentales, «la experiencia de Allegheny sugiere que **su herramienta de detección es menos mala para sopesar los sesgos que los evaluadores humanos».** - Por último, al analizar los datos históricos de las empresas que cotizan en bolsa,[un equipo de profesores de finanzas](/2018/04/research-could-machine-learning-help-companies-select-better-board-directors) se propuso crear un algoritmo para elegir a los mejores miembros del consejo de administración de una empresa determinada. Los investigadores no solo descubrieron que las empresas obtendrían mejores resultados con miembros del consejo de administración seleccionados algorítmicamente, sino que **en comparación con el algoritmo propuesto, «descubrieron que las empresas [sin algoritmos] tienden a elegir directores que tienen muchas más probabilidades de ser hombres**, tienen una gran red, tienen mucha experiencia en juntas directivas, actualmente forman parte de más juntas y tienen experiencia en finanzas». En cada uno de estos estudios de casos, los científicos de datos hicieron lo que parece alarmante: entrenaron sus algoritmos en datos del pasado que, sin duda, están sesgados por prejuicios históricos. Entonces, ¿qué pasa aquí? ¿Cómo es que en tantos ámbitos diferentes (solicitudes de crédito, selección de empleo, justicia penal, asignación de recursos públicos y gobierno corporativo) los algoritmos pueden reducir los sesgos, cuando muchos comentaristas nos han dicho que los algoritmos deberían hacer lo contrario? ### **Los seres humanos toman decisiones notablemente malas** Un secreto no tan oculto detrás de los algoritmos mencionados anteriormente es que en realidad _son_ sesgado. Pero los humanos a los que sustituyen son _significativamente_ _más sesgado_. Después de todo, ¿de dónde vienen los sesgos institucionales si no de los humanos que tradicionalmente han estado al mando? Pero los humanos no pueden ser tan malos, ¿verdad? Sí, puede que estemos sesgados, pero seguro que hay alguna medida del desempeño en la que tomamos buenas decisiones. Desafortunadamente, décadas de investigación psicológica sobre el juicio y la toma de decisiones han demostrado[hora](https://www.theatlantic.com/health/archive/2018/03/you-dont-know-yourself-as-well-as-you-think-you-do/554612/) y[hora](https://qz.com/1231534/the-person-whos-best-at-lying-to-you-is-you/) [otra vez](/2018/03/research-learning-a-little-about-something-makes-us-overconfident) que los humanos juzgan muy mal la calidad en una amplia gama de contextos. Gracias a[la obra pionera de Paul Meehl](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.693.6031&rep=rep1&type=pdf) (y [trabajo de seguimiento de Robyn Dawes](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.188.5825&rep=rep1&type=pdf)), sabemos al menos desde la década de 1950 que los modelos matemáticos muy simples superan a los supuestos expertos a la hora de predecir resultados importantes en entornos clínicos. En todos los ejemplos mencionados anteriormente, los humanos que solían tomar decisiones eran tan notablemente malos que sustituirlos por algoritmos aumentaba la precisión _y_ reducción de los sesgos institucionales. Esto es lo que los economistas llaman un _Mejora de Pareto_ , en el que una política supera a la alternativa en todos los resultados que nos importan. Si bien a muchos críticos les gusta dar a entender que las organizaciones modernas buscan la eficiencia operativa y una mayor productividad a expensas de la equidad y la equidad, todas las pruebas disponibles en estos contextos sugieren que no existe tal compensación: los algoritmos ofrecen más eficiencia _y_ resultados más equitativos. Si algo lo alarma, debería ser el hecho de que tantas decisiones importantes las toman seres humanos que _lo sabemos_ son inconsistentes, sesgados y fenomenalmente malos tomadores de decisiones. ### **Mejorar el status quo** Por supuesto, deberíamos hacer todo lo posible para erradicar el sesgo institucional y su perniciosa influencia en los algoritmos de toma de decisiones. Las críticas a la toma de decisiones algorítmicas han dado lugar a una nueva y rica ola de investigaciones sobre el aprendizaje automático que se toman más en serio las consecuencias sociales y políticas de los algoritmos. Están surgiendo técnicas novedosas en la estadística y el aprendizaje automático que están diseñadas específicamente para abordar las preocupaciones en torno a la discriminación algorítmica. Hay incluso[una conferencia académica](https://www.fatml.org/) cada año, en el que los investigadores no solo discuten los desafíos éticos y sociales del aprendizaje automático, sino que también presentan nuevos modelos y métodos para garantizar que los algoritmos tengan un impacto positivo en la sociedad. Es probable que este trabajo adquiera aún más importancia a medida que los algoritmos menos transparentes, como el aprendizaje profundo, se hagan más comunes. Pero incluso si la tecnología no puede resolver por completo los males sociales del sesgo institucional y la discriminación perjudicial, las pruebas revisadas aquí sugieren que, en la práctica, puede desempeñar un papel pequeño pero mensurable en la mejora del status quo. No se trata de un argumento a favor del absolutismo algorítmico ni de una fe ciega en el poder de las estadísticas. Si descubrimos en algunos casos que los algoritmos tienen un grado de sesgo inaceptablemente alto en comparación con los procesos de toma de decisiones actuales, seguir las pruebas y mantener el paradigma actual no hace daño. Sin embargo, el compromiso de seguir las pruebas va en ambos sentidos, y deberíamos estar dispuestos a aceptar que, en algunos casos, los algoritmos formarán parte de la solución para reducir los sesgos institucionales. Así que la próxima vez que lea un titular sobre los peligros del sesgo algorítmico, recuerde mirarse al espejo y recordar que los peligros del sesgo humano probablemente sean aún peores.