Por qué necesitamos auditar los algoritmos

La toma de decisiones algorítmica y la inteligencia artificial («IA») tienen un enorme potencial y es probable que se conviertan en éxitos de taquilla económicos, pero nos preocupa que el bombo publicitario haya llevado a muchas personas a pasar por alto los graves problemas de la introducción de algoritmos en las empresas y la sociedad. Ya está muy claro que, si no se controlan, los algoritmos de IA integrados en las tecnologías digitales y sociales codificarán los sesgos sociales, acelerarán la propagación de rumores y desinformación, amplificarán las cámaras de eco de la opinión pública, captarán nuestra atención e incluso perjudicarán nuestro bienestar mental. Garantizar que los valores de la sociedad se reflejen en los algoritmos y las tecnologías de IA probablemente no requiera menos creatividad, esfuerzo e innovación que desarrollar las propias tecnologías de IA. Tenemos una propuesta de un buen punto de partida: la auditoría. Hace tiempo que las empresas tienen que emitir estados financieros auditados en beneficio de los mercados financieros y otras partes interesadas. Esto se debe a que, al igual que los algoritmos, las operaciones internas de las empresas aparecen como «cajas negras» para las del exterior. Esto da a los directivos una ventaja informativa sobre el público inversor, de la que podrían abusar actores poco éticos. Exigir a los gerentes que informen periódicamente sobre sus operaciones supone un freno a esa ventaja. Para reforzar la fiabilidad de estos informes, se contratan auditores independientes para garantizar razonablemente que los informes que vienen de la «caja negra» no contienen inexactitudes materiales. Deberíamos someter a los algoritmos de «caja negra» que impactan en la sociedad a un escrutinio comparable.

••• La toma de decisiones algorítmica y la inteligencia artificial (IA) tienen un enorme potencial y es probable que se conviertan en éxitos de taquilla económicos, pero nos preocupa que el bombo publicitario haya llevado a muchas personas a pasar por alto los graves problemas de la introducción de algoritmos en los negocios y la sociedad. De hecho, vemos a muchos sucumbir a lo que Kate Crawford, de Microsoft, llama»[fundamentalismo de datos](https://securityledger.com/2013/10/at-mit-conference-warnings-of-big-data-fundamentalism/)» — la idea de que los conjuntos de datos masivos son repositorios que muestran verdades fiables y objetivas, si tan solo pudiéramos extraerlas con herramientas de aprendizaje automático. Se necesita una visión más matizada. Ya está muy claro que, si no se controlan, los algoritmos de IA integrados en las tecnologías digitales y sociales pueden codificar [sesgos sociales](http://www.sciencemag.org/news/2017/04/even-artificial-intelligence-can-acquire-biases-against-race-and-gender), [acelerar la propagación](https://www.economist.com/news/science-and-technology/21724370-generating-convincing-audio-and-video-fake-events-fake-news-you-aint-seen) de rumores y desinformación, amplificar las cámaras de eco de la opinión pública,[secuestrar nuestra atención](https://www.theguardian.com/technology/2017/oct/05/smartphone-addiction-silicon-valley-dystopia), e incluso [perjudicar nuestro bienestar mental](/2017/04/a-new-more-rigorous-study-confirms-the-more-you-use-facebook-the-worse-you-feel). Garantizar que los valores de la sociedad se reflejen en los algoritmos y las tecnologías de IA no requerirá menos creatividad, esfuerzo e innovación que desarrollar las propias tecnologías de IA. Tenemos una propuesta de un buen punto de partida: la auditoría. Hace tiempo que las empresas tienen que emitir estados financieros auditados en beneficio de los mercados financieros y otras partes interesadas. Esto se debe a que, al igual que los algoritmos, las operaciones internas de las empresas aparecen como «cajas negras» para las del exterior. Esto da a los directivos una ventaja informativa sobre el público inversor, de la que podrían abusar actores poco éticos. Exigir a los gerentes que informen periódicamente sobre sus operaciones supone un freno a esa ventaja. Para reforzar la fiabilidad de estos informes, se contratan auditores independientes para garantizar razonablemente que los informes que vienen de la «caja negra» no contienen inexactitudes materiales. ¿No deberíamos someter a los algoritmos de «caja negra» que impactan en la sociedad a un escrutinio comparable? De hecho, algunos reguladores con visión de futuro están empezando a explorar esta posibilidad. Por ejemplo, el Reglamento General de Protección de Datos (RGPD) de la UE exige que las organizaciones puedan explicar sus decisiones algorítmicas. La ciudad de Nueva York recientemente[reunió un grupo de trabajo](https://statescoop.com/to-be-fair-new-york-city-assembles-algorithm-task-force) para estudiar los posibles sesgos en los sistemas de decisión algorítmica. Es razonable anticipar que las regulaciones emergentes podrían enfrentarse a una atracción en el mercado de los servicios que impliquen una responsabilidad algorítmica. Entonces, ¿qué aspecto podría tener una disciplina de auditoría de algoritmos? En primer lugar, debe adoptar una perspectiva holística. Serán necesarios métodos de informática y aprendizaje automático, pero probablemente no sean bases suficientes para una disciplina de auditoría de algoritmos. También se requieren el pensamiento estratégico, el juicio profesional basado en el contexto, la comunicación y el método científico. Como resultado, la auditoría de algoritmos debe ser interdisciplinaria para que tenga éxito. Debería integrar el escepticismo profesional con la metodología y los conceptos de las ciencias sociales de campos como la psicología, la economía del comportamiento, el diseño centrado en las personas y la ética. Un científico social no solo pregunta: «¿Cómo puedo modelar y utilizar de manera óptima los patrones de estos datos?» pero además se pregunta: «¿Es esta muestra de datos adecuadamente representativa de la realidad subyacente?» Un especialista en ética podría ir más allá y hacer una pregunta como: «¿Es la distribución basada en la realidad actual la adecuada de usar?» Supongamos, por ejemplo, que la distribución actual de los empleados de nivel superior que triunfan en una organización es desproporcionadamente masculina. Entrenar ingenuamente un algoritmo de contratación con los datos que representan a esta población podría agravar, en lugar de mejorar, el problema. Un auditor también debería hacer otras preguntas: ¿El algoritmo es lo suficientemente transparente para los usuarios finales? ¿Es probable que se utilice de una manera socialmente aceptable? ¿Podría producir efectos psicológicos no deseados o explotar inadvertidamente las debilidades humanas naturales? ¿Se utiliza el algoritmo con un propósito engañoso? ¿Hay pruebas de sesgo interno o incompetencia en su diseño? ¿Está informando adecuadamente sobre cómo llega a sus recomendaciones e indicando su nivel de confianza? Aunque se lleve a cabo con cuidado, la auditoría de algoritmos seguirá planteando preguntas difíciles que solo la sociedad —a través de sus representantes electos y los reguladores— puede responder. Por ejemplo, tome el ejemplo de la investigación de ProPublica sobre un algoritmo utilizado para decidir si una persona acusada de un delito debe salir de la cárcel antes del juicio. Los periodistas de ProPublica descubrieron que a los negros que no reincidieron se les asignaban puntuaciones de riesgo medio o alto con más frecuencia que a los blancos que no reincidieron. Intuitivamente, las diferentes tasas de falsos positivos sugieren un caso claro de sesgo racial algorítmico. Pero resultó que el algoritmo en realidad _lo hizo_ satisfacer otro concepto importante de «imparcialidad»: una puntuación alta significa aproximadamente la misma probabilidad de reincidir, independientemente de la raza. Académico posterior[investigación](https://secure-web.cisco.com/1_jhI_igz1jKkBoF7dpUJZB5PtuOwjrcK9STBcI4k_hz03zcWDP3MkSM57dapvF3AWhQSXzFopE7wrj4A4TjzoLi0BNpoy2G7x-o2ZsxcxalaVGdP840CBfQPszyaP6UwVdn5XUC6WYgCAxsbr5myVtSxcClfkwWlh5jZKV1cUY4iBvuh1bmKE0fcLKR8bKfB6hI89pVWC0wOdRaXGaZjf63GUzUzLNEfkkCDuPbIjkik64zKwWG0E0-VuOmfcqLMu67ih2WpiMAp5uxiE1wd3bGcSMjW27nb2lHmjk4nRIsxZPfHO5h5L0Sn1dAm84QCuMxiWx3EfM-UaBJeDf3tezAL9U3TVvg5BLBMsPMXAloC2c1QQ3BB3hSUwtsQuwbbtVgujdH2bIEvnpJhh9eb8YMwkn_Kvh7Rkfi_gS-SE91tFILauAZwix1TJonL9kSHCn9wOvvWdHVcoBPzakTWpxTKpEaaxceTL7mx11voeIPPlhcBctF8O04-d6iExLzEK9fp1ZHsu3eE5zjtemeagQ/https%3A%2F%2Farxiv.org%2Fabs%2F1609.05807) estableció que, en general, es imposible cumplir simultáneamente ambos criterios de equidad. Como ilustra este episodio, los periodistas y los activistas desempeñan un papel vital a la hora de informar a los académicos, los ciudadanos y los responsables políticos mientras investigan y evalúan esas compensaciones. Sin embargo, la auditoría de algoritmos debe mantenerse distinta de estas actividades (esenciales). De hecho, la tarea del auditor debería ser la más rutinaria de garantizar que los sistemas de IA se ajusten a las convenciones deliberadas y establecidas a nivel social y gubernamental. Por esta razón, la auditoría de algoritmos debería convertirse, en última instancia, en el ámbito de una profesión aprendida (ciencia de datos) con las acreditaciones, los estándares de práctica, los procedimientos disciplinarios adecuados, los vínculos con el mundo académico, la educación continua y la formación en ética, regulación y profesionalismo. Se podrían formar organismos económicamente independientes para deliberar y emitir normas de diseño, presentación de informes y conducta. Este enfoque de la auditoría de algoritmos con base científica y ética es una parte importante del desafío más amplio de establecer sistemas confiables de gobernanza, auditoría, gestión de riesgos y control de la IA. A medida que la IA pasa de los entornos de investigación a los entornos de decisiones del mundo real, pasa de ser un desafío informático a convertirse también en un desafío empresarial y social. Hace décadas, la adopción de sistemas de gobierno y auditoría ayudó a garantizar que las empresas reflejaran en términos generales los valores de la sociedad. Intentemos replicar este éxito para la IA.