Por qué necesitamos auditar algoritmos
Resumen.
La toma de decisiones algorítmica y la inteligencia artificial («IA») tienen un enorme potencial y es probable que sean éxitos económicos, pero nos preocupa que la publicidad haya llevado a muchas personas a pasar por alto los graves problemas de introducir algoritmos en las empresas y en la sociedad. Ya está bastante claro que, si no se controlan, los algoritmos de IA integrados en las tecnologías digitales y sociales codificarán sesgos sociales, acelerarán la propagación de rumores y desinformación, amplificarán las cámaras de eco de la opinión pública, secuestrarán nuestra atención e incluso perjudicarán nuestro bienestar mental. Garantizar que los valores sociales se reflejen en los algoritmos y las tecnologías de IA probablemente no exigirá menos creatividad, trabajo duro e innovación que desarrollar las propias tecnologías de IA. Tenemos una propuesta de un buen punto de partida: la auditoría. Hace tiempo que se exige a las empresas que emiten estados financieros auditados en beneficio de los mercados financieros y otras partes interesadas. Esto se debe a que, al igual que los algoritmos, las operaciones internas de las empresas aparecen como «cajas negras» para las externas. Esto da a los gestores una ventaja informativa sobre el público inversor que podría ser abusada por actores poco éticos. Exigir que los gerentes informen periódicamente sobre sus operaciones permite comprobar esa ventaja. Para reforzar la fiabilidad de estos informes, se contrata a auditores independientes para que ofrezcan garantías razonables de que los informes procedentes de la «caja negra» están libres de inexactitudes materiales. Deberíamos someter los algoritmos de «caja negra» de impacto social a un escrutinio comparable.
La toma de decisiones algorítmica y la inteligencia artificial (IA) tienen un enorme potencial y es probable que sean éxitos económicos, pero nos preocupa que la publicidad haya llevado a muchas personas a pasar por alto los graves problemas de introducir algoritmos en las empresas y en la sociedad. De hecho, vemos a muchos sucumbir a lo que Kate Crawford de Microsoft llama» fundamentalismo de datos» — la noción de que los conjuntos de datos masivos son repositorios que producen verdades fiables y objetivas, si tan solo pudiéramos extraerlos mediante herramientas de aprendizaje automático. Se necesita una vista más matizada. Ahora está muy claro que, si no se controlan, los algoritmos de IA integrados en tecnologías digitales y sociales pueden codificar sesgos sociales, acelerar la propagación de rumores y desinformación, amplificar las cámaras de eco de la opinión pública, secuestrar nuestra atención, e incluso perjudicar nuestro bienestar mental.
Garantizar que los valores sociales se reflejen en los algoritmos y las tecnologías de IA requerirá no menos creatividad, trabajo duro e innovación que desarrollar las propias tecnologías de IA. Tenemos una propuesta de un buen punto de partida: la auditoría. Hace tiempo que se exige a las empresas que emiten estados financieros auditados en beneficio de los mercados financieros y otras partes interesadas. Esto se debe a que, al igual que los algoritmos, las operaciones internas de las empresas aparecen como «cajas negras» para las externas. Esto da a los gestores una ventaja informativa sobre el público inversor que podría ser abusada por actores poco éticos. Exigir que los gerentes informen periódicamente sobre sus operaciones permite comprobar esa ventaja. Para reforzar la fiabilidad de estos informes, se contrata a auditores independientes para que ofrezcan garantías razonables de que los informes procedentes de la «caja negra» están libres de inexactitudes materiales. ¿No deberíamos someter los algoritmos de «caja negra» de impacto social a un escrutinio comparable?
De hecho, algunos reguladores con visión de futuro están empezando a explorar esta posibilidad. Por ejemplo, el Reglamento General de Protección de Datos (RGPD) de la UE exige que las organizaciones puedan explicar sus decisiones algorítmicas. La ciudad de Nueva York recientemente reunió un grupo de trabajo estudiar posibles sesgos en los sistemas de decisión algorítmica. Es razonable prever que las regulaciones emergentes podrían cumplirse con la atracción del mercado para los servicios que implican responsabilidad algorítmica.
Entonces, ¿qué aspecto podría tener una disciplina de auditoría de algoritmos? En primer lugar, debe adoptar una perspectiva holística. Los métodos de informática y aprendizaje automático serán necesarios, pero probablemente no se basarán en fundamentos suficientes para una disciplina de auditoría de algoritmos. También se requiere un pensamiento estratégico, un juicio profesional basado en el contexto, la comunicación y el método científico.
En consecuencia, la auditoría de algoritmos debe ser interdisciplinaria para que tenga éxito. Debe integrar el escepticismo profesional con la metodología de las ciencias sociales y los conceptos de campos tales como la psicología, la economía del comportamiento, el diseño centrado en el ser humano y la ética. Un científico social pregunta no solo: «¿Cómo modelar y utilizar de manera óptima los patrones de estos datos?» pero pregunta además: «¿Es esta muestra de datos adecuadamente representativa de la realidad subyacente?» Un especialista en ética podría ir más allá al formular una pregunta como: «¿Es la distribución basada en la realidad actual la adecuada a utilizar?» Supongamos, por ejemplo, que la distribución actual de los empleados de nivel superior exitosos en una organización es desproporcionadamente masculina. La formación ingenua de un algoritmo de contratación sobre los datos que representan a esta población podría agravar, en lugar de mejorar, el problema.
Un auditor también debería hacer otras preguntas: ¿El algoritmo es suficientemente transparente para los usuarios finales? ¿Es probable que se utilice de una manera socialmente aceptable? ¿Podría producir efectos psicológicos indeseables o explotar inadvertidamente las debilidades humanas naturales? ¿Se utiliza el algoritmo con un propósito engañoso? ¿Hay evidencia de sesgo interno o incompetencia en su diseño? ¿Indica adecuadamente cómo llega a sus recomendaciones e indica su nivel de confianza?
Incluso si se lleva a cabo cuidadosamente, la auditoría de algoritmos seguirá planteando preguntas difíciles que solo la sociedad, a través de sus representantes electos y reguladores, puede responder. Por ejemplo, tomemos el ejemplo de la investigación de ProPublica sobre un algoritmo utilizado para decidir si una persona acusada de un delito debe ser liberada de la cárcel antes de su juicio. Los periodistas de ProPublica descubrieron que a los negros que no reincidieron se les asignaban puntuaciones de riesgo medio o alto con más frecuencia que a los blancos que no reincidieron. Intuitivamente, las diferentes tasas de falsos positivos sugieren un caso claro de sesgo racial algorítmico. Pero resultó que el algoritmo en realidad lo hizo satisfacen otro concepto importante de «equidad»: una puntuación alta significa aproximadamente la misma probabilidad de reincidencia, independientemente de la raza. Académico posterior investigación estableció que, en general, es imposible satisfacer simultáneamente ambos criterios de equidad. Como ilustra este episodio, los periodistas y activistas desempeñan un papel vital a la hora de informar a académicos, ciudadanos y encargados de formular políticas a medida que investigan y evalúan tales compensaciones. Sin embargo, la auditoría de algoritmos debe mantenerse distinta de estas actividades (esenciales).
De hecho, la tarea del auditor debería ser la más rutinaria de garantizar que los sistemas de IA se ajusten a las convenciones deliberadas y establecidas a nivel social y gubernamental. Por esta razón, la auditoría de algoritmos debería convertirse en última instancia en el ámbito de una profesión aprendida (ciencia de datos) con acreditaciones adecuadas, estándares de práctica, procedimientos disciplinarios, vínculos con el mundo académico, educación continua y formación en ética, regulación y profesionalismo. Podrían formarse organismos económicamente independientes para deliberar y emitir normas de diseño, presentación de informes y conducta. Un enfoque de auditoría de algoritmos tan fundamentado científicamente e informado éticamente es una parte importante del desafío más amplio de establecer sistemas confiables de gobernanza, auditoría, gestión de riesgos y control de la IA.
A medida que la IA pasa de los entornos de investigación a los entornos de decisión del mundo real, pasa de ser un desafío de la informática a convertirse también en un desafío empresarial y social. Hace décadas, la adopción de sistemas de gobernanza y auditoría ayudaba a garantizar que las empresas reflejaran ampliamente los valores sociales. Intentemos replicar este éxito para la IA.
— Escrito por James Guszcza, Will Bible, Manuel Cebrian, Iyad Rahwan, Manuel Cebrian,
