Por qué los líderes empresariales necesitan comprender sus algoritmos

Resumen.

Una de las mayores fuentes de ansiedad acerca de la IA no es que se vuelva contra nosotros, sino que simplemente no podemos entender cómo funciona. Saber «por qué» es importante para muchas industrias, en particular aquellas con obligaciones fiduciarias como la financiación de consumo, o en el ámbito de la salud y la educación, donde hay vidas vulnerables. Los líderes serán cada vez más desafiados por accionistas, clientes y reguladores sobre lo que optimizan. Habrá demandas que requieren que revele las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y métodos por los que obtuvo sus datos de entrenamiento, y qué tan bien monitoreó los resultados de esos sistemas en busca de rastros de sesgo o discriminación. Documentar cuidadosamente sus decisiones y asegúrese de comprender, o al menos confiar, los procesos algorítmicos en el corazón de su negocio. Simplemente argumentando que su plataforma de IA era una caja negra que nadie entendió es poco probable que sea una defensa legal exitosa en el siglo XXI. Será tan convincente como «el algoritmo me obligó a hacerlo».

Una de las mayores fuentes de ansiedad acerca de la IA no es que se vuelva contra nosotros, sino que simplemente no podemos entender cómo funciona. La solución a los sistemas no fiables que discriminar a las mujeres en las solicitudes de crédito o que formular recomendaciones racistas en las sentencias penales, o que reducen el número de pacientes negros identificados como necesitados de atención médica adicional, podría parecer «AI explicable». Pero a veces, lo que es tan importante como saber «por qué» un algoritmo tomó una decisión, es poder preguntar «para qué» estaba siendo optimizado en primer lugar?

Los algoritmos de aprendizaje automático a menudo se llaman caja negra porque se asemejan a un sistema cerrado que toma una entrada y produce una salida, sin ninguna explicación de por qué. Saber «por qué» es importante para muchas industrias, especialmente aquellas con obligaciones fiduciarias como la financiación al consumo, o en la salud y la educación, donde hay vidas vulnerables, o en aplicaciones militares o gubernamentales, donde es necesario poder justificar sus decisiones ante el electorado.

Desafortunadamente, cuando se trata de plataformas de aprendizaje profundo, la explicabilidad es problemática. En muchos casos, el atractivo del aprendizaje automático radica en su capacidad para encontrar patrones que desafían la lógica o la intuición. Si pudiera asignar una relación simplemente lo suficiente entre entradas y salidas para explicarla, probablemente no necesitaría aprendizaje automático en ese contexto en absoluto. A diferencia de un sistema codificado a mano, no se puede mirar dentro de una red neuronal y ver cómo funciona. Una red neuronal está compuesta por miles de neuronas simuladas, dispuestas en capas interconectadas que cada uno recibe señales de entrada y salida que luego se alimentan en la siguiente capa, y así sucesivamente hasta que se alcanza una salida final. Incluso si usted puede interpretar cómo un modelo está funcionando técnicamente en términos que un científico de IA podría comprender, explicando que para un «encargado de la adopción de decisiones civiles» es otro problema en conjunto.

Deep Patient, por ejemplo, es una plataforma de aprendizaje profundo en el Hospital Mount Sinai de Nueva York. Fue entrenado utilizando registros médicos electrónicos de 700.000 personas, y se convirtió en un experto en predecir enfermedades, descubriendo patrones ocultos en los datos hospitalarios que proporcionaban advertencias tempranas para pacientes con riesgo de desarrollar una amplia variedad de dolencias, incluyendo cáncer de hígado, sin guía humana.

Entonces, para sorpresa de todos, Deep Patient también demostró la capacidad de predecir el inicio de ciertos trastornos psiquiátricos como la esquizofrenia, que son notoriamente difíciles incluso para los médicos de predecir. El reto para los profesionales médicos en este escenario es equilibrar el reconocimiento de la eficacia y el valor del sistema con saber cuánto confiar en él, dado que no lo entienden completamente o cómo funciona.

Algunas organizaciones e industrias están invirtiendo en la capacidad de auditar y explicar los sistemas de aprendizaje automático. La Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) está financiando actualmente un programa llamado AI explicable, cuyo objetivo es interpretar el aprendizaje profundo que impulsa los drones y las operaciones de minería de inteligencia. Capital One, que ha tenido sus propios problemas serios con las infracciones de datos, creó un equipo de investigación dedicado a encontrar formas de hacer que el aprendizaje profundo sea más explicable, ya que las regulaciones estadounidenses exigen que este tipo de empresa explique decisiones como por qué denegaron una tarjeta de crédito a un cliente potencial.

Es probable que la regulación algorítmica se vuelva más sofisticada en los próximos años, ya que el público comienza a preocuparse más abiertamente por el impacto de la IA en sus vidas. Por ejemplo, bajo el Reglamento General de Protección de Datos (RGPD), que entró en vigor en 2018, la Unión Europea exige que las empresas sean capaces de explicar una decisión tomada por uno de sus algoritmos. Podría decirse que en un futuro próximo, no podrá diseñar ningún tipo de IA sin un equipo de científicos de primer nivel, y también un equipo igualmente capaz de ingenieros y abogados de privacidad.

La razón detrás de la regulación algorítmica es la rendición de cuentas. Hacer que la IA sea más explicable no se trata solo de tranquilizar a los líderes de que pueden confiar en las decisiones algorítmicas; también se trata de proporcionar recursos a las personas para desafiar las decisiones basadas en IA. De hecho, el tema de la transparencia algorítmica se aplica no solo al aprendizaje automático, sino también a cualquier algoritmo cuyo funcionamiento interno se mantiene oculto.

Los algoritmos que parecen sesgados o son oscuros en la forma en que funcionan ya han sido impugnados en los tribunales. Por ejemplo, en 2014, la Federación de Maestros de Houston presentó una demanda contra el distrito escolar de Houston, argumentando que el uso por parte del distrito de un algoritmo secreto para determinar cómo los maestros fueron evaluados, despedidos y otorgados bonificaciones era injusto. El sistema fue desarrollado por una empresa privada, que clasificó su algoritmo como secreto comercial y se negó a compartirlo con los profesores. Sin saber cómo estaban siendo calificados, dijeron los maestros, se les negaba el derecho a impugnar sus terminaciones o evaluaciones. Un tribunal de circuito determinó que el software inexplicable violaba el derecho de los maestros a la 14ª Enmienda al debido proceso, y el caso fue en última instancia liquidado en 2016, con el uso del algoritmo descontinuado. En los próximos años, es probable que aumente el número de problemas de ese tipo.

Sin embargo, para los líderes, la pregunta más importante que deben plantearse a los equipos que diseñan y construyen soluciones automatizadas puede no ser por qué llegaron a una decisión particular, sino más bien qué ¿están siendo optimizados para? Los óptimums son importantes. Hay un experimento de pensamiento clásico propuesto por el filósofo sueco Nick Bostrom llamado Aperclip Maximizer. Describe cómo una IA podría terminar destruyendo el mundo después de que se le diera el objetivo de fabricar clips de papel de la manera más eficiente posible, «con la consecuencia de que comienza a transformar primero toda la tierra y luego aumentar porciones de espacio en instalaciones de fabricación de clips de papel».

La IA en el periódico de Bostrom no es intrínsecamente malvada. A su juicio, sencillamente se le da el objetivo equivocado y no hay limitaciones. Los objetivos u óptimos incorrectos pueden causar mucho daño involuntario. Por ejemplo, un programa de IA que establece horarios escolares y horarios de autobuses en Boston fue desechada después de una protesta de padres trabajadores y otras personas que objetaron que no tenía en cuenta sus horarios, y que parecía centrarse en la eficiencia a expensas de la educación. ¿Pero fue culpa del programa? Después de todo, estaba codificado para buscar formas de ahorrar dinero. Sin embargo, a diferencia de las complejidades de construir e interpretar un modelo de IA, debatir y decidir para qué está optimizado un sistema está absolutamente dentro del conjunto de capacidades de líderes empresariales y consejos, y así debería serlo.

AI es una herramienta que refleja nuestras prioridades, como organizaciones y gobiernos. Puede parecer frío discutir las muertes humanas en accidentes automovilísticos o laborales en términos estadísticos, pero si decidimos que un sistema algorítmico debe diseñarse para minimizar los accidentes en su conjunto, también tenemos que juzgar cualquier daño resultante en el contexto del sistema que sustituye. Pero al hacerlo, también tendremos que estar preparados para ser juzgados nosotros mismos, y listos para justificar nuestras decisiones y principios de diseño.

Los líderes serán desafiados por accionistas, clientes y reguladores sobre lo que optimizan. Habrá demandas que requieren que revele las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y métodos por los que obtuvo sus datos de entrenamiento, y qué tan bien monitoreó los resultados de esos sistemas en busca de rastros de sesgo o discriminación. Documentar cuidadosamente sus decisiones y asegúrese de comprender, o al menos confiar, los procesos algorítmicos en el corazón de su negocio.

Simplemente argumentando que su plataforma de IA era una caja negra que nadie entendió es poco probable que sea una defensa legal exitosa en el siglo XXI. Será tan convincente como «el algoritmo me obligó a hacerlo».

— Escrito por Mike Walsh