Por qué los líderes empresariales necesitan entender sus algoritmos

Una de las principales fuentes de ansiedad por la IA no es que se ponga en nuestra contra, sino que simplemente no podamos entender cómo funciona. Saber «por qué» es importante para muchos sectores, especialmente aquellos con obligaciones fiduciarias, como la financiación al consumo, o en la sanidad y la educación, en los que están en juego vidas vulnerables. Los accionistas, los clientes y los reguladores desafiarán cada vez más a los líderes en cuanto a lo que optimizan. Habrá demandas que le obligarán a revelar las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y los métodos con los que obtuvo sus datos de entrenamiento y qué tan bien supervisó los resultados de esos sistemas en busca de rastros de sesgo o discriminación. Documente sus decisiones detenidamente y asegúrese de entender, o como mínimo de confiar, en los procesos algorítmicos fundamentales de su negocio. El simple hecho de argumentar que su plataforma de IA era una caja negra que nadie entendía es poco probable que sea una defensa legal exitosa en el siglo XXI. Será casi tan convincente como «el algoritmo me obligó a hacerlo».

••• Una de las principales fuentes de ansiedad por la IA no es que se ponga en nuestra contra, sino que simplemente no podamos entender cómo funciona. La solución a los sistemas no fiables que[discriminar a las mujeres en las solicitudes de crédito](https://www.theverge.com/2019/11/11/20958953/apple-credit-card-gender-discrimination-algorithms-black-box-investigation) o eso[hacer recomendaciones racistas en las sentencias penales](https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing), o que reduzcan el número de [pacientes negros identificados por necesitar cuidados médicos adicionales](https://science.sciencemag.org/content/366/6464/447), podría parecer una «IA explicable». Pero a veces, lo que es tan importante como saber «por qué» un algoritmo tomó una decisión, es poder preguntarse «para qué» se optimizó en primer lugar. Los algoritmos de aprendizaje automático suelen denominarse caja negra porque se parecen a un sistema cerrado que toma una entrada y produce una salida, sin ninguna explicación de por qué. Saber «por qué» es importante para muchos sectores, especialmente aquellos con obligaciones fiduciarias, como la financiación al consumo, o en la sanidad y la educación, en los que se trata de vidas vulnerables, o en las solicitudes militares o gubernamentales, en las que tiene que poder justificar sus decisiones ante el electorado. Lamentablemente, cuando se trata de plataformas de aprendizaje profundo, la explicabilidad es problemática. En muchos casos, el atractivo del aprendizaje automático reside en su capacidad de encontrar patrones que desafían la lógica o la intuición. Si pudiera trazar una relación con la suficiente sencillez entre las entradas y las salidas como para explicarla, probablemente no necesitaría el aprendizaje automático en ese contexto. A diferencia de un sistema codificado a mano, no puede simplemente echar un vistazo al interior de una red neuronal y ver cómo funciona. Una red neuronal está compuesta por miles de neuronas simuladas, dispuestas en capas interconectadas, cada una de las cuales recibe señales de entrada y salida que luego se envían a la siguiente capa, y así sucesivamente hasta que se alcanza la salida final. Incluso si pudiera interpretar el funcionamiento técnico de un modelo en términos que un científico de la IA pudiera comprender,[explicando](https://becominghuman.ai/explainable-ai-and-the-future-of-machine-learning-de89c29dbd0f) eso para un «civil que toma las decisiones» es un problema completamente diferente. Deep Patient, por ejemplo, es una plataforma de aprendizaje profundo en el Hospital Mount Sinai de Nueva York. Lo entrenaron con historias clínicas electrónicas de[700 000 personas](https://www.mountsinai.org/about/newsroom/2017/university-herald-deep-learning-the-most-advanced-artificial-intelligence-chris-brandt), y se hizo experto en predecir enfermedades, descubriendo patrones ocultos en los datos del hospital que proporcionaban advertencias tempranas a los pacientes que corrían el riesgo de desarrollar una amplia variedad de enfermedades, incluido el cáncer de hígado, sin la guía humana. Entonces, para sorpresa de todos, Deep Patient también demostró su habilidad para[predecir la aparición de ciertos trastornos psiquiátricos, como la esquizofrenia](https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/), que son notoriamente difíciles de predecir incluso para los médicos. El desafío para los profesionales de la medicina en este escenario es equilibrar el reconocimiento de la eficacia y el valor del sistema con saber cuánto confiar en él, dado que no lo entienden del todo ni cómo funciona. Algunas organizaciones e industrias están invirtiendo en la capacidad de auditar y explicar los sistemas de aprendizaje automático. La Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) financia actualmente un programa llamado[IA explicable](https://www.darpa.mil/program/explainable-artificial-intelligence) , cuyo objetivo es interpretar el aprendizaje profundo que impulsa los drones y las operaciones de minería de inteligencia. Capital One, que ha tenido sus propios problemas graves con las filtraciones de datos, creó un equipo de investigación dedicado a encontrar [formas de hacer que el aprendizaje profundo sea más explicable](https://www.zdnet.com/article/capital-one-ai-chief-sees-path-to-explainable-ai/), ya que la normativa estadounidense exige que este tipo de empresas explique sus decisiones, por ejemplo, por qué denegaron una tarjeta de crédito a un posible cliente. Es probable que la regulación algorítmica se vuelva más sofisticada en los próximos años, a medida que el público comience a preocuparse más abiertamente por el impacto de la IA en sus vidas. Por ejemplo, en el[Reglamento general de protección de datos (GDPR),](https://iapp.org/news/a/is-there-a-right-to-explanation-for-machine-learning-in-the-gdpr/) que entró en vigor en 2018, la Unión Europea exige que las empresas puedan explicar las decisiones tomadas mediante uno de sus algoritmos. Podría decirse que en un futuro próximo no podrá diseñar ningún tipo de IA sin un equipo de los mejores científicos y también sin un equipo igualmente capaz de ingenieros de privacidad y abogados. La razón detrás de la regulación algorítmica es la responsabilidad. Hacer que la IA sea más explicable no se trata solo de tranquilizar a los líderes de que pueden confiar en las decisiones algorítmicas, sino también de ofrecer recursos a las personas para que impugnen las decisiones basadas en la IA. De hecho, la cuestión de la transparencia algorítmica se aplica no solo al aprendizaje automático, sino también a cualquier algoritmo cuyo funcionamiento interno se mantenga oculto. Los algoritmos que parecen sesgados o que su funcionamiento es poco claro ya han sido impugnados en los tribunales. Por ejemplo, en 2014,[la Federación de Maestros de Houston presentó una demanda contra el distrito escolar de Houston](https://policyoptions.irpp.org/magazines/december-2018/future-workers-rights-ai-age/), argumentando que el uso por parte del distrito de un algoritmo secreto para determinar cómo evaluaban, despedían y recibían bonificaciones a los profesores era injusto. El sistema lo desarrolló una empresa privada, que clasificó su algoritmo como secreto comercial y se negó a compartirlo con los profesores. Sin saber cómo se les calificaba, dijeron los profesores, se les negó el derecho a impugnar sus despidos o evaluaciones. Un tribunal de circuito determinó que el inexplicable software violaba el derecho de los profesores a las debidas garantías procesales, y el caso fue, en última instancia [arreglado](https://www.chron.com/news/education/article/Houston-ISD-settles-with-union-over-teacher-12267893.php) en 2016, con la suspensión del uso del algoritmo. En los próximos años, es probable que el número de desafíos de este tipo aumente. Sin embargo, para los líderes, la pregunta más importante que hacer a los equipos que diseñan y crean soluciones automatizadas puede que no sea _por qué_ llegaron a una decisión en particular, pero más bien _qué_ ¿Para qué están optimizados? Los óptimos son importantes. Hay un experimento mental clásico propuesto por el filósofo sueco Nick Bostrom llamado [Maximizador de sujetapapeles](https://www.nickbostrom.com/ethics/ai.html). Describe cómo una IA podría acabar destruyendo el mundo tras tener el objetivo de fabricar sujetapapeles de la manera más eficiente posible, «con la consecuencia de que empieza a transformar primero toda la Tierra y, luego, a aumentar partes del espacio en instalaciones de fabricación de sujetapapeles». La IA del artículo de Bostrom no es intrínsecamente mala. Fue simplemente, en su opinión, dado un objetivo equivocado y sin restricciones. Los objetivos u óptimos incorrectos pueden causar muchos daños no intencionados. Por ejemplo,[un programa de IA que establece los horarios escolares y de los autobuses](https://www.wired.com/story/joi-ito-ai-and-bus-routes/) en Boston fue desechado tras las protestas de padres que trabajaban y otras personas que se opusieron porque no tenía en cuenta sus horarios y que parecía centrarse en la eficiencia a expensas de la educación. ¿Pero fue culpa del programa? Al fin y al cabo, estaba codificado para buscar formas de ahorrar dinero. Sin embargo, a diferencia de las complejidades de crear e interpretar un modelo de IA, debatir y decidir para qué se optimiza un sistema está absolutamente dentro de las capacidades de los líderes y consejos de administración empresariales, y así debería ser. La IA es una herramienta que refleja nuestras prioridades, como organizaciones y gobiernos. Puede parecer frío hablar de las muertes humanas en accidentes de coche o laborales en términos estadísticos, pero si decidimos que un sistema algorítmico debe diseñarse para minimizar los accidentes en su conjunto, también tendremos que evaluar cualquier daño resultante en el contexto del sistema al que sustituye. Pero al hacerlo, también tendremos que estar preparados para que nos juzguen y para justificar nuestras decisiones y principios de diseño. Los accionistas, los clientes y los reguladores desafiarán a los líderes sobre lo que optimizan. Habrá demandas que le obligarán a revelar las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y los métodos con los que obtuvo sus datos de entrenamiento y qué tan bien supervisó los resultados de esos sistemas en busca de rastros de sesgo o discriminación. Documente sus decisiones detenidamente y asegúrese de entender, o como mínimo de confiar, en los procesos algorítmicos fundamentales de su negocio. El simple hecho de argumentar que su plataforma de IA era una caja negra que nadie entendía es poco probable que sea una defensa legal exitosa en el siglo XXI. Será casi tan convincente como «el algoritmo me obligó a hacerlo».