Cuándo y por qué, debe explicar cómo funciona su IA

Por Reid Blackman

«Con la cantidad de datos actuales, sabemos que no hay forma de que los seres humanos podamos procesarlos todos... La única técnica que conocemos que puede obtener información de los datos es la inteligencia artificial», CEO de IBM Arvind Krishna le dijo recientemente a la El Wall Street Journal.

Las ideas a las que se refiere Krishna son patrones en los datos que pueden ayudar a las empresas a hacer predicciones, ya sea la probabilidad de que alguien incumpla una hipoteca, la probabilidad de desarrollar diabetes en los próximos dos años o si un candidato a un puesto de trabajo es adecuado. Más específicamente, la IA identifica matemático patrones encontrados en miles de variables y las relaciones entre esas variables. Estos patrones pueden ser tan complejos que pueden desafiar la comprensión humana.

Esto puede crear un problema: si bien entendemos las variables que incluimos en la IA (solicitudes de hipoteca, historial médico, currículums) y entendemos los resultados (aprobado para el préstamo, tiene diabetes, es digno de una entrevista), puede que no entendamos lo que pasa entre las entradas y las salidas. La IA puede ser una «caja negra», lo que a menudo nos impide responder preguntas cruciales sobre las operaciones de la «máquina»: ¿Está haciendo predicciones fiables? ¿Está haciendo esas predicciones sobre bases sólidas o justificadas? ¿Sabremos cómo arreglarlo si se rompe? O más en general: ¿podemos confiar en una herramienta cuyas operaciones no entendemos, especialmente cuando hay mucho en juego?

Para la mente de muchos, la necesidad de responder a estas preguntas lleva a la demanda de explicable IA: en resumen, IA cuyas predicciones podemos explicar.

¿Qué hace que una explicación sea buena?

Una buena explicación debe ser inteligible para el público al que se dirige y debe ser útil, en el sentido de que ayude a la audiencia a alcanzar sus objetivos. Cuando se trata de IA explicable, hay una variedad de partes interesadas que pueden necesitar entender cómo tomó una decisión una IA: reguladores, usuarios finales, científicos de datos, ejecutivos encargados de proteger la marca de la organización e impactaron a los consumidores, por nombrar algunos. Todos estos grupos tienen diferentes conjuntos de habilidades, conocimientos y objetivos; un ciudadano medio probablemente no entendería un informe destinado a científicos de datos.

Entonces, lo que cuenta como una buena explicación depende de las partes interesadas a las que se dirija. Los diferentes públicos a menudo requieren explicaciones diferentes.

Por ejemplo, un consumidor rechazado por un banco por una hipoteca probablemente querría entender por qué se la denegó para poder hacer cambios en sus vidas y poder tomar una mejor decisión la próxima vez. Un médico querría entender por qué se generó la predicción sobre la enfermedad del paciente para poder determinar si la IA nota un patrón que no o si la IA puede estar equivocada. Los ejecutivos querrán explicaciones que los pongan en condiciones de comprender los riesgos éticos y de reputación asociados con la IA para poder crear estrategias de reducción de riesgos adecuadas o decidir hacer cambios en su estrategia de salida al mercado.

Sin embargo, adaptar una explicación a la audiencia y al caso en cuestión es más fácil decirlo que hacerlo. Por lo general, implica un duro equilibrio entre precisión y explicabilidad. En general, reducir la complejidad de los patrones que identifica una IA facilita la comprensión de cómo produce los resultados que produce. Pero, en igualdad de condiciones, rechazar la complejidad también puede significar rechazar la precisión y, por lo tanto, la utilidad, de la IA. Si bien los científicos de datos tienen herramientas que ofrecen información sobre cómo las diferentes variables pueden estar configurando los resultados, solo ofrecen una mejor suposición de lo que sucede dentro del modelo y, por lo general, son demasiado técnicas para que los consumidores, los ciudadanos, los reguladores y los ejecutivos las utilicen en la toma de decisiones.

Las organizaciones deben resolver esta tensión, o al menos abordarla, en su enfoque de la IA, incluidas sus políticas, diseño y desarrollo de modelos que diseñan en una hora o que adquieren a terceros proveedores. Para hacer esto, deberían prestar mucha atención a cuando la explicabilidad es una necesidad frente a lo bueno o lo completamente innecesario.

Cuando necesitamos explicación

Intentar explicar cómo una IA crea sus resultados requiere tiempo y recursos; no es gratis. Esto significa que vale la pena evaluar si se necesitan resultados explicables en primer lugar para un caso de uso concreto. Por ejemplo, la IA de reconocimiento de imágenes se puede utilizar para ayudar a los clientes a etiquetar fotos de sus perros cuando cargan sus fotos en la nube. En ese caso, la precisión puede importar mucho, pero exactamente cómo el modelo lo hace puede que no importe tanto. O tomemos una IA que prediga cuándo llegará el envío de tornillos a la fábrica de juguetes; puede que no haya una gran necesidad de explicación allí. De manera más general, una buena regla general es que la explicabilidad probablemente no sea necesaria cuando se hacen predicciones de bajo riesgo sobre entidades que no son personas. (Sin embargo, hay excepciones, ya que la optimización de las rutas del metro conduce a dar un mayor acceso a ese recurso a algunas subpoblaciones que a otras).

El corolario es que la explicabilidad puede importar mucho, especialmente cuando los resultados influyen directamente en el trato a las personas. Hay al menos cuatro tipos de casos a considerar a este respecto.

Cuando el cumplimiento normativo lo exige.

A alguien a quien se le haya denegado un préstamo o una hipoteca se merece una explicación de por qué se le denegó. No solo se merecen esa explicación como cuestión de respeto, simplemente decir «no» a un solicitante y luego ignorar las solicitudes de explicación es una falta de respeto, sino que también lo exige la normativa. Las empresas de servicios financieros, que ya requieren explicaciones para sus modelos que no son de IA, tendrán que ampliar ese requisito a los modelos de IA, ya que reglamentos pendientes, en particular fuera de la Unión Europea, indicar.

Cuando la explicabilidad es importante para que los usuarios finales puedan ver la mejor manera de usar la herramienta.

No necesitamos saber cómo funciona el motor de un coche para conducirlo. Pero en algunos casos, saber cómo funciona un modelo es imperativo para su uso efectivo. Por ejemplo, un agente de detección de fraudes puede utilizar una IA que señalice posibles casos de fraude. Si no saben por qué la IA marcó la transacción, no sabrán por dónde empezar la investigación, lo que resultará en un proceso muy ineficiente. Por otro lado, si la IA no solo marca las transacciones como que justifican una investigación más profunda, sino que también incluye una explicación de por qué se marcó la transacción, el agente puede hacer su trabajo de manera más eficiente y eficaz.

Cuando la explicabilidad podría mejorar el sistema.

En algunos casos, los científicos de datos pueden mejorar la precisión de sus modelos con respecto a los puntos de referencia relevantes haciendo ajustes en la forma en que se entrena o en su funcionamiento sin tener un conocimiento profundo de cómo funciona. Este es el caso de la IA de reconocimiento de imágenes, por ejemplo. En otros casos, saber cómo funciona el sistema puede ayudar a depurar el software de IA y a realizar otros tipos de mejoras. En esos casos, dedicar recursos a la explicabilidad puede ser esencial para el valor empresarial a largo plazo del modelo.

Cuando la explicabilidad puede ayudar a evaluar la equidad.

La explicabilidad se presenta, en términos generales, de dos formas: global y local. Las explicaciones locales articulan por qué esta entrada en particular llevó a esta salida en particular, por qué a esta persona en particular se le negó una entrevista de trabajo. Las explicaciones globales articulan de forma más general cómo el modelo transforma las entradas en salidas. Dicho de otra manera, articulan las reglas del modelo o las reglas del juego. Por ejemplo, las personas que tienen este tipo de historial médico con este tipo de resultados de análisis de sangre reciben este tipo de diagnóstico.

En una amplia variedad de casos, tenemos que preguntarnos si los resultados son justos: ¿realmente se le debería haber negado la entrevista a esta persona o evaluamos injustamente al candidato? Y lo que es más importante, cuando le pedimos a alguien que siga las reglas del juego de la contratación, los préstamos hipotecarios y la recepción de anuncios, tenemos que evaluar si las reglas del juego son justas, razonables y, en general, éticamente aceptables. Las explicaciones, especialmente a nivel mundial, son importantes cuando queremos o necesitamos evaluar éticamente las reglas del juego; las explicaciones nos permiten ver si las reglas son justificado.

Creación de un marco de explicabilidad

La explicabilidad importa en algunos casos y no en otros, y cuando sí importa, puede que importe por varias razones. Además, la sensibilidad operativa ante estos asuntos puede ser crucial para el diseño y la implementación eficientes, efectivos y éticos de la IA. Por lo tanto, las organizaciones deberían crear un marco que aborde los riesgos de las cajas negras para su industria y sus organizaciones en particular, lo que les permita priorizar adecuadamente la explicabilidad en cada uno de sus proyectos de IA. Ese marco no solo permitiría a los científicos de datos crear modelos que funcionen bien, sino que también capacitaría a los ejecutivos para tomar decisiones acertadas sobre lo que se debe diseñar y cuándo los sistemas son lo suficientemente confiables para implementarlos.