La paradoja de la transparencia de IA
En los últimos años, académicos y profesionales por igual han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial, y por muchas buenas razones. La transparencia puede ayudar a mitigar las cuestiones de equidad, discriminación y confianza, todas las cuales han recibido mayor atención. El nuevo negocio de tarjetas de crédito de Apple ha sido acusado de modelos de préstamos sexistas, por ejemplo, mientras que Amazon desechado una herramienta de inteligencia artificial para contratar después de descubrir que discriminaba a las mujeres.
Al mismo tiempo, sin embargo, está cada vez más claro que las revelaciones sobre IA plantean sus propios riesgos: las explicaciones pueden ser pirateadas, la publicación de información adicional puede hacer que la IA sea más vulnerable a los ataques, y las revelaciones pueden hacer que las empresas sean más susceptibles a demandas o medidas regulatorias.
Llámalo «paradoja de la transparencia» de la IA: si bien generar más información sobre la IA puede generar beneficios reales, también puede crear nuevos riesgos. Para navegar por esta paradoja, las organizaciones tendrán que pensar cuidadosamente acerca de cómo están administrando los riesgos de la IA, la información que están generando sobre estos riesgos y cómo se comparte y protege esa información.
Algunos estudios recientes ilustran estas tendencias. Comencemos con un documento de investigación por académicos de Harvard y la Universidad de California, Irvine publicó el mes pasado. El artículo se centró en cómo las variantes de LIME y SHAP, dos técnicas populares utilizadas para explicar los llamados algoritmos de caja negra, podrían ser pirateadas.
Para ilustrar el poder de LIME, el documento de 2016 anunciando la herramienta explicó cómo un clasificador de imágenes por lo demás incomprensible reconocía diferentes objetos en una imagen: una guitarra acústica fue identificada por el puente y partes del diapasón, mientras que un Labrador Retriever fue identificado por rasgos faciales específicos en el lado derecho de la cara del perro.
LIME, y el movimiento explicable de IA más ampliamente, han sido elogiados como avances capaces de hacer algoritmos opacos más transparentes. De hecho, el beneficio de explicar la IA ha sido un precepto ampliamente aceptado, promocionado por académicos y tecnólogos, incluyendo me.
Pero el potencial de nuevos ataques en LIME y SHAP pone de relieve una desventaja pasada por alto. Como ilustra el estudio, las explicaciones pueden ser manipuladas intencionalmente, lo que lleva a una pérdida de confianza no sólo en el modelo sino también en sus explicaciones.
Y no es solo esta investigación la que demuestra los peligros potenciales de la transparencia en la IA. A principios de este año, Reza Shokri y sus colegas ilustrado cómo exponer información sobre algoritmos de aprendizaje automático puede hacerlos más vulnerables a los ataques. Mientras tanto, los investigadores de la Universidad de California, Berkeley, han demostrado que algoritmos enteros pueden ser robados basado simplemente en sus explicaciones solamente.
A medida que los investigadores de seguridad y privacidad enfocan más energía en la IA, estos estudios, junto con un anfitrión de otros, todos sugieren la misma conclusión: cuanto más revelen los creadores de un modelo sobre el algoritmo, más daño puede causar un actor malicioso. Esto significa que liberar información sobre el funcionamiento interno de un modelo en realidad puede disminuir su seguridad o exponer a una empresa a una mayor responsabilidad. Todos los datos, en resumen, acarrean riesgos.
¿Las buenas noticias? Las organizaciones han enfrentado durante mucho tiempo la paradoja de la transparencia en los ámbitos de la privacidad, la seguridad y en otros lugares. Solo necesitan actualizar sus métodos para IA.
Para empezar, las empresas que intentan utilizar la inteligencia artificial necesitan reconocer que hay costos asociados con la transparencia. Esto no es, por supuesto, para sugerir que no vale la pena lograr la transparencia, simplemente que también plantea desventajas que hay que comprender plenamente. Estos costos deben incorporarse en un modelo de riesgo más amplio que regule la forma de relacionarse con modelos explicables y la medida en que la información sobre el modelo está disponible para otros.
En segundo lugar, las organizaciones también deben reconocer que la seguridad se está convirtiendo en una preocupación cada vez mayor en el mundo de la IA. A medida que la IA se adopta más ampliamente, seguramente se descubrirán más vulnerabilidades de seguridad y errores, como mis colegas y yo en el Foro Futuro de la Privacidad argumentado recientemente. De hecho, la seguridad puede ser uno de los mayores obstáculos a largo plazo para la adopción de la IA.
Por último, la importancia de colaborar con los abogados lo antes posible y con la mayor frecuencia posible al crear e implementar IA. La participación de los departamentos jurídicos puede facilitar un entorno abierto y legalmente privilegiado, lo que permite a las empresas investigar a fondo sus modelos para cada vulnerabilidad imaginable sin crear responsabilidades adicionales.
De hecho, esta es exactamente la razón por la que los abogados operan bajo un privilegio legal, lo que da a la información que reúnen un estatus protegido, incentivando a los clientes a comprender plenamente sus riesgos en lugar de ocultar cualquier posible error. En la ciberseguridad, por ejemplo, los abogados se han involucrado tanto que es común que los departamentos legales gestionen evaluaciones de riesgos e incluso actividades de respuesta a incidentes después de una violación. El mismo enfoque debería aplicarse a la IA.
En el mundo del análisis de datos, con frecuencia se supone que más datos son mejores. Pero en la gestión de riesgos, los datos en sí son a menudo una fuente de responsabilidad. Eso está empezando a ser cierto para la inteligencia artificial también.
— Andrew Burt Via HBR.org
