La paradoja de la transparencia de la IA

En los últimos años, tanto los académicos como los profesionales han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial y por muchas buenas razones. La transparencia puede ayudar a mitigar las cuestiones de equidad, discriminación y confianza, todas las cuales han recibido cada vez más atención. Sin embargo, al mismo tiempo, queda claro que la divulgación de información sobre la IA conlleva sus propios riesgos: se pueden hackear las explicaciones, publicar información adicional puede hacer que la IA sea más vulnerable a los ataques y la divulgación puede hacer que las empresas sean más susceptibles a demandas o medidas reglamentarias. Llámalo la «paradoja de la transparencia» de la IA. Si bien generar más información sobre la IA podría generar beneficios reales, también podría provocar nuevos inconvenientes. Para sortear esta paradoja, las organizaciones deberán pensar detenidamente en cómo gestionan los riesgos de la IA, la información que generan sobre estos riesgos y la forma en que se comparte y protege esa información.

••• En los últimos años, tanto los académicos como los profesionales han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial y por muchas buenas razones. La transparencia puede ayudar a mitigar las cuestiones de equidad, discriminación y confianza, todas las cuales han recibido cada vez más atención. El nuevo negocio de tarjetas de crédito de Apple ha sido acusado de[modelos de préstamos sexistas](https://www.bbc.com/news/business-50365609), por ejemplo, mientras [Amazon desechado](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G) una herramienta de IA para contratar tras descubrir que discriminaba a las mujeres. Sin embargo, al mismo tiempo, queda claro que la divulgación de información sobre la IA conlleva sus propios riesgos: se pueden hackear las explicaciones, publicar información adicional puede hacer que la IA sea más vulnerable a los ataques y la divulgación puede hacer que las empresas sean más susceptibles a demandas o medidas reglamentarias. Llámalo la «paradoja de la transparencia» de la IA. Si bien generar más información sobre la IA puede generar beneficios reales, también puede generar nuevos riesgos. Para sortear esta paradoja, las organizaciones deberán pensar detenidamente en cómo gestionan los riesgos de la IA, la información que generan sobre estos riesgos y la forma en que se comparte y protege esa información. Algunos estudios recientes ilustran estas tendencias. Empecemos con[un trabajo de investigación](https://arxiv.org/abs/1911.02508) de académicos de Harvard y la Universidad de California, Irvine, publicado el mes pasado. El artículo se centró en cómo se podían hackear las variantes de LIME y SHAP, dos técnicas populares que se utilizan para explicar los llamados algoritmos de caja negra. Para ilustrar el poder de LIME,[el periódico de 2016](https://arxiv.org/pdf/1602.04938v1.pdf) al anunciar la herramienta, se explicaba cómo un clasificador de imágenes que, por lo demás, sería incomprensible, reconocía diferentes objetos de una imagen: una guitarra acústica se identificaba por el puente y partes del diapasón, mientras que un Labrador Retriever se identificaba por rasgos faciales específicos en el lado derecho de la cara del perro. LIME y el movimiento de la IA explicable en general han sido elogiados como avances que pueden hacer que los algoritmos opacos sean más transparentes. De hecho, la ventaja de explicar la IA ha sido un precepto ampliamente aceptado, promocionado tanto por académicos como por tecnólogos, entre ellos[yo](/2018/05/how-health-care-changes-when-algorithms-start-making-diagnoses). Sin embargo, la posibilidad de nuevos ataques a LIME y SHAP pone de relieve un inconveniente que se pasa por alto. Como ilustra el estudio, las explicaciones se pueden manipular intencionalmente, lo que lleva a una pérdida de confianza no solo en el modelo sino también en sus explicaciones. Y no es solo esta investigación la que demuestra los posibles peligros de la transparencia en la IA. A principios de este año, Reza Shokri y sus colegas[ilustrado](https://arxiv.org/abs/1907.00164) cómo exponer información sobre los algoritmos de aprendizaje automático puede hacerlos más vulnerables a los ataques. Mientras tanto, investigadores de la Universidad de California en Berkeley han demostrado que se pueden robar algoritmos enteros[basándose simplemente en sus explicaciones](https://arxiv.org/pdf/1807.05185.pdf). A medida que los investigadores de seguridad y privacidad centran más energía en la IA, estos estudios, junto con un[anfitrión](https://arxiv.org/pdf/1609.02943.pdf) de[otros](https://www.cs.cmu.edu/~mfredrik/papers/fjr2015ccs.pdf), todos sugieren la misma conclusión: cuanto más revelen los creadores de un modelo sobre el algoritmo, más daño puede causar un actor malintencionado. Esto significa que divulgar información sobre el funcionamiento interno de una modelo puede reducir su seguridad o exponer a la empresa a una mayor responsabilidad. Todos los datos, en resumen, conllevan riesgos. ¿La buena noticia? Las organizaciones se han enfrentado durante mucho tiempo a la paradoja de la transparencia en los ámbitos de la privacidad, la seguridad y otros ámbitos. Solo necesitan actualizar sus métodos para la IA. Para empezar, las empresas que intentan utilizar la inteligencia artificial tienen que reconocer que la transparencia conlleva costes. Por supuesto, esto no quiere sugerir que no valga la pena lograr la transparencia, simplemente que también plantea desventajas que hay que entender perfectamente. Estos costes deberían incorporarse a un modelo de riesgo más amplio que regule la forma de utilizar modelos explicables y la medida en que la información sobre el modelo está disponible para otros. En segundo lugar, las organizaciones también deben reconocer que la seguridad se está convirtiendo en una preocupación cada vez mayor en el mundo de la IA. A medida que se vaya adoptando la IA, seguro que se descubrirán más vulnerabilidades y errores de seguridad, como mis colegas y yo en el Foro sobre el Futuro de la Privacidad[discutió recientemente](https://fpf.org/wp-content/uploads/2019/09/FPF_WarningSigns_Report.pdf). De hecho, la seguridad puede ser uno de los mayores obstáculos a largo plazo para la adopción de la IA. Por último, la importancia de interactuar con los abogados lo antes y con la mayor frecuencia posible a la hora de crear y desplegar la IA. La participación de los departamentos legales puede facilitar un entorno abierto y legalmente privilegiado, lo que permite a las empresas investigar minuciosamente sus modelos para detectar todas las vulnerabilidades imaginables sin crear responsabilidades adicionales. De hecho, esta es exactamente la razón por la que los abogados operan bajo el privilegio legal, que otorga a la información que recopilan un estado protegido, lo que incentiva a los clientes a comprender perfectamente sus riesgos en lugar de ocultar cualquier posible delito. En ciberseguridad, por ejemplo, los abogados se han implicado tanto que es común que los departamentos legales gestionen las evaluaciones de riesgos e incluso las actividades de respuesta a incidentes tras una infracción. El mismo enfoque debería aplicarse a la IA. En el mundo del análisis de datos, con frecuencia se asume que más datos es mejor. Pero en la gestión de riesgos, los datos en sí mismos suelen ser una fuente de responsabilidad. Eso está empezando a ser válido también para la inteligencia artificial.