El caso para el seguro de AI

La mayoría de las principales empresas, incluyendo Google, Amazon, Microsoft, Uber, y Tesla, han sido engañados, evadidos o engañados involuntariamente, sus sistemas de inteligencia artificial (IA) y aprendizaje automático (ML). Sin embargo, a pesar de estos fracasos de alto perfil, los líderes de la mayoría de las organizaciones no son conscientes de su propio riesgo al crear y utilizar tecnologías de IA y ML. Esto no es enteramente culpa de las empresas. Las herramientas técnicas para limitar y remediar daños no se han construido tan rápidamente como la propia tecnología ML, el seguro cibernético existente generalmente no cubre completamente los sistemas ML, y los remedios legales (por ejemplo, leyes de derechos de autor, responsabilidad y anti-hacking) pueden no cubrir tales situaciones. Una solución emergente es el seguro específico de AI/ML-ML-. Pero quién lo necesitará y exactamente lo que cubrirá son preguntas abiertas.

Descripción de los riesgos

Los acontecimientos recientes han demostrado que los sistemas de IA y ML son frágiles y sus fallas pueden conducir a desastres del mundo real. Nuestra investigación, en el que estudiamos sistemáticamente las fallas de IA publicadas por la comunidad académica, reveló que los sistemas de ML pueden fallar de dos maneras: intencionalmente e involuntariamente.

• En fallas intencionales, un adversario activo intenta subvertir el sistema de IA para alcanzar sus objetivos de inferir datos de entrenamiento privados, robar el algoritmo subyacente o obtener cualquier salida deseada del sistema de IA. Por ejemplo, cuando Tumblr anunció su decisión de dejar de alojar contenido pornográfico, los usuarios omitirse el filtro coloreando las imágenes del cuerpo en verde y añadiendo una imagen de un búho — un ejemplo de un «ataque de perturbación».
• En fallas no intencionales, los sistemas ML fallan por su propia voluntad sin ninguna manipulación contradictoria. Por ejemplo, OpenAI enseñó un sistema de aprendizaje automático a jugar un juego de navegación premiando sus acciones de conseguir una puntuación alta. Sin embargo, el sistema ML fue en un círculo golpeando los mismos objetivos, acumulando más puntos, en lugar de terminar la carrera. Una de las principales causas de fallo involuntario son las suposiciones erróneas de los desarrolladores de ML que producen un resultado formalmente correcto, pero prácticamente inseguro.

En su informe sobre el ataque a los modelos de aprendizaje automático, Gartner publicó un advertencia grave a los ejecutivos: «Los líderes de aplicaciones deben anticipar y prepararse para mitigar los posibles riesgos de corrupción de datos, robo de modelos y muestras contradictorias». Pero las organizaciones están lamentablemente mal preparadas. Como nos dijo el jefe de seguridad de uno de los bancos más grandes de los Estados Unidos, «Queremos proteger la información de clientes utilizada en los modelos ML, pero no sabemos cómo llegar allí». El banco no está solo. Cuando entrevistó oficiosamente a 28 organizaciones que abarca Fortune 500, pequeñas y medianas empresas, organizaciones sin fines de lucro y organizaciones gubernamentales, descubrimos que 25 de ellos no tenían un plan para hacer frente a ataques contradictorios contra sus modelos ML. Había tres razones.

Centro de información

Transformación de datos y digital

Patrocinado por SASmejores prácticas para poner los datos en funcionamiento.

En primer lugar, dado que los modos de falla de IA siguen siendo un área de investigación activa y en evolución, no es posible proporcionar mitigaciones tecnológicas prescriptivas. Por ejemplo, investigadores recientemente mostró cómo 13 defensas para ejemplos contradictorios publicados en las principales revistas académicas son ineficaces. En segundo lugar, los derechos de autor existentes, la responsabilidad del producto y las leyes de «anti-hacking» de EE. UU. puede no abordar todos los modos de error de IA. Por último, dado que la modalidad primaria a través de la cual los sistemas ML y AI manipulan los datos es código y software, un lugar natural para buscar respuestas es el clásico seguro cibernético. Sin embargo, las discusiones con expertos en seguros muestran que algunos fallos de IA pueden estar cubiertos por los seguros cibernéticos existentes, pero algunos pueden no.

Comprender las diferencias entre el seguro cibernético y el seguro AI/ML

Para comprender mejor la relación entre el seguro cibernético tradicional y el fracaso de la IA, hablamos con varios expertos en seguros. En términos generales, el seguro cibernético cubre la seguridad de la información y la responsabilidad por la privacidad, así como la interrupción del negocio. Por ejemplo, las fallas de IA que resultan en la interrupción del negocio y la violación de la información privada probablemente estén cubiertas por el seguro cibernético existente, pero las fallas de IA que resulten en daños a la marca, lesiones corporales y daños a la propiedad probablemente no estén cubiertas por el seguro cibernético existente. Así es como esto se descompone.

El seguro cibernético normalmente cubre estas fallas comunes:

• Ataques de Robo de Modelo: Por ejemplo, OpenAI creó recientemente un sistema de IA para generar automáticamente texto pero inicialmente no reveló completamente el modelo subyacente aduciendo que podría utilizarse indebidamente para difundir desinformación. Sin embargo, dos investigadores fueron capaces de recrear el algoritmo y lo liberaron, antes de OpenAI lanzó el modelo completo. Ataques como estos demuestran cómo las empresas podrían sufrir daños a la marca y pérdidas de propiedad intelectual debido a sistemas de IA falibles. En este caso, el seguro cibernético podría cubrir hipotéticamente el escenario, ya que hubo una violación de información privada.
• Fugas de datos: Por ejemplo, los investigadores fueron capaces de reconstruir caras con sólo el nombre de una persona y acceso a un sistema de reconocimiento facial. Esto fue tan efectivo que la gente fue capaz de usar la foto reconstruida para identificar a un individuo de una alineación con hasta un 87% de precisión. Si esto sucediera en la vida real, el seguro cibernético puede ser capaz de ayudar ya que esto podría ser una violación de la información privada, que en este caso son los datos de formación privada.

Sin embargo, el seguro cibernético normalmente no cubre estas fallas de AI/ML de la vida real:

• Daño corporal: Coche autoconductor de Uber mató a un peatón en Arizona porque su sistema de aprendizaje automático no tuvo en cuenta el paso imprudente. Este evento probablemente no estaría cubierto por el seguro cibernético, ya que sus raíces están en seguros de línea financiera que históricamente ha evitado tales pasivos. Cuando se produce un daño corporal debido a una falla de IA, ya sea por un paquete que entrega drones o en el caso de automóviles autónomos, cuando los sistemas de reconocimiento de imágenes no puede funcionar en condiciones de nieve, niebla o heladas, el seguro cibernético no es probable que cubra los daños (aunque puede cubrir las pérdidas derivadas de la interrupción de negocios que se deriven de tales eventos). En las secuelas de este evento, Uber cesó sus pruebas de automóviles autoconducidos en Arizona, Pensilvania y California. Para cualquier tipo de pérdidas en las que Uber haya incurrido debido a la interrupción del negocio, puede aplicarse el seguro cibernético, aunque es poco probable que se aplique por el daño corporal.
• Daños de marca: Considere una situación en la que la empresa A utiliza un bot conversacional inteligente diseñado por la empresa B para promover la marca de la empresa A en Internet. Si el bot sale mal, al igual que el ataque de envenenamiento en el tweetbot Tay de Microsoft, y trae daños masivos a la marca de la compañía A, las formulaciones existentes de seguros cibernéticos son menos propensos a cubrir las pérdidas de la compañía. En otro caso, los investigadores engañaron al motor antivirus basado en inteligencia artificial de Cylance a pensar que una pieza maliciosa de ransomware era benigna. Si la compañía hubiera sufrido algún daño a la marca como parte de este ataque, el seguro cibernético probablemente no los cubriría.
• Daños a la propiedad física: A artículo de investigadores de Google plantea el escenario en el que un robot de limpieza utiliza el aprendizaje de refuerzo para explorar su entorno y aprender el diseño. Como parte de este proceso de exploración, inserta una fregona húmeda en una toma de corriente que provoca un incendio. Si este ejemplo se juega en la vida real, el seguro cibernético del fabricante del robot de limpieza lo más probable es que no cubra la pérdida.

¿Es hora de que su empresa compre un seguro ML/AI?

Cuando las organizaciones colocan los sistemas de aprendizaje automático en el centro de sus negocios, introducen el riesgo de fallas que podrían conducir a una violación de datos, daños a la marca, daños a la propiedad, interrupción del negocio y, en algunos casos, daños corporales. Incluso cuando las empresas están facultadas para abordar los modos de falla de IA, es importante reconocer que es más difícil ser el defensor que el atacante ya que el primero necesita protegerse contra todos los escenarios posibles, mientras que el segundo solo necesita encontrar una única debilidad para explotar. Como un gerente de seguridad de uno de los cuatro grandes grupos consultivos lo puso en una entrevista con nosotros: «Los ataques de software tradicionales son un desconocido conocido. Los ataques a nuestros modelos ML son desconocidos.»

Las compañías de seguros son conscientes de esta brecha y están tratando activamente de conciliar las diferencias entre el seguro de estilo de software tradicional y el aprendizaje automático. Hoy en día, el seguro cibernético es el mercado de seguros de más rápido crecimiento dirigida a las pequeñas y medianas empresas y las aseguradoras quieren mantener el impulso.

Dado que la adopción de AI ha triplicado en los últimos 3 años, los proveedores de seguros ven esto como el próximo gran mercado. Además, dos grandes aseguradoras señalaron que las organizaciones de estándares como ISO y NIST están en proceso de formular marcos fiables de IA. Además, los países están considerando estrategias de IA y hasta ahora están haciendo hincapié en la seguridad, la seguridad y la privacidad de los sistemas ML, con el La UE lidera el esfuerzo — toda esta actividad podría conducir a regulaciones en el futuro.

Para obtener las mejores tarifas posibles cuando el seguro AI debuta, es importante entender las opciones y comenzar a prepararse ahora. Creemos que los seguros de IA estarán disponibles primero a través de las principales compañías de seguros, ya que las aseguradoras personalizadas pueden no tener suficientes redes de seguridad para invertir en nuevas áreas. Desde una perspectiva de precios, utilizando el pasado mercado de seguros cibernéticos como plantilla, las empresas pueden esperar requisitos estrictos cuando se introduce el seguro de IA para limitar la responsabilidad del proveedor de seguros con tarifas que se enfrían a medida que el mercado de seguros de IA madura.

Cómo empezar

Para ayudar a los gerentes a empezar, hemos creado un plan de acción para comenzar la conversación sobre cómo asegurar y asegurar modelos de aprendizaje automático.

Para la próxima semana:

• Comience a hablar con su proveedor de seguros sobre lo que se cubrirá y lo que no lo hará, para que no esté operando con suposiciones incorrectas.
• Dada la proliferación de sistemas de IA en las empresas, especialmente en las grandes organizaciones, es importante evaluar primero el impacto potencial del fracaso. Recomendamos hacer un balance de todos los sistemas de IA de la organización y almacenarlos en base a una calificación de criticidad alta, media y baja y luego implementar las medidas de seguro y protección en consecuencia.

Para el mes que viene:

• Asignar supervisión humana sobre las decisiones críticas para el negocio, en lugar de depender únicamente de sistemas automatizados.
• Realice ejercicios de mesa para tener en cuenta las fallas en los sistemas de IA y evaluar los resultados. Le recomendamos que evalúe su organización en relación con el borrador Directrices de IA fiables de la UE especialmente la sección 2 (solidez técnica y seguridad) y la sección 3 (Lista de verificación sobre privacidad y gobernanza de datos).

Para el próximo año:

• Asigne a un oficial de seguridad para evaluar la seguridad de los sistemas de IA. Ello constituiría una estrecha colaboración entre el Oficial Jefe de Seguridad de la Información y el personal del Oficial Jefe de Datos.
• Renovar las prácticas de seguridad para la era del aprendizaje automático contradictorio: actualice los manuales de respuesta a incidentes y considere la posibilidad de contratar a un equipo rojo para poner a prueba sus sistemas ML.

Los sistemas de IA y ML pueden ayudar a crear grandes cantidades de valor para muchas organizaciones. Sin embargo, como ocurre con cualquier nueva tecnología, los riesgos deben entenderse —y mitigarse — antes de que la tecnología se integre plenamente en el proceso de creación de valor de la organización.

Nota del editor: Este artículo ha sido actualizado para aclarar la línea de tiempo del lanzamiento del algoritmo de OpenAI.

— Ram Shankar Siva Kumar Frank Nagle Via HBR.org