Gestión de los riesgos de la IA generativa

La inteligencia artificial generativa (IA) se ha hecho muy popular, pero su adopción por parte de las empresas conlleva cierto riesgo ético. Las organizaciones deben priorizar el uso responsable de la IA generativa garantizando que sea precisa, segura, honesta, empoderadora y sostenible. Las organizaciones deben ser conscientes de las implicaciones éticas y tomar las medidas necesarias para reducir los riesgos. En concreto, tienen que: utilizar datos cero o de primera parte, mantener los datos actualizados y bien etiquetados, asegurarse de que hay una persona al tanto, hacer pruebas y volver a realizar las pruebas y obtener comentarios.

••• Los líderes corporativos, los académicos, los responsables políticos y muchos otros buscan formas de aprovechar la tecnología de IA generativa, que tiene el potencial de transformar la forma en que aprendemos, trabajamos y más. En los negocios, la IA generativa tiene el potencial de transformar la forma en que las empresas interactúan con los clientes e impulsar el crecimiento empresarial.[Nueva investigación](https://www.salesforce.com/news/stories/generative-ai-research/) muestra que el 67% de los principales líderes de TI priorizarán la IA generativa para sus negocios en los próximos 18 meses, y un tercio (33%) la considera una de las principales prioridades. Las empresas están estudiando cómo podría afectar a todos los aspectos de la empresa, incluidas las ventas, el servicio de atención al cliente, el marketing, el comercio, la TI, el área legal, los recursos humanos y otros. Sin embargo, los principales líderes de TI necesitan una forma confiable y segura de los datos para que sus empleados utilicen estas tecnologías. El setenta y nueve por ciento de los altos directivos de TI informaron de su preocupación de que estas tecnologías conlleven posibles riesgos de seguridad, y a otro 73% le preocupan los resultados sesgados. En términos más generales, las organizaciones deben reconocer la necesidad de garantizar el uso ético, transparente y responsable de estas tecnologías. Una empresa que utiliza la tecnología de IA generativa en un entorno empresarial es diferente a que los consumidores la utilicen para uso privado e individual. Las empresas deben cumplir con las normas pertinentes a sus respectivos sectores (por ejemplo, la sanidad), y hay un campo minado de implicaciones legales, financieras y éticas si el contenido generado es inexacto, inaccesible u ofensivo. Por ejemplo, el riesgo de sufrir daños cuando un chatbot de IA generativa da pasos incorrectos para cocinar una receta es mucho menor que cuando se le da a un empleado del servicio de campo instrucciones para reparar una pieza de maquinaria pesada. Si no se diseña y despliega con directrices éticas claras, la IA generativa puede tener consecuencias no deseadas y, potencialmente, causar un daño real. ** ** Las organizaciones necesitan un marco claro y práctico para utilizar la IA generativa y alinear sus objetivos de IA generativa con los de sus negocios»[trabajos por hacer](/2016/09/know-your-customers-jobs-to-be-done)», incluida la forma en que la IA generativa afectará a las ventas, el marketing, el comercio, los servicios y los trabajos de TI. En 2019, publicamos nuestro[principios de IA confiables](https://blog.salesforceairesearch.com/meet-salesforces-trusted-ai-principles/) (transparencia, imparcialidad, responsabilidad y fiabilidad), destinada a guiar el desarrollo de herramientas de IA éticas. Se pueden aplicar a cualquier organización que invierta en IA. Pero estos principios solo llegan hasta cierto punto si las organizaciones carecen de una práctica ética de IA que los incorpore al desarrollo y la adopción de la tecnología de IA. Una práctica de IA ética y madura pone en práctica sus principios o valores mediante el desarrollo y el despliegue responsables de los productos (uniendo disciplinas como la gestión de productos, la ciencia de los datos, la ingeniería, la privacidad, el legal, la investigación de usuarios, el diseño y la accesibilidad) para mitigar los posibles daños y maximizar los beneficios sociales de la IA. Hay [modelos](https://www.salesforce.com/news/stories/salesforce-debuts-ai-ethics-model-how-ethical-practices-further-responsible-artificial-intelligence/) para saber cómo las organizaciones pueden iniciar, desarrollar y ampliar estas prácticas, que proporcionan hojas de ruta claras sobre cómo crear la infraestructura para el desarrollo ético de la IA. Sin embargo, con la aparición generalizada (y la accesibilidad) de la IA generativa, nos dimos cuenta de que las organizaciones necesitaban directrices específicas sobre los riesgos que presenta esta tecnología específica. Estas directrices no sustituyen a nuestros principios, sino que actúan como una estrella polar sobre cómo pueden ponerse en práctica y ponerse en práctica a medida que las empresas desarrollan productos y servicios que utilizan esta nueva tecnología. ## Directrices para el desarrollo ético de la IA generativa Nuestro nuevo conjunto de[directrices](https://www.salesforce.com/news/stories/generative-ai-guidelines/?d=cta-body-promo-8) puede ayudar a las organizaciones a evaluar los riesgos y las consideraciones de la IA generativa a medida que estas herramientas se generalizan. Abarcan cinco áreas de enfoque. ### Precisión Las organizaciones deben poder entrenar los modelos de IA a partir de sus propios datos para ofrecer resultados verificables que equilibren la precisión, la precisión y la memoria (la capacidad del modelo para identificar correctamente los casos positivos en un conjunto de datos determinado). Es importante comunicarse cuando hay incertidumbre con respecto a las respuestas generativas de la IA y permitir que las personas las validen. Esto se puede hacer citando las fuentes de las que el modelo extrae información para crear contenido, explicando por qué la IA dio la respuesta que dio, destacando la incertidumbre y creando barreras que impidan que algunas tareas se automaticen por completo. ### Seguridad Hacer todo lo posible para mitigar los sesgos, la toxicidad y los resultados dañinos mediante la realización de evaluaciones de los sesgos, la explicabilidad y la solidez es siempre una prioridad en la IA. Las organizaciones deben proteger la privacidad de cualquier información de identificación personal presente en los datos utilizados en la formación para evitar posibles daños. Además, las evaluaciones de seguridad pueden ayudar a las organizaciones a identificar las vulnerabilidades que pueden ser explotadas por personas malintencionadas (por ejemplo,»[hacer cualquier cosa ahora](https://medium.com/seeds-for-the-future/tricking-chatgpt-do-anything-now-prompt-injection-a0f65c307f6b)» ataques de inyección rápida que se han utilizado para anular las barandillas de ChatGPT). ### Honestidad Al recopilar datos para entrenar y evaluar nuestros modelos, respete la procedencia de los datos y asegúrese de que hay consentimiento para utilizarlos_._ Esto se puede hacer aprovechando los datos de código abierto y proporcionados por los usuarios. Y, a la hora de entregar los resultados de forma autónoma, es necesario ser transparente en cuanto a que una IA ha creado el contenido. Esto se puede hacer mediante marcas de agua en el contenido o mediante mensajes dentro de la aplicación. ### Empoderamiento Si bien hay algunos casos en los que es mejor automatizar por completo los procesos, la IA debería desempeñar más a menudo un papel de apoyo. Hoy en día, la IA generativa es una gran _asistente_. En los sectores en los que generar confianza es una de las principales prioridades, como las finanzas o la sanidad, es importante que las personas participen en la toma de decisiones (con la ayuda de la información basada en datos que puede proporcionar un modelo de IA) para generar confianza y mantener la transparencia. Además, asegúrese de que todos puedan acceder a las salidas del modelo (por ejemplo, genere texto alternativo para acompañar a las imágenes, la salida de texto sea accesible para un lector de pantalla). Y, por supuesto, hay que tratar con respeto a los colaboradores del contenido, a los creadores y a los etiquetadores de datos (por ejemplo, salarios justos, consentimiento para usar su trabajo). ### Sostenibilidad Los modelos lingüísticos se describen como «grandes» en función del número de valores o parámetros que utilizan. Algunos de estos grandes modelos lingüísticos (LLM) tienen cientos de miles de millones de parámetros y utilizan mucha energía y agua para entrenarlos. Por ejemplo, la GPT3 tomó[1,287 gigavatios/hora](https://www.bloomberg.com/news/articles/2023-03-09/how-much-energy-do-ai-and-chatgpt-use-no-one-knows-for-sure) o aproximadamente la misma cantidad de electricidad para abastecer a 120 hogares estadounidenses durante un año, y[700 000 litros de agua dulce limpia](https://themarkup.org/hello-world/2023/04/15/the-secret-water-footprint-of-ai-technology). Si tenemos en cuenta los modelos de IA, más grandes no siempre significan mejores. A medida que desarrollemos nuestros propios modelos, nos esforzaremos por minimizar el tamaño de nuestros modelos y, al mismo tiempo, maximizar la precisión mediante el entrenamiento en modelos basados en grandes cantidades de datos de CRM de alta calidad. Esto ayudará a reducir la huella de carbono, ya que se requiere menos computación, lo que se traduce en menos consumo de energía de los centros de datos y emisiones de carbono. ## Integrar la IA generativa La mayoría de las organizaciones integrarán herramientas de IA generativa en lugar de crear las suyas propias. Estos son algunos consejos tácticos para integrar de forma segura la IA generativa en las aplicaciones empresariales a fin de impulsar los resultados empresariales: ### Utilizar datos de origen o de terceros Las empresas deberían entrenar las herramientas de IA generativa utilizando datos de terceros (datos que los clientes comparten de forma proactiva) y datos propios, que recopilan directamente. La sólida procedencia de los datos es clave para garantizar que los modelos sean precisos,[original](https://www.technologyreview.com/2023/02/03/1067786/ai-models-spit-out-photos-of-real-people-and-copyrighted-images/), y de confianza. Confiar en datos de terceros o en información obtenida de fuentes externas para entrenar las herramientas de IA dificulta garantizar la precisión de los resultados. Por ejemplo, los agentes de datos pueden tener datos antiguos, combinar incorrectamente los datos de dispositivos o cuentas que no pertenecen a la misma persona o hacer inferencias inexactas basándose en los datos. Esto se aplica a nuestros clientes cuando basamos los modelos en sus datos. Así que en Marketing Cloud, si todos los datos del CRM de un cliente provienen de agentes de datos, la personalización puede ser incorrecta. ### Mantenga los datos actualizados y bien etiquetados La IA es tan buena como los datos en los que se entrena. Los modelos que generan respuestas a las consultas de atención al cliente generarán resultados inexactos o desactualizados si el contenido en el que se basan es antiguo, incompleto e inexacto. Esto puede llevar a[alucinaciones](https://www.wired.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/), en la que una herramienta afirma con confianza que una falsedad es real. Los datos de entrenamiento que contienen sesgos darán como resultado herramientas que propagan los sesgos. Las empresas deben revisar todos los conjuntos de datos y documentos que se utilizarán para entrenar los modelos y eliminar los elementos sesgados, tóxicos y falsos. Este proceso de selección es clave para los principios de seguridad y precisión. ### Asegúrese de que haya un humano al tanto El hecho de que algo se pueda automatizar no significa que deba serlo. Las herramientas de IA generativa no siempre son capaces de entender el contexto emocional o empresarial, o de saber cuándo son incorrectas o perjudiciales. Las personas deben participar para revisar los resultados para garantizar su precisión, detectar los sesgos y garantizar que los modelos funcionan según lo previsto. En términos más generales, la IA generativa debe verse como una forma de aumentar las capacidades humanas y empoderar a las comunidades, no de sustituirlas ni desplazarlas. Las empresas desempeñan un papel fundamental a la hora de adoptar de forma responsable la IA generativa y de integrar estas herramientas de manera que mejoren, no disminuyan, la experiencia laboral de sus empleados y sus clientes. Esto se refiere a garantizar el uso responsable de la IA para mantener la precisión, la seguridad, la honestidad, el empoderamiento y la sostenibilidad, mitigar los riesgos y eliminar los resultados sesgados. Además, el compromiso debe ir más allá de los intereses corporativos inmediatos y abarcar responsabilidades sociales más amplias y prácticas éticas de IA. ### Prueba, prueba, prueba La IA generativa no puede funcionar sobre la base de configurarlo y olvidarlo; las herramientas necesitan una supervisión constante. Las empresas pueden empezar por buscar formas de automatizar el proceso de revisión recopilando metadatos de los sistemas de IA y desarrollando mitigaciones estándar para riesgos específicos. En última instancia, los humanos también deben participar en la comprobación de la precisión, los sesgos y las alucinaciones de la producción. Las empresas pueden considerar la posibilidad de invertir en una formación ética en IA para los ingenieros y gerentes de primera línea, de modo que estén preparados para evaluar las herramientas de IA. Si los recursos son limitados, pueden priorizar las pruebas de los modelos que tengan más posibilidades de causar daños. ### Recibir comentarios Escuchar a los empleados, a los asesores de confianza y a las comunidades afectadas es clave para identificar los riesgos y corregir el rumbo. Las empresas pueden crear diversas vías para que los empleados denuncien sus inquietudes, como una línea directa anónima, una lista de correo, un canal exclusivo de Slack o redes sociales o grupos focales. Crear incentivos para que los empleados denuncien problemas también puede ser eficaz. Algunas organizaciones han creado consejos consultivos de ética, compuestos por empleados de toda la empresa, expertos externos o una combinación de ambos, para opinar sobre el desarrollo de la IA. Por último, tener líneas de comunicación abiertas con las partes interesadas de la comunidad es clave para evitar consecuencias imprevistas. • • • Con la generalización de la IA generativa, las empresas tienen la responsabilidad de garantizar que utilizan esta tecnología de forma ética y de mitigar los posibles daños. Al cumplir con las directrices y tener barandas de protección por adelantado, las empresas pueden garantizar que las herramientas que despliegan son precisas, seguras y confiables, y que ayudan a las personas a prosperar. La IA generativa evoluciona rápidamente, por lo que las medidas concretas que deben tomar las empresas evolucionarán con el tiempo. Pero seguir un marco ético firme puede ayudar a las organizaciones a superar este período de rápida transformación.