Los riesgos de usar la IA para interpretar las emociones humanas

Resumen.

Históricamente, las empresas han utilizado grupos focales y encuestas para entender cómo se sentían las personas. Ahora, la tecnología emocional de IA puede ayudar a las empresas a captar las reacciones emocionales de empleados y consumidores en tiempo real, decodificando expresiones faciales, analizando patrones de voz, monitoreando los movimientos oculares y midiendo los niveles de inmersión neurológica, por ejemplo. El resultado final es una comprensión mucho mejor tanto de los trabajadores como de los clientes. Pero, debido a la naturaleza subjetiva de las emociones, la IA emocional es especialmente propensa al sesgo. La IA a menudo tampoco es lo suficientemente sofisticada como para comprender las diferencias culturales en la expresión y lectura de emociones, lo que hace más difícil sacar conclusiones precisas. Por ejemplo, una sonrisa puede significar una cosa en Alemania y otra en Japón. Confundir estos significados puede llevar a las empresas a tomar decisiones equivocadas. Imagínese a un turista japonés que necesite ayuda mientras visita una tienda en Berlín. Utilizando el reconocimiento de emociones para priorizar a qué clientes apoyar, el asistente de la tienda podría confundir su sonrisa, un signo de cortesía en casa, como una indicación de que no necesitan ayuda. Si se dejan sin abordar, prejuicios emocionales conscientes o inconscientes como este pueden perpetuar estereotipos y suposiciones a una escala sin precedentes.

¿Qué siente la gente realmente?

Esto nunca ha sido algo fácil para las empresas de determinar. Por un lado, las emociones son intrínsecamente difíciles de leer. Por otro, a menudo hay una desconexión entre lo que la gente decir ellos sienten y lo que realmente sentir.

Considere cómo las personas responden a los anuncios de Super Bowl. En 2018, los televidentes votaron por «Amazon» Alexa pierde su voz» — donde las celebridades intentan (sin éxito) reemplazar Alexa — como el mejor comercial, según el Medidor de anuncios USA Today. Coca-Cola Dietética» Ranura», que contó con una mujer bailando torpe después de beber una lata de Diet Coke Coke Twisted Mango, fue calificado como el peor comercial. Basado en esta encuesta, uno podría concluir que el comercial de Alexa tuvo el mayor impacto. No es así, según Paul Zak, investigador de neurociencias y director ejecutivo de Neurociencia de inmersión, cuyo equipo estudiado inmersión neurológica de la gente en los anuncios. El equipo de Zak evaluó el nivel de compromiso emocional de los espectadores midiendo los cambios en los niveles de oxitocina, la «firma neuronal de resonancia emocional» del cerebro. La investigación encontró que «Groove» en realidad tuvo un mayor impacto — prueba a Zak de que para los anuncios de Super Bowl, hay «cero correlación» entre lo que la gente dice y cómo se sienten inconscientemente.

Cuando entrevistamos a Zak sobre este fenómeno, lo resumió diciendo: «La gente miente, sus cerebros no».

Muchas empresas utilizan grupos focales y encuestas para entender cómo se siente la gente. Ahora, la tecnología de IA emocional puede ayudar a las empresas a capturar las reacciones emocionales en tiempo real, decodificando expresiones faciales, analizando patrones de voz, monitoreando los movimientos oculares y midiendo los niveles de inmersión neurológica, por ejemplo. El resultado final es una comprensión mucho mejor de sus clientes, e incluso de sus empleados.

Los riesgos de sesgo en la IA emocional

Debido a la naturaleza subjetiva de las emociones, la IA emocional es especialmente propensa al sesgo. Por ejemplo, un estudio encontró que la tecnología de análisis emocional asigna más emociones negativas a personas de ciertas etnias que a otras. Considere las ramificaciones en el lugar de trabajo, donde un algoritmo que identifica consistentemente a un individuo como muestra emociones negativas podría afectar la progresión profesional.

La IA a menudo tampoco es lo suficientemente sofisticada como para comprender las diferencias culturales en la expresión y lectura de emociones, lo que hace más difícil sacar conclusiones precisas. Por ejemplo, una sonrisa puede significar una cosa en Alemania y otra en Japón. Confundir estos significados puede llevar a las empresas a tomar decisiones equivocadas. Imagínese a un turista japonés que necesite ayuda mientras visita una tienda en Berlín. Si la tienda utilizó el reconocimiento de emociones para priorizar a qué clientes apoyar, el asistente de la tienda podría confundir su sonrisa, un signo de cortesía en casa, como una indicación de que no necesitaban ayuda.

En resumen, si se deja sin abordar, el sesgo emocional consciente o inconsciente puede perpetuar estereotipos y suposiciones a una escala sin precedentes.

Cómo las empresas pueden evitar que el sesgo se filtre en casos de uso comunes

Basándonos en nuestra investigación y experiencia trabajando con clientes globales, vemos que las empresas utilizan tecnología de IA emocional de cuatro maneras. A través de cada uno, las implicaciones del sesgo algorítmico son un claro recordatorio de que los líderes empresariales y tecnológicos deben comprender y evitar que tales sesgos se filtren.

Comprender cómo están los empleados emocionalmente comprometidos en realidad. Cuando la IA se utiliza para medir las emociones de los empleados, puede tener graves impactos en la forma en que se asigna el trabajo. Por ejemplo, los empleados a menudo piensan que están en el papel correcto, pero al probar nuevos proyectos podrían encontrar que sus habilidades están mejor alineadas en otros lugares. Algunas empresas ya permiten a los empleados probar diferentes roles una vez al mes para ver qué trabajos les gustan más. Aquí es donde el sesgo en IA podría reforzar los estereotipos existentes. Por ejemplo, en los., donde El 89% de los ingenieros civiles y el 81% de los policías de primera línea y los supervisores de detectives son hombres, un algoritmo que ha sido condicionado para analizar características masculinas podría tener dificultades para leer las respuestas emocionales y los niveles de compromiso entre las reclutas femeninas. Esto podría dar lugar a fallos en la asignación de funciones y decisiones de capacitación.

Mejorar la capacidad de crear productos que se adapten a las emociones del consumidor. Con el seguimiento de emociones, los desarrolladores de productos pueden aprender qué funciones provocan la mayor emoción y participación de los usuarios. Tomemos, por ejemplo, Plataforma Auto AI de Affectiva, que puede reconocer emociones como la alegría y la ira y adaptar el entorno de cabina de un vehículo en consecuencia. Las cámaras y los micrófonos pueden detectar somnolencia del pasajero y, como resultado, pueden bajar la temperatura o sacudir el cinturón de seguridad. Un asistente inteligente podría cambiar su tono en respuesta a un pasajero frustrado. Con IA emocional, cualquier producto o servicio, ya sea en el automóvil o en otro lugar, puede convertirse en una experiencia adaptativa. Pero un entorno adaptativo parcial en la cabina podría significar que algunos pasajeros son malentendidos. Por ejemplo, es más probable que se identifique erróneamente a las personas de edad que padecen fatiga del conductor (cuanto mayor sea la edad de la cara, el menos probable es que las expresiones se decodifican con precisión). Y a medida que estos sistemas se vuelven más comunes, las compañías de seguros van a querer una parte de los datos. Esto podría significar mayores primas para las personas mayores, ya que los datos sugieren que, a pesar de muchas indicaciones para descansar, el conductor presionó.

Mejorar las herramientas para medir la satisfacción del cliente. Empresas como Startup basada en Boston Cogito están dando a las empresas las herramientas para ayudar a sus empleados a interactuar mejor con los clientes. Sus algoritmos no solo pueden identificar la «fatiga por compasión» en los agentes de servicio al cliente, sino que también pueden guiar a los agentes sobre cómo responder a las personas que llaman a través de una aplicación. Un cliente molesto podría, por ejemplo, llamar para quejarse de un producto. Grabando y analizando la conversación, la plataforma de Cogito sugeriría que el agente disminuya la velocidad o prompt indicara cuándo mostrar empatía. Un algoritmo sesgado, tal vez sesgado por un acento o una voz más profunda, podría dar lugar a que algunos clientes reciban un trato mejor que otros, empujando a aquellos que soportan la peor parte del mal trato lejos de la marca. Un hombre que llama podría estar sujeto a menos empatía que una mujer, reforzando las percepciones sociales de los hombres como «emocionalmente fuertes». Por el otro lado, una mujer que llama puede ser vista como una negociadora menos dura, lo que resulta en que se ofrezca menos compensación. Irónicamente, los propios agentes pueden ni siquiera poseer estos sesgos, pero nublados por la idea errónea de que los algoritmos son altamente precisos, pueden seguir sus consejos ciegamente. De esta manera, los sesgos se propagan, incuestionables y sistemáticamente.

Transformando la experiencia de aprendizaje. Las ideas emocionales podrían ser usadas para aumentar la experiencia de aprendizaje en todas las edades. Podría, por ejemplo, permitir a los profesores diseñar lecciones que estimulen la máxima participación, situando la información clave en los picos de interacción y cambiando contenido en los canales. También ofrece información sobre los propios estudiantes, ayudando a identificar quién necesita más atención. China ya está introduciendo sistemas de detección de emociones en las aulas para hacer un seguimiento de la concentración de los estudiantes. Pero, si existen sesgos, sugerir erróneamente a alguien desenganchado podría resultar en experiencias de aprendizaje adaptadas a ciertos grupos en lugar de a otros. Piense en diferentes estilos de aprendizaje: Algunas personas son estudiantes visuales. Algunos aprenden haciendo. Otros favorecen la intensa concentración solitaria. Pero un algoritmo, tal vez diseñado por un estudiante visual, podría perder por completo o malinterpretar tales señales. Las lecturas incorrectas de compromiso podrían afectar los resultados de aprendizaje hasta el lugar de trabajo, lo que significa que incluso en los programas de formación laboral, solo una fracción de los empleados puede disfrutar de pleno desarrollo profesional. Tales suposiciones erróneas podrían afectar los resultados del aprendizaje hasta el lugar de trabajo, lo que significa que incluso en los programas de formación laboral, sólo una fracción de los empleados puede disfrutar de pleno desarrollo profesional.

Evitar sesgos en IA

A medida que cada vez más empresas incorporen IA emocional en sus operaciones y productos, será imperativo que sean conscientes de la posibilidad de que se produzcan sesgos y que trabajen activamente para prevenirlo.

Ya sea la naturaleza subjetiva de las emociones, o las discrepancias en las emociones, está claro que detectar emociones no es tarea fácil. Algunas tecnologías son mejores que otras en el seguimiento de ciertas emociones, por lo que la combinación de estas tecnologías podría ayudar a mitigar el sesgo. De hecho, un Nielsen estudio probando la exactitud de las tecnologías neurocientíficas como la codificación facial, la biometría y la electroencefalografía (EEG), encontraron que cuando se utilizaban solos, los niveles de precisión estaban en 9%, 27% y 62% respectivamente. Cuando se combinan, los niveles de precisión disparan hasta un 77%. Al probar los resultados con una encuesta, esto ascendió al 84%. Por lo tanto, tales combinaciones sirven como un control de la exactitud de los resultados, un sistema de referencia de tipos.

Pero la contabilidad de los matices culturales en los algoritmos tomará más que simplemente combinar y hacer referencia a múltiples tecnologías. Tener equipos diversos que creen algoritmos emocionales de IA será crucial para mantener el sesgo a raya y capturar completamente la complejidad de las emociones. Esto significa no sólo la diversidad étnica y de género, sino también la diversidad en el estatus y puntos de vista socioeconómicos, negando cualquier cosa, desde la xenofobia hasta la homofobia y la edad. Cuanto más diversas sean las entradas y los puntos de datos, más probable es que seamos capaces de desarrollar una IA justa e imparcial.

Las empresas también tendrán que estar atentos a no perpetuar sesgos históricos al entrenar IA emocional. Si bien los datos históricos pueden utilizarse como base para entrenar la IA en diferentes estados emocionales, se necesitarán datos en tiempo real en tiempo real para el contexto. Tome sonrisas, por ejemplo. Uno estudio mostró que de los 19 tipos diferentes de sonrisa, sólo seis ocurren cuando la gente está pasando un buen rato. También sonreímos cuando estamos sufriendo, avergonzados e incómodos, distinciones que sólo se pueden dibujar con contexto.

En resumen, la IA emocional será una herramienta poderosa, obligando a las empresas a reconsiderar sus relaciones con consumidores y empleados por igual. No solo ofrecerá nuevas métricas para entender a las personas, sino que también redefinirá los productos tal como los conocemos. Pero a medida que las empresas se adentran en el mundo de la inteligencia emocional, la necesidad de evitar que se filtren sesgos será esencial. La falta de acción dejará sistemáticamente a ciertos grupos más malentendidos que nunca — un grito muy lejos de las promesas ofrecidas por la IA emocional.

Los autores quieren agradecer a los colegas de Accenture Research Xiao Chang, Paul Barbagallo, Dave Light y H. James Wilson por sus significativas contribuciones a este artículo.

— Escrito por Mark Purdy, Omaro Maseli Mark Purdy,