5 reglas para gestionar las consecuencias no deseadas de la IA
Resumen.
Las empresas utilizan cada vez más «agentes de aprendizaje de refuerzo», un tipo de IA que mejora rápidamente a través del ensayo y el error a medida que persigue su objetivo, a menudo con consecuencias involuntarias e incluso peligrosas. La militarización del contenido polarizado en plataformas de redes sociales es un ejemplo extremo de lo que puede suceder cuando los agentes de RL no están adecuadamente restringidos. Para evitar que sus agentes de RL causen daño, los líderes deben cumplir cinco reglas a medida que integran esta IA en la ejecución de su estrategia.
Las empresas de medios sociales afirman que solo están tratando de construir comunidades y conectar con el mundo, y que necesitan ingresos publicitarios para seguir siendo libres. Pero nada es realmente gratis. Para ellos, más vistas significan más dinero, por lo que han optimizado sus algoritmos para maximizar la interacción. Las vistas son la «función de recompensa» de los algoritmos: cuanto más vistas puedan atraer los algoritmos a la plataforma, mejor. Cuando un algoritmo promueve una publicación determinada y ve un aumento de puntos de vista, se duplicará en la estrategia, selectivamente cronometrando, apuntando y empujando publicaciones de manera que haya encontrado estimulará aún más el intercambio, un proceso llamado aprendizaje de refuerzo.
No se necesita un experto en IA para ver a dónde lleva esto: las publicaciones provocativas que evocan emociones fuertes obtendrán más vistas y por lo tanto el algoritmo los favorecerá, lo que dará lugar a ingresos cada vez mayores para la plataforma. Pero las plataformas sociales no son las únicas que usan inteligencia artificial de aprendizaje de refuerzo. A medida que las empresas lo adoptan, los líderes deben buscar los problemas de las empresas de medios sociales para entender cómo puede llevar a consecuencias no deseadas y tratar de evitar cometer errores predecibles.
Agentes de aprendizaje de refuerzo
Para entender el ciclo de causa y efecto que vemos en las plataformas sociales, es útil saber un poco más sobre cómo funciona el algoritmo. Este tipo de algoritmo se llama agente de aprendizaje de refuerzo (RL) y aunque las actividades de estos agentes son quizás más visibles en las redes sociales, se están volviendo cada vez más comunes a lo largo de los negocios.
A diferencia de los algoritmos que siguen un conjunto rígido de instrucciones, los agentes RL están programados para buscar una recompensa especificada tomando acciones definidas durante un determinado «estado». En este caso, la recompensa es puntos de vista — cuanto más, mejor. Las acciones permitidas por el agente pueden incluir a quién dirigirse y la frecuencia de las promociones. El estado del algoritmo podría ser la hora del día. Combinada, la recompensa del agente, los estados dentro de los cuales opera y su conjunto de «acciones» permitidas se llaman sus «políticas».
Las políticas definen ampliamente cómo un agente RL puede comportarse en diferentes circunstancias, proporcionando barandillas de tipo. El agente es libre de experimentar dentro de los límites de sus políticas para ver qué combinaciones de acciones y estados (pares de acción estatal) son más efectivas para maximizar la recompensa. A medida que aprende lo que funciona mejor, persigue esa estrategia óptima y abandona los enfoques que encontró menos efectivos. A través de un proceso iterativo de prueba y error, el agente es cada vez mejor en maximizar su recompensa. Si este proceso suena familiar, es porque está modelado en el funcionamiento de nuestros propios cerebros; los patrones de comportamiento que van desde hábitos hasta adicciones se refuerzan cuando el cerebro recompensa acciones (como comer) tomadas durante estados determinados (por ejemplo, cuando tenemos hambre) con la liberación del neurotransmisor dopamina o otros estímulos.
Comprender cómo los agentes de RL persiguen sus objetivos hace que sea más claro cómo pueden modificarse para prevenir daños. Si bien es difícil cambiar el comportamiento de los humanos en el sistema humano-AI, es un asunto más simple cambiar las políticas de los agentes de RL, las acciones que puede tomar en busca de su propia recompensa. Esto tiene importantes implicaciones para las redes sociales, claramente, pero el punto es ampliamente aplicable en cualquiera de las situaciones de negocio cada vez más numerosas en las que los agentes de RL interactúan con las personas.
Reglas de liderazgo
Independientemente de lo que pienses del liderazgo de Facebook y Twitter, seguramente no se propusieron crear una estrategia para sembrar la discordia y polarizar a la gente. Pero instruyeron a los gerentes para maximizar el crecimiento y los ingresos de las plataformas, y los agentes de RL que idearon para hacer exactamente eso lo lograron brillantemente, con consecuencias alarmantes.
La militarización de las plataformas de redes sociales es un ejemplo extremo de lo que puede suceder cuando las políticas de los agentes de RL no están adecuadamente concebidas, monitoreadas o restringidas. Pero estos agentes también tienen aplicaciones en servicios financieros, atención médica, marketing, juegos, automatización y otros campos donde su búsqueda de recompensas con una sola mente podría promover comportamientos humanos inesperados e indeseables. A los AI no les importan estos, pero a los humanos que los crean y operan deben hacerlo.
A continuación se presentan cinco reglas que los líderes deben cumplir a medida que integran los agentes de RL en su ejecución de estrategias. Para ilustrar cómo un agente de servicios financieros puede distorsionar el comportamiento humano para peor —y cómo, con un ajuste adecuado, estos pueden ayudar a resolver ese problema — voy a ilustrar con un caso de mi propia empresa.
1. Supongamos que su agente RL afectará el comportamiento de formas imprevistas.
Mi empresa construyó un agente para acelerar la garantía de calidad de las transacciones contables marcando anomalías (posibles errores) que el algoritmo calificó como de alto riesgo y colocándolos primero en la cola para su evaluación por un analista. Al reducir drásticamente el número total de anomalías que los analistas necesitaban revisar, el algoritmo redujo sustancialmente el tiempo de revisión general como esperábamos que fuera. Pero nos sorprendió ver tiempos de revisión sospechosamente rápidos para incluso las anomalías más complejas. Estos deberían haber tomado a los analistas más tiempo, no menos.
2. Evaluar sistemáticamente las desviaciones de lo esperado.
Hasta la fecha, pocas empresas evalúan metódicamente cómo sus agentes de RL están influyendo en el comportamiento de las personas. Comience pidiendo regularmente a sus científicos de datos datos sobre cambios de comportamiento que puedan estar asociados con las actividades de los agentes. Si ve una desviación de lo que se espera, profundiza. En nuestro caso, el hecho de que los analistas estuvieran volando a través de las anomalías más arriesgadas era una bandera roja de que el algoritmo estaba causando un efecto de golpe inesperado. Sabíamos que teníamos un problema.
3. Entrevise a usuarios, clientes u otras personas acerca de sus respuestas a los resultados de los agentes de RL.
Aunque los que están en el extremo receptor de las acciones de un agente de RL pueden no ser conscientes de que están siendo influenciados por una IA, aún puedes medir su respuesta a ella. Debido a que estábamos preocupados por las revisiones demasiado rápidas de nuestro analista contable, hablamos con ellos sobre su respuesta a las anomalías de compilación del algoritmo para que evaluaran. Resultó que asumieron erróneamente que el agente estaba haciendo más de la garantía de calidad en estas anomalías de lo que era; confiaban excesivamente en la «experiencia» del agente y así pagaron menos atención en su propia investigación de la anomalía. (Dicho sea de paso, tal dependencia excesiva de la IA es una de las razones por las que la gente está chocando con automóviles «autónomos»; asumen que la IA es más capaz de lo que es y entregan demasiado control, un peligroso efecto de golpe.)
4. Si un agente promueve comportamientos no deseados, modifique sus directivas.
Para optimizar la búsqueda de los agentes de su recompensa, la mayoría de los equipos de IA ajustan constantemente las políticas de los agentes, modificando generalmente los pares de acciones de estado, por ejemplo, el tiempo en un ciclo de facturación (el estado) en el que un agente enviará una prompt de pago (la acción). En nuestro ejemplo contable, hicimos varios cambios en las políticas, incluyendo la redefinición del estado para incluir el tiempo empleado por los analistas en cada anomalía y la adición de acciones que cuestionaban las conclusiones de un analista si se alcanzaban demasiado rápido y elevaban las anomalías seleccionadas a un supervisor. Estos cambios de política redujeron sustancialmente el número de anomalías graves que los analistas descartaron como falsos positivos.
5. Si persisten comportamientos indeseables, cambie la función de recompensa.
El ajuste de los pares de estado de acción de un agente a menudo puede frenar comportamientos indeseables, pero no siempre. El gran palo disponible para los líderes cuando otras intervenciones fracasan es cambiar el objetivo del agente. Generalmente, cambiar una función de recompensa ni siquiera se considera porque se supone que es sacrosanta. Pero cuando la búsqueda del agente de su objetivo es promover comportamientos dañinos y ajustar los estados o acciones disponibles para el agente no puede solucionar el problema, es hora de examinar la recompensa en sí misma.
***
Dar a un agente de inteligencia artificial el objetivo de maximizar las opiniones por cualquier medio necesario, incluida la explotación de las vulnerabilidades psicológicas humanas, es peligroso y poco ético. En el caso de las plataformas sociales, tal vez haya una manera de ajustar los pares de acción estatal de los agentes para reducir este daño. Si no es así, incumbe a las plataformas hacer lo correcto: evitar que sus agentes persigan opiniones destructivas a cualquier precio. Eso significa cambiar la recompensa que están programados para perseguir, incluso si requiere modificar el modelo de negocio.
Aunque eso puede parecer una idea radical en el caso de las redes sociales, definitivamente está en el aire: Siguiendo la decisión de la Junta de Supervisión de Facebook de mantener la prohibición de la empresa sobre el ex presidente Trump por violar sus reglas contra provocar violencia, Frank Pallone, presidente del Comité de Energía y Comercio de la Cámara de Representantes, atribuía directamente la culpa de los acontecimientos recientes al modelo de negocio de las redes sociales, tuitear: «Donald Trump ha jugado un papel importante en ayudar a Facebook a difundir la desinformación, pero tanto si está en la plataforma como si no, Facebook y otras plataformas mediales sociales con el mismo modelo de negocio encontrarán maneras de resaltar contenido divisor para impulsar los ingresos publicitarios». La propia Junta de Supervisión llamó el modelo de negocio de Facebook al aconsejar a la empresa que «lleve a cabo una revisión exhaustiva de [su] contribución potencial a la narrativa del fraude electoral y las tensiones exacerbadas que culminaron en la violencia en los Estados Unidos el 6 de enero. Esto debería ser una reflexión abierta sobre las decisiones de diseño y políticas que Facebook ha tomado para permitir que su plataforma sea abusada».
Irónicamente, un efecto positivo de las redes sociales es que han sido un canal importante para elevar la conciencia de la gente sobre la ética y el comportamiento corporativo, incluyendo las propias plataformas. Ahora es común que las empresas y otras organizaciones sean llamadas por los resultados destructivos o injustos de perseguir sus objetivos principales, ya sean emisiones de carbono, violencia con armas de fuego, adicción a la nicotina o comportamiento extremista. Y las empresas en general están respondiendo, aunque todavía tienen un largo camino por recorrer. Dado que los agentes de RL y otros tipos de IA tienen cada vez más la tarea de avanzar en los objetivos corporativos, es imperativo que los líderes sepan lo que está haciendo su IA y, cuando está causando daño a la empresa o a la sociedad en general, hagan lo correcto y lo solucionen.
— Escrito por Bob Suh
