¿Qué implica realmente crear una IA justa?

Las organizaciones emplean algoritmos para asignar recursos valiosos, diseñar horarios de trabajo, analizar el desempeño de los empleados e incluso decidir si los empleados pueden permanecer en el trabajo. Pero si bien la IA resuelve algunos problemas, crea otros nuevos, y uno de los más difíciles es cómo garantizar que las decisiones que moldea o toma la IA sean justas y se perciban como justas. Las empresas tienen que dejar de pensar en la equidad, un concepto complicado, como algo que pueden abordar con los procesos automatizados adecuados. El autor hace tres recomendaciones: 1) Piense en la equidad como un acto de colaboración, 2) considere la imparcialidad de la IA como una negociación entre la empresa de servicios públicos y la humanidad y 3) recuerde que la imparcialidad de la IA implica una percepción de responsabilidad.

••• La inteligencia artificial (IA) se está convirtiendo rápidamente en una parte integral del funcionamiento de las organizaciones. Esto no debería sorprender; al analizar las ventas y las tendencias del mercado, por ejemplo, los juicios de los algoritmos computacionales pueden considerarse superiores a los de los humanos. Como resultado, las técnicas de IA se utilizan cada vez más para tomar decisiones. Las organizaciones emplean algoritmos para[asignar recursos valiosos](https://www.faichi.com/blog/using-machine-learning-resource-allocation-healthcare), [diseñar horarios de trabajo](https://www.sciencedirect.com/science/article/pii/S0166218X0100258X), [analizar el desempeño de los empleados](https://fortune.com/2019/07/14/artificial-intelligence-workplace-ibm-annual-review/), e incluso [decidir si los empleados pueden permanecer en el trabajo](https://techthelead.com/management-by-algorithm-amazons-warehouse-worker-tracking-system-can-allegedly-fire-them-automatically/). Esto crea una nueva serie de problemas a la vez que resuelve los antiguos. A medida que aumenta el papel de la toma de decisiones algorítmicas en el cálculo de la distribución de los recursos limitados y a medida que los humanos se vuelven más dependientes y vulnerables a las decisiones de la IA, aumenta la ansiedad por la equidad. ¿Qué tan imparcial puede ser realmente un proceso automatizado de toma de decisiones con personas como destinatarios? Para abordar este tema, los científicos e ingenieros informáticos se centran principalmente en cómo gestionar el uso de los datos proporcionados para ayudar al algoritmo a aprender (es decir, la minería de datos) y en cómo utilizar los principios rectores y las técnicas que pueden promover _IA interpretable:_ sistemas que nos permiten entender cómo se obtuvieron los resultados. Ambos enfoques se basan, en su mayor parte, en el desarrollo de métodos computacionales que tienen en cuenta ciertas características que se cree que están relacionadas con la equidad. El meollo del problema es el hecho de que los algoritmos calculan los modelos óptimos a partir de los datos que reciben, lo que significa que pueden acabar replicando los problemas que pretenden corregir. Un esfuerzo de 2014 para eliminar los prejuicios humanos en la contratación en Amazon, por ejemplo, calificó a los candidatos con sesgo de género; los datos históricos de desempeño laboral que se proporcionaron mostraron que la industria de la tecnología estaba dominada por hombres, por lo que consideró que contratar hombres era una buena apuesta. El programa Correctional Offender Management Profiling for Alternative Sanctions, dirigido por la IA, ofrecía predicciones sesgadas sobre la reincidencia que pronosticaban erróneamente que los acusados negros (considerados erróneamente que corren un mayor riesgo de reincidencia) reincidirían a un ritmo mucho mayor que los acusados blancos (clasificados incorrectamente como de bajo riesgo). Las organizaciones y los gobiernos han intentado establecer directrices para ayudar a los desarrolladores de IA a refinar los aspectos técnicos, de modo que las decisiones algorítmicas sean más interpretables (lo que permitirá a los humanos entender con claridad cómo se tomaron las decisiones) y, por lo tanto, más justas. Por ejemplo,[Microsoft ha lanzado programas](https://www.microsoft.com/en-us/research/theme/fate/) que identifican principios de alto nivel como la imparcialidad, la transparencia, la responsabilidad y la ética para guiar a los científicos e ingenieros de la computación en sus esfuerzos de codificación. Se están realizando esfuerzos similares a nivel gubernamental, como lo demuestra la[Directrices éticas de la Unión Europea para una IA fiable](https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai) y[Marco modelo de gobernanza de la IA de Singapur](https://www.pdpc.gov.sg/Help-and-Resources/2020/01/Model-AI-Governance-Framework). Pero ni los esfuerzos de los científicos informáticos por tener en cuenta las características tecnológicas ni los esfuerzos de las empresas y los gobiernos por desarrollar directrices basadas en principios resuelven del todo el tema de la confianza. Para ello, los diseñadores deben tener en cuenta las necesidades y expectativas de información de las personas que se enfrentan a los resultados de los modelos. Esto es importante desde el punto de vista ético y también práctico: abundante investigación en gestión[muestra](https://psycnet.apa.org/doiLanding?doi=10.1037%2F0021-9010.86.3.425) que cuanto más justas se perciban las decisiones, más las aceptan los empleados, cooperan con los demás, están satisfechos con su trabajo y obtienen mejores resultados. La imparcialidad es muy importante para el funcionamiento de la organización, y no hay razón para pensar que eso cambiará cuando la IA tome las decisiones. Entonces, ¿cómo pueden las empresas que quieren implementar la IA persuadir a los usuarios de que no están comprometiendo la imparcialidad? En pocas palabras, tienen que dejar de pensar en la equidad, un concepto complicado, como algo que pueden abordar con los procesos automatizados adecuados y empezar a pensar en un enfoque interdisciplinario en el que la informática y las ciencias sociales trabajen juntas. La equidad es una construcción social que los humanos utilizan para coordinar sus interacciones y las posteriores contribuciones al bien colectivo, y es subjetiva. Se debe evaluar a un responsable de la IA para determinar qué tan bien ayuda a las personas a conectarse y cooperar; las personas tendrán en cuenta no solo sus aspectos técnicos, sino también las fuerzas sociales que actúan en torno a ellos. Un enfoque interdisciplinario permite identificar tres tipos de soluciones que normalmente no se discuten en el contexto de la IA como una persona justa que toma las decisiones. **Solución 1: tratar la imparcialidad de la IA como un acto de cooperación.** El objetivo de los algoritmos es reducir las tasas de error en la medida de lo posible para revelar la solución óptima. Pero si bien ese proceso puede moldearse según criterios formales de imparcialidad, los algoritmos dejan el _perceptivo_ naturaleza de la equidad fuera de la ecuación y no cubren aspectos como si las personas sienten que las han tratado con dignidad y respeto y que han sido atendidas, cuestiones importantes de justicia. De hecho, los algoritmos están diseñados en gran medida para crear modelos de predicción óptimos que tengan en cuenta las características técnicas para mejorar los criterios de imparcialidad formales, como la interpretabilidad y la transparencia, a pesar de que esas características no necesariamente cumplen con las expectativas y necesidades del usuario final humano. Como resultado, y como muestra el ejemplo de Amazon, los algoritmos pueden predecir resultados que la sociedad considera injustos. Hay una manera sencilla de abordar este problema: el modelo producido por la IA debería ser evaluado por un defensor del diablo humano. Aunque las personas son mucho menos racionales que las máquinas y, hasta cierto punto, son ciegas ante sus propios comportamientos inapropiados, las investigaciones muestran que es menos probable que tengan prejuicios cuando[evaluar los comportamientos y las decisiones de los demás](https://psycnet.apa.org/doiLanding?doi=10.1037%2F0033-295X.111.3.781). En vista de esta visión, la estrategia para lograr la imparcialidad de la IA debe implicar un acto de cooperación entre la IA y los humanos. Ambas partes pueden poner sobre la mesa sus mejores habilidades para crear un modelo de predicción óptimo ajustado a las normas sociales. _Recomendación:_ Las organizaciones deben invertir significativamente en el desarrollo ético de sus directivos. Ser un defensor del diablo para los responsables de la toma de decisiones algorítmicas requiere que los gerentes desarrollen su sentido común y su sentido intuitivo de lo que está bien y lo que está mal. **Solución 2: Considerar la imparcialidad de la IA como una negociación entre la empresa de servicios públicos y la humanidad.** El juicio algorítmico es[demostró ser más preciso y predictivo](https://science.sciencemag.org/content/243/4899/1668) que el juicio humano en una serie de tareas específicas, incluida la asignación de puestos de trabajo y las recompensas en función de las evaluaciones del desempeño. Tiene sentido que en la búsqueda de una empresa que funcione mejor, los algoritmos sean[cada vez más preferido a los humanos](https://www.sciencedirect.com/science/article/abs/pii/S0749597818303388) para esas tareas. Desde un punto de vista estadístico, esa preferencia puede parecer válida. Sin embargo, gestionar el flujo de trabajo y la asignación de recursos de formas (casi) perfectamente racionales y coherentes no es necesariamente lo mismo que crear una empresa o una sociedad humana. No importa cómo intente optimizar su jornada de trabajo, los humanos no trabajan de manera constante y predecible. Tenemos días buenos y malos, caídas vespertinas y ráfagas de productividad, todo lo cual representa un desafío para la organización automatizada del futuro. De hecho, si queremos utilizar la IA para promover un entorno de trabajo humano, tenemos que aceptar la propuesta de que no debemos optimizar la búsqueda de la utilidad en detrimento de valores como la tolerancia al fracaso, que permite a las personas aprender y mejorar, habilidades de liderazgo que se consideran necesarias para hacer que nuestras organizaciones y nuestra sociedad sean humanas. El modelo de predicción óptimo de la equidad debe diseñarse con una mentalidad de negociación que se esfuerce por lograr un compromiso aceptable entre la utilidad y los valores humanos. _Recomendación:_ Los líderes deben tener claro qué valores quiere perseguir la empresa y qué normas morales les gustaría ver en el trabajo. Por lo tanto, deben tener claro _cómo_ quieren hacer negocios y _por qué_. Responder a esas preguntas hará evidente el tipo de organización que les gustaría ver en acción. **Solución 3: Recuerde que la imparcialidad de la IA implica la percepción de la responsabilidad.** La imparcialidad es una preocupación importante en la mayoría (si no en todas) de nuestras interacciones profesionales y, por lo tanto, constituye una responsabilidad importante para los responsables de la toma de decisiones. Hasta ahora, las organizaciones y los gobiernos, debido a su adhesión a las estructuras matriciales, han abordado la cuestión de la toma de decisiones justas en materia de IA mediante la elaboración de listas de verificación de cualidades que guíen el desarrollo de los algoritmos. El objetivo es crear IA cuyos resultados coincidan con una definición determinada de lo que es justo. Sin embargo, eso es solo la mitad de la ecuación: la imparcialidad de la IA como responsable de la toma de decisiones depende en realidad de las decisiones que tome la organización que la adopte, que es responsable de los resultados que generan sus algoritmos. La percepción de imparcialidad de la IA se juzgará desde la perspectiva de la organización que la emplee, no solo por las cualidades técnicas de los algoritmos. _Recomendación: ** ** _ Los científicos de datos de una organización deben conocer y estar de acuerdo con los valores y las normas morales que los líderes han establecido. En la mayoría de las organizaciones, existe una brecha entre lo que los científicos de datos están creando y los valores y resultados empresariales que los líderes de la organización quieren lograr. Los dos grupos tienen que trabajar juntos para entender qué valores no se pueden sacrificar en el uso de algoritmos. Por ejemplo, si la inclusión de los grupos minoritarios, que normalmente están mal representados en los datos disponibles, es importante para la empresa, entonces hay que desarrollar algoritmos que incluyan ese valor como filtro importante y garantizar que se aprenda de los valores atípicos, no solo de los puntos en común. *** Las organizaciones deben reconocer que sus partes interesadas las percibirán a ellas, no a los algoritmos que desplieguen, como responsables de cualquier resultado injusto que pueda surgir. Lo que contribuya a la imparcialidad de la IA también dependerá de la forma en que las partes interesadas perciban que es la empresa en general. Investigación[ha mostrado](https://psycnet.apa.org/fulltext/2001-06715-002.html) que las percepciones de equidad, además de la equidad distributiva que los algoritmos han dominado hasta cierto punto, pueden implicar la equidad con la que la organización trata a sus empleados y clientes, si se comunica de manera transparente y si se considera respetuosa con la comunidad en general. Se recomienda a las organizaciones que adopten la IA para participar en la toma de decisiones que dediquen el tiempo y la energía necesarios a crear la cultura laboral adecuada: una con una imagen organizacional justa y confiable.