Por qué necesita un comité de ética de la IA

La inteligencia artificial plantea muchos riesgos éticos para las empresas: puede promover prejuicios, provocar invasiones de la privacidad y, en el caso de los coches autónomos, incluso provocar accidentes mortales. Como la IA está diseñada para funcionar a gran escala, cuando se produce un problema, el impacto es enorme. Pensemos en la IA que utilizaban muchos sistemas de salud para detectar a los pacientes de alto riesgo que necesitaban cuidados de seguimiento. Los investigadores descubrieron que solo el 18% de los pacientes identificados por la IA eran negros, a pesar de que los negros representaban el 46% de los pacientes más enfermos. Y la discriminatoria IA se aplicó a al menos 100 millones de pacientes.

Las fuentes de los problemas en la IA son muchas. Para empezar, los datos utilizados para entrenarlo pueden reflejar un sesgo histórico. La IA de los sistemas de salud se entrenó con datos que mostraban que las personas negras recibían menos recursos de atención médica, lo que llevó al algoritmo a deducir que necesitaban menos ayuda. Los datos pueden submuestrear ciertas subpoblaciones. O puede que se fije un objetivo equivocado para la IA. Estos problemas no son fáciles de abordar y no se pueden solucionar con una solución técnica. Necesita un comité, compuesto por especialistas en ética, abogados, tecnólogos, estrategas empresariales y exploradores de prejuicios, para revisar cualquier IA que su empresa desarrolle o compre a fin de identificar los riesgos éticos que presenta y abordar la forma de mitigarlos. Este artículo describe cómo crear un comité de este tipo de forma eficaz.

•••

Resumen de la idea

El problema

Los sesgos se abrirán paso en los modelos de IA y aprendizaje automático sin importar lo sólida que sea su tecnología o lo diversa que sea su organización.

La razón

Hay muchas fuentes de IA sesgada, todas las cuales pueden pasar fácilmente desapercibidas para los científicos de datos y otros tecnólogos.

La solución

Un comité de ética de la IA puede identificar y mitigar los riesgos éticos de los productos de IA que se desarrollan internamente o que se adquieren de proveedores externos.

En 2019, un estudio publicado en la revista Ciencia descubrió que la inteligencia artificial de Optum, que muchos sistemas de salud utilizaban para detectar a los pacientes de alto riesgo que debían recibir cuidados de seguimiento, estaba llevando a los profesionales médicos a prestar más atención a los blancos que a los negros. Solo el 18% de las personas identificadas por la IA eran negras, mientras que el 82% eran blancas. Tras revisar los datos sobre los pacientes que realmente estaban más enfermos, los investigadores calcularon que las cifras deberían haber sido de alrededor del 46 y el 53%, respectivamente. El impacto fue de gran alcance: los investigadores estimaron que la IA se había aplicado a al menos 100 millones de pacientes. Si bien los científicos de datos y los ejecutivos que participaron en la creación del algoritmo Optum nunca se propusieron discriminar a los negros, cayeron en una trampa sorprendentemente común: entrenar a la IA con datos que reflejaran la discriminación histórica, lo que se tradujo en resultados sesgados. En este caso en particular, los datos utilizados mostraron que los negros reciben menos recursos de atención médica, lo que provocó que el algoritmo dedujera erróneamente que necesitaban menos ayuda. Hay muchos riesgos éticos bien documentados y muy publicitados asociados a la IA; los sesgos involuntarios y las invasiones de la privacidad son solo dos de los tipos más notables. En muchos casos, los riesgos son específicos de usos determinados, como la posibilidad de que los coches autónomos atropellen a los peatones o que las noticias de las redes sociales generadas por la IA siembren la desconfianza hacia las instituciones públicas. En algunos casos, son amenazas importantes para la reputación, las regulaciones, las finanzas y las leyes. Como la IA está diseñada para funcionar a gran escala, cuando se produce un problema, afecta a todas las personas con las que interactúa la tecnología, por ejemplo, a todas las personas que responden a una oferta de trabajo o solicitan una hipoteca en un banco. Si las empresas no abordan con cuidado las cuestiones éticas al planificar y ejecutar los proyectos de IA, pueden perder mucho tiempo y dinero desarrollando software que, en última instancia, es demasiado arriesgado de usar o vender, como muchas ya han aprendido. La estrategia de IA de su organización debe tener en cuenta varias preguntas: ¿Cómo podría la IA que diseñamos, adquirimos e implementamos plantear riesgos éticos que no se puedan evitar? ¿Cómo los identificamos y mitigamos de forma sistemática y exhaustiva? Si los ignoramos, ¿cuánto tiempo y mano de obra tardaríamos en responder a una investigación reglamentaria? ¿Qué importe de la multa podríamos pagar si nos declaran culpables, y mucho menos negligente, de infringir reglamentos o leyes? ¿Cuánto tendríamos que gastar para recuperar la confianza de los consumidores y el público, siempre que ese dinero pudiera resolver el problema? Las respuestas a esas preguntas subrayarán lo mucho que su organización necesita un programa de riesgos éticos de la IA. Debe empezar por el nivel ejecutivo e impregnar las filas de la empresa y, en última instancia, la propia tecnología. En este artículo me centraré en un elemento crucial de un programa de este tipo, un comité de riesgos éticos de la IA, y explicaré por qué es fundamental que incluya a especialistas en ética, abogados, tecnólogos, estrategas empresariales y exploradores de prejuicios. Luego analizaré lo que ese comité necesita para ser eficaz en una gran empresa. Pero primero, para hacerme una idea de por qué un comité de este tipo es tan importante, analizaré en profundidad el tema de la IA discriminatoria. Tenga en cuenta que este es solo uno de los riesgos que presenta la IA; hay muchos otros que también deben investigarse de forma sistemática. ## ¿Por qué y cómo discrimina la IA? Dos factores hacen que los sesgos en la IA sean un desafío formidable: una gran variedad de caminos accidentales pueden llevar a ellos y no se soluciona con una solución técnica. Las fuentes de sesgo en la IA son muchas. Como he señalado, un problema es que la discriminación en el mundo real suele reflejarse en los conjuntos de datos que se utilizan para entrenarla. Por ejemplo, un estudio realizado en 2019 por la sala de redacción sin fines de lucro The Markup descubrió que los prestamistas tenían más probabilidades de denegar préstamos hipotecarios a personas de color que a personas blancas con características financieras similares. Al mantener 17 factores estables en un análisis estadístico de más de 2 millones de solicitudes hipotecarias convencionales para la compra de una vivienda, los investigadores descubrieron que los prestamistas tenían un 80% más de probabilidades de rechazar a los solicitantes negros que a los blancos. Por lo tanto, es muy probable que los programas de IA basados en datos hipotecarios históricos aprendan a no prestar a los negros. Un programa de riesgos éticos de la IA debe empezar por el nivel ejecutivo e impregnar las filas de la empresa y, en última instancia, la propia tecnología. En algunos casos, la discriminación se debe a un submuestreo de los datos de las poblaciones en las que la IA tendrá un impacto. Supongamos que necesita datos sobre los patrones de viaje de las personas que se desplazan hacia y desde el trabajo para crear horarios de transporte público, de modo que recopila información sobre las geolocalizaciones de los teléfonos inteligentes durante las horas de viaje. El problema es que el 15% de los estadounidenses, o aproximadamente 50 millones de personas, no tienen un teléfono inteligente. Muchos simplemente no pueden permitirse un dispositivo y un plan de datos. Las personas que tienen menos recursos financieros estarían infrarrepresentadas en los datos utilizados para entrenar su IA. Como resultado, su IA tendería a tomar decisiones que beneficiarían a los barrios donde vive gente adinerada. El sesgo de representación es otro problema común. En una de sus investigaciones, ProPublica obtuvo las puntuaciones de riesgo de reincidencia asignadas a más de 7 000 personas detenidas en el condado de Broward (Florida) en 2013 y 2014. Las puntuaciones, generadas por la IA, se diseñaron para predecir qué acusados tenían probabilidades de cometer más delitos en un plazo de dos años después de la detención y, así, ayudar a los jueces a determinar la libertad bajo fianza y la sentencia. Cuando ProPublica comprobó cuántos acusados habían sido acusados realmente de nuevos delitos en los próximos dos años, descubrió que las previsiones de las puntuaciones no eran fiables. Por ejemplo, solo el 20% de las personas que se predijo que cometerían delitos violentos lo hicieron. El algoritmo que hacía la puntuación también tenía el doble de probabilidades de señalar falsamente a los acusados negros como futuros delincuentes que de señalar a los acusados blancos. Aunque Northpointe, los desarrolladores del algoritmo de la IA, cuestionó las conclusiones de ProPublica (hablaremos de esto más adelante), vale la pena examinar el sesgo subyacente. A saber: puede haber dos subpoblaciones que cometan delitos al mismo ritmo, pero si una de ellas es vigilada más que la otra, quizás por el uso de perfiles raciales, tendrá tasas de arrestos más altas a pesar de las mismas tasas de criminalidad. Por lo tanto, cuando los desarrolladores de IA utilizan los datos de arrestos como indicador de la incidencia real de los delitos, producen un software que afirma erróneamente que una población tiene más probabilidades de cometerlos que otra. En algunos casos, el problema está en el objetivo que se ha fijado para la IA, es decir, en la decisión sobre lo que la IA debe predecir. Por ejemplo, si está determinando quién debe someterse a un trasplante de pulmón, tal vez prefiera dárselos a pacientes más jóvenes para maximizar el número de años que se utilizarán los pulmones. Pero si le pidiera a su IA que determinara qué pacientes tienen más probabilidades de utilizar los pulmones durante más tiempo, discriminaría sin darse cuenta a los pacientes negros. ¿Por qué? Porque la esperanza de vida al nacer de la población total de los EE. UU. es de 77,8 años, según el Centro Nacional de Estadísticas de Salud de los Centros para el Control y la Prevención de Enfermedades. La esperanza de vida de la población negra es de solo 72 años. Abordar este tipo de problemas no es fácil. Puede que su empresa no tenga la capacidad de dar cuenta de las injusticias históricas en los datos o los recursos para llevar a cabo la investigación necesaria y tomar una decisión bien informada sobre la discriminación por la IA. Y los ejemplos plantean una pregunta más amplia: ¿Cuándo está bien desde el punto de vista ético producir efectos diferenciales entre las subpoblaciones y cuándo es una afrenta a la igualdad? Las respuestas variarán según los casos y no se pueden encontrar ajustando los algoritmos de la IA. Esto nos lleva al segundo obstáculo: la incapacidad de la tecnología (y de los tecnólogos) de resolver eficazmente el problema de la discriminación. En el nivel más alto, la IA toma un conjunto de entradas, realiza varios cálculos y crea un conjunto de resultados: introduzca estos datos sobre los solicitantes de préstamos y la IA toma decisiones sobre quién se aprueba o deniega. Introduzca datos sobre qué transacciones se realizaron, dónde, cuándo y por quién, y la IA genera evaluaciones para determinar si las transacciones son legítimas o fraudulentas. Introduzca los historiales de la justicia penal, los currículums y los síntomas, y la IA emitirá juicios sobre el riesgo de reincidencia, la aptitud para ser entrevistado y las afecciones médicas, respectivamente. ¿Cuándo está bien producir efectos diferenciales en las subpoblaciones y cuándo es una afrenta a la igualdad? Las respuestas pueden variar y no se pueden encontrar ajustando los algoritmos de la IA. Una cosa que hace la IA es conceder beneficios: préstamos, sentencias más leves, entrevistas, etc. Y si tiene información sobre la demografía de los beneficiarios, puede ver cómo se distribuyen esas prestaciones en las distintas subpoblaciones. Entonces puede preguntarse: ¿Es una distribución justa y equitativa? Y si es tecnólogo, puede intentar responder a esa pregunta aplicando una o más de las métricas cuantitativas para garantizar la imparcialidad descubiertas por la creciente investigación sobre el aprendizaje automático. Abundan los problemas con este enfoque. Quizás la más importante sea que, si bien existen aproximadamente dos docenas de métricas cuantitativas para garantizar la equidad, son _no son compatibles entre sí._ Simplemente no puede ser justo según todos ellos al mismo tiempo. Por ejemplo, Northpointe, el fabricante de COMPAS, el software que proporciona clasificaciones de riesgo a los acusados, respondió a las acusaciones de discriminación señalando que utilizaba una métrica cuantitativa perfectamente legítima para garantizar la imparcialidad. Más específicamente, COMPAS tenía como objetivo maximizar el ritmo al que identificaba con precisión a las personas que cometerían nuevos delitos entre los acusados blancos y negros. Pero ProPublica utilizó una métrica diferente: la tasa de falsos positivos entre los acusados blancos y negros. Northpointe quería maximizar los verdaderos positivos, mientras que ProPublica quería minimizar los falsos. El problema es que no puede hacer las dos cosas a la vez. Cuando maximiza los positivos verdaderos, aumenta los falsos positivos y cuando minimiza los falsos positivos, reduce los verdaderos positivos. Las herramientas técnicas simplemente no son suficientes aquí. Pueden decirle cómo varios ajustes en su IA darán como resultado diferentes puntuaciones en diferentes métricas de imparcialidad, pero no pueden decirle qué métrica utilizar. Hay que hacer un juicio ético y empresarial al respecto, y los científicos e ingenieros de datos no están preparados para hacerlo. La razón no tiene nada que ver con su carácter; es simplemente que la gran mayoría de ellos no tienen experiencia ni formación para hacer frente a complejos dilemas éticos. Parte de la solución al problema, entonces, consiste en crear un comité de riesgos éticos de la IA con la experiencia adecuada y con la autoridad necesaria para influir. ## La función y la jurisdicción de un comité de ética de la IA Su comité de ética de la IA puede ser una entidad nueva dentro de su organización o un organismo existente al que asigne responsabilidades. Y si su organización es grande, puede que necesite más de un comité. A un nivel alto, la función del comité es sencilla: identificar y ayudar a mitigar de forma sistemática y exhaustiva los riesgos éticos de los productos de IA que se desarrollan internamente o se compran a proveedores externos. Cuando los equipos de productos y aprovisionamiento presenten una propuesta para una solución de IA, el comité debe confirmar que la solución no presenta ningún riesgo ético grave; recomendar cambios en la misma y, una vez adoptados, revisarla por segunda vez o desaconsejar desarrollar o adquirir la solución por completo. Una pregunta importante que debe examinar es la autoridad que tendrá el comité. Si consultarlo no es obligatorio, sino simplemente recomendable, solo lo hará un subconjunto de sus equipos (y probablemente uno pequeño). Y solo un subconjunto de ese subconjunto abordará las recomendaciones del comité. Esto es arriesgado. Si ser éticamente sólido es lo más alto de la pirámide de valores de su empresa, es una buena idea conceder al comité el poder de vetar las propuestas. Eso garantizará que tenga un impacto empresarial real.  _Archivo Ondrea Barbe/Trunk_ Además, puede reforzar la labor del comité reconociendo periódicamente a los empleados, tanto de manera informal (con, por ejemplo, aplausos en las reuniones) como formalmente (quizás mediante ascensos) por defender y reforzar sinceramente las normas éticas de la IA. Cuando se otorga a un comité un poder real, se genera una gran confianza entre los empleados, los clientes, los consumidores y otras partes interesadas de la empresa, como el gobierno, especialmente si la organización es transparente en cuanto a las operaciones del comité, aunque no en cuanto a sus decisiones exactas. Sin embargo, las empresas que no estén dispuestas a conceder ese tipo de autoridad a un comité interno, pero que se tomen en serio la mitigación ética de los riesgos de la IA, aún pueden encontrar un punto medio. Pueden permitir que un alto ejecutivo, muy probablemente alguien de la alta dirección, anule el comité, lo que permitiría a sus organizaciones correr riesgos éticos que consideren que valen la pena. ## ¿Quién debería formar parte del comité? Ahora es el momento de ahondar un poco más en la experiencia multifuncional de los miembros: ¿Quién tiene que formar parte de su comité de ética de la IA y por qué? ### Expertos en ética. Podrían ser personas con un doctorado en filosofía que se especialicen en ética, por ejemplo, o personas con un máster en ética de la justicia penal (o sea cual sea su sector). Sin embargo, no están ahí para tomar decisiones sobre la ética de la empresa. Están ahí porque tienen la formación, los conocimientos y la experiencia necesarios para entender y detectar una amplia gama de riesgos éticos, están familiarizados con los conceptos y distinciones que ayudan a celebrar deliberaciones éticas con claridad y son expertos en ayudar a los grupos a evaluar objetivamente las cuestiones éticas. Esto no quiere decir que necesite especialistas en ética a tiempo completo en el personal, sino que puede contratarlos y consultarlos cuando proceda. ### Abogados. Como las herramientas técnicas no bastan para resolver el problema de la parcialidad, lo que está legalmente permitido a menudo pasa a ser una consideración importante. Los abogados, por supuesto, están mejor preparados que nadie para determinar si el uso de una métrica determinada de imparcialidad que tenga diferentes efectos en los diferentes subgrupos podría considerarse discriminación según la ley. Pero los abogados también pueden ayudar a determinar si el uso de herramientas técnicas para evaluar la imparcialidad es incluso legal. Es muy posible que lo prohíba la ley antidiscriminación, que no permite tener en cuenta los datos sobre las variables asociadas a las clases protegidas en una gama muy amplia de decisiones. ### Estrategias empresariales. La rentabilidad financiera esperada de la IA varía de un uso a otro, al igual que los riesgos empresariales (se han hecho promesas a los clientes y se han firmado contratos). La magnitud y los tipos de los riesgos éticos también varían, junto con las estrategias para abordarlos y las inversiones de tiempo y dinero que requerirán esas estrategias. Así que qué tácticas de mitigación adoptar, cuándo utilizarlas, quién debe ejecutarlas, etc., es una consideración empresarial. Y aunque suelo priorizar la identificación y la mitigación del riesgo ético, debo admitir que en algunos casos ese riesgo es lo suficientemente pequeño y otros riesgos empresariales son lo suficientemente grandes como para que sea razonable adoptar un enfoque moderado de su gestión. Todo esto es por lo que tener a alguien con un firme control de las necesidades empresariales en la comisión es en sí mismo una necesidad empresarial. ### Tecnólogos. Aunque he explicado lo que los tecnólogos no pueden hacer, también debo reconocer lo que sí pueden: ayudar a otros a entender los fundamentos técnicos de los modelos de IA, la probabilidad de éxito de varias estrategias de mitigación del riesgo y si algunas de esas estrategias son factibles. Por ejemplo, el uso de la tecnología para señalar posibles sesgos presupone que su organización tiene y puede utilizar los datos demográficos para determinar cómo la producción de un modelo distribuye los bienes o servicios entre las distintas subpoblaciones. Pero si carece de esos datos demográficos o, como ocurre en los servicios financieros, se le prohíbe legalmente recopilarlos, se verá obstaculizado. Tendrá que recurrir a otras estrategias, como la creación de datos sintéticos para entrenar la IA. Y solo un tecnólogo puede decirle si esas estrategias son posibles desde el punto de vista tecnológico y, de ser así, qué tan pesadas son. Esa información debe figurar en las deliberaciones de la comisión. ### Exploradores de prejuicios y expertos en la materia. Las herramientas técnicas de mitigación de sesgos miden el resultado de los modelos de IA, una vez elegidos los conjuntos de datos y entrenados los modelos. Si detectan un problema que no se puede resolver con unos ajustes relativamente mínimos, tendrá que volver a la mesa de dibujo. Comenzar la mitigación en el primer paso del desarrollo del producto (durante la recopilación de datos y antes del entrenamiento con modelos) sería mucho más eficiente y aumentaría considerablemente sus probabilidades de éxito. Por eso necesita personas en su comité que puedan detectar los sesgos al principio del proceso. Los expertos en la materia suelen ser buenos en esto. Si su IA se va a desplegar en la India, por ejemplo, un experto en la sociedad india debería opinar sobre su desarrollo. Esa persona puede entender que es probable que la forma en que se recopilaron los datos haya submuestreado a algún subgrupo de la población, o que lograr el objetivo fijado para la IA puede agravar la desigualdad existente en el país. ### . . . Un comité de ética de inteligencia artificial sólido es una herramienta esencial para identificar y mitigar los riesgos de una tecnología poderosa que promete grandes oportunidades. No prestar mucha atención a la forma en que se crea ese comité y a la forma en que se incorpora a su organización podría ser devastador para la reputación de su empresa y, en última instancia, para sus resultados.  _Nota del editor: Reid Blackman es el autor de_[Máquinas éticas: su guía concisa sobre una IA totalmente imparcial, transparente y respetuosa](https://www.amazon.com/Ethical-Machines-Unbiased-Transparent-Respectful/dp/1647822815) _(Harvard Business Review Press, 2022), del que es una adaptación de este artículo._ Read more on [**Business ethics**](/topic/subject/business-ethics?ab=articlepage-topic) or related topics [**AI and machine learning**](/topic/subject/ai-and-machine-learning?ab=articlepage-topic) and [**Marginalized groups**](/topic/subject/marginalized-groups?ab=articlepage-topic)