Si su empresa utiliza la IA, necesita una junta de revisión interna

Las empresas que utilizan la IA saben que tienen que preocuparse por la ética, pero cuando comienzan, tienden a seguir el mismo proceso interrumpido de tres pasos: identifican la ética con la «imparcialidad», se centran en los prejuicios y buscan utilizar las herramientas técnicas y la divulgación con los stakeholders para mitigar sus riesgos. Lamentablemente, esto los prepara para el fracaso. En lo que respecta a la IA, centrarse en la equidad y los prejuicios ignora una enorme gama de riesgos éticos; muchos de estos problemas éticos desafían las soluciones técnicas. En lugar de intentar reinventar la rueda, las empresas deberían recurrir a la profesión médica y adoptar juntas de revisión internas (IRB). Los IRB, que están compuestos por un equipo diverso de expertos, se adaptan bien a cuestiones éticas complejas. Cuando se les da jurisdicción y poder, y se introducen pronto, son una herramienta poderosa que puede ayudar a las empresas a pensar en problemas éticos difíciles, ahorrando dinero y reputación de marca en el proceso.

••• Las conversaciones en torno a la IA y la ética pueden haber empezado como una preocupación para activistas y académicos, pero ahora, impulsados por la creciente frecuencia de titulares sobre algoritmos sesgados, modelos de caja negra y violaciones de la privacidad, las juntas directivas, los altos directivos y los líderes de datos e IA se han dado cuenta de que es un tema para el que necesitan un enfoque estratégico. La solución se esconde a plena vista. Otros sectores ya han encontrado formas de abordar dilemas éticos complejos de forma rápida, eficaz y de una manera que se pueda replicar fácilmente. En lugar de intentar reinventar este proceso, las empresas tienen que adoptar y personalizar uno de los mejores inventos de la atención médica: la Junta de Revisión Institucional (IRB). ## Tres movimientos en las discusiones sobre ética de la IA La mayoría de las discusiones sobre la ética de la IA siguen la misma fórmula errónea, que consta de tres movimientos, cada uno de los cuales es problemático desde la perspectiva de una organización que quiere mitigar los riesgos éticos asociados a la IA. Así es como suelen ser estas conversaciones. En primer lugar, las empresas pasan a identificar la ética de la IA con la «imparcialidad» en la IA o, a veces, de manera más general, con «la equidad, la equidad y la inclusión». No cabe duda de que esto resuena con el espíritu de la época: el auge de BLM, el movimiento antirracista y el apoyo empresarial a las medidas de diversidad e inclusión. En segundo lugar, pasan del lenguaje de la equidad al lenguaje del «sesgo»: «algoritmos» sesgados, como dicen los medios populares, o «modelos» sesgados, como los llaman los ingenieros (más exactamente). Los ejemplos de modelos (supuestamente) sesgados son bien conocidos, incluidos los de[Amazon](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G), [Optum Health](https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithm-for-racial-bias-11572087601), y [Goldman Sachs](https://www.washingtonpost.com/business/2019/11/11/apple-card-algorithm-sparks-gender-bias-allegations-against-goldman-sachs/). Por último, buscan formas de abordar el problema tal como lo han definido. Hablan de las herramientas técnicas (ya sean de código abierto o vendidas por las grandes tecnologías o una empresa emergente) para identificar los sesgos, que comparan de manera estándar los resultados de un modelo con docenas de métricas cuantitativas o «definiciones» de imparcialidad que se encuentran en el floreciente área de investigación académica sobre la ética del aprendizaje automático (ML). También podrían considerar la posibilidad de involucrar a las partes interesadas, especialmente a las que componen poblaciones históricamente marginadas. Si bien algunos debates recientes sobre ética de la IA van más allá, muchos de los más destacados no lo hacen. Y el conjunto de medidas más comunes que los profesionales emprenden se deriva de estas tres medidas: la mayoría de las empresas adoptan una estrategia de mitigación del riesgo que utiliza una de las herramientas técnicas antes mencionadas, si es que hacen algo. Todo esto debería mantener despiertos por la noche a los guardianes de la reputación de la marca, porque este proceso apenas ha arañado la superficie de los riesgos éticos que presenta la IA. Para entender por qué es así, hagamos cada uno de estos movimientos por turnos. El primer movimiento lo lleva en la dirección equivocada, ya que reduce inmediatamente el alcance. Definir la «ética de la IA» como «imparcialidad en la IA» es problemático por la sencilla razón de que las cuestiones de equidad son solo un subconjunto de las cuestiones éticas: acaba de decidir ignorar enormes franjas de riesgo ético. Lo más obvio es que hay problemas relacionados con las violaciones de la privacidad (dado que la mayor parte de la IA actual es el aprendizaje automático, que a menudo se basa en los datos de las personas) y los inexplicables algoritmos de salida o caja negra. Pero hay más. Por ejemplo, el principal riesgo ético relacionado con los coches autónomos propulsados por IA no son los prejuicios ni la privacidad, sino[matar y mutilar](https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian). El riesgo ético de la tecnología de reconocimiento facial no termina cuando se eliminan los sesgos del modelo (del que hay varios [ejemplos](https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html) ); un software de reconocimiento facial imparcial aún [permite la vigilancia por parte de las empresas y los gobiernos (fascistas)](https://www.washingtonpost.com/technology/2020/12/08/huawei-tested-ai-software-that-could-recognize-uighur-minorities-alert-police-report-says/). La IA también requiere enormes cantidades de energía para alimentar los ordenadores que entrenan los algoritmos, lo que implica un grado sorprendente de [daños al medio ambiente](https://arxiv.org/abs/1906.02243). La lista de formas en que una empresa puede hacer frente a un desastre ético es interminable, por lo que reducir la ética de la IA a cuestiones relacionadas con la equidad es una receta para el desastre. La segunda medida reduce aún más sus competencias: las cuestiones de sesgo son un subconjunto de las cuestiones de equidad. Más específicamente, las cuestiones de sesgo en el contexto de la IA son cuestiones relacionadas con el trato que reciben las diferentes subpoblaciones en relación con las demás, ya sea que los bienes, los servicios y las oportunidades se distribuyan de manera justa y justa. Son los[anuncios de trabajo](https://www.nytimes.com/2019/03/19/technology/facebook-discrimination-ads.html) ¿colocados de tal manera que es tan probable que los vea la población afroamericana como la población blanca? ¿Las mujeres que solicitan un trabajo tienen la misma probabilidad de que sus currículums conduzcan a una entrevista que el currículum de un hombre? El problema con este enfoque es que las cuestiones de equidad van más allá de las cuestiones de la distribución justa de los bienes y llegan a varios subgrupos de población. Lo más obvio es que hay cuestiones sobre lo que cualquier persona se merece independientemente del trato que reciban los demás. Si lo estoy torturando y usted protesta, no justificaría mis acciones decir: «No se preocupe, estoy torturando a otras subpoblaciones al mismo ritmo que a la población de la que es miembro». Toda la categoría de derechos humanos tiene que ver con lo que cada persona se merece, independientemente del trato que reciban los demás. La equidad implica de manera crucial cuestiones relacionadas con el desierto individual, y un debate, y mucho menos una estrategia de mitigación del riesgo, que omita esto es aún más peligroso para él. El último problema para las organizaciones llega en el tercer paso: identificar y adoptar estrategias y herramientas técnicas de mitigación de sesgos. Las organizaciones suelen apoyarse en las herramientas técnicas, en particular, como su instrumento de referencia (o único) significativo para descubrir los sesgos, medidos por[«definiciones» cuantitativas de equidad que se encuentran en la literatura reciente sobre informática](https://fairmlbook.org/tutorial2.html). En este caso, nos topamos con una serie de fracasos en la mitigación del riesgo ético. En primer lugar, esas más de dos docenas de métricas cuantitativas para garantizar la equidad son[no compatibles entre sí](https://arxiv.org/abs/1703.00056). Simplemente no puede ser justo según todos ellos al mismo tiempo. Eso significa que hay que emitir un juicio ético: ¿Cuáles de estas métricas cuantitativas de equidad, si las hay, son las éticas o apropiadas de utilizar? En lugar de contratar a abogados, teóricos políticos o especialistas en ética —todos los cuales tienen formación en este tipo de cuestiones éticas complejas—, estas decisiones se dejan en manos de los científicos e ingenieros de datos. Pero si los expertos no están en la sala, no puede esperar que su diligencia debida se haya cumplido de manera responsable. En segundo lugar, estas herramientas, por lo general, solo se activan hasta bien entrado el ciclo de vida del desarrollo. Como miden el resultado de los modelos de IA, se utilizan una vez que se han elegido los conjuntos de datos y se han entrenado los modelos, y se han dedicado una buena cantidad de recursos al producto. Entonces es ineficiente, por no hablar de impopular, volver a la mesa de dibujo si se detecta un problema de sesgo que no se puede resolver de una manera bastante sencilla. En tercer lugar, si bien la búsqueda de una solución técnica y cuantitativa a la ética de la IA es comprensible, la verdad es que muchas cuestiones éticas no se pueden reducir a métricas cuantitativas o KPI. La vigilancia es un problema porque destruye la confianza, provoca ansiedad, altera el comportamiento de las personas y, en última instancia, erosiona la autonomía. Las preguntas sobre si se trata a las personas con respeto, si el diseño de un producto es manipulador o simplemente ofrece incentivos razonables, si una decisión impone a las personas una carga demasiado grande como para esperar razonablemente de ellas, todas requieren evaluaciones cualitativas. En cuarto lugar, estas herramientas técnicas no cubren todos los tipos de sesgos. No descubren, por ejemplo, si su motor de búsqueda tiene[etiquetado como «gorilas negros»](https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/).» Se trata de casos de sesgo para los que no existe ninguna herramienta técnica. En quinto lugar, la forma en que estas herramientas miden el sesgo suele ser[no es compatible con la ley antidiscriminación vigente](https://poseidon01.ssrn.com/delivery.php?ID=659113087090030102002097110071075095007085007037003090100006006104097065091124071102026056048010010036110095099031092080118000104006091005020069009085031117078077004004007050007010105026066115103031112012088072022013070117005103007113083019087001026081&EXT=pdf&INDEX=TRUE) . Por ejemplo, la ley antidiscriminación prohíbe a las empresas utilizar variables como la raza y el género en su proceso de toma de decisiones. Pero, ¿y si es necesario hacerlo para poner a prueba sus modelos para detectar sesgos y, por lo tanto, influir en los cambios que realizan en el modelo en un esfuerzo por mitigar el sesgo? Eso parece no solo estar permitido desde el punto de vista ético, sino que también es plausiblemente obligatorio desde el punto de vista ético. Por último, en lo que respecta a la participación de las partes interesadas, en general es algo bueno. Sin embargo, aparte de los problemas logísticos que genera, no mitiga por sí solo ningún riesgo ético; los deja en su lugar, a menos que uno sepa cómo pensar a través de los comentarios de las partes interesadas. Por ejemplo, supongamos que sus partes interesadas son racistas. Suponga que las normas locales en las que desplegará su IA fomentan la discriminación de género. Suponga que sus partes interesadas no están de acuerdo entre sí porque, en parte, tienen intereses contradictorios; al fin y al cabo, las partes interesadas no son un grupo monolítico con una perspectiva única. La opinión de las partes interesadas es valiosa, pero no puede derivar programáticamente una decisión ética a partir de las aportaciones de las partes interesadas. ## Una forma mejor: el IRB de IA Lo que quiero decir no es que no se deban evitar las herramientas técnicas y la divulgación con las partes interesadas; de hecho, son muy útiles. Pero necesitamos formas más integrales de abordar el riesgo ético. Lo ideal sería que esto implicara[creación de un programa integral de mitigación de los riesgos éticos de la IA](/2020/10/a-practical-guide-to-building-ethical-ai) que se implementa en toda la organización, lo admito, es un trabajo pesado. Si una empresa busca algo que hacer en un plazo relativamente corto que pueda tener un gran impacto (y que más adelante se adapte bien a un programa más amplio de mitigación de riesgos), debería seguir el ejemplo de la mitigación ética de los riesgos de la atención médica y crear un IRB. En los Estados Unidos, los IRB en la medicina se introdujeron para mitigar los riesgos éticos que se presentaban y, por lo general, se utilizaban en la investigación en seres humanos. Algunas de esas conductas poco éticas fueron particularmente espantosas, incluidos los experimentos de Tuskegee, en los que los médicos se abstuvieron de tratar a hombres negros con sífilis, a pesar de la disponibilidad de penicilina, para poder estudiar la progresión sin paliativos de la enfermedad. De manera más general, los objetivos de un IRB incluyen defender los principios éticos fundamentales del respeto a las personas, la beneficencia y la justicia. Los IRB desempeñan su función aprobando, denegando y sugiriendo cambios en los proyectos de investigación propuestos. Comparar los tipos de riesgos éticos presentes en la medicina con los tipos presentes en la IA es útil por varias razones. En primer lugar, en ambos casos existe la posibilidad de dañar a personas y grupos de personas (por ejemplo, a miembros de una raza o género en particular). En segundo lugar, existe una amplia gama de riesgos éticos que se pueden realizar en ambos campos, que van desde el daño físico y la angustia mental hasta la discriminación de las clases protegidas, la invasión de la privacidad de las personas y el debilitamiento de la autonomía de las personas. En tercer lugar, muchos de los riesgos éticos en ambos casos se deben a las aplicaciones particulares de la tecnología en cuestión. Aplicado a la IA, el IRB puede tener la capacidad de identificar de forma sistemática y exhaustiva los riesgos éticos en todos los ámbitos. Al igual que en la investigación médica, un IRB de IA no solo puede desempeñar la función de aprobar y rechazar varias propuestas, sino que también debe hacer recomendaciones éticas de mitigación del riesgo a los investigadores y desarrolladores de productos. Además, un IRB bien constituido —hablaremos de esto en un momento— puede realizar las funciones que el enfoque actual no puede realizar. Cuando se trata de crear y mantener un IRB, hay tres cuestiones importantes: la membresía de la junta, la jurisdicción y la articulación de los valores que se esforzará por alcanzar (o al menos las pesadillas que se esfuerza por evitar). ### Membresía Para identificar y mitigar de forma sistemática y exhaustiva los riesgos éticos de la IA, un IRB de IA necesita un equipo diverso de expertos. Querrá contratar a un ingeniero que comprenda los fundamentos técnicos de la investigación o el producto para que el comité pueda entender lo que se está haciendo y lo que se puede hacer desde un punto de vista técnico. Del mismo modo, es importante tener a alguien muy familiarizado con el diseño del producto. Hablan el idioma de los desarrolladores de productos, entienden los «viajes de los clientes» y pueden ayudar a diseñar estrategias éticas de mitigación del riesgo de una manera que no socave las funciones esenciales de los productos en cuestión. También querrá incluir a miembros relacionados con la ética, como abogados y oficiales de privacidad. Su conocimiento de la normativa actual y potencial, la legislación antidiscriminación y las prácticas de privacidad son aspectos importantes a los que acudir a la hora de investigar los riesgos éticos. En la medida en que el IRB de IA tiene como función identificar y mitigar los riesgos éticos, sería prudente de su parte incluir a un especialista en ética, por ejemplo, a alguien con un doctorado en filosofía que se especialice en ética o, por ejemplo, a alguien con un máster en ética médica. El especialista en ética no está ahí para actuar como una especie de sacerdote con puntos de vista éticos superiores. Están ahí porque tienen formación, conocimientos y experiencia relacionados con la comprensión y la detección de una amplia gama de riesgos éticos, están familiarizados con los conceptos y distinciones importantes que ayudan a una deliberación ética con claridad y la habilidad de ayudar a grupos de personas a evaluar objetivamente las cuestiones éticas. Es importante destacar que este tipo de evaluación de riesgos es distinta de los riesgos que se encuentran en los modelos de evaluación de riesgos creados por los científicos e ingenieros de datos, que tienden a centrarse en cuestiones relacionadas con la precisión y la calidad de los datos. También le puede resultar útil incluir a varios expertos en la materia, según la investigación o el producto en cuestión. Si el producto se va a implementar en universidades, debería incluirse a alguien muy familiarizado con sus operaciones, objetivos y distritos electorales. Si se trata de un producto que se va a implementar en Japón, puede ser importante incluir a un experto en cultura japonesa. Por último, como parte de un esfuerzo por mantener la independencia y la ausencia de conflictos de intereses (por ejemplo, los miembros buscan la aprobación de sus jefes), es importante tener al menos un miembro que no esté afiliado a su organización (y, dicho sea de paso, es obligatorio para los IRB médicos). Al mismo tiempo, todos los miembros deben tener una idea de los objetivos y necesidades de la empresa. ### Jurisdicción ¿Cuándo se debe consultar un IRB de IA, cuánta potencia debe tener y dónde debe situarse en el desarrollo del producto? En la comunidad médica, los IRB se consultan antes del inicio de la investigación. La razón es obvia: se consulta al IRB cuando se van a realizar las pruebas en seres humanos y se necesita su aprobación antes de que comiencen las pruebas. En lo que respecta a la autoridad, los IRB médicos son la máxima autoridad. Pueden aprobar y rechazar las propuestas, así como sugerir cambios en la propuesta, y sus decisiones son definitivas. Una vez que un IRB deniega una propuesta, otro IRB no puede aprobarla y no se puede apelar la decisión. Debería aplicarse la misma regla a un IRB de IA. A pesar de que el daño normalmente se produce durante el despliegue de la IA, no durante la investigación y el desarrollo de productos, hay argumentos sólidos a favor de tener un IRB de IA antes de que comience la investigación o el desarrollo de productos. La razón principal es que es mucho más fácil (y, por lo tanto, más económico y eficiente) cambiar proyectos y productos que aún no existen. Si, por ejemplo, solo se da cuenta de un riesgo ético significativo debido a una posible o probable consecuencia no deseada de la forma en que se diseñó el producto, tendrá que salir al mercado con un producto que sepa que es riesgoso desde el punto de vista ético o tendrá que pasar por el costoso proceso de rediseñar el producto. Si bien la ley otorga su autoridad a los IRB médicos, hay al menos una razón de peso por la que debería considerar la posibilidad de conceder voluntariamente ese grado de poder a un IRB de IA: es una herramienta con la que se puede generar una gran confianza entre los empleados, los clientes y los consumidores. Esto es especialmente cierto si su organización es transparente en cuanto a las operaciones —aunque no las decisiones exactas— del IRB. Si ser una empresa sólida desde el punto de vista ético es lo más alto de la pirámide de valores de su empresa, es una buena idea conceder a un IRB de IA la independencia y el poder de vetar las propuestas sin posibilidad de ser apeladas (a un miembro de su equipo ejecutivo, por ejemplo). Por supuesto, a menudo (lamentablemente) ese no es el caso. La mayoría de las empresas verán el IRB de IA como una herramienta de mitigación de riesgos, no de eliminación, y hay que admitir al menos la posibilidad, si no la probabilidad, de casos en los que una empresa pueda llevar a cabo un proyecto que sea éticamente arriesgado y, al mismo tiempo, muy rentable. Para las empresas con ese apetito ético por el riesgo, habrá que crear un proceso de apelación o, si solo les preocupa poco la mitigación ética del riesgo, pueden hacer las declaraciones del consejo de administración consultivas en lugar de obligatorias. Sin embargo, en ese momento, no deben esperar que la junta sea particularmente eficaz a la hora de mitigar sistemáticamente los riesgos éticos. ### Valores Ha creado su IRB de IA y ha definido su jurisdicción. Ahora tendrá que articular los valores por los que debe guiarse. La forma habitual de hacerlo es articular un conjunto de principios y, luego, tratar de aplicarlos al caso en cuestión. Esto es notoriamente difícil, dada la amplia gama de formas en que se pueden interpretar y aplicar los principios; basta con pensar en las diversas e incompatibles formas en que los políticos sinceros interpretan y aplican el principio de equidad. En la ética médica —y en la ley, de hecho—, la toma de decisiones no suele guiarse únicamente por los principios. En cambio, se basan en estudios de casos y en precedentes, y comparan cualquier caso que se esté investigando con casos anteriores similares. Esto permite a su IRB aprovechar las ideas aportadas en el caso anterior para aplicarlas al presente caso. También aumenta la probabilidad de coherencia en la aplicación de los principios en todos los casos. En este sentido, se puede avanzar articulando las decisiones anteriores que la alta dirección tomó por motivos éticos antes de la existencia de la IRB. Supongamos, por ejemplo, que el IRB sabe que los principales líderes rechazaron un contrato con un gobierno determinado debido a preocupaciones éticas particulares sobre el funcionamiento del gobierno en general o la forma en que preveían que el gobierno utilizaría su producto. El razonamiento que llevó a la decisión puede revelar cómo deben decidirse los casos futuros. En el caso de que no existan casos de este tipo o no se haya revelado ningún caso de este tipo, puede ser útil considerar ejemplos ficticios, preferiblemente algunos que no sea poco probable que se conviertan en ejemplos reales en el futuro, y que el IRB delibere y decida sobre esos casos. Si lo hace, garantizará que estén preparados para el caso real cuando llegue a su puerta. También fomenta la fría objetividad con la que se pueden considerar los casos ficticios —cuando no hay dinero en juego, por ejemplo— para transferirlos a los casos reales con los que se comparan. *** Todos sabemos que adoptar una estrategia de IA se está convirtiendo en una necesidad para mantener la competitividad. Una buena noticia destacable es que los miembros de la junta directiva y los líderes de datos consideran que la mitigación ética de los riesgos de la IA es un componente esencial de esa estrategia. Sin embargo, los enfoques actuales son manifiestamente inadecuados y muchos líderes no están seguros de cómo desarrollar esta parte de su estrategia. A falta del ideal (un compromiso generalizado de crear un programa sólido de IA y riesgos éticos desde el primer día), crear, mantener y potenciar un IRB de IA puede servir de base sólida para lograr ese ideal. Se puede crear en relativamente poco tiempo, se puede poner a prueba con bastante facilidad, se puede construir y ampliar para abarcar a todos los equipos de productos e incluso a todos los departamentos, y crea y comunica una cultura de ética. Es un golpe poderoso no solo para la ética de la IA, sino también para la ética de la organización en general.