Una guía práctica para crear una IA ética

Las empresas están aprendiendo rápidamente que la IA no solo escala las soluciones, sino que también reduce el riesgo. En este entorno, la ética de los datos y la IA son necesidades empresariales, no curiosidades académicas. Las empresas necesitan un plan claro para hacer frente a los dilemas éticos que presenta esta nueva tecnología. Para poner en práctica la ética de los datos y la IA, deberían: 1) Identificar la infraestructura existente que un programa de ética de datos e IA pueda aprovechar; 2) Crear un marco de riesgo ético de los datos y la IA que se adapte a su industria; 3) Cambiar su forma de pensar sobre la ética inspirándose en los éxitos de la atención médica; 4) Optimizar las directrices y las herramientas para los directores de productos; 5) Crear conciencia organizacional; 6) Incentivar de manera formal e informal a los empleados a desempeñar un papel en identificar los riesgos éticos de la IA; y 7) Supervisar los impactos e implicar a las partes interesadas.

••• Las empresas aprovechan los datos y la inteligencia artificial para crear soluciones escalables, pero también aumentan sus riesgos reputacionales, reglamentarios y legales. Por ejemplo,[Los Ángeles demanda a IBM](https://www.latimes.com/business/technology/la-fi-tn-city-attorney-weather-app-20190104-story.html) por supuesta apropiación indebida de los datos que recopiló con su omnipresente aplicación meteorológica.[Están investigando a Optum](https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithm-for-racial-bias-11572087601) por parte de los reguladores por crear un algoritmo que supuestamente recomendaba que los médicos y enfermeras prestaran más atención a los pacientes blancos que a los pacientes negros más enfermos.[Investigan a Goldman Sachs](https://www.washingtonpost.com/business/2019/11/11/apple-card-algorithm-sparks-gender-bias-allegations-against-goldman-sachs/) por parte de los reguladores por utilizar un algoritmo de IA que supuestamente discriminaba a las mujeres al conceder límites de crédito mayores a los hombres que a las mujeres en sus tarjetas Apple. Facebook concedió infame a Cambridge Analytica, una firma política,[acceso a los datos personales](https://www.nytimes.com/2018/04/04/us/politics/cambridge-analytica-scandal-fallout.html) de más de 50 millones de usuarios. Hace apenas unos años, los debates sobre la «ética de los datos» y la «ética de la IA» estaban reservados a las organizaciones sin fines de lucro y a los académicos. Hoy en día, las mayores empresas de tecnología del mundo (Microsoft, Facebook, Twitter, Google y más) están formando equipos en rápido crecimiento para abordar los problemas éticos que se derivan de la recopilación, el análisis y el uso generalizados de enormes cantidades de datos, especialmente cuando esos datos se utilizan para entrenar modelos de aprendizaje automático, también conocidos como IA. Estas empresas están invirtiendo en respuestas a cuestiones éticas que alguna vez fueron esotéricas porque se han dado cuenta de una simple verdad: no poner en práctica la ética de los datos y la IA es una amenaza para los resultados. No dar en el blanco puede exponer a las empresas a riesgos legales, reglamentarios y de reputación, pero eso no es ni la mitad. No poner en práctica los datos y la ética de la IA provoca un desperdicio de recursos, ineficiencias en el desarrollo y el despliegue de los productos e incluso la incapacidad de utilizar los datos para entrenar los modelos de IA. Por ejemplo, según se informa, los ingenieros de Amazon pasaron años trabajando en un software de contratación de IA, pero finalmente[desechó el programa](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G) porque no pudieron averiguar cómo crear un modelo que no discrimine sistemáticamente a las mujeres. Sidewalk Labs, una filial de Google, se enfrentó a una reacción masiva por parte de los ciudadanos y los funcionarios del gobierno local por sus planes de construir una «ciudad inteligente» en Toronto impulsada por el IoT debido a la falta de normas éticas claras para el manejo de los datos del proyecto. Al final, la empresa desechó el proyecto en[pérdida de dos años de trabajo y 50 millones de dólares](https://www.theverge.com/2020/5/7/21250594/alphabet-sidewalk-labs-toronto-quayside-shutting-down). A pesar de los costes de equivocarse, la mayoría de las empresas abordan la ética de los datos y la IA mediante debates ad hoc por producto. Sin un protocolo claro sobre cómo identificar, evaluar y mitigar los riesgos, los equipos acaban pasando por alto los riesgos, esforzándose por resolver los problemas a medida que se presentan o cruzando los dedos con la esperanza de que el problema se resuelva solo. Cuando las empresas han intentado abordar el tema a gran escala, tienden a implementar políticas estrictas, imprecisas y demasiado amplias que conducen a falsos positivos en la identificación de los riesgos y a una obstaculización de la producción. Estos problemas aumentan en órdenes de magnitud cuando se presentan vendedores de terceros, que pueden o no estar pensando en estas cuestiones. Las empresas necesitan un plan para mitigar el riesgo: cómo utilizar los datos y desarrollar productos de IA sin caer en dificultades éticas por el camino. Al igual que otras estrategias de gestión de riesgos, un enfoque operativo de la ética de los datos y la IA debe identificar de forma sistemática y exhaustiva los riesgos éticos en toda la organización, desde la TI hasta los recursos humanos, el marketing, el producto y más. ### Qué no hacer Dejando a un lado a las grandes empresas de tecnología, hay tres enfoques estándar para la mitigación ética del riesgo de los datos y la IA, ninguno de los cuales da sus frutos. En primer lugar, está el **enfoque académico**. Los académicos —y hablo por 15 años de experiencia como exprofesor de filosofía— son fantásticos en la investigación rigurosa y sistemática. Los académicos que son especialistas en ética (que suelen trabajar en los departamentos de filosofía) son expertos en detectar los problemas éticos, sus fuentes y cómo analizarlos. Pero si bien los especialistas en ética académica pueden parecer la pareja perfecta, dada la necesidad de identificar y mitigar sistemáticamente los riesgos éticos, lamentablemente tienden a hacer preguntas diferentes a las de las empresas. En su mayor parte, los académicos se preguntan: «¿Deberíamos hacer esto? ¿Sería bueno para la sociedad en general? ¿Conduce al florecimiento humano?» Las empresas, por otro lado, tienden a preguntarse: «Dado que vamos a hacer esto, ¿cómo podemos hacerlo sin hacernos vulnerables a los riesgos éticos?» El resultado son tratamientos académicos que no abordan los usos tan particulares y concretos de los datos y la IA. Esto se traduce en la ausencia de directrices claras para los desarrolladores sobre el terreno y los principales líderes, que tienen que identificar y elegir entre un conjunto de estrategias de mitigación del riesgo. El siguiente es el **enfoque «sobre el terreno»**. En las empresas, los que hacen las preguntas son ingenieros, científicos de datos y directores de productos entusiastas y habituales. Saben hacer las preguntas relacionadas con los riesgos relevantes para la empresa precisamente porque son los que fabrican los productos para lograr objetivos empresariales determinados. Sin embargo, lo que les falta es el tipo de formación que reciben los académicos. Como resultado, no tienen la habilidad, los conocimientos ni la experiencia para responder a las cuestiones éticas de forma sistemática, exhaustiva y eficiente. También carecen de un ingrediente fundamental: el apoyo institucional. Por último, hay empresas (sin mencionar los países) que están desplegando **principios éticos de la IA de alto nivel**. Google y Microsoft, por ejemplo, pregonaron sus principios hace años. La dificultad radica en poner en práctica esos principios. ¿Qué significa exactamente estar a favor de la «equidad»? ¿Qué deben hacer los ingenieros cuando se enfrentan a las docenas de definiciones y métricas que las acompañan para ser justos en la literatura sobre ciencias de la computación? ¿Qué métrica es la correcta en un caso dado y quién dicta esa sentencia? Para la mayoría de las empresas, incluidas las empresas de tecnología que están intentando resolver el problema de forma activa, no hay respuestas claras a estas preguntas. De hecho, la aparente fusión en torno a un conjunto compartido de valores abstractos en realidad [oculta una desalineación generalizada](https://www.nature.com/articles/s42256-019-0088-2). ### Cómo poner en práctica la ética de los datos y la IA La ética de la IA no viene en una caja. Dados los diferentes valores de las empresas en docenas de sectores, un programa de ética de datos e IA debe adaptarse a las necesidades empresariales y reglamentarias específicas que son relevantes para la empresa. Sin embargo, estos son siete pasos para crear un programa ético de datos e IA personalizado, operacionalizado, escalable y sostenible. **1. Identifique la infraestructura existente que un programa de ética de datos e IA puede aprovechar**. La clave para crear con éxito un programa de ética de datos e IA es utilizar el poder y la autoridad de la infraestructura existente, como una junta de gobierno de datos que se reúne para hablar sobre la privacidad, la ciberseguridad, el cumplimiento y otros riesgos relacionados con los datos. Esto permite que las preocupaciones de las personas «sobre el terreno» (por ejemplo, los propietarios y gerentes de los productos) surjan y, cuando sea necesario, pueden, a su vez, plantear las principales preocupaciones a los ejecutivos pertinentes. La aceptación del consejo de administración funciona por varias razones: 1) el nivel ejecutivo marca la pauta de la seriedad con la que los empleados se tomarán estas cuestiones, 2) una estrategia ética de datos e IA debe encajar con la estrategia general de datos e IA, que se diseña a nivel ejecutivo, y 3) proteger la marca de los riesgos reputacionales, reglamentarios y legales es, en última instancia, una responsabilidad de la alta dirección y hay que alertarlos cuando surjan problemas de alto riesgo. Si ese organismo no existe, las empresas pueden crear uno (un consejo o comité de ética, por ejemplo) con personal relacionado con la ética, como los de ciberseguridad, riesgo y cumplimiento, privacidad y análisis. También puede ser recomendable incluir a expertos externos en la materia, incluidos especialistas en ética. **2. Cree un marco de riesgo ético para los datos y la IA que se adapte a su sector**. Un buen marco incluye, como mínimo, una articulación de las normas éticas (incluidas las pesadillas éticas) de la empresa, una identificación de las partes interesadas externas e internas relevantes, una estructura de gobierno recomendada y una articulación de cómo se mantendrá esa estructura ante los cambios de personal y de las circunstancias. Es importante establecer los KPI y un programa de control de calidad para medir la eficacia continua de las tácticas que llevan a cabo su estrategia. Un marco sólido también deja claro cómo la mitigación ética del riesgo está integrada en las operaciones. Por ejemplo, debe identificar las normas éticas que deben cumplir los recopiladores de datos, los desarrolladores de productos y los directores y propietarios de productos. También debería articular un proceso claro mediante el cual las preocupaciones éticas se eleven a los altos directivos o a un comité de ética. Todas las empresas deberían preguntarse si existen procesos que examinen los algoritmos sesgados, las violaciones de la privacidad y los resultados inexplicables. Aun así, los marcos también deben adaptarse al sector de la empresa. En finanzas, es importante pensar en cómo se determinan las identidades digitales y en cómo las transacciones internacionales pueden ser éticamente seguras. En el cuidado de la salud, será necesario crear protecciones adicionales en torno a la privacidad, sobre todo porque la IA permite el desarrollo de la medicina de precisión. En el espacio comercial, donde los motores de recomendaciones triunfan, es importante desarrollar métodos para detectar y mitigar el sesgo asociativo, en el que las recomendaciones se derivan de asociaciones estereotipadas y, a veces, ofensivas con varios grupos de población. **3. Cambie su forma de pensar sobre la ética siguiendo el ejemplo de los éxitos en el cuidado de la salud**. Muchos altos directivos describen la ética en general, y la ética de los datos y la IA en particular, como «blanda» o «confusa», y sostienen que no es lo suficientemente «concreta» como para ser procesable. Los líderes deberían inspirarse en la atención médica, una industria que se ha centrado sistemáticamente en la mitigación ética del riesgo al menos desde la década de 1970. Los especialistas en ética médica, los profesionales de la salud, los reguladores y los abogados han explorado en profundidad las principales preocupaciones sobre lo que constituye la privacidad, la autodeterminación y el consentimiento informado, por ejemplo. Esa información se puede transferir a muchos dilemas éticos en torno a la privacidad y el control de los datos de los consumidores. Por ejemplo, las empresas dan fe de que respetan a los usuarios de sus productos, pero ¿qué significa eso en la práctica? En el cuidado de la salud, un requisito esencial para demostrar respeto a los pacientes es que solo reciban tratamiento después de haber dado su consentimiento informado, entendido que incluye el consentimiento que, como mínimo, no se deba a mentiras, manipulaciones o comunicaciones en palabras que el paciente no pueda entender, como jerga legal impenetrable o términos médicos latinos. Estos mismos tipos de requisitos se pueden aplicar a la forma en que se recopilan, utilizan y comparten los datos de las personas. Garantizar que los usuarios no solo estén informados del uso de sus datos, sino también que estén informados desde el principio y de una manera que permita su comprensión (por ejemplo, al no esconder la información en un documento legal extenso), es una lección fácil de aprender de la atención médica. La lección más general es desglosar los grandes conceptos éticos, como la privacidad, los prejuicios y la explicabilidad, en infraestructuras, procesos y prácticas que hagan realidad esos valores. **4. Optimice las directrices y las herramientas para los directores de producto**. Si bien su marco proporciona una orientación de alto nivel, es esencial que la orientación a nivel de producto sea detallada. Tomemos, por ejemplo, el tan elogiado valor de la explicabilidad en la IA, una característica muy valorada de los modelos de aprendizaje automático que probablemente formará parte de su marco. Los algoritmos estándar de aprendizaje automático utilizan el reconocimiento de patrones, es demasiado difícil de manejar para que los humanos los entiendan. Pero es común —especialmente cuando los resultados de la IA pueden alterar la vida— querer o exigir explicaciones para los resultados de la IA. El problema es que a menudo hay una tensión entre hacer que los resultados sean explicables, por un lado, y hacer que los resultados (por ejemplo, las predicciones) sean precisos, por otro. Los directores de producto necesitan saber cómo hacer esa compensación y se deben desarrollar herramientas personalizadas para ayudar a los directores de producto a tomar esas decisiones. Por ejemplo, las empresas pueden crear una herramienta mediante la cual los directores de proyectos puedan evaluar la importancia de la explicabilidad de un producto determinado. Si la explicabilidad es deseable porque ayuda a descubrir el sesgo en un algoritmo, pero los resultados sesgados no son motivo de preocupación para esta aplicación de aprendizaje automático en particular, entonces eso rebaja la importancia de la explicabilidad en relación con la precisión. Si los resultados se rigen por reglamentos que exigen explicaciones (por ejemplo, los reglamentos del sector bancario que obligan a los bancos a explicar por qué se ha rechazado un préstamo a alguien), la explicabilidad será imperativa. Lo mismo ocurre con otros valores relevantes, por ejemplo, cuáles, si las hay, de las docenas de métricas utilizar para determinar si un producto ofrece resultados justos o equitativos. **5. Crear conciencia organizacional**. Hace diez años, las empresas apenas prestaban atención a los ciberriesgos, pero no cabe duda de que ahora sí, y se espera que los empleados comprendan algunos de esos riesgos. Cualquier persona que utilice datos o productos de IA, ya sea en RRHH, marketing u operaciones, debe entender el marco ético de datos e IA de la empresa. Crear una cultura en la que se pueda implementar y mantener con éxito una estrategia ética de datos e IA requiere educar y mejorar las habilidades de los empleados, y permitirles plantear preguntas importantes en momentos cruciales y plantear las principales preocupaciones al órgano deliberativo correspondiente. A lo largo de este proceso, es importante explicar claramente por qué la ética de los datos y la IA es importante para la organización, de manera que demuestre que el compromiso no es simplemente parte de una campaña de relaciones públicas. **6. Incentive formal e informalmente a los empleados a que desempeñen un papel en la identificación de los riesgos éticos de la IA.** Como hemos aprendido de numerosos[ejemplos infames](https://corpgov.law.harvard.edu/2019/02/06/the-wells-fargo-cross-selling-scandal-2/), las normas éticas se ven comprometidas cuando se incentiva económicamente a las personas a actuar de manera poco ética. Del mismo modo, no incentivar económicamente las acciones éticas puede llevar a que se les despriorice. Los valores de una empresa están determinados en parte por la forma en que dirige los recursos financieros. Cuando los empleados no vean un presupuesto detrás de ampliar y mantener un sólido programa de ética de datos e IA, centrarán su atención en lo que les haga avanzar en su carrera. Es esencial recompensar a las personas por sus esfuerzos en la promoción de un programa de ética de los datos. **7. Supervise los impactos e involucre a las partes interesadas**. Crear conciencia organizacional, comités de ética y gerentes de producto informados, propietarios, ingenieros y recopiladores de datos forman parte del proceso de desarrollo e, idealmente, del proceso de aprovisionamiento. Sin embargo, debido a los recursos y el tiempo limitados y a la incapacidad general de imaginar todas las formas en que las cosas pueden ir mal, es importante supervisar el impacto de los productos de datos e IA que están en el mercado. Se puede construir un coche con bolsas de aire y zonas de deformación, pero eso no significa que sea seguro conducirlo a 100 mph por una calle secundaria. Del mismo modo, los productos de IA se pueden desarrollar de forma ética, pero se pueden desplegar de forma poco ética. Aquí hay que realizar investigaciones cualitativas y cuantitativas, que incluyen la participación especial de las partes interesadas para determinar cómo les ha afectado el producto. De hecho, en el escenario ideal, las partes interesadas relevantes se identifican al principio del proceso de desarrollo y se incorporan a una articulación de lo que hace y lo que no hace el producto. Poner en práctica la ética de los datos y la IA no es una tarea fácil. Requiere la participación de la alta dirección y la colaboración interfuncional. Sin embargo, las empresas que realicen la inversión no solo reducirán el riesgo, sino que también adoptarán de manera más eficiente las tecnologías que necesitan para salir adelante. Y, por último, serán exactamente lo que sus clientes, consumidores y empleados buscan: confiables.