El dilema ético en el corazón de las grandes empresas tecnológicas
Resumen.
El reto central que enfrentan los propietarios de ética en las empresas tecnológicas es negociar entre presiones externas para responder a crisis éticas al mismo tiempo que deben responder a los procesos internos de sus empresas y de la industria. Por un lado, las críticas externas los empujan a desafiar las prácticas y prioridades empresariales fundamentales. Por otro lado, hay presiones para establecer o restaurar procesos y resultados predecibles que sirvan a los resultados finales. Esto aumenta la presión para encajar y reduce la capacidad de oponerse a productos éticamente cuestionables, lo que hace aún más difícil distinguir entre éxito y fracaso: las victorias morales pueden parecer un castigo mientras que los productos éticamente cuestionables ganan grandes bonificaciones. Las tensiones que surgen de esto deben ser superadas, con un ojo en el proceso, pero también con el otro ojo directamente centrado en los resultados para la sociedad en general.
Si parece que cada semana hay un nuevo escándalo sobre la ética y la industria tecnológica, no es tu imaginación. A pesar de que la industria tecnológica está tratando de establecer prácticas e instituciones concretas en torno a la ética tecnológica, se están aprendiendo duras lecciones acerca de la gran brecha entre las prácticas de «hacer ética» y lo que la gente considera «ética». Esto ayuda a explicar, en parte, por qué levanta las cejas cuando Google disuelve su Junta asesora de ética de AI, ante la protesta pública sobre la inclusión de un controvertido alumno de la Fundación Heritage, o cuando presión organizada por el personal de ingeniería de Google resulta en la cancelación de contratos militares.
Esta brecha es importante, porque junto a estas llamadas decididamente malas de quienes lideran el cargo por la ética en la industria, también estamos viendo el inicio del sector tecnológico invertir recursos significativos en la capacidad organizativa para identificar, rastrear y mitigar las consecuencias de las tecnologías algorítmicas. Estamos en un punto en el que parecería que los académicos y críticos que habían exhortado a la industria a hacer tales consideraciones durante décadas deberían estar declarando una pequeña victoria. Sin embargo, en muchos casos, esas mismas voces externas están planteando una vigorosa ronda de objeciones a las elecciones de la industria tecnológica, a menudo con una buena razón. Aunque hace apenas unos años, parecía que todos compartían una comprensión de lo que significaba «ética en la industria tecnológica», ahora que «ética» es un sitio de poder, quien llega a determinar el significado y las prácticas de la «ética» está siendo discutido acaloradamente.
Sin embargo, en Silicon Valley no está claro qué significa todo esto, especialmente cuando se trata de traducir los principios éticos en las necesidades prácticas y en el lenguaje de los negocios. ¿Es la ética tecnológica sólo la búsqueda de procesos sólidos? ¿Cuáles son los objetivos de los éticos tecnológicos y cuál es su teoría del cambio? ¿Alguno de este trabajo es mensurable en los marcos que las empresas ya utilizan para dar cuenta del valor? ¿Cuánto añade la «ética» al costo de hacer negocios y cuál es la diferencia para las empresas que recién están iniciando, corriendo hacia la salida a IPO o ya nombres conocidos?
Para averiguarlo, nosotros — junto con la coautora del estudio, danah boyd (que prefiere letras minúsculas en su nombre) — estudió los haciendo el trabajo de ética dentro de las empresas, a las que llamamos «dueños de ética», para averiguar lo que ven como su tarea a mano. «Propietario» es el lenguaje común dentro de estructuras corporativas planas, es decir, alguien que es responsable de coordinar un dominio de trabajo entre las diferentes unidades de una organización. Nuestra investigación que entrevistó a esta nueva clase de profesionales de la industria tecnológica muestra que su trabajo se está volviendo más concreto, tanto a través de la atención al proceso como a la preocupación por los resultados. Aprendimos que las personas en estos nuevos roles encuentran un importante conjunto de tensiones que fundamentalmente no se pueden resolver. Las cuestiones éticas nunca se resuelven, se navegan y negocian como parte del trabajo de los dueños de ética.
El reto central que enfrentan los propietarios de la ética es negociar entre presiones externas para responder a crisis éticas al mismo tiempo que deben responder a las lógicas internas de sus empresas y de la industria. Por un lado, las críticas externas los empujan a desafiar las prácticas y prioridades empresariales fundamentales. Por otro lado, las lógicas de Silicon Valley, y de los negocios en general, crean presiones para establecer o restaurar procesos y resultados predecibles que aún sirven al resultado final.
Se identificaron tres lógicas distintas que caracterizan esta tensión entre presiones internas y externas:
Meritocracia: Aunque originalmente acuñado como término burlón en la ciencia ficción satírica del sociólogo británico Michael Young, la meritocracia infunde todo en Silicon Valley, desde prácticas de contratación hasta posiciones políticas, y justifica retroactivamente el poder de la industria en nuestras vidas. Como tal, la ética a menudo se enmarca con un ojo hacia enfoques más inteligentes, mejores y más rápidos, como si los problemas de la industria tecnológica se puedan abordar a través de esas virtudes. Teniendo en cuenta esto, no es de extrañar que muchos dentro de la industria tecnológica se posicionen como los actores más adecuados para abordar los desafíos éticos, en lugar de partes interesadas menos inclinadas técnicamente, incluidos los funcionarios electos y los grupos de defensa. En nuestras entrevistas, esto se manifestó en confiar en que los ingenieros usaran su juicio personal «lidiando con las difíciles preguntas sobre el terreno», confiando en ellos para discernir y evaluar lo que está en juego ético de sus propios productos. Si bien hay algunos procedimientos rigurosos que ayudan a los diseñadores analizar las consecuencias de sus productos, sentado en una habitación y «pensar duro» acerca de los daños potenciales de un producto en el mundo real no es lo mismo que entender a fondo cómo alguien (cuya vida es muy diferente que un ingeniero de software) podría verse afectado por cosas como regulación policial predictiva o tecnología de reconocimiento facial, como ejemplos obvios. Los propietarios de ética se encuentran interpelados entre el personal técnico que afirma una competencia generalizada en muchos dominios y su propio conocimiento de que la ética es un dominio especializado que requiere una profunda comprensión contextual.
Fundamentalismo del mercado: Aunque no es el caso de que las empresas tecnológicas elijan el beneficio sobre el bien social en todos los casos, es el caso de que los recursos organizativos necesarios para ganar la moral deben justificarse en términos favorables al mercado. Como explicó un líder senior de una división de investigación, esto «significa que el sistema que se crea tiene que ser algo que la gente siente que añade valor y no es un bloqueo masivo que no agrega valor, porque si se trata de un bloqueo que no tiene valor, la gente literalmente no lo hará, porque no tiene que hacerlo». Al final, el mercado fija los términos del debate, aunque el beneficio máximo no sea el único resultado aceptable. Por lo tanto, los propietarios de ética deben navegar entre evitar riesgos mensurables a la baja y promover los beneficios alcistas de una IA más ética. Argumentar en contra de la liberación de un producto antes de que se someta a pruebas adicionales de sesgo racial o de género, o para evitar una posible demanda, es una cosa. Argumentar que las pruebas más extensas conducirán a mayores números de ventas es otra cosa. Ambos son importantes, pero uno encaja perfectamente dentro del equipo legal y de cumplimiento, el otro encaja mejor en los equipos de productos.
Solucionismo tecnológico: La idea de que todos los problemas tienen correcciones técnicas manejables se ha visto reforzada por las recompensas que la industria ha cosechado por producir tecnología que creen hace resolver problemas. Como tal, las prácticas organizativas que facilitan el éxito técnico suelen estar relacionadas con los desafíos éticos. Esto se manifiesta en la búsqueda de listas de comprobación, procedimientos y métricas de evaluación que podrían descomponer cuestiones desordenadas de ética en trabajos de ingeniería digeribles. Este optimismo se ve contrapesado por una preocupación que, incluso cuando se plantea como cuestión técnica, la ética se vuelve «intratable, como si fuera un problema demasiado grande para abordar». Esta tensión está en una pantalla drásticamente al abordar el sesgo y la injusticia en la IA; hay docenas de soluciones para fijar el sesgo algorítmico a través de métodos estadísticos complejos, pero menos trabajo para abordar el sesgo subyacente en la recopilación de datos o en el mundo real del que se recopilan esos datos. E incluso para un algoritmo «justo», la justicia es solo un subconjunto de preguntas éticas sobre un producto. ¿De qué sirve la justicia si sólo conduce a un conjunto menos sesgado de personas perjudicadas por un peligroso producto?
Nuestra investigación muestra que incluso si todos ellos están comprometidos en alguna forma de crítica a ella, el objetivo colectivo de los dueños de ética no es «detener» la industria tecnológica. Ellos, al igual que los ingenieros con los que trabajan junto, están enredados en culturas organizacionales que recompensan el trabajo orientado a la métrica y de ritmo rápido con más recursos. Esto aumenta la presión para encajar y reduce la capacidad de objetar, lo que hace aún más difícil distinguir entre éxito y fracaso: las victorias morales pueden parecer un castigo mientras que los productos éticamente cuestionables ganan grandes bonificaciones. Las tensiones que surgen de esto deben ser superadas, con un ojo en el proceso, sin duda, pero también con la otra mirada centrada directamente en los resultados, tanto a corto como a largo plazo, tanto dentro como fuera de las empresas, y como empleados y miembros de una sociedad mucho más amplia.
Vimos estas tensiones cuando el cofundador del Stanford Human-Centered AI Institute (HAI), el reconocido investigador de IA Fei-Fei Li, se hizo notorio mientras trabajaba en Google para advertencia en un correo electrónico filtrado que los Googlers no deberían discutir públicamente el papel de sus productos de IA en la construcción de un sistema para el análisis facial de aviones no tripulados militares. En lugar de utilizar su considerable influencia defendiendo el contrato militar por una tecnología obviamente preocupante ética, Li argumentó a sus colegas que discutir el Proyecto Maven públicamente conduciría a dañar la imagen positiva que habían cultivado a través de hablar de «IA humanista».
Del mismo modo, cuando el académico jurídico de derechos humanos Philip Alston dijo desde el Simposio de AI Now 2018 , a medio broma, «quiero estrangular la ética», no estaba insinuando que desea que las personas y las empresas sean menos éticas, sino que la «ética» —en contraposición a un marco jurídico de derechos humanos, por ejemplo— se aborda típicamente como un esfuerzo no normativo, «abierto», «indefinido e irresponsable» se centró en lograr un proceso sólido y no en un resultado sustantivo. Por extraño que parezca, la toma de Alston sobre la «ética» es copacética con la de Li: la ética como una serie de procesos parece no tener que asumir compromisos sustantivos con resultados justos.
Para bien o para mal, los parámetros de esos procesos impulsarán futuras reglamentaciones administrativas, documentación algorítmica de rendición de cuentas, prioridades de inversión y decisiones en materia de recursos humanos. Cuando debatimos colectivamente cómo manejar las consecuencias de las tecnologías digitales, debemos incluir más de la perspectiva de las personas cuyo trabajo está configurando esta parte de nuestro futuro.
— Escrito por Emanuel Moss Emanuel Moss Jacob Metcalf
