El dilema ético en el centro de las grandes empresas de tecnología

El principal desafío al que se enfrentan los propietarios de ética en las empresas de tecnología es negociar entre las presiones externas para responder a las crisis éticas y, al mismo tiempo, deben responder a los procesos internos de sus empresas y del sector. Por un lado, las críticas externas los empujan a desafiar las principales prácticas y prioridades empresariales. Por otro lado, hay presiones para establecer o restablecer procesos y resultados predecibles que redunden en beneficio de los resultados. Esto aumenta la presión para adaptarse y reduce la capacidad de oponerse a productos éticamente cuestionables, lo que hace que sea aún más difícil distinguir entre el éxito y el fracaso: las victorias morales pueden parecer un castigo, mientras que los productos éticamente cuestionables se llevan grandes bonificaciones. Las tensiones que se derivan de esto deben abordarse, con un ojo puesto en el proceso, pero también con el otro ojo centrado directamente en los resultados para la sociedad en general.

••• Si parece que cada semana hay un nuevo escándalo sobre la ética y la industria de la tecnología, no es su imaginación. A pesar de que la industria de la tecnología trata de establecer prácticas e instituciones concretas en torno a la ética tecnológica, se están aprendiendo duras lecciones sobre la enorme brecha entre las prácticas de «hacer ética» y lo que la gente considera «ético». Esto ayuda a explicar, en parte, por qué sorprende cuando Google disuelve su efímera[Consejo asesor de ética de la IA](https://www.vox.com/future-perfect/2019/4/3/18292526/google-ai-ethics-board-letter-acquisti-kay-coles-james), ante la protesta pública por incluir en él a un controvertido exalumno de la Fundación Heritage, o cuando [la presión organizada del personal de ingeniería de Google provoca la cancelación de contratos militares](https://www.nytimes.com/2018/06/01/technology/google-pentagon-project-maven.html). Esta brecha es importante, porque además de estas decisiones decididamente malas de quienes lideran la ética en la industria, también estamos viendo cómo el sector tecnológico comienza[invertir](https://techcrunch.com/2019/09/17/facebook-oversight-board/) recursos significativos en la capacidad organizativa para identificar, rastrear y mitigar las consecuencias de las tecnologías algorítmicas. Estamos en un punto en el que parece que los académicos y críticos que habían exhortado a la industria a hacer esas consideraciones durante décadas deberían declarar una pequeña victoria. Sin embargo, en muchos casos, esas mismas voces externas están planteando una enérgica ronda de objeciones a las decisiones de la industria de la tecnología, a menudo por una buena razón. Si bien hace apenas unos años, parecía que todo el mundo compartía una idea de lo que se entendía por «ética en la industria de la tecnología», ahora que «ética» es un lugar de poder, se discute acaloradamente quién determina el significado y las prácticas de la «ética». Sin embargo, en Silicon Valley no está claro qué significa todo esto, especialmente cuando se trata de traducir los principios éticos a las necesidades prácticas y al lenguaje de los negocios. ¿La ética tecnológica es solo la búsqueda de procesos sólidos? ¿Cuáles son los objetivos de los especialistas en ética tecnológica y cuál es su teoría del cambio? ¿Algo de este trabajo se puede medir en los marcos que las empresas ya utilizan para contabilizar el valor? ¿Cuánto añade la «ética» al coste de hacer negocios y cuál es la diferencia para las empresas que acaban de empezar, que se apresuran a salir a bolsa o que ya son conocidas? Para averiguarlo, nosotros —junto con la coautora del estudio, Danah Boyd (que prefiere letras minúsculas en su nombre) —[los estudió](https://datasociety.net/output/owning-ethics-corporate-logics-silicon-valley-and-the-institutionalization-of-ethics/) hacer el trabajo de la ética dentro de las empresas, a las que llamamos «propietarios de la ética», para averiguar cuál es su tarea en cuestión. «Propietario» es un lenguaje común en las estructuras corporativas planas, es decir, alguien que es responsable de coordinar un dominio de trabajo entre las diferentes unidades de una organización. Nuestra investigación en la que entrevistamos a esta nueva clase de profesionales de la industria de la tecnología muestra que su trabajo, provisional y vacilante, se hace más concreto debido tanto a la atención al proceso como a la preocupación por los resultados. Aprendimos que las personas en estas nuevas funciones se enfrentan a un conjunto importante de tensiones que, fundamentalmente, no se pueden resolver. Las cuestiones éticas nunca se resuelven, se gestionan y negocian como parte del trabajo de los propietarios de la ética. El principal desafío al que se enfrentan los responsables de la ética es negociar entre las presiones externas para responder a las crisis éticas y, al mismo tiempo, deben responder a la lógica interna de sus empresas y del sector. Por un lado, las críticas externas los empujan a desafiar las principales prácticas y prioridades empresariales. Por otro lado, la lógica de Silicon Valley y de las empresas en general crea presiones para establecer o restablecer procesos y resultados predecibles que sigan redundando en beneficio de los resultados. Hemos identificado tres lógicas distintas que caracterizan esta tensión entre las presiones internas y externas: **Meritocracia:** Aunque originalmente se acuñó como[término burlón en ciencia ficción satírica](https://www.theguardian.com/news/2018/oct/19/the-myth-of-meritocracy-who-really-gets-what-they-deserve) del sociólogo británico Michael Young, la meritocracia lo impregna todo en Silicon Valley, desde las prácticas de contratación hasta los puestos políticos, y justifica retroactivamente el poder de la industria en nuestras vidas. Como tal, la ética se enmarca a menudo con la vista puesta en enfoques más inteligentes, mejores y más rápidos, como si los problemas de la industria de la tecnología pudieran abordarse a través de esas virtudes. En vista de ello, no es sorprendente que muchos miembros de la industria de la tecnología se posicionen como los actores más adecuados para abordar los desafíos éticos, en lugar de partes interesadas con menos inclinaciones técnicas, incluidos los funcionarios electos y los grupos de defensa. En nuestras entrevistas, esto se manifestó al confiar en que los ingenieros utilizarían su juicio personal para «abordar las preguntas difíciles sobre el terreno», confiando en que discernirán y evaluarán lo que está en juego desde el punto de vista ético de sus propios productos. Si bien hay algunos procedimientos rigurosos que ayudan a los diseñadores[analizar las consecuencias](https://doteveryone.org.uk/project/consequence-scanning/) de sus productos, sentarse en una habitación y «pensar detenidamente» en los posibles daños de un producto en el mundo real no es lo mismo que entender a fondo cómo alguien (cuya vida es[muy diferente](https://www.theatlantic.com/technology/archive/2019/10/google-allegedly-used-homeless-train-pixel-phone/599668/) que un ingeniero de software) podrían verse afectados por cosas como[policía predictiva](https://www.nacdl.org/Article/September-October2017-FromthePresidentPredictivePo) o[tecnología de reconocimiento facial](https://www.media.mit.edu/projects/gender-shades/overview/), como ejemplos obvios. Los propietarios de la ética se ven atrapados entre el personal técnico que afirma una competencia generalizada en muchos dominios y su propio conocimiento de que la ética es un dominio especializado que requiere una comprensión profunda del contexto. **Fundamentalismo de mercado:** Aunque no es cierto que las empresas de tecnología elijan las ganancias antes que el bien social en todos los casos, sí que los recursos organizativos necesarios para que la moralidad triunfe tienen que justificarse en términos favorables al mercado. Como explicó un alto directivo de una división de investigación, esto «significa que el sistema que se cree tiene que ser algo que la gente sienta que añade valor y no es un enorme obstáculo que no añade valor, porque si es un obstáculo que no tiene valor, la gente literalmente no lo hará, porque no tiene que hacerlo». Al final, el mercado marca las condiciones del debate, aunque el máximo beneficio no sea el único resultado aceptable. Por lo tanto, los responsables de la ética deben navegar entre evitar los riesgos a la baja cuantificables y promover las ventajas alcistas de una IA más ética. Argumentar en contra del lanzamiento de un producto antes de que se someta a pruebas adicionales por prejuicios raciales o de género, o para evitar una posible demanda, es una cosa. Argumentar que cuanto más exhaustivas sean las pruebas se traducirán en mayores cifras de ventas es otra cosa. Ambas son importantes, pero una cabe perfectamente en el equipo legal y de cumplimiento y la otra cabe mejor en los equipos de productos. **Solucionismo tecnológico:** La idea de que todos los problemas tienen soluciones técnicas tratables se ha visto reforzada por las recompensas que la industria ha cosechado por producir tecnología que, según ellos _sí_ resolver problemas. Por lo tanto, las prácticas organizativas que facilitan el éxito técnico suelen trasladarse a desafíos éticos. Esto se manifiesta en la búsqueda de listas de verificación, procedimientos y métricas de evaluación que puedan desglosar las complicadas cuestiones de ética en trabajos de ingeniería digeribles. Este optimismo se ve contrarrestado por la preocupación de que, incluso cuando se plantea como una cuestión técnica, la ética se vuelva «intratable, como si fuera un problema demasiado grande de abordar». Esta tensión se pone de manifiesto a la hora de abordar los sesgos y la injusticia en la IA; hay docenas de soluciones para corregir el sesgo algorítmico mediante métodos estadísticos complejos, pero menos trabajo para abordar el sesgo subyacente en la recopilación de datos o en el mundo real del que se recopilan esos datos. E incluso para un algoritmo «justo», la imparcialidad es solo un subconjunto de cuestiones éticas sobre un producto. ¿De qué sirve la equidad si solo lleva a que un grupo menos sesgado de personas se vea perjudicado por un[peligroso](https://arxiv.org/pdf/1908.06166) ¿producto? Nuestra investigación muestra que, aunque todos se dediquen a algún tipo de crítica al respecto, el objetivo colectivo de los propietarios de la ética no es «detener» a la industria de la tecnología. Ellos, al igual que los ingenieros con los que trabajan, están enredados en culturas organizacionales que recompensan el trabajo rápido y orientado a las métricas con más recursos. Esto aumenta la presión para encajar y reduce la capacidad de objetar, lo que hace que sea aún más difícil distinguir entre el éxito y el fracaso: las victorias morales pueden parecer un castigo, mientras que los productos éticamente cuestionables se llevan grandes bonificaciones. Las tensiones que se derivan de esto deben superarse, con un ojo puesto en el proceso, sin duda, pero también con el otro ojo centrado directamente en los resultados, tanto a corto como a largo plazo, tanto dentro como fuera de la empresa, y como empleados y miembros de una sociedad mucho más amplia. Vimos estas tensiones cuando el cofundador del Instituto de IA (HAI) centrado en las personas (HAI) de Stanford, el reconocido investigador de IA Fei-Fei Li, se hizo famoso cuando trabajaba en Google para[advertencia en un correo electrónico filtrado](https://www.nytimes.com/2018/05/30/technology/google-project-maven-pentagon.html) que los Googlers no deberían hablar públicamente del papel de sus productos de IA en la construcción de un sistema de análisis facial en drones militares. En lugar de utilizar su considerable influencia para abogar en contra del contrato militar por una tecnología obviamente problemática desde el punto de vista ético,[Li discutió con sus colegas](https://theintercept.com/2018/05/31/google-leaked-emails-drone-ai-pentagon-lucrative/) que hablar públicamente del Proyecto Maven llevaría a dañar la imagen positiva que habían cultivado al hablar de «IA humanista». Del mismo modo, cuando el académico en derecho de los derechos humanos Philip Alston dijo en[Simposio AI Now 2018](https://symposium.ainowinstitute.org/) escenario, medio en broma, «Quiero estrangular la ética», no estaba insinuando que quisiera que las personas y las empresas fueran menos éticas, sino que la «ética» —a diferencia de un marco legal de derechos humanos, por ejemplo— normalmente se aborda como un esfuerzo no normativo, «abierto», «indefinido e irresponsable» centrado en lograr un proceso sólido en lugar de un resultado sustantivo. Por extraño que parezca, la opinión de Alston sobre la «ética» es copática con la de Li: la ética, como serie de procesos, parece no necesitar asumir compromisos sustantivos solo con los resultados. Para bien o para mal, los parámetros de esos procesos impulsarán los futuros reglamentos administrativos, la documentación de responsabilidad algorítmica, las prioridades de inversión y las decisiones de recursos humanos. Cuando debatamos colectivamente sobre cómo gestionar las consecuencias de las tecnologías digitales, deberíamos incluir más la perspectiva de las personas cuyo trabajo está dando forma a esta parte de nuestro futuro.