Cuando los algoritmos decidan qué voces se escucharán

Nuestros algoritmos analizan y dictan cada vez más nuestro día a día y nuestro consumo de todo lo digital: desde lo que vemos (o no vemos) en nuestras noticias y redes sociales, hasta los productos que compramos y la música que escuchamos. Los motores de búsqueda determinan lo que se presenta cuando escribimos una consulta en un motor de búsqueda y la clasificación de los resultados en función de lo que considere «útil» y «relevante». La serendipia ha sido sustituida por contenido comisariado, con todos envueltos dentro de nuestras propias burbujas personalizadas. Pero, ¿qué ocurre cuando los algoritmos que funcionan en una caja negra comienzan a afectar a algo más que a las actividades o pasatiempos mundanos? ¿Y si ellos deciden qué voz se escucha? ¿Y si, en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio vigilado en el que solo se escucha a un grupo selecto de personas y, a su vez, esas voces moldean nuestra sociedad? Debemos pensar detenidamente en estas cuestiones y desarrollar controles y contrapesos para asegurarnos de que nuestro destino no lo determine un algoritmo que funciona en una caja negra.

••• ¿Qué fue lo primero que hizo esta mañana cuando se despertó? ¿Y qué fue lo último que hizo antes de irse a dormir anoche? Lo más probable es que muchos de nosotros —probablemente la mayoría— usáramos nuestros teléfonos inteligentes. Nuestro consumo diario de todo lo digital lo analizan y dictan cada vez más algoritmos: lo que vemos (o no vemos) en nuestras noticias y redes sociales, los productos que compramos, la música que escuchamos. Cuando escribimos una consulta en un motor de búsqueda, los resultados se determinan y clasifican en función de lo que se considere «útil» y «relevante». La serendipia ha sido sustituida a menudo por contenido comisariado, con todos envueltos dentro de nuestras propias burbujas personalizadas. ¿Vamos a renunciar a nuestra libertad de expresión y acción por conveniencia? Si bien es posible que tengamos el _percibido_ poder expresarnos digitalmente, nuestra capacidad de que nos vean se rige cada vez más por algoritmos —con líneas de códigos y lógica— programados por humanos falibles. Lamentablemente, lo que dicta y controla los resultados de estos programas es la mayoría de las veces una caja negra. Considere un artículo reciente en[Cableado](https://www.wired.com/story/monster-match-dating-app/), que ilustró cómo los algoritmos de las aplicaciones de citas refuerzan el sesgo. Aplicaciones como Tinder, Hinge y Bumble utilizan el «filtrado colaborativo», que genera recomendaciones basadas en la opinión de la mayoría. Con el tiempo, estos algoritmos refuerzan los prejuicios sociales al limitar lo que podemos ver. UN [reseña](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3244459) de investigadores de la Universidad de Cornell identificó características de diseño similares para algunas de las mismas aplicaciones de citas y el potencial de sus algoritmos para introducir formas de sesgo más sutiles. Descubrieron que la mayoría de las aplicaciones de citas emplean algoritmos que generan coincidencias en función de las preferencias personales pasadas de los usuarios y del historial de coincidencias de personas que son similares. Pero, ¿y si los algoritmos que funcionan en una caja negra comienzan a afectar a algo más que a las citas o a los pasatiempos? ¿Y si ellos deciden qué voz tiene prioridad? ¿Y si, en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio vigilado en el que solo se escucha a un grupo selecto de personas y, a su vez, esas voces moldean nuestra sociedad? Para llevar esto aún más lejos, ¿y si cada ciudadano obtuviera una puntuación social, basada en un conjunto de valores, y los servicios que recibimos se rijan entonces por esa puntuación? ¿Cómo nos iría entonces? Se espera que un ejemplo de un sistema de este tipo, llamado Sistema de Crédito Social,[entrará en pleno funcionamiento en China en 2020](https://time.com/collection/davos-2019/5502592/china-social-credit-score/). Si bien aún no se han entendido todas las implicaciones del programa de China, imagine cuando el acceso al crédito se mide no solo por nuestro historial crediticio, sino también por los amigos de nuestro círculo de redes sociales; cuando nuestro _dignidad_ se considera mediante un algoritmo sin transparencia ni recursos humanos; cuando nuestra elegibilidad para el seguro podría determinarse mediante sistemas de aprendizaje automático en función de nuestro ADN y nuestros perfiles digitales percibidos. En estos casos, ¿en qué valores se basará el algoritmo? ¿De quién será la ética que se incluirá en el cálculo? ¿Qué tipos de datos históricos se utilizarán? ¿Y seríamos capaces de preservar la transparencia en estos y otros temas? Sin respuestas claras a estas preguntas, y sin definiciones estandarizadas de qué es el sesgo y qué significa equidad, los prejuicios humanos y sociales se filtrarán inconscientemente. Esto se hace aún más preocupante cuando las instituciones no tienen una representación diversa en su personal que refleje la demografía a la que prestan servicio. El resultado de estos algoritmos puede afectar desproporcionadamente a quienes _no pertenecen_. Entonces, ¿cómo evita esto la sociedad o lo reduce cuando ocurre? Prestando atención a _quién es el propietario de los datos._ En un mundo en el que los datos son el oxígeno que alimenta el motor de la IA, aquellos que _propio_ los datos más útiles ganarán. En este mundo, debemos decidir quiénes serán los guardianes, ya que los grandes gigantes de la tecnología desempeñan cada vez más un papel central en todos los aspectos de nuestras vidas y dónde se traza la línea entre los intereses públicos y privados. (En los EE. UU., los guardianes son generalmente las propias empresas de tecnología. En otras regiones, como Europa, el gobierno está empezando a asumir esa función.) Además, a medida que la IA siga aprendiendo y cada vez hay más en juego cuando se trata de la salud y el patrimonio de las personas, estos guardianes deberían centrarse en algunos controles y contrapesos. Deben asegurarse de que la IA no utilice los datos históricos para prejuzgar los resultados; si se implementa incorrectamente, la IA solo repetirá los errores del pasado. Es imperativo que los científicos de datos y computación integren las opiniones de expertos de otros ámbitos, como la economía del comportamiento, la sociología, las ciencias cognitivas y el diseño centrado en las personas, para calibrar las dimensiones intangibles del cerebro humano y predecir el contexto, más que el resultado. Realizar comprobaciones de validez con la fuente de datos y el propietario de los datos para detectar sesgos en varios momentos del proceso de desarrollo se hace más crucial a medida que diseñamos la IA para anticipar las interacciones y corregir los sesgos. Las organizaciones también desempeñan un papel. Si bien es posible que no quieran revelar lo que hay dentro de su propia caja negra, deben ser abiertos y transparentes a la hora de revelar lo que define la imparcialidad y los prejuicios, es decir, los límites de la caja negra. Con este fin, las organizaciones deberían adoptar directrices universales para la creación y el uso de la IA, como las que propone el[La Organización de Cooperación y Desarrollo Económicos (OCDE)](https://www.oecd.org/going-digital/ai/principles/): «Los principios exigirían que la IA respete los derechos humanos, los valores democráticos y la ley. También debe ser seguro, abierto y obvio para los usuarios, mientras que quienes crean y utilizan la IA deben rendir cuentas por sus acciones y ofrecer transparencia». Y Steve Andriole, profesor de Tecnología Empresarial en la Escuela de Negocios de Villanova, [hizo recientemente una pregunta que invitaba a la reflexión](https://www.forbes.com/sites/steveandriole/2019/05/28/what-if-expert-systems-ruled-the-world-understanding-aiml-first-principles/#29b65003688a): «¿Y si diseñáramos la IA para que fuera fiel a un principio simple: los seres humanos, independientemente de su edad, género, raza, origen, religión, ubicación, inteligencia, ingresos o riqueza, deberían recibir un trato igual, justo y coherente?» Qué pasaría si. _O si tan solo._ Estamos deseando abordar estos temas. Por ejemplo, es muy probable que la IA aumente pronto a los banqueros humanos. El Departamento de Servicios Financieros (NYFS) de Nueva York ha publicado una nueva [directrices](https://www.forbes.com/sites/jessicabaron/2019/02/04/life-insurers-can-use-social-media-posts-to-determine-premiums/#42002dc823ce)  eso permitirá a las compañías de seguros de vida utilizar los datos de las redes sociales de los clientes para determinar sus primas (siempre y cuando no discriminen). Es probable que no pase mucho tiempo antes de que las aseguradoras comiencen a utilizar también otras fuentes de datos alternativas, siguiendo los pasos de muchas empresas emergentes de préstamos fintech. Así que, a medida que continuamos con el viaje de la evolución de la tecnología, debemos asegurarnos de no sacrificar la imparcialidad y la transparencia en nombre del aumento de la eficiencia. Debemos asegurarnos de abordar los puntos ciegos de nuestras tecnologías, de que la desigualdad no se agrave y de que la historia no se repita. Colectivamente, debemos hacer que los líderes, los tecnólogos y las personas con un poder inmenso rindan cuentas por sus acciones, de modo que la tecnología y los datos se puedan utilizar para bien y para mejorar el bienestar de todos los ciudadanos. Debemos trabajar para lograr un futuro en el que nuestro destino no lo determine un algoritmo que funcione en una caja negra.