Cuando los algoritmos deciden qué voces se escucharán

Resumen.

Nuestra vida cotidiana y el consumo de todo lo digital son cada vez más analizados y dictados por algoritmos: desde lo que vemos — o no vemos — en nuestras noticias y redes sociales, hasta los productos que compramos, hasta la música que escuchamos. Lo que se presenta cuando escribimos una consulta en un motor de búsqueda, y cómo se clasifican los resultados, lo determinan los motores de búsqueda en función de lo que se considera «útil» y «relevante». Serendipity ha sido reemplazado por contenido comisariado, con todos nosotros envueltos dentro de nuestras propias burbujas personalizadas. Pero, ¿qué sucede cuando los algoritmos que operan en una caja negra comienzan a impactar algo más que actividades o pasatiempos mundanos? ¿Y si deciden quién es la voz para ser escuchada? ¿Qué pasaría si en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio vigilado donde sólo un grupo selecto de individuos son escuchados, y nuestra sociedad a su vez se forma por esas voces? Debemos pensar largo y arduamente sobre estas cuestiones, y desarrollar controles y equilibrios para garantizar que nuestro destino no esté determinado por un algoritmo que funcione en una caja negra.

¿Qué fue lo primero que hiciste esta mañana cuando despertaste? ¿Y qué fue lo último que hiciste antes de acostarte anoche?

Lo más probable es que muchos de nosotros —probablemente la mayoría de nosotros— estuviéramos en nuestros teléfonos inteligentes. Nuestro consumo diario de todo lo digital es cada vez más analizado y dictado por algoritmos: lo que vemos (o no vemos) en nuestras noticias y redes sociales, los productos que compramos, la música que escuchamos. Cuando escribimos una consulta en un motor de búsqueda, los resultados se determinan y clasifican según lo que se considera «útil» y «relevante». Serendipity a menudo ha sido reemplazado por contenido comisariado, con todos nosotros envueltos dentro de nuestras propias burbujas personalizadas.

¿Estamos renunciando a nuestra libertad de expresión y acción en nombre de la conveniencia? Si bien podemos tener el percibido poder de expresarnos digitalmente, nuestra capacidad de ser visto se rige cada vez más por algoritmos —con líneas de códigos y lógicas— programados por humanos falibles. Desafortunadamente, lo que dicta y controla los resultados de tales programas es más a menudo una caja negra.

Considere un escrito reciente en Alámbrico, que ilustraba cómo los algoritmos de aplicaciones para citas refuerzan el sesgo. Aplicaciones como Tinder, Hinge y Bumble utilizan «filtrado colaborativo», que genera recomendaciones basadas en la opinión de la mayoría. Con el tiempo, tales algoritmos refuerzan el sesgo social limitando lo que podemos ver. UNA revisión de investigadores de la Universidad de Cornell identificaron características de diseño similares para algunas de las mismas aplicaciones para citas, y el potencial de sus algoritmos para introducir formas más sutiles de sesgo. Encontraron que la mayoría de las aplicaciones para citas emplean algoritmos que generan coincidencias basadas en las preferencias personales pasadas de los usuarios, y el historial de coincidencias de personas que son similares.

Pero, ¿y si los algoritmos que operan en una caja negra comienzan a impactar más que simplemente citas o pasatiempos? ¿Qué pasa si deciden a quién se prioriza la voz? ¿Qué pasaría si, en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio vigilado donde sólo un selecto grupo de individuos se escucha, y nuestra sociedad a su vez se forma por esas voces? Para llevar esto aún más lejos, ¿qué pasaría si todos los ciudadanos obtuvieran un puntaje social, basado en un conjunto de valores, y los servicios que recibimos se rigen entonces por esa puntuación, cómo nos iría entonces? Un ejemplo de ese sistema, llamado Sistema de Crédito Social, se espera que entrar en pleno funcionamiento en China en 2020. Aunque aún no se han comprendido todas las implicaciones del programa de China, imagínese cuándo el acceso al crédito se mide no solo por nuestra historia crediticia, sino por los amigos de nuestro círculo de medios sociales; dignidad es considerado por un algoritmo sin transparencia ni recurso humano; cuando nuestra elegibilidad para el seguro podría ser determinada por sistemas de aprendizaje automático basados en nuestro ADN y nuestros perfiles digitales percibidos.

En estos casos, ¿en qué valores se basará el algoritmo? ¿De quién la ética estará incrustada en el cálculo? ¿Qué tipos de datos históricos se utilizarán? ¿Y seríamos capaces de preservar la transparencia en estas y otras cuestiones? Sin respuestas claras a estas preguntas —y sin definiciones estandarizadas de lo que es el sesgo y lo que significa la imparcialidad — el sesgo humano y social se filtrará inconscientemente. Esto se vuelve aún más preocupante cuando las instituciones no tienen una representación diversa en su personal que refleje la demografía a la que sirven. El resultado de tales algoritmos puede afectar desproporcionadamente a los que no pertenezcan.

Entonces, ¿cómo impide la sociedad esto, o redimensiona cuando ocurre? Al prestar atención a quién es el propietario de los datos. En un mundo donde los datos son el oxígeno que alimenta el motor de IA, aquellos que propio los datos más útiles ganarán. En este mundo, debemos decidir quiénes serán los guardianes, ya que los grandes gigantes tecnológicos desempeñan cada vez más un papel central en todos los aspectos de nuestras vidas, y dónde se establece la línea entre los intereses públicos y privados. (En los Estados Unidos, los guardianes son generalmente las propias empresas tecnológicas. En otras regiones, como Europa, el gobierno está empezando a asumir ese papel.)

Además, a medida que la IA continúa aprendiendo, y las apuestas se hacen más altas cuando la salud y la riqueza de las personas están involucradas, hay algunos controles y equilibrios en los que estos guardianes deberían centrarse. Deben asegurarse de que la IA no utilice datos históricos para prejuzgar los resultados; implementada incorrectamente, la IA solo repetirá los errores del pasado. Es imperativo que los científicos de datos y computacionales integren aportaciones de expertos de otros dominios, como la economía del comportamiento, la sociología, la ciencia cognitiva y el diseño centrado en el ser humano, con el fin de calibrar las dimensiones intangibles del cerebro humano y predecir el contexto, en lugar de los resultados. Realizar comprobaciones de validez con la fuente de datos y el propietario de los datos para detectar sesgos en varios puntos del proceso de desarrollo se vuelve más crucial a medida que diseñamos IA para anticipar interacciones y corregir sesgos.

Las organizaciones también desempeñan un papel. Aunque no quieran revelar lo que hay dentro de su propia caja negra, deben ser abiertos y transparentes al revelar lo que define la equidad y los sesgos, es decir, los límites de la caja negra. Con este fin, las organizaciones deben adoptar directrices universales para crear y utilizar la IA, como las propuestas por el La Organización de Cooperación y Desarrollo Económicos (OCDE): «Los principios requerirían que AI respetara los derechos humanos, los valores democráticos y la ley. También debe ser seguro, abierto y obvio para los usuarios, mientras que aquellos que realizan y usan IA deben ser considerados responsables de sus acciones y ofrecer transparencia». Y Steve Andriole, profesor de Tecnología Empresarial en la Escuela de Negocios Villanova, recientemente hizo una pregunta que invita a la reflexión: «¿Qué pasaría si hiciéramos que la IA fuera fiel a un principio simple: los seres humanos, independientemente de su edad, género, raza, origen, religión, ubicación, inteligencia, ingresos o riqueza, deberían ser tratados de manera equitativa, justa y consistente?»

¿Qué pasa si. O si sólo.

No podemos esperar para abordar estos problemas. Por ejemplo, es muy probable que los banqueros humanos pronto se aumenten con IA. El Departamento de Servicios Financieros de Nueva York (NYFS) ha lanzado el nuevo directrices que permitirá a las compañías de seguros de vida utilizar los datos de las redes sociales de los clientes para determinar sus primas (siempre y cuando no discriminen). Es probable que no pasará mucho tiempo antes de que las aseguradoras empiecen a usar otras fuentes de datos alternativas, siguiendo los pasos de muchas startups de préstamos fintech. Así pues, a medida que continuamos el camino de la evolución de la tecnología, debemos asegurarnos de que no estamos sacrificando la equidad y la transparencia en nombre de los aumentos de eficiencia. Debemos asegurarnos de que abordemos los puntos ciegos de nuestras tecnologías, que la desigualdad no se agrava y que la historia no se repita. Colectivamente, debemos responsabilizar a los líderes, los tecnólogos y los que tienen un poder inmenso por sus acciones, de modo que la tecnología y los datos puedan ser utilizados para el bien y para mejorar el bienestar de todos los ciudadanos.

Debemos trabajar hacia un futuro donde nuestro destino no esté determinado por un algoritmo que trabaje en una caja negra.

— Escrito por Theodora (Theo) Lau Theodora (Theo) Lau Uday Akkaraju