A medida que la IA se encuentra con la economía de la reputación, todos estamos siendo juzgados silenciosamente
Resumen.
Cualquiera que haya calificado a su conductor de Uber o anfitrión de Airbnb ha participado activamente en la «economía de la reputación». Pero, ¿qué ocurre cuando los algoritmos, en lugar de los humanos, determinan la puntuación de reputación de un individuo? Cuando la IA comienza a determinar el valor social de un individuo, lo que está en juego es alto. Debemos preguntarnos: ¿Qué tan buenos son los datos? ¿Qué tan buenas son las matemáticas? ¿Qué tan preparada está la sociedad para ser juzgada por la IA? ¿Y qué podría salir mal? Tanto legisladores como grupos de derechos civiles están lidiando con la cuestión de cómo regular el uso de algoritmos y cómo mantener el control de calidad de las fórmulas. Esfuerzos como el Reglamento General de Protección de Datos (RGPD) de la UE tienen por objeto poner al usuario de nuevo el control de sus propios datos personales. Mientras tanto, los individuos tendrán que estar más atentos sobre sus datos personales en línea. Si esperamos tener acceso al empleo, bienes y servicios en el futuro, las plataformas sociales ya no pueden ser un terreno de juego para el ego. Nuestra reputación online nos precederá a todos.
En el Espejo negro episodio Desplome, la protagonista, Lacie, vive en un mundo sacarina de cortesía en el que se puntúa cada interacción personal o empresarial. Todo depende de la puntuación social, y todos están desesperados por ascender en el ranking. Pero el omnipresente juego de clasificación tiene una gran ventaja: subir de rango es increíblemente difícil, mientras que la clasificación baja es rápida y fácil, como una caída libre.
Bienvenido a la economía de la reputación, donde el gráfico social individual (el conjunto de datos sociales sobre cada persona) determina el valor de uno en la sociedad, el acceso a los servicios y la empleabilidad. En esta economía, la reputación se convierte en moneda.
La economía de la reputación se basa en un sistema de clasificación de estrellas simplista pero efectivo. Cualquiera que haya calificado a su conductor de Uber o anfitrión de Airbnb ha participado activamente. Pero, ¿qué ocurre cuando los algoritmos, en lugar de los humanos, determinan la puntuación de reputación de un individuo basándose en múltiples fuentes de datos y fórmulas matemáticas, lo que promete más precisión y flexibilidad a través del aprendizaje automático?
70% de las empresas estadounidenses utiliza actualmente las redes sociales para detectar a los empleados. Y muchas habilitadas para IA startups compiten en el mercado de evaluación de recursos humanos, utilizando la IA para rastrear las cuentas de redes sociales de los posibles candidatos para filtrar los malos ajustes.
En 2012, Facebook solicitó un patente que utilizaría un algoritmo para evaluar las calificaciones crediticias de los amigos, como factor de elegibilidad para obtener una hipoteca. Y China tiene como objetivo implementar un puntuación social para cada ciudadano para 2020, basado en los registros criminales, sus redes sociales, lo que compran e incluso las decenas de sus amigos.
Cuando la IA comienza a determinar el valor social de un individuo, lo que está en juego es alto. Como Kim Darah escribe en La nueva economía: «Lejos de ser herramientas de decisión neutrales y omniscientes, los algoritmos complejos están configurados por humanos, que, a todos los efectos, son imperfectos». Debemos preguntarnos: ¿Qué tan buenos son los datos? ¿Qué tan buenas son las matemáticas? ¿Qué tan preparada está la sociedad para ser juzgada por la IA? ¿Y qué podría salir mal?
Datos erróneos
Los algoritmos aprenden extrayendo patrones de grandes conjuntos de datos históricos y luego aplicando esos patrones para predecir el futuro. Cuando el conjunto de datos esté defectuoso, la predicción será errónea.
En 2012, el estado de Idaho recorta los beneficios de Medicaid para 4.000 personas con discapacidades del desarrollo e intelectuales en un enorme 20-30%. Después de la Unión Americana de Libertades Civiles (ACLU) demandado para obtener información sobre el algoritmo utilizado para determinar los recortes, descubrieron que dos tercios de los datos históricos habían sido corruptos, lo que dio lugar a un algoritmo predictivo basado en un subconjunto todavía ligeramente defectuoso de un tercio de los datos existentes. Los datos incorrectos llevaron, entre otras cosas, a malos resultados.
Los datos potenciales sobre la economía de reputación son igualmente defectuosos. El 79% de los estadounidenses en línea usan Facebook, pero solo el 32% está en Instagram y el 24% está en Twitter . Esta variación en la penetración de las redes sociales hace posible la triangulación de datos de varias redes solo para un subconjunto de usuarios; es un conjunto de datos incompleto. Además, la fragmentación entre los canales de comunicación hace imposible el pesaje de las conexiones por un verdadero nivel de afiliación.
Pero el problema más importante es el hecho comprobado de que la presencia digital rara vez refleja el verdadero yo. Las personas publican cosas que creen que les harán quedar bien, y dependiendo de la afiliación y la etapa de la vida, eso puede resultar en exageración, en cualquier dirección. Este sesgo hace que el uso de los datos de las redes sociales sea cuestionable en muchos casos.
Matemáticas malas
Los algoritmos no tienen conciencia; repiten lo que aprenden. Cuando los algoritmos se repiten y perpetúan el sesgo o la opinión, debemos considerar mathwashing.
El lavado matemático no deseado se produce cuando el algoritmo se deja sin marcar y, aprendiendo de los datos históricos, amplifica el sesgo social. El sistema judicial estadounidense utiliza un algoritmo llamado BRÚJULA para determinar la probabilidad de que un delincuente vuelva a ofender. COMPAS ha sido probado por Pro Publica para predecir que los acusados negros tendrán tasas de reincidencia más altas que las que realmente tienen, mientras que se prevé que los acusados blancos tengan tasas más bajas que las que realmente tienen.
El lavado de matemáticas deliberado se produce cuando el algoritmo se modifica para corregir o sesgar el sesgo. Facebook supuestamente se desvaneció cuando suprimió rutinariamente las noticias conservadoras en 2016.
El sesgo inconsciente es profundamente arraigada en el tejido social de Estados Unidos. Continuar dejando que los algoritmos perpetuaran el sesgo social sería irresponsable, y basar las decisiones que cambian la vida en esa información podría ralentizar el progreso hacia la verdadera igualdad.
Consecuencias no deseadas para la sociedad
La presión social es una forma de control poderosa y sutil. Y cuando esta presión social se ve amplificada por un algoritmo oscuro que presuntamente observa cada movimiento digital, la libertad de expresión se puede poner en peligro. La gente puede simplemente tener miedo de alzar la voz, por temor al efecto que podría tener en su capacidad para obtener empleo, bienes o servicios. Tal» enfriamiento social» describe una cultura de autocensura, en la que las personas (voluntariamente) ajustan su comportamiento para ajustarse a una norma social, por temor a que su comportamiento monitoreado digitalmente pueda afectar su reputación.
Los conductores exitosos de Uber están practicando la refrigeración social adaptándose para adaptarse a una expectativa común de servicio: Como describió un controlador de Uber en una entrevista con El borde: «El sirviente anticipa las necesidades, las hace sin esfuerzo, habla cuando se habla y ni siquiera te das cuenta de que están ahí».
Airbnb exhibe la refrigeración social en su sistema de revisión de anfitrión/huésped, donde las palabras genéricas de mayor elogio reflejan la renuencia de anfitriones e invitados juzgar o juzgar.
Debido a la naturaleza abstracta y oscura del aprendizaje automático, las personas sienten que nunca saben cuándo se les está juzgando (¿cómo está conectado el ecosistema?) , o por quién (¿Quién tiene acceso a los datos?) , o cómo (¿Cuál es el algoritmo?). Esto lleva a aversión al riesgo — que podría suprimir la expresión de ideas inconformistas y podría matar la creatividad. Al extremo, esto crea una sociedad en la que la gente tiene miedo de decir lo que piensa.
¿A dónde vamos desde aquí?
A medida que continuamos despertando hacia nuestra nueva realidad digital, la economía de la reputación se convertirá en una realidad para todos nosotros. Y la exclusión no es una opción viable, cuando El 57% de los empleadores dice que si no pueden encontrar un candidato en línea, pasan al siguiente. Nuestra reputación se convertirá en moneda.
Tanto los legisladores como los grupos de derechos civiles están lidiando con la cuestión de cómo regular el uso de algoritmos y cómo mantener el control de calidad de las fórmulas. Esfuerzos como el Reglamento general de protección de datos (RGPD) de la UE pretenden volver a poner al usuario en control de sus propios datos personales.
Mientras tanto, las personas deberán estar atentos a sus datos personales en línea. Para muchos adolescentes, la gestión de la reputación online es una realidad cotidiana en la que están bien versados. Sus perfiles son a menudo privada, arreglada regularmente, y altamente comisariado. Su necesidad de autoexpresión sin censura y la oportunidad de cometer errores se subcontrata, por ahora, a plataformas efímeras como SnapChat. A medida que la IA continúa infiltrándose en la economía de la reputación, se requerirá disciplina en la forma en que interactuamos y en cómo juzgamos en línea de todos nosotros.
Si esperamos tener acceso al empleo, bienes y servicios en el futuro, las plataformas sociales ya no pueden ser un terreno de juego para el ego. Nuestra reputación online nos precederá a todos.
— Escrito por Sophie Kleber
