Haga que la «imparcialidad desde el diseño» forme parte del aprendizaje automático

El sesgo en el aprendizaje automático es un verdadero problema. Cuando los modelos no funcionan según lo previsto, la culpa normalmente es de las personas y del proceso. Sin embargo, es posible emplear una estrategia de «imparcialidad desde el diseño» para el aprendizaje automático, que abarque algunos aspectos clave. Para ello, las empresas pueden tomar las siguientes medidas: unir a un científico de datos con un científico social; anotar con cautela; combinar las métricas tradicionales del aprendizaje automático con medidas de imparcialidad; al muestrear, equilibrar la representatividad con las restricciones de masa crítica; y tener en cuenta la eliminación de sesgos a la hora de crear modelos.

••• El aprendizaje automático se utiliza cada vez más para predecir las actitudes, los comportamientos y las preferencias de las personas en una variedad de aplicaciones, desde el marketing personalizado hasta la medicina de precisión. No es sorprendente que, dada la velocidad del cambio y la complejidad cada vez mayor, recientemente se hayan producido varios ejemplos destacados de «el aprendizaje automático salió mal». Un chatbot entrenado con Twitter[lo cerraron](https://www.nytimes.com/2016/03/25/technology/microsoft-created-a-twitter-bot-to-learn-from-users-it-quickly-became-a-racist-jerk.html) después de un solo día por sus tuits obscenos e incendiarios. Modelos de aprendizaje automático utilizados en un popular motor de búsqueda[lucha por diferenciar las imágenes humanas de las de los gorilas](https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/), y [mostrar anuncios de mujeres buscadoras de trabajos peor pagados en comparación con los usuarios masculinos](https://arxiv.org/ftp/arxiv/papers/1301/1301.6822.pdf). Más recientemente, un estudio comparó la herramienta de análisis del riesgo delictivo COMPAS, de uso común, con las predicciones de reincidencia de 400 trabajadores no cualificados contratados a través de Amazon Mechanical Turk. [Los resultados sugieren](http://advances.sciencemag.org/content/4/1/eaao5580.short) que COMPAS ha aprendido los sesgos raciales implícitos, lo que hace que sea menos preciso que los predictores humanos novatos. Cuando los modelos no funcionan según lo previsto, la culpa normalmente es de las personas y del proceso. El sesgo se puede manifestar de muchas formas en las distintas etapas del proceso de aprendizaje automático, como la recopilación de datos, la preparación de los datos, el modelado, la evaluación y el despliegue. _Sesgo de muestreo_ puede producir modelos basados en datos que no sean totalmente representativos de casos futuros. _Sesgo de rendimiento_ puede exagerar las percepciones sobre el poder predictivo, la generalización y la homogeneidad del rendimiento en todos los segmentos de datos. _Sesgo de confirmación_ puede hacer que la información se busque, interprete, enfatice y recuerde de una manera que confirme las ideas preconcebidas. _Sesgo de anclaje_ puede llevar a confiar demasiado en la primera información examinada. Entonces, ¿cómo podemos mitigar los sesgos en el aprendizaje automático? En nuestro proyecto financiado con fondos federales (con Rick Netemeyer, David Dobolyi e Indranil Bardhan), estamos desarrollando una plataforma móvil e IoT centrada en los pacientes para quienes corren un riesgo temprano de padecer enfermedades cardiovasculares en el cinturón de los accidentes cerebrovasculares, una región que se extiende por el sureste de los Estados Unidos, donde las tasas de incidentes de accidentes cerebrovasculares son entre un 25 y un 40% más altas que la media nacional. Como parte del proyecto, creamos modelos de aprendizaje automático basados en varios tipos de entradas no estructuradas, incluidos el texto generado por los usuarios y los datos telemétricos y basados en sensores. Un componente fundamental del proyecto consistía en desarrollar modelos de análisis de textos de aprendizaje profundo para inferir las dimensiones psicométricas, como las medidas de[aritmética](https://en.wikipedia.org/wiki/Numeracy#Innumeracy_and_risk_perception_in_health_decision-making), alfabetización, confianza y ansiedad, que se ha demostrado que tienen un profundo impacto en los resultados de salud, como el bienestar, las futuras visitas al médico y el cumplimiento de los regímenes de tratamiento. La idea es que si un médico pudiera saber que un paciente es, por ejemplo, escéptico con respecto a la profesión de la salud, pudiera adaptar su atención para superar esa falta de confianza. Nuestros modelos predicen estas dimensiones psicométricas en función de los datos que recopilamos. Dado que las enfermedades cardiovasculares tienen una probabilidad desproporcionada de afectar a la salud de poblaciones dispares, sabíamos que sería de vital importancia aliviar los sesgos raciales, de género y socioeconómicos de nuestros modelos de análisis de textos. Partiendo del concepto de «privacidad desde el diseño», popularizado por el Reglamento General de Protección de Datos (GDPR) de la Unión Europea, empleamos una estrategia de «imparcialidad desde el diseño» que abarcaba algunos aspectos clave. Las empresas y los científicos de datos que deseen diseñar de manera similar para garantizar la imparcialidad pueden tomar las siguientes medidas: **1. Combine a un científico de datos con un científico social.** Los científicos de datos y los científicos sociales hablan idiomas algo diferentes. Para un científico de datos, «sesgo» tiene un significado técnico particular: se refiere al nivel de segmentación de un modelo de clasificación. Del mismo modo, el término «potencial discriminatorio» se refiere a la medida en que un modelo puede diferenciar con precisión las clases de datos (por ejemplo, los pacientes con un riesgo alto y bajo de enfermedad cardiovascular). En la ciencia de datos, el objetivo principal es aumentar el «potencial discriminatorio». Por el contrario, cuando los científicos sociales hablan de prejuicios o discriminación, es más probable que se refieran a cuestiones de equidad. Por lo general, los científicos sociales están mejor preparados para ofrecer una perspectiva humanista sobre la equidad y los prejuicios. En nuestro proyecto Stroke Belt, desde el principio, nos aseguramos de incluir psicólogos, psicometristas, epidemiólogos y personas especializadas en tratar con poblaciones dispares en términos de salud. Esto nos permitió conocer mejor los sesgos demográficos que podrían influir en el proceso de aprendizaje automático. **2. Anote con cautela.** Los datos no estructurados, como el texto y las imágenes, suelen ser generados por anotadores humanos que proporcionan etiquetas de categorías estructuradas que luego se utilizan para entrenar modelos de aprendizaje automático. Por ejemplo, los anotadores pueden etiquetar las imágenes que contienen personas o marcar los textos que contienen sentimientos positivos y negativos. Los servicios de anotación humana se han convertido en un importante modelo de negocio, con la aparición de numerosas plataformas en la intersección del crowdsourcing y la economía colaborativa. Aunque la calidad de la anotación es adecuada para muchas tareas, la anotación humana es intrínsecamente propensa a una plétora de sesgos arraigados culturalmente. En nuestro proyecto, previmos que esto podría introducir sesgos en nuestros modelos. Por ejemplo, dado que dos personas con niveles de aritmética de salud similares, es mucho más probable que los anotadores obtengan una puntuación más baja si su escritura contiene errores ortográficos o gramaticales. Esto puede provocar que se filtren sesgos en los modelos entrenados, como hacer demasiado hincapié en la importancia de los errores ortográficos en relación con las señales más sustantivas a la hora de predecir la aritmética de salud. Un enfoque eficaz que hemos descubierto es incluir posibles casos de sesgo en los módulos de formación de anotadores para aumentar la conciencia. Sin embargo, en el proyecto Stroke Belt, eludimos por completo las anotaciones y, en lugar de ello, nos basamos en los datos autodeclarados. Si bien este enfoque no siempre es factible y puede tener su parte de problemas, nos permitió evitar los sesgos raciales relacionados con las anotaciones. **3. Combine las métricas tradicionales del aprendizaje automático con medidas de equidad.** El rendimiento de los modelos de clasificación del aprendizaje automático se mide normalmente mediante un conjunto pequeño de métricas bien establecidas que se centran en el rendimiento general, el rendimiento a nivel de clase y la generalización general de los modelos. Sin embargo, se pueden aumentar con medidas de equidad diseñadas para cuantificar el sesgo del aprendizaje automático. Estos indicadores clave de rendimiento son esenciales para conocer la situación, como dice el refrán, «si no se puede medir, no se puede mejorar». Al utilizar medidas de equidad, en el estudio de predicción de la reincidencia mencionado anteriormente, los investigadores observaron que los modelos existentes estaban muy sesgados en sus evaluaciones del riesgo para ciertos grupos. En nuestro proyecto, examinamos el rendimiento de los modelos en varios segmentos demográficos, así como las suposiciones subyacentes del modelo, para identificar los segmentos demográficos con una mayor susceptibilidad a los sesgos en nuestro contexto. Las importantes medidas de equidad incorporadas fueron las tasas de verdadero/falso, positivo/negativo dentro y entre segmentos y entre segmentos y el nivel de dependencia de las variables demográficas. Los segmentos con tasas de falsos positivos o falsos negativos desproporcionadamente más altas podrían ser propensos a generalizaciones excesivas. En el caso de los segmentos con resultados aparentemente justos en la actualidad, si las variables demográficas se ponderan mucho en relación con otras y actúan como principales impulsores de las predicciones, podría existir la posibilidad de que los datos futuros sufran sesgos. **4. Al muestrear, equilibre la representatividad con las restricciones de masa crítica.** Para el muestreo de datos, el mantra antiguo era garantizar que las muestras fueran estadísticamente representativas de los casos futuros que pudiera encontrar un modelo determinado. Por lo general, es una buena práctica. El único problema con la representatividad es que infravalora los casos minoritarios, aquellos que son estadísticamente menos comunes. Si bien a primera vista esto parece intuitivo y aceptable (siempre habrá casos más y menos comunes), los problemas surgen cuando ciertos grupos demográficos son minorías estadísticas en su conjunto de datos. Básicamente, los modelos de aprendizaje automático están incentivados a aprender patrones que se aplican a grupos grandes, con el fin de ser más precisos, lo que significa que si un grupo en particular no está bien representado en sus datos, el modelo no priorizará el aprendizaje sobre él. En nuestro proyecto, tuvimos que sobremuestrear significativamente casos relacionados con determinados grupos demográficos para asegurarnos de que teníamos la masa crítica de muestras de formación necesaria para cumplir con nuestras medidas de imparcialidad. **5. Al crear un modelo, tenga en cuenta la eliminación de sesgos.** Incluso con las medidas antes mencionadas, a menudo es necesario eliminar los sesgos durante la fase de creación de modelos y entrenamiento. Se han propuesto varias tácticas. Un enfoque consiste en eliminar por completo los datos de entrenamiento de cualquier señal demográfica, explícita o implícita. En el estudio de predicción de la reincidencia mencionado anteriormente, a los predictores humanos novatos no se les proporcionó ningún dato racial. Otro enfoque consiste en incluir medidas de equidad en los objetivos de formación del modelo, por ejemplo, «aumentando» la importancia de ciertos casos minoritarios o extremos. En nuestro proyecto, descubrimos que era útil entrenar nuestros modelos dentro de los segmentos demográficos identificados algorítmicamente como altamente susceptibles a los sesgos. Por ejemplo, si los segmentos A y B son propensos a generalizaciones superfluas (según lo cuantificado por nuestras medidas de equidad), los patrones de aprendizaje _dentro_ estos segmentos proporcionan una apariencia de homogeneidad demográfica y alivian los problemas de muestreo mayoritario/minoritario, lo que obliga a los modelos a aprender patrones alternativos. En nuestro caso, este enfoque no solo mejoró notablemente las medidas de equidad (entre un 5 y un 10% en algunos segmentos), sino que también aumentó la precisión general en un par de puntos porcentuales. Hace unos meses, estuvimos en una conferencia en la que el CEO de una importante multinacional lamentó que «el principio de precaución eclipsara el principio de la innovación». Esta es una preocupación que han expresado los altos directivos y los grupos de aprendizaje automático de todo el mundo, tanto en lo que respecta a la privacidad como a los prejuicios. Pero la imparcialidad desde el diseño no consiste en priorizar la corrección política por encima de la precisión del modelo. Si lo consideramos detenidamente, puede permitirnos desarrollar modelos de alto rendimiento que sean precisos y razonables. Adquirir la idea de imparcialidad mediante el diseño implica examinar diferentes partes del proceso de aprendizaje automático desde puntos de vista alternativos, utilizando lentes teóricos de la competencia. En nuestro proyecto Stroke Belt, pudimos desarrollar modelos con un rendimiento general mayor, una mayor generalización en varios segmentos demográficos y una mayor estabilidad de los modelos, lo que podría facilitar al sistema de salud encontrar a la persona adecuada con la intervención adecuada en el momento oportuno. Al hacer de la equidad un principio rector en los proyectos de aprendizaje automático, no solo creamos modelos más justos, sino que también creamos modelos mejores.