Los riesgos de AutoML y cómo evitarlos

Se anuncia que AutoML, que utiliza el aprendizaje automático para generar un mejor aprendizaje automático, ofrece oportunidades para «democratizar el aprendizaje automático», ya que permite a las empresas con una experiencia limitada en ciencia de datos desarrollar canales analíticos capaces de resolver problemas empresariales sofisticados. En una competición de predicciones de Kaggle celebrada hace unos meses, un motor de AutoML que se enfrentó a algunos de los mejores científicos de datos del mundo terminó segundo después de liderar la mayor parte del camino. Sin embargo, estos avances han suscitado preocupación por Arrogancia de IA. Al comercializar el aprendizaje automático para la mejora de los procesos, AutoML vuelve a plantear dudas sobre cómo debería ser la interacción entre los datos, los modelos y los expertos humanos. ¿Qué significa todo esto para la gestión en un mundo con IA? Estas son tres pautas para utilizar AutoML de forma eficaz.

••• Cuando se lanzó Google Flu Trends en 2009, el economista jefe de Google, Hal Varian, explicó que las tendencias de búsqueda podían utilizarse para[«predice el presente».](https://static.googleusercontent.com/media/www.google.com/en//googleblogs/pdfs/google_predicting_the_present.pdf) En ese momento, la idea de que se podían extraer patrones e información útiles de los datos de las consultas de búsqueda a gran escala tenía mucho sentido. Al fin y al cabo, el viaje digital de muchos usuarios comienza con una consulta de búsqueda:[incluidas 8 de cada 10 personas que buscan información relacionada con la salud](http://www.nbcnews.com/id/3077086/t/more-people-search-health-online/). Entonces, ¿qué podría salir mal? La respuesta es infame en las comunidades empresarial y científica de datos. Google Flu se cerró en 2015 tras las previsiones de la herramienta [sobreestimado](https://www.nature.com/articles/494155a) los niveles de gripe casi un 100% en relación con los datos proporcionados por los Centros para el Control de Enfermedades. Los críticos se apresuraron a señalar el proyecto como el póster de _arrogancia de big data_ — la falacia de que el razonamiento inductivo alimentado por grandes cantidades de datos puede suplantar al análisis deductivo tradicional guiado por hipótesis humanas. Más recientemente, las organizaciones han optado por amplificar el poder predictivo al combinar los macrodatos con un aprendizaje automático complejo y automatizado ([AutoML](https://docs.microsoft.com/en-us/azure/machine-learning/service/concept-automated-ml)). Se anuncia que AutoML, que utiliza el aprendizaje automático para generar un mejor aprendizaje automático, ofrece oportunidades para «democratizar el aprendizaje automático», ya que permite a las empresas con una experiencia limitada en ciencia de datos desarrollar canales analíticos capaces de resolver problemas empresariales sofisticados. En una competición de predicciones de Kaggle celebrada hace unos meses, un motor de AutoML se enfrentó a algunos de los mejores científicos de datos del mundo [terminó segundo](https://www.wired.com/story/googles-ai-experts-try-automate-themselves/) después de liderar la mayor parte del camino. Sin embargo, estos avances han suscitado preocupación por_[Arrogancia de IA](https://scipol.org/content/microsoft%E2%80%99s-nadella-warns-against-%E2%80%98hubris%E2%80%99-amid-ai-growth)_. Al comercializar el aprendizaje automático para la mejora de los procesos, AutoML vuelve a plantear dudas sobre cómo debería ser la interacción entre los datos, los modelos y los expertos humanos. ¿Qué significa todo esto para la gestión en un mundo con IA? En nuestro proyecto financiado con fondos federales (con Rick Netemeyer y Donald Adjeroh), examinamos la eficacia de la detección de los efectos adversos en grandes cantidades de contenido digital generado por los usuarios. Es fundamental que las empresas de muchos entornos supervisen los efectos adversos relacionados con sus productos o servicios, por ejemplo, los efectos secundarios desconocidos de los medicamentos, los peligros de los juguetes para niños o los problemas que provocan la retirada de automóviles. El objetivo del proyecto es en cierto modo análogo al objetivo original de Google Flu: utilizar el aprendizaje automático para generar señales precisas y oportunas a fin de aumentar la conciencia sobre estos posibles efectos adversos. Por ejemplo, si un medicamento determinado tiene efectos secundarios imprevistos graves o un automóvil funciona mal debido a un posible defecto, varios grupos de partes interesadas, incluidos los fabricantes de productos, las agencias reguladoras y los grupos de defensa del consumidor, podrían estar interesados en recibir estas señales lo antes posible. Nuestros modelos de aprendizaje profundo analizan millones de consultas de búsqueda en Internet para ver qué tan desproporcionadamente aparecen determinadas combinaciones de productos y efectos adversos, en relación con el ruido subyacente. Los modelos muestran una lista clasificada de posibles señales de efectos adversos para que se investiguen más a fondo. Por ejemplo, la combinación de «Prius» y «pedal fijo» podría estar marcada como señal. A la luz de los posibles escollos asociados a la aplicación de métodos avanzados de aprendizaje automático a los datos de las consultas de búsqueda a gran escala, utilizamos lo que denominamos _aprendizaje automático aumentado_ enfoque (aGML). Al adaptar la idea del aumento a la de la automatización, AuGML enriquece el concepto de AutoML al subrayar la importancia de los expertos, el contexto y los datos complementarios. Los gerentes y científicos de datos que deseen mejorar sus capacidades de aprendizaje automático de esta manera deberían tener en cuenta lo siguiente: **1. Semiautomatice el proceso de desarrollo de modelos.** Los avances en el aprendizaje automático han aumentado tanto la complejidad de las tareas de modelado predictivo como las oportunidades de automatizarlas. La construcción de funciones, el ajuste de las representaciones en las arquitecturas de modelos y el ajuste de los parámetros son ejemplos de tareas que a menudo se pueden automatizar; cada una de ellas está bien definida y se puede guiar por el modelado de los KPI. A medida que aumenta la complejidad de estas tareas, la automatización puede añadir rigor al examinar las alternativas y combinaciones de una manera más exhaustiva. Pero, al menos en un futuro próximo, la automatización no puede reemplazar al conocimiento de los expertos. Más bien, es mejor utilizar la automatización como una herramienta complementaria a los expertos humanos, ya que les permite dedicarse a más actividades de valor añadido que aprovechen su combinación de conocimientos técnicos y de dominio. En resumen, en lugar de cerrar la brecha de experiencia, creemos que la automatización es la más adecuada para aumentar el número de expertos. La autopsia de Google Flu realizada por la comunidad de investigadores reveló la importancia de tener en cuenta el recorrido más amplio de los usuarios a la hora de analizar los datos de búsqueda. Muchas búsquedas que contienen «gripe»[no son realmente relevantes para predecir los brotes](https://misq.org/crowd-squared-amplifying-the-predictive-power-of-search-trend-data.html). Los usuarios podrían preguntarse qué tan grave podría ser la gripe este año o verse influenciados para que busquen información sobre las vacunas contra la gripe debido a la publicidad de los medios. Basándonos en estos conocimientos, en nuestro proyecto de detección de efectos adversos, diseñamos nuestros modelos de forma consciente para tener en cuenta la intención de la consulta, ya fuera el descubrimiento del producto, la investigación previa a la compra, las consultas posteriores a la compra u otras. Cada tipo de búsqueda proporciona diferentes niveles de señal en relación con los eventos adversos. El proceso para llegar a la mejor estructura para nuestra arquitectura de aprendizaje profundo fue semiautomático, guiado por una consideración experta de los comportamientos subyacentes que se analizaban y aumentado con el aprendizaje automático. **2. Contextualice el aprendizaje automático con la ingeniería de representación.** El aprendizaje automático, a nivel básico, puede describirse como algoritmos que aprenden patrones a partir de los datos, algo que los métodos avanzados, como el aprendizaje profundo, son muy expertos en entornos de datos cada vez más complejos y desestructurados. Sin embargo, la forma en que se representan los datos en el algoritmo es un factor que a menudo se pasa por alto, pero es fundamental para crear modelos de aprendizaje automático de alto rendimiento. Esta riqueza representativa proviene de la incorporación de constructos altamente contextualizados y específicos del problema que se adaptan al problema en cuestión. Esto se logra mediante_[ingeniería de representación](https://www.kdnuggets.com/2016/07/deep-learning-architecture-engineering-feature-engineering.html)_, el mapeo intencional de datos estructurados y no estructurados en una arquitectura de datos personalizada y significativa. Desarrollamos una representación de usuario personalizada para tener en cuenta las características individualizadas de los usuarios en nuestros modelos de detección de efectos adversos. Por ejemplo, al buscar reacciones adversas a un fármaco, si algunos usuarios son hipocondríacos y buscan información sobre determinados fármacos y reacciones con mucha frecuencia, esos usuarios podrían proporcionar señales relativamente menos fiables para la detección de los efectos adversos. Puede que esto no sea evidente para los algoritmos de aprendizaje automático sin representaciones cuidadosamente construidas que añadan contexto a las búsquedas individuales (esta persona busca estas cosas una cantidad inusual). La ingeniería de representación también se utilizó para incorporar el contexto de las intenciones de búsqueda de los usuarios mencionado anteriormente. La incorporación de estas representaciones personalizadas permitió a nuestros modelos calibrarse mejor para el contexto de búsqueda, casi duplicando el número de eventos adversos verdaderos detectados y reduciendo las tasas de falsos positivos en un 30%. En otras palabras, todavía había espacio para que los expertos guiaran el proceso de representación de los datos para que el modelo aprendiera, incluso para los modelos complejos de aprendizaje profundo, como los que utilizábamos. **3. Equilibre la profundidad con la amplitud mediante la triangulación de datos.** Los métodos avanzados de aprendizaje automático son muy expertos en descubrir patrones en todos los rincones de un conjunto de datos en particular. Los métodos AutoML han mejorado aún más esta ventaja mediante el uso del aprendizaje por transferencia, una técnica de aprendizaje automático en la que los patrones de un conjunto de datos objetivo de interés se refinan utilizando información de datos externos similares. Por ejemplo, si una empresa quiere deducir las opiniones de los clientes mediante la PNL aplicada a las transcripciones de sus centros de llamadas, AutoML puede utilizar datos de transcripciones comparables de otras firmas. Sin embargo, confiar en un solo tipo de datos puede provocar un subajuste o un sobreajuste. En uno de nuestros otros proyectos sobre el aprendizaje automático empresarial, mostramos que, en lugar de extraer hasta la última gota de información de sus datos principales, las empresas pueden lograr un poder predictivo significativamente mejor[integrando fuentes complementarias](https://www.jmis-web.org/articles/1387). Para el problema del centro de llamadas, los datos complementarios pueden incluir cosas como grabaciones de audio, reseñas de productos y encuestas de satisfacción. En algunos aspectos, los avances en el aprendizaje automático nos han dado la falsa sensación de que todo lo que se necesita son grandes volúmenes de datos junto con la magia del aprendizaje automático; la variedad y la complementariedad de los datos también son importantes. En nuestro proyecto, nos dimos cuenta de que, más allá de cierto punto, disponer de datos para más consultas durante un período prolongado proporcionaba una rentabilidad cada vez menor. Nuestro mayor avance se produjo cuando nos asociamos con una empresa que mantiene grandes paneles de usuarios en línea con datos anónimos en la intersección de las características de los usuarios, las búsquedas y la actividad de navegación web. Ver qué búsquedas generaban visitas reales a ciertos tipos de sitios web era fundamental para entender la intención de las consultas individuales. Analizar la interacción entre las actividades de búsqueda y navegación de los usuarios a lo largo del tiempo nos permitió tener en cuenta la diversidad de los usuarios. En relación con las capacidades de detección existentes, estos avances derivados de la triangulación de datos dieron como resultado modelos que podían detectar tres veces más eventos adversos verdaderos y con el triple de precisión. Conceptos como la IA explicable, el sesgo algorítmico y la privacidad desde el diseño han impartido lecciones sobre las limitaciones de la inteligencia artificial. En este mismo sentido, es necesario que se hable más sobre cómo maximizar el valor del aprendizaje automático. Es poco probable que la aplicación desordenada del aprendizaje automático sin la experiencia, la contextualización y la complementariedad de los datos adecuados produzca los resultados deseados. En nuestro proyecto, al incorporar estos conceptos, pudimos detectar cientos de efectos adversos de los productos que antes eran difíciles de identificar, de media tres o cuatro años antes y con un número notablemente menor de falsos positivos. Seguir un enfoque de aumento del aprendizaje automático nos permitió desarrollar una sólida capacidad de IA que era menos artificial y más inteligente.