Cómo escalar la IA en su organización
La IA se integra en los productos y procesos de prácticamente todos los sectores. Sin embargo, implementar la IA a escala sigue siendo un problema frustrante y sin resolver para la mayoría de las organizaciones. Las empresas pueden ayudar a garantizar el éxito de sus esfuerzos de IA mediante la ampliación de los equipos, los procesos y las herramientas de una manera integrada y cohesiva. Todo esto forma parte de una disciplina emergente llamada MLOP.
La IA ya no es exclusiva para empresas nativas digitales como Amazon, Netflix o Uber. Dow Chemical Company utilizó recientemente el aprendizaje automático para acelerar su proceso de I+D para formulaciones de poliuretano en 200,000 veces, de 2 a 3 meses a solo 30 segundos. Y Dow no está solo. Un recienteíndice de Deloitte muestra cómo las empresas de todos los sectores están operacionalizando la IA para impulsar el valor empresarial. Como era de esperar, Gartner predice que más del 75% de las organizaciones pasarán de probar tecnologías de IA a ponerlas en funcionamiento para finales de 2024, que es donde comienzan los desafíos reales.
La IA es más valiosa cuando se pone en funcionamiento a escala. Para los líderes empresariales que desean maximizar el valor empresarial mediante la IA, la escala se refiere a la profundidad y amplitud de la integración de la IA en los procesos empresariales y de productos principales de una organización.
Desafortunadamente, escalar la IA en este sentido no es fácil. Poner uno o dos modelos de IA en producción es muy diferente a ejecutar toda una empresa o producto en IA. Y a medida que se amplía la IA, los problemas también pueden (y a menudo lo hacen). Por ejemplo, una compañía financiera perdió $20,000 en 10 minutos porque uno de sus modelos de aprendizaje automático comenzó a comportarse mal. Sin visibilidad de la raíz del problema, y sin forma de identificar siquiera cuál de sus modelos funcionaba mal, la empresa no tuvo más remedio que desconectar. Todos los modelos se revirtieron a iteraciones mucho anteriores, lo que degradó gravemente el rendimiento y borró semanas de esfuerzo.
Las organizaciones que se toman en serio la IA han comenzado a adoptar una nueva disciplina, definida vagamente como «MLOP» u operaciones de aprendizaje automático. MLOPS busca establecer las mejores prácticas y herramientas para facilitar el desarrollo y la puesta en funcionamiento rápidos, seguros y eficientes de la IA. Cuando se implementan correctamente, los MLOP pueden acelerar significativamente la velocidad de comercialización. La implementación de los MLOP requiere invertir tiempo y recursos en tres áreas clave: procesos, personas y herramientas.
Procesos: Estandarice la forma de crear y poner en funcionamiento los modelos.
La creación de los modelos y algoritmos que impulsan la IA es un proceso creativo que requiere una iteración y un refinamiento constantes. Los científicos de datos preparan los datos, crean entidades, entrenan el modelo, ajustan sus parámetros y validan que funciona. Cuando el modelo está listo para implementarse, los ingenieros de software y IT lo ponen en funcionamiento, monitoreando la salida y el rendimiento continuamente para garantizar que el modelo funcione de manera sólida en producción. Por último, un equipo de gobierno debe supervisar todo el proceso para garantizar que el modelo de IA que se está creando sea sólido desde el punto de vista de la ética y el cumplimiento.
Dada la complejidad que implica, el primer paso para hacer que la IA escale es la estandarización: una forma de crear modelos de manera repetible y un proceso bien definido para ponerlos en práctica. De esta manera, la creación de IA es muy similar a la fabricación: el primer widget que fabrica una empresa siempre es a medida; escalar la fabricación para producir muchos widgets y luego optimizar su diseño de forma continua es donde un proceso de desarrollo y fabricación repetible se vuelve esencial. Pero con la IA, muchas empresas luchan con este proceso.
Es fácil ver por qué. Los procesos a medida están cargados (por naturaleza) de ineficacia. Sin embargo, muchas organizaciones caen en la trampa de reinventar la rueda cada vez que ponen en funcionamiento un modelo. En el caso de la compañía financiera discutida anteriormente, la falta de una forma repetible de monitorear el rendimiento del modelo causó fallas costosas y lentas para remediar. Los procesos puntuales como estos pueden generar grandes problemas una vez que los modelos de investigación se lanzan a producción.
La pieza de estandarización de procesos de los MLOP ayuda a agilizar el desarrollo, la implementación y el refinamiento de los modelos, lo que permite a los equipos desarrollar capacidades de IA de manera rápida pero responsable.
Para estandarizar, las organizaciones deben definir en colaboración un proceso «recomendado» para el desarrollo y la puesta en funcionamiento de la IA, y proporcionar herramientas para apoyar la adopción de ese proceso. Por ejemplo, la organización puede desarrollar un conjunto estándar de bibliotecas para validar los modelos de IA, lo que fomenta la realización de pruebas y la validación coherentes. La estandarización en los puntos de entrega del ciclo de vida de la IA (por ejemplo, desde la ciencia de datos hasta la IT) es particularmente importante, ya que permite que los diferentes equipos trabajen de forma independiente y se centren en sus competencias principales sin preocuparse por cambios inesperados y disruptivo.
Las herramientas MLOP, como los catálogos de modelos y las tiendas de características, pueden admitir esta estandarización.
Personas: Permite que los equipos se centren en lo que hacen mejor.
El desarrollo de IA solía ser responsabilidad de un equipo de «ciencia de datos» de IA, pero la creación de IA a escala no puede ser producida por un solo equipo; requiere una variedad de conjuntos de habilidades únicas y muy pocas personas las poseen todas. Por ejemplo, un científico de datos crea modelos algorítmicos que pueden predecir el comportamiento de manera precisa y consistente, mientras que un ingeniero de aprendizaje automático optimiza, empaqueta e integra modelos de investigación en productos y monitorea su calidad de manera continua. Una persona rara vez cumplirá bien ambas funciones. El cumplimiento, la gobernanza y el riesgo requieren un conjunto de habilidades aún más diferenciado. A medida que la IA se amplía, se requiere cada vez más experiencia.
Para escalar con éxito la IA, los líderes empresariales deben crear y capacitar equipos especializados y dedicados que puedan centrarse en prioridades estratégicas de alto valor que solo su equipo puede cumplir. Deje que los científicos de datos hagan ciencia de datos; deje que los ingenieros hagan la ingeniería; deje que la IT se centre en la infraestructura
Han surgido dos estructuras de equipo a medida que las organizaciones amplían su presencia de IA. En primer lugar, está el «modelo pod», en el que el desarrollo de productos de IA lo lleva a cabo un pequeño equipo compuesto por un científico de datos, un ingeniero de datos y un ingeniero de aprendizaje automático o de software. El segundo, el «Centro de Excelencia» o modelo COE, es cuando la organización «agrupa» a todos los expertos en ciencia de datos que luego se asignan a diferentes equipos de productos en función de los requisitos y la disponibilidad de recursos. Ambos enfoques se han implementado con éxito y tienen diferentes ventajas y desventajas. El modelo pod es el más adecuado para una ejecución rápida, pero puede conducir a silos de conocimiento, mientras que el modelo COE tiene la compensación opuesta. A diferencia de la ciencia de datos y la IT, los equipos de gobierno son más eficaces cuando se sientan fuera de los pods y los COE.
Herramientas: elija herramientas que respalden la creatividad, la velocidad y la seguridad.
Finalmente, llegamos a las herramientas. Dado que tratar de estandarizar la producción de IA y ML es un proyecto relativamente nuevo, el ecosistema de herramientas de ciencia de datos y aprendizaje automático está muy fragmentado: para crear un modelo único, un científico de datos trabaja con aproximadamente una docena de herramientas diferentes y altamente especializadas y las une. Por otro lado, la IT o la gobernanza utilizan un conjunto de herramientas completamente diferente, y estas cadenas de herramientas distintas no se comunican fácilmente entre sí. Como resultado, es fácil realizar un trabajo puntual, pero crear un flujo de trabajo sólido y repetible es difícil.
En última instancia, esto limita la velocidad a la que la IA se puede escalar en una organización. Una colección dispersa de herramientas puede llevar a que se creen productos de IA y comercialización prolongados sin una supervisión adecuada.
Pero a medida que la IA se amplía en una organización, la colaboración se vuelve más fundamental para el éxito. La iteración más rápida exige contribuciones continuas de las partes interesadas a lo largo del ciclo de vida del modelo, y encontrar la herramienta o plataforma correcta es un paso esencial. Las herramientas y plataformas que respaldan la IA a escala deben respaldar la creatividad, la velocidad y la seguridad. Sin las herramientas adecuadas, una empresa tendrá dificultades para mantenerlas todas al mismo tiempo.
Al elegir herramientas de MLOP para su organización, un líder debe tener en cuenta lo siguiente:
Interoperabilidad.
La mayoría de las veces, ya habrá alguna infraestructura de IA existente en funcionamiento. Para reducir la fricción en la adopción de una nueva herramienta, elija una que interactúe con el ecosistema existente. En el lado de la producción, los servicios modelo deben funcionar con herramientas de DevOps ya aprobadas por IT (por ejemplo, herramientas para registro, monitoreo, gobierno). Asegúrese de que las nuevas herramientas funcionen con el ecosistema de IT existente o que se puedan ampliar fácilmente para brindar este soporte. Para las organizaciones que pasan de la infraestructura local a la nube, busque herramientas que funcionen en un entorno híbrido, ya que la migración a la nube suele tardar varios años.
Tanto si es amigable para la ciencia de datos como para la IT.
Las herramientas para escalar la IA tienen tres grupos de usuarios principales: los científicos de datos que crean modelos, los equipos de IT que mantienen la infraestructura de IA y ejecutan modelos de IA en producción, y los equipos de gobierno que supervisan el uso de modelos en escenarios regulados.
De estos, la ciencia de datos y la IT tienden a tener necesidades opuestas. Para permitir que los científicos de datos hagan su mejor trabajo, una plataforma debe salir del camino, ofreciéndoles flexibilidad para usar las bibliotecas de su elección y trabajar de forma independiente sin requerir soporte constante de IT o ingeniería. Por otro lado, IT necesita una plataforma que imponga restricciones y garantice que las implementaciones de producción sigan rutas predefinidas y aprobadas por IT. Una plataforma MLOPS ideal puede hacer ambas cosas. Con frecuencia, este desafío se resuelve eligiendo una plataforma para la construcción de modelos y otra plataforma para operacionalizarlos.
Colaboración.
Como se describió anteriormente, la IA es una iniciativa de múltiples partes interesadas. Como resultado, una herramienta MLOPS debe facilitar que los científicos de datos trabajen con ingenieros y viceversa, y que ambas personas trabajen con la gobernanza y el cumplimiento. En el año de la Gran Renuncia, el intercambio de conocimientos y la garantía de la continuidad del negocio frente a la rotación de empleados son cruciales. En el desarrollo de productos de IA, si bien la velocidad de colaboración entre la ciencia de datos y la IT determina la velocidad de comercialización, la colaboración de gobernanza garantiza que el producto que se está creando sea uno que debe construirse en absoluto.
Gobernanza.
Con la IA y el ML, la gobernanza se vuelve mucho más crítica que en otras aplicaciones. La gobernanza de la IA no se limita solo a la seguridad o al control de acceso en una aplicación. Es responsable de garantizar que una aplicación esté alineada con el código ético de una organización, que la aplicación no esté sesgada hacia un grupo protegido y que se pueda confiar en las decisiones tomadas por la aplicación de IA. Como resultado, es esencial que cualquier herramienta MLOP incorpore prácticas para una IA responsable y ética, incluidas capacidades como listas de verificación «previas al lanzamiento» para el uso responsable de la IA, la documentación del modelo y los flujos de trabajo de gobernanza.
. . .
En la carrera por escalar la IA y obtener más valor empresarial a través de la tecnología predictiva, los líderes siempre buscan formas de adelantarse al resto. Los accesos directos de IA, como los modelos preentrenados y las API con licencia, pueden ser valiosos por derecho propio, pero escalar la IA para obtener el máximo ROI exige que las organizaciones se centren en cómo operan la IA. Las empresas con los mejores modelos o los científicos de datos más inteligentes no son necesariamente las que van a triunfar; el éxito recaerá en las empresas que pueden implementar y escalar de manera inteligente para liberar todo el potencial de la IA.
Manasi Vartak