Big Data «¡Eurekas!» No se dé la casualidad

El hilo conductor de muchas de las exploraciones más prometedoras del big data es el descubrimiento. La consulta tradicional en las bases de datos requiere cierto nivel de hipótesis, pero la extracción de macrodatos revela relaciones y patrones que ni siquiera sabíamos buscar. En esta taxonomía de la analítica, que proviene de mi libro Datos electrónicos(Addison Wesley, 2000). La capa inferior representa el tipo más común de consulta de bases de datos, el informe de inteligencia empresarial estándar, que evoluciona hacia tipos de análisis más avanzados que requieren que personas con habilidades más sofisticadas trabajen con niveles de hipótesis cada vez más bajos:

La pirámide está coronada por Knowledge Discovery, la detección de patrones en los datos. Como escribí: «Estos patrones son demasiado específicos y parecen arbitrarios para especificarlos, y el analista estaría jugando a un juego de adivinanzas perpetuo intentando averiguar todos los patrones posibles de la base de datos. En cambio, las herramientas especiales de software de descubrimiento de conocimientos encuentran los patrones y le dicen al analista cuáles son y dónde se encuentran».

Por lo tanto, podría estar extrayendo datos sobre las células del cáncer de mama esperando ver tendencias en las tasas de proliferación celular. Pero, para su sorpresa, también descubre que las células no cancerosas circundantes también contribuyen al crecimiento de las células cancerosas. Los investigadores de la Universidad de Stanford que hicieron este descubrimiento no sabían analizar las células no cancerosas. Pero mediante una exploración de hipótesis bajas, la encontraron.

La mayoría de las empresas han dominado las dos capas inferiores de la pirámide. De hecho, muchos altos directivos citan el tercer nivel, que representa el análisis predictivo, como el siguiente paso lógico en su intento de basarse en los datos. Sin embargo, pocas empresas poseen la combinación adecuada de habilidades, tecnologías y nuevos modelos de entrega para llegar a la cima.

Los ejecutivos asumen con demasiada frecuencia que no hay tiempo (y mucho menos presupuesto) para el descubrimiento de conocimientos. De hecho, el mismo término sugiere un ejercicio académico sin beneficios empresariales tangibles. Sin embargo, los esfuerzos de descubrimiento de macrodatos pueden dar lugar a hallazgos sorprendentes y muy procesables. Un minorista con el que trabajamos cargó 12 años de transacciones de compra en un clúster de Hadoop para descubrir relaciones en los datos que habían pasado desapercibidas. La empresa descubrió nuevas correlaciones entre los productos que acababan juntos en los carritos de la compra. Los hallazgos impulsaron decisiones innovadoras sobre la colocación de los productos y la gestión del espacio en las estanterías. El resultado fue un aumento del 16% en los ingresos por carrito de la compra durante el primer mes de la prueba.

Este tipo de «eureka» no ocurre por casualidad. Los líderes empresariales tienen que fomentar una cultura del descubrimiento, asignar recursos a las pruebas de concepto del big data y renunciar a las expectativas de sus resultados. También significa capacitar al nuevo grupo de científicos de datos para que aprovechen las tecnologías que permiten ese descubrimiento y, luego, traducir los hallazgos en acciones empresariales cuyos resultados se midan. Realizar pruebas de descubrimiento de macrodatos debe ser un proceso continuo, en el que los resultados puedan alimentar la inteligencia empresarial más tradicional o impulsar pruebas de descubrimiento adicionales.

A veces, esto significa aislar las iniciativas de big data de los programas de análisis tradicionales, en los que los procesos de entrega y las funciones organizativas ya están arraigados. Hace poco, una aseguradora de líneas comerciales reasignó personal a analistas de datos sénior de varias unidades de negocio, una iniciativa destinada a explorar las características de los estafadores y extraer cientos de terabytes de interacciones en las redes sociales, perfiles de clientes e historial de reclamaciones. El equipo descubrió que las «afiliaciones flexibles» con amigos de bajos ingresos eran un indicador de una mayor propensión a presentar reclamaciones fraudulentas. El grupo de analistas se convirtió en un equipo SWAT informal de descubrimiento de conocimientos que volvía a reunirse cada vez que nuevos tipos de datos o procesos empresariales invitaban a nuevos esfuerzos de descubrimiento.

Iniciativas como el ejemplo de los seguros, que normalmente requieren los esfuerzos rápidos de expertos altamente cualificados, han sido prohibidas tradicionalmente por los gerentes que los consideraban proyectos «funcionan mal». Sin embargo, estos esfuerzos concentrados e intensivos pueden revelar comportamientos desconocidos de los clientes, afinidades entre los productos, patrones de riesgo financiero y otros hallazgos que acaben pagando el trabajo de descubrimiento inicial muchas veces.