Solo el 3% de los datos de las empresas cumplen con los estándares básicos de calidad

Resumen.

Pocos gerentes entienden el alcance de sus problemas de calidad de datos. Un simple ejercicio puede ser iluminador: ensamblar 100 registros de datos completados por su departamento y trabajar a través de cada registro, marcando errores obvios. Luego cuentan el total de registros libres de errores. Este número representa el porcentaje de datos creados correctamente: una puntuación de calidad de datos (DQ). Cuando 75 ejecutivos completaron este ejercicio, se horrorizaron al darse cuenta de lo malos que eran sus datos. En promedio, el 47% de los registros de datos recién creados tuvieron al menos un error crítico, y solo el 3% de las puntuaciones de DQ en nuestro estudio pueden ser calificadas como «aceptables» utilizando el estándar más flojoso posible. Estos resultados deberían asustar a todos los gerentes en todas partes. A menos que tenga pruebas sólidas de lo contrario, los gerentes deben concluir que los datos incorrectos están afectando negativamente a su trabajo.

La mayoría de los gerentes saben, al menos anecdóticamente, que datos de mala calidad es problemático. Los datos incorrectos pierden tiempo, aumentan los costos, debilitan la toma de decisiones, enfadan a los clientes y dificultan la ejecución de cualquier tipo de estrategia de datos. De hecho, los datos tienen un problema de credibilidad.

Sin embargo, pocos gerentes tienen pruebas sólidas o apreciaciones reales por el impacto de los datos incorrectos en sus equipos y departamentos. Por lo tanto, no pueden dar a la calidad de los datos su debido. Para abordar este problema, en nuestra enseñanza en programas ejecutivos en Irlanda, pedimos a los participantes —ejecutivos que provienen de una amplia gama de empresas y agencias gubernamentales, y departamentos como servicio al cliente, desarrollo de productos y recursos humanos— que desarrollen dicha evidencia utilizando el Método de medición del viernes por la tarde (FAM).

El método es ampliamente aplicable y relativamente simple: instruimos a los gerentes para ensamblar 10-15 atributos de datos críticos para las últimas 100 unidades de trabajo completadas por sus departamentos, esencialmente 100 registros de datos. Los gerentes y sus equipos trabajan a través de cada registro, marcando errores obvios. Luego cuentan el total de registros libres de errores. Este número, que puede variar entre 0 y 100, representa el porcentaje de datos creados correctamente: su puntuación de calidad de datos (DQ). También se puede interpretar como la fracción de tiempo que el trabajo se realiza correctamente, la primera vez.

A continuación, pedimos a los ejecutivos que reflexionen sobre sus resultados, estudien las implicaciones y pongan en marcha proyectos de mejora. Algunos están a la defensiva y tratan de descontar los resultados. Pero la mayoría está conmocionada, incluso horrorizada. «Estoy muy decepcionado. Dada la naturaleza crítica de este trabajo, esperaba obtener una puntuación mucho mejor», es una reacción típica. No es de extrañar que muchos gerentes de nuestras clases tomen medidas inmediatas para identificar y eliminar las causas profundas del error.

En los últimos dos años, hemos llevado a 75 ejecutivos a través de este ejercicio. Al hacerlo, hemos recopilado 75 mediciones de calidad de datos. Proporcionan una oportunidad para determinar qué tan buena o mala es realmente la calidad de los datos. Nuestros hallazgos se ilustran en la figura siguiente.

Nuestros análisis confirman que los datos están en peor estado de lo que la mayoría de los gerentes se dan cuenta —y de lo que temíamos — y tienen enormes implicaciones para los gerentes de todo el mundo:

• En promedio, el 47% de los registros de datos recién creados tienen al menos un error crítico (por ejemplo, que afecta al trabajo). Un trimestre completo de las puntuaciones de nuestra muestra están por debajo del 30% y la mitad están por debajo del 57%. En el mundo empresarial actual, el trabajo y los datos están inextricablemente vinculados entre sí. Ningún gerente puede afirmar que su área está funcionando correctamente frente a problemas de calidad de los datos. Es difícil ver cómo las empresas pueden sobrevivir, no importa prosperar, en tales condiciones.
• Solo el 3% de las puntuaciones de DQ en nuestro estudio pueden ser calificadas como «aceptables» utilizando el estándar más flojero posible. A menudo les preguntamos a los gerentes (tanto en estas clases como en contrataciones de consultoría) qué tan buenos deben ser sus datos. Mientras que una respuesta de grano fino depende de sus usos de los datos, cuánto les cuesta un error y otras consideraciones específicas de la empresa y departamento, nadie ha considerado que una puntuación inferior a la de los «noventa» aceptable. Menos del 3% en nuestra muestra cumplen con este estándar. Para la gran mayoría, el problema es grave.
• La variación en las puntuaciones de DQ es enorme. Los tallies individuales varían de 0% a 99%. Nuestros análisis más profundos (para ver si, por ejemplo, industrias específicas son mejores o peores) no han arrojado conocimientos significativos. Por lo tanto, ningún sector, agencia gubernamental o departamento es inmune a los estragos de la calidad extremadamente pobre de los datos.

El costo de estos hallazgos es difícil de predecir con mucha precisión. Aún así, la mayoría encuentra una buena primera aproximación en el «regla de diez» que establece que «cuesta diez veces más completar una unidad de trabajo cuando los datos son defectuosos de alguna manera que cuando son perfectos». Por ejemplo, supongamos que tiene 100 cosas que hacer y cada una cuesta $1 cuando los datos son perfectos. Si todos los datos son perfectos, el costo total es 100 x $1 = $100. Si 89 son perfectos y 11 están defectuosos, el costo total es 89 x $1 + 11 x $10 = $199. Para la mayoría, por supuesto, los costos operativos son mucho, mucho mayores. Y la regla de los diez no tiene en cuenta los costos no monetarios, como la pérdida de clientes, malas decisiones o daños a la reputación de su empresa.

Estos resultados deberían asustar a todos los gerentes en todas partes. Incluso si no le importan los datos per se, debe hacer su trabajo de manera eficaz y eficiente. Los datos incorrectos son una lente hacia el mal trabajo, y nuestros resultados proporcionan evidencia poderosa de que la mayoría de los datos son malos. A menos que tenga pruebas sólidas de lo contrario, los gerentes deben concluir que los datos incorrectos están afectando negativamente a su trabajo.

Estos resultados también deberían estimular la acción. Como primer paso, realice su propio estudio FAM. Es rápido, simple y potente. Averigua exactamente dónde estás parado. La ignorancia de los problemas de calidad de los datos ya no es una excusa.

Finalmente, estos resultados sugieren oportunidad. Aunque algunos problemas de calidad de datos son insondablemente complejos, muchos renden rápidamente y producen ganancias de gran tamaño. Eliminar una sola causa raíz puede evitar miles de errores futuros, ahorrar millones y mejorar las cosas para todos los involucrados. Usted debe utilizar su FAM para aprovechar al menos una de esas oportunidades.

— Escrito por Tadhg Nagle, David Sammon Tadhg Nagle,