Cuando el juicio humano funciona bien y cuándo no

Mi último post aquí, el titulado descriptivamente «¿El mayor desafío de los macrodatos? Convencer a la gente de que NO confíe en su juicio», generó una buena cantidad de comentarios. Así que creo que vale la pena dedicar un par de publicaciones de seguimiento a las reacciones, preguntas y objeciones planteadas en respuesta a mi afirmación, que era (y es) que, en general, deberíamos confiar mucho menos en los juicios, los diagnósticos y las previsiones de los «expertos» humanos y mucho más en los resultados de algoritmos fríos, duros y basados en datos.

Un buen punto de partida es con la sencilla pregunta de dónde viene esta afirmación. ¿Por qué estoy tan convencido de que debemos confiar menos en los expertos y más en los algoritmos? La respuesta simple es que tanto la teoría como los datos respaldan esta convicción.

Empecemos por los datos: en mi publicación anterior destaqué que se han realizado un montón de estudios en los que se comparan las predicciones de los expertos humanos con las de los algoritmos, y que en la gran mayoría de ellos los algoritmos han sido al menos tan buenos o significativamente mejores que los humanos. En un metanálisis dirigida por William Grove y sus colegas de 136 estudios de investigación, por ejemplo, los juicios de los expertos fueron claramente mejores que sus equivalentes basados únicamente en datos en solo ocho casos.

La mayoría de estos estudios se realizaron en entornos desordenados y complejos del mundo real, no en entornos de laboratorio simplificados. Comentarista Sean Kennedy señaló que «… muchas de nuestras decisiones tienen que tomarse en condiciones mucho menos que ideales de «macrodatos». Los datos suelen carecer, son de baja calidad o son contradictorios». Esto es cierto, y lo sorprendente es que estas son exactamente las condiciones en las que los algoritmos funcionan mejor que las personas.

¿Por qué es esto? Pasemos a la teoría.

Varias personas mencionaron que el ganador del Premio Nobel De Daniel Kahneman obra, muy bien resumida en su libro de 2011 Pensar rápido y despacio, influyó mucho en su forma de pensar. Yo también: Kahneman hizo enormes contribuciones y su libro debería ser de lectura obligatoria para cualquiera que quiera entender cómo hacer que ellos y sus organizaciones trabajen mejor.

Para nuestros propósitos, el capítulo 22 es una paga sucia. Se titula «Intuición experta: ¿cuándo podemos confiar en ella?» Kahneman dirigió gran parte del trabajo subyacente con Gary Klein, a quien le gustaban y le gustan mucho los expertos y sus habilidades intuitivas, mucho más que a Kahneman. Sin embargo, lo realmente interesante es que los dos acabaron estando totalmente de acuerdo en cuanto a las condiciones necesarias para que se desarrollara una buena intuición. Hay dos de ellos:

• un entorno lo suficientemente regular como para ser predecible
• una oportunidad de aprender estas regularidades a través de una práctica prolongada

La medicina cumple con el primero de estos criterios, ya que la biología humana cambia muy despacio, pero (sostiene Kahneman) el mercado de valores no, simplemente es demasiado caótico e impredecible. Y dentro de la medicina, algunas especialidades ofrecen mejores y más rápidas oportunidades de aprendizaje (el segundo criterio) que otras. Como dice el capítulo: «Entre las especialidades médicas, los anestesiólogos se benefician de los buenos comentarios, ya que es probable que los efectos de sus acciones se hagan evidentes rápidamente. Por el contrario, los radiólogos obtienen poca información sobre la precisión de los diagnósticos que hacen y sobre las patologías que no detectan. Por lo tanto, los anestesiólogos están en mejores condiciones para desarrollar habilidades intuitivas útiles».

Kahneman explica este punto sobre aprender a casa con su conclusión de que «que los profesionales tengan la oportunidad de desarrollar una experiencia intuitiva depende esencialmente de la calidad y la rapidez de los comentarios, así como de las oportunidades suficientes para practicar».

Con estos antecedentes, ahora podemos ver dos razones principales por las que los algoritmos golpean a las personas. La primera es que, como escribe Kahneman, «los algoritmos estadísticos superan con creces a los humanos en entornos ruidosos por dos razones: tienen más probabilidades que los jueces humanos de detectar señales poco válidas y es mucho más probable que mantengan un nivel modesto de precisión mediante el uso de esas señales de forma coherente». En otras palabras, las personas suelen perder las señales (es decir, los datos) del entorno que les serían útiles e, incluso cuando son conscientes de esas señales, no las utilizan de la misma manera cada vez. En otras palabras, el hecho de que la mayoría de los entornos del mundo real sean desordenados y ruidosos no prefieren a los expertos humanos antes que a los algoritmos; de hecho, justo lo contrario.

La segunda razón es que un experto humano no siempre dispone de comentarios rápidos y precisos. Siguiendo con el ejemplo de Kahneman, un radiólogo no siempre sabrá si el bulto que estaba analizando finalmente se convirtió en cáncer (es posible que la paciente haya pasado a otro proveedor de cuidados, por ejemplo) y, desde luego, no lo sabrá rápidamente. Del mismo modo, un entrevistador no siempre recibe los comentarios de que la persona que contrató se enfureció en el trabajo dos años después.

Pero los algoritmos bien diseñados pueden incorporar comentarios y resultados, y lo hacen durante un período prolongado, lo que ayuda a explicar por qué los enfoques algorítmicos de patología y gestión del talento funciona mucho mejor.

Entonces, ¿dónde nos lleva esto? Bueno, si la teoría de Kahneman es correcta y si las personas no tienen ninguna superioridad inherente en la recopilación o el procesamiento de datos sobre los medios automáticos, entonces nos encontramos en esta situación:

Pero si todavía hay algo especial en nuestras capacidades innatas de recopilación o procesamiento de datos (y creo que lo hay, al menos por ahora), estamos aquí:

¿Cuál cree que es?