Lo que nos dice la investigación sobre hacer predicciones precisas

«La predicción es muy difícil», dice el castaño viejo, «especialmente sobre el futuro». Y durante años, las ciencias sociales estuvieron de acuerdo. Numerosos estudios detallaron los fallos pronósticos incluso de los llamados expertos. Predecir el futuro es demasiado difícil, el pensamiento se fue; HBR incluso publicó un artículo sobre cómo el arte de pronosticar no se trataba realmente de predicción en absoluto.

Eso está cambiando gracias a una nueva investigación.

Sabemos mucho más acerca de la predicción de lo que solíamos, incluido el hecho de que algunos de nosotros somos mejores que otros. Pero la predicción también es una habilidad aprendida, al menos en parte; es algo en lo que todos podemos mejorar con la práctica. Y eso es una buena noticia para las empresas, que tienen enormes incentivos para predecir un sinfín de cosas.

La investigación más famosa sobre predicción la realizó Philip Tetlock, de la Universidad de Pensilvania, y su libro fundamental de 2006 Juicio político experto proporciona antecedentes cruciales. Tetlock pidió a un grupo de expertos y expertos en asuntos exteriores que predijeran los acontecimientos geopolíticos, como si la Unión Soviética se desintegraría para 1993. En general, los «expertos» lucharon por rendir mejor que los «chimpancés lanzadores de dardos», y siempre fueron menos precisos que incluso los algoritmos estadísticos relativamente simples. Esto se aplica a los liberales y conservadores, e independientemente de las credenciales profesionales.

Pero Tetlock descubrió un estilo de pensamiento que parecía ayudar a la predicción. Aquellos que prefirieron considerar múltiples explicaciones y equilibrarlas juntas antes de hacer una predicción tuvieron un mejor rendimiento que aquellos que se basaban en una sola gran idea. Tetlock llamó a los primeros zorros del grupo y los erizos del segundo grupo, tras un ensayo de Isaiah Berlin. Como escribe Tetlock:

Los erizos intelectualmente agresivos sabían una gran cosa y buscaban, bajo el estandarte de la parsimonia, ampliar el poder explicativo de esa gran cosa para «cubrir» nuevos casos; los zorros más eclécticos sabían muchas pequeñas cosas y estaban contentos con improvisar soluciones ad hoc para seguir el ritmo de un mundo que cambia rápidamente.

Desde el libro, Tetlock y varios colegas han estado organizando una serie de torneos de pronósticos geopolíticos (en los que he analizado) para descubrir qué ayuda a las personas a hacer mejores predicciones. En los últimos seis meses, Tetlock, Barbara Mellers y varios de sus colegas Penn han publicado tres nuevos artículos que analizan 150.000 pronósticos de 743 participantes (todos con al menos una licenciatura) que compiten para predecir 199 eventos mundiales. Un papel se centra únicamente en «súper pronosticadores» de alto rendimiento; otro analiza a todo el grupo; y un tercero hace caso a la previsión de los torneos como herramienta de investigación.

¿El principal hallazgo? La predicción no es una empresa desesperada: los participantes del torneo lo hicieron mucho mejor que la posibilidad a ciegas. Piensa en una predicción con dos resultados posibles, como quién ganará el Super Bowl. Si eliges al azar, te equivocarás la mitad del tiempo. Pero los mejores pronosticadores pudieron reducir constantemente esa tasa de error en más de la mitad. Como me dijo Tetlock: «Los mejores pronosticadores están flotando entre el chimpancé y Dios».

Tal vez más notablemente, los principales predictores lograron mejorar con el tiempo y varias intervenciones de los investigadores mejoraron la precisión. Por lo tanto, el segundo hallazgo es que es posible mejorar la predicción, y la investigación ofrece algunas ideas sobre los factores que marcan la diferencia.

La inteligencia ayuda. Los pronosticadores de la muestra de Tetlock eran un grupo inteligente, e incluso dentro de esa muestra aquellos que obtuvieron una puntuación más alta en varias pruebas de inteligencia tendían a hacer predicciones más precisas. Pero la inteligencia importaba más temprano que al final del torneo. Parece que cuando ingresas a un nuevo dominio e intentas hacer predicciones, la inteligencia es una gran ventaja. Más tarde, una vez que todos se han acomodado, ser inteligente todavía ayuda pero no tanto.

La experiencia de dominio también ayuda. Los pronosticadores que obtuvieron mejores resultados en una prueba de conocimiento político tendían a hacer mejores predicciones. Si eso suena obvio, recuerde que la investigación anterior de Tetlock encontró poca evidencia de que la experiencia sea importante. Pero si bien es posible que las citas y credenciales elegantes no se hayan correlacionado con una buena predicción en investigaciones anteriores, parece que la experiencia genuina de dominio sí lo hace.

La práctica mejora la precisión. Los «súper pronosticadores» de alto rendimiento fueron siempre más precisos, y solo lo hicieron más con el tiempo. Gran parte de eso parece ser que practicaron más, haciendo más predicciones y participando más en los foros del torneo.

Los equipos superan constantemente a las personas. Los investigadores dividieron los pronosticadores aleatoriamente, de modo que algunos hicieron sus predicciones por sí solos, mientras que otros lo hicieron como parte de un grupo. Los grupos tienen sus propios problemas y sesgos, como artículo reciente de HBR explica, por lo que los investigadores impartieron capacitación a los grupos sobre cómo colaborar eficazmente. En última instancia, quienes formaban parte de un grupo hicieron predicciones más precisas.

El trabajo en equipo también ayudó a los súper pronosticadores, que después del año 1 se pusieron en equipos entre sí. Esto solo mejoró su precisión. Estos superequipos fueron únicos de otra manera: con el paso del tiempo, la mayoría de los equipos se dividieron más en sus opiniones, a medida que los participantes se afianzaron en sus creencias. Por el contrario, los equipos de superpronosticadores estuvieron de acuerdo cada vez más a lo largo del tiempo.

Más personas con mentalidad abierta hacen mejores predicciones. Esto se remonta a la distinción anterior de Tetlock entre zorros y erizos. Aunque el estatus autorreportado de los participantes como «zorro» o «erizo» no predijo la exactitud, lo hizo una prueba de apertura de mentalidad común. Si bien algunos psicólogos ven la apertura de la mente como un rasgo de personalidad estático dentro de los individuos a lo largo del tiempo, también hay algunas pruebas que cada uno de nosotros puede tener una mentalidad más o menos abierta según las circunstancias.

El entrenamiento en probabilidad puede protegerse contra el sesgo. Algunos de los pronosticadores recibieron formación en «razonamiento probabilístico», que básicamente significa se les dijo que buscaran datos sobre cómo habían ocurrido casos similares en el pasado antes de intentar predecir el futuro. Los humanos son sorprendentemente malos en esto y tienden a sobreestimar las posibilidades de que el futuro sea diferente al pasado. Los pronosticadores que recibieron esta formación tuvieron mejores resultados que los que no lo hicieron. (Curiosamente, se capacitó a un grupo más pequeño en planificación de escenarios, pero no resultó ser tan útil como la formación en razonamiento probabilístico.)

El apresuramiento produce malas predicciones. Cuanto más tiempo deliberaban los participantes antes de hacer un pronóstico, mejor lo hicieron. Esto es especialmente cierto para aquellos que trabajaban en grupos.

La revisión da lugar a mejores resultados. Esto no es lo mismo que la apertura de mentalidad, aunque probablemente esté relacionado. Los pronosticadores tuvieron la opción de volver más adelante y revisar sus predicciones, en respuesta a la nueva información. Los participantes que revisaron sus predicciones con frecuencia superaron a los que lo hicieron con menos frecuencia.

En conjunto, estos hallazgos representan un importante paso adelante en la comprensión de las previsiones. La certeza es el enemigo de una predicción precisa, por lo que el requisito previo no establecido para la previsión puede ser admitir que generalmente somos malos en ello. A partir de ahí, es posible utilizar una combinación de prácticas y procesos para mejorar.

Sin embargo, estos hallazgos no hablan de uno de los hallazgos centrales del trabajo anterior de Tetlock: que los humanos típicamente hicieron predicciones peores que los algoritmos. Otras investigaciones han descubierto que una forma fiable de aumentar la capacidad de previsión de los humanos es enseñarles a aplazar los modelos estadísticos siempre que sea posible. Y el «entrenamiento probabilístico» descrito anteriormente solo implica enseñar a los humanos a pensar como algoritmos simples.

Se podría argumentar que estamos aprendiendo a hacer mejores predicciones justo a tiempo para ser eclipsados en muchos dominios por las máquinas, pero el verdadero desafío será mezclar los dos. El artículo de Tetlock sobre los méritos de pronosticar torneos también trata sobre el valor de agregar la sabiduría de la multitud utilizando algoritmos. En última instancia, es probable que una combinación de datos e inteligencia humana supere a cualquiera de las dos por sí sola. El siguiente desafío es encontrar el algoritmo adecuado para unirlos.

— Escrito por Walter Frick