Los ensayos de la vacuna contra la COVID-19 son un estudio de caso sobre los desafíos de la alfabetización de datos

Es peligrosamente fácil malinterpretar los datos, especialmente cuando se presentan en porcentajes y no en números absolutos. El autor muestra una serie de peligros al centrarse en los resultados de eficacia de las vacunas publicados en noviembre de 2020. A continuación, muestra cómo se pueden producir peligros similares en contextos empresariales y ofrece tres lecciones principales para los directivos que desean tomar buenas decisiones con los datos: desconfíe de los macrodatos, desconfíe de la precisión y tenga cuidado con la posdicción.

••• El año 2020 entrará en los libros de historia como el año en que un nuevo y mortal coronavirus paralizó el mundo. Las compañías farmacéuticas acudieron al rescate con importantes inversiones en la investigación y el desarrollo de vacunas. El mes pasado, una empresa farmacéutica tras otra empezaron a publicar información sobre la eficacia de sus vacunas candidatas. Si bien estos anuncios tienen importantes implicaciones para la economía mundial en 2021, también ofrecen valiosas lecciones para los directivos que desean utilizar los datos para tomar mejores decisiones. ## **Lección 1: Los macrodatos suelen ser más pequeños de lo que parece.** Es 9 de noviembre a las 6:45 a.m. EST. Pfizer y BioNTech[anunciar](https://www.pfizer.com/news/press-release/press-release-detail/pfizer-and-biontech-announce-vaccine-candidate-against) que han realizado un análisis provisional de un ensayo controlado aleatorio (ECA) en curso con más de 43 000 voluntarios de diversos orígenes. Según informan, su vacuna tiene una eficacia superior al 90% en la prevención de la COVID-19. Eso es impresionante, mejor que la vacuna media contra la gripe y mejor que el umbral del 50% establecido por la Organización Mundial de la Salud para una vacuna eficaz. ¿Cómo debemos evaluar estos datos? En el estudio participaron más de 43 000 participantes. A primera vista, parece un tamaño de muestra bastante grande; en general, las muestras grandes permiten una mayor confianza. Sin embargo, la eficacia de la vacuna se expresa en porcentaje y esto puede resultar engañoso. Para evaluar adecuadamente estos datos y calibrar su confianza, tiene que entender cómo se obtuvo el porcentaje de eficacia de la vacuna. Los cálculos son muy sencillos. Primero, cuente el número de personas que contrajeron la COVID-19 en el grupo vacunado. En segundo lugar, divídalo entre el número de personas que la desarrollaron en el grupo de placebo. En tercer lugar, reste ese cociente a 1 y obtendrá el índice de eficacia. En este estudio, 8 personas del grupo vacunado contrajeron la COVID-19, en comparación con 86 del grupo de placebo. Eso es 8/86, o 0,093, lo que, restado de 1, le da una tasa de eficacia del 90,7%. De ahí «más del 90%». La idea importante es que es _no_ el número total de participantes en el estudio que es relevante en este caso, pero el número de personas que desarrollaron la COVID-19. No importa mucho si en el estudio participaron 40 000, 4 000 participantes o incluso solo 400 participantes. Lo que importa es que hay 94 casos confirmados. ¿Podría preguntarse si un total de 94 casos confirmados son suficientes para tomar decisiones informadas? Pero lo es. Es muy poco probable que se produzca una proporción de 8/86 en un ensayo aleatorizado por casualidad o por cualquier motivo que no sea la vacuna. Por lo tanto, estos resultados deberían darle la plena confianza de que la tasa de eficacia de la vacuna supera el estándar del 50% de la Organización Mundial de la Salud. La gente suele quedar impresionada con los datos que parecen grandes, pero subestiman el valor de los datos pequeños. También debe tener cuidado con la distinción entre macrodatos y pequeños datos en las empresas. Tomemos este ejemplo de marketing. Quiere entender el impacto de una campaña de publicidad en las ventas. Una consultora propone hacer una prueba A/B. El estudio incluirá a 20 000 consumidores, la mitad de los cuales serán seleccionados al azar para ver sus anuncios. Con la última tecnología, el estudio hará un seguimiento de las decisiones de compra de todos los participantes el mes siguiente. Un mes después, la empresa le informa que los consumidores expuestos a su campaña compraron un 50% más que los consumidores que no estuvieron expuestos. El impacto de su campaña parece ser más positivo de lo esperado. Sin embargo, para evaluar correctamente este resultado, debe tener en cuenta que la conversión es un hecho de baja probabilidad (como contraer la COVID-19). Si su tasa de conversión básica es de 1/1000, un aumento del 50% correspondería a solo 15 compradores del grupo expuesto, en comparación con 10 compradores del grupo no expuesto. Esos datos no son suficientes para concluir que su publicidad tuvo un impacto en las ventas. Al estudiar eventos de baja probabilidad, los datos que parecen grandes suelen ser más pequeños de lo que parecen. Para esta tasa de conversión básica, debería pedir a la consultora que aumente el número de consumidores que participan en el estudio de 20 000 a unos 160 000. Un aumento del 50% correspondería entonces a 120 compras en el grupo expuesto, en comparación con 80 compras en el grupo no expuesto, lo que le daría mucha más confianza de que su campaña es realmente eficaz. No siempre es obvio cómo determinar si el tamaño de sus datos es suficiente. Ahí es donde entran en juego las fórmulas estadísticas de significación y poder. Son demasiado complicadas para entrar aquí, pero, afortunadamente, hay muchas calculadoras estadísticas fáciles de usar disponibles gratuitamente en Internet. El uso de estas calculadoras le ayudará a desarrollar sus intuiciones sobre el tamaño de los datos. Las fórmulas estadísticas son solo una parte de la respuesta, por supuesto. En última instancia, tiene que tomar decisiones. ¿Qué confianza quiere tener antes de lanzar una intervención? Depende de los costes y los riesgos. Un 5% de probabilidades de que su resultado sea un falso positivo puede ser aceptable en algunas situaciones, pero no en otras (como en el contexto de la vacunación). ## **Lección 2: La precisión puede socavar la precisión.** Es 11 de noviembre, dos días después del comunicado de prensa de Pfizer/BioNTech. El Centro Nacional de Investigación de Epidemiología y Microbiología Gamaleya de Moscú[anuncia](https://sputnikvaccine.com/newsroom/pressreleases/the-first-interim-data-analysis-of-the-sputnik-v-vaccine-against-covid-19-phase-iii-clinical-trials-/) que en un ensayo en el que participaron 40 000 voluntarios, su vacuna Sputnik V demostró una eficacia del 92%. Cinco días después, el 16 de noviembre, Moderna[anuncia](https://investors.modernatx.com/news-releases/news-release-details/modernas-covid-19-vaccine-candidate-meets-its-primary-efficacy) que en un ensayo en el que participaron más de 30 000 participantes, su vacuna demostró una eficacia del 94,5%. La eficacia de las vacunas se sigue expresando en porcentaje, pero algo ha cambiado: el lenguaje y los porcentajes son ahora más precisos. El Centro Gamaleya no dice «por encima del 90%» sino «del 92%». Moderna no dice «94%» sino «94,5%». ¿Por qué? No podemos estar seguros, pero ambas empresas probablemente pensaron que una mayor precisión en el porcentaje crearía una mayor sensación de fiabilidad y demostrarían que lo han hecho mejor que Pfizer. Y, de hecho, así es como aparecieron las historias de estos anuncios en la prensa. Por ejemplo, el periódico belga _De Standard_ [escribió](https://www.standaard.be/cnt/dmf20201116_97228989) que «la vacuna candidata de la empresa biotecnológica estadounidense Moderna funciona incluso mejor que la de Pfizer». Tenga cuidado con la precisión en este tipo de situaciones. Es una táctica de persuasión que se utiliza con frecuencia, pero puede poner en peligro su capacidad de interpretar bien los datos y tomar decisiones inteligentes. Las presentaciones de datos suelen sacrificar la precisión por la precisión. La precisión puede resultar cautivadora. De alguna manera me parece útil saber, por ejemplo, que según Interbrand, una consultora de marcas global, McDonald's es actualmente el 8 ^th la marca más valiosa del mundo, con un valor de 42.816 millones de dólares y que este año vale un 6% menos que el año pasado. Pero es simplemente imposible clasificar o estimar el valor de las marcas con este nivel de precisión, y de cualquiera que asuma que _es_ posible acabe tomando malas decisiones. ¿Cómo podemos mejorar? Los negocios, al final, son ciencias sociales y las ciencias sociales son un lío. Póngase cómodo con eso. La próxima vez que se le presenten estimaciones, resista el impulso de equiparar las cifras declaradas con precisión con datos de alta calidad. En su lugar, solicite rangos para medir la confianza en las estimaciones puntuales. Comprenderá mucho mejor a qué se enfrenta si sabe que la tasa de eficacia de una vacuna oscila entre el 70 y el 95%, o que el valor de una marca oscila entre 20 000 y 70 000 millones de dólares. ## **Lección 3: Distinga entre predicción y «posdicción».** Es el 23 de noviembre, una semana después del comunicado de prensa de Moderna. AstraZeneca[presenta](https://www.astrazeneca.com/media-centre/press-releases/2020/azd1222hlr.html) análisis provisionales de un estudio en el que participaron más de 11 000 participantes. Los análisis sugieren una tasa de eficacia de la vacuna del 70%. Eso es más bajo que en las demás vacunas candidatas. Pero AstraZeneca tiene excelentes noticias que ofrecer. Su estudio utilizó dos regímenes de dosificación diferentes y uno de ellos, el régimen de media dosis, realizado en un subgrupo de 2.741 participantes, mostró una eficacia de la vacuna del 90%. Eso sitúa a su vacuna aproximadamente en la misma categoría de eficacia que las demás ya comentadas. ¿Cómo debemos evaluar estos datos? Así es: tenemos que tener en cuenta los números absolutos. AstraZeneca informó de un total de 131 casos. Aunque no proporcionaron un desglose en ese momento, más tarde[revelado](https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)32661-1/fulltext) que la tasa de eficacia del 90% del régimen de media dosis se basa en 33 casos confirmados: tres en el grupo vacunado y 30 en el grupo de placebo. Esas cifras deberían darle la confianza de que la vacuna de AstraZeneca es eficaz, pero concluir que el régimen de media dosis funciona mejor que el régimen de dosis completa sería prematuro. El número de casos confirmados sigue siendo demasiado pequeño para hacer comparaciones detalladas entre los subconjuntos de casos del grupo vacunado. [Además](https://www.nytimes.com/2020/11/25/business/coronavirus-vaccine-astrazeneca-oxford.html), resulta que la variación de las pautas posológicas fue un error de un contratista que participó en el estudio. Además, AstraZeneca admitió más tarde haber agrupado los resultados de dos ensayos clínicos diseñados de forma diferente, uno en Gran Bretaña y otro en Brasil. AstraZeneca está lejos de ser la única en la forma en que gestionó esta situación. Los investigadores académicos y empresariales cometen errores similares todo el tiempo. Para tomar buenas decisiones con los datos, tiene que distinguir entre predicción y «posdicción». La predicción significa que primero se desarrolla una hipótesis y, a continuación, se recopilan y analizan los datos para ponerla a prueba. La posdicción significa que se genera una hipótesis _después_ los datos se recopilaron mientras se analizaban los datos. Aumenta drásticamente la probabilidad de falsos positivos, lo que tiene consecuencias perjudiciales para la toma de decisiones. Considere esta situación. Tras realizar una prueba A/B, un analista de marketing le informa: «En general, los consumidores que vieron su campaña no compraron más que los que no la vieron. Sin embargo, su campaña funcionó muy bien para las mujeres mayores de 50 años. Compraron la enorme cantidad de un 30% más después de estar expuestos a sus anuncios». Parece información útil y puede resultar tentador tomar decisiones de marketing en función de ella. Pero debería ver esto como lo que es: posdicción. Es similar a lo que hizo AstraZeneca. Si divide los datos de un millón de formas, siempre podrá encontrar diferencias importantes, algunas de las cuales, por pura casualidad, serán estadísticamente significativas. ¿Cómo podemos mejorar? Deberíamos pedir a los analistas de datos que registren previamente sus análisis. También deberíamos pedirles que nos informen cuando informen de los resultados de los análisis exploratorios que se concibieron _después_ sus datos han sido recopilados. Cuando se le presenten resultados estadísticamente significativos, trate de hacerse una idea de cuántas otras pruebas se realizaron de las que no estaba informado. ## **Conclusión** Los datos suelen ser aclamados como un antídoto contra los sesgos de la intuición humana. Pero el uso eficaz de los datos para la toma de decisiones en realidad requiere que aprovechemos nuestra intuición de forma inteligente. Los ensayos de la vacuna contra la COVID-19 ofrecen tres valiosas lecciones para los directivos que desean desarrollar su intuición cuantitativa: desconfíe de los macrodatos. Tenga cuidado con la precisión. Y tenga cuidado con la posdicción.