Cuando la investigación debería venir con una etiqueta de advertencia

En su nuevo y atractivo libro, Las noticias: un manual de usuario, el filósofo Alain de Botton describe la experiencia de consumir noticias como si nos despertara cada mañana un funcionario frenético armado con «un maletín lleno de una serie de temas desconcertantes y, al final, agotadores: «Se prevé que cinco hospitales superen sus límites de crédito antes de fin de mes», «El banco central está preocupado por su capacidad de recaudar dinero en los mercados de bonos», «Un buque de guerra chino acaba de abandonar el continente de camino a Vietnam»… ¿Qué queremos pensar? ¿Qué lugar debería ocupar todo esto en nuestras mentes?»

Su respuesta es que en un mercado de noticias repleto de hechos, los hechos por sí solos no se venden; requieren una historia, y esa historia, dice con picardía, necesita algún tipo de sesgo por parte del autor, «un par de lentes que pasen por encima de la realidad y tengan como objetivo enfocarla con mayor claridad». Puede ver lo que quiere decir: nuestra capacidad de producir datos sobre todo requiere empaquetarlos; de lo contrario, es como encontrarse en una biblioteca donde todos los libros están desensamblados en montones de párrafos, frases y palabras. Nuestro consumo de información requiere un algoritmo narrativo y una perspectiva de sesgo para centrarse. El problema —el principal problema de nuestra economía del conocimiento— es si acabamos centrándonos en algo que es realmente cierto.

Un estudio reciente ilustra la magnitud del problema para la industria —y para un sector en particular— en el que, irónicamente, se afirma que descubre el tipo de sesgo que no queremos ver en lo que respecta a la evaluación de la validez de los datos.

El estudio, que apareció en PLoS Medicine, sostiene que la financiación de la industria ha comprometido las pruebas sobre el azúcar. Las revisiones sistemáticas de los estudios sobre el consumo de bebidas azucaradas y el aumento de peso —es decir, las reseñas que tratan de resumir el estado de las pruebas— tenían cinco veces más probabilidades de concluir que no había relación alguna que las revisiones sistemáticas que no contaban con financiación de la industria. Como titular de Forbes.com dicho de manera sucinta», Big Sugar inclina la balanza de la escala de investigación.”

Esta es una acusación poderosa precisamente porque ya hemos escuchado el mismo tipo de historia antes: cuando una industria tiene problemas, su primer recurso será fabricar dudas científicas o hacer referencia a dudas científicas prefabricadas. De hecho, si no se le hubiera pasado por la cabeza, los autores de PLoS relacionan sus hallazgos con el comportamiento pasado de las industrias tabacalera y farmacéutica. La narrativa, el sesgo y el enfoque proporcionan una razón abrumadora para archivar la historia como «malversación» con una nota en la que se hace caso omiso de la legitimidad de cualquier dato producido por la financiación de esa industria.

Pero solo si el estudio de PLoS es cierto en sí mismo.

Lo fascinante de la forma en que esta información entró en el ámbito del debate público no es solo que nadie haya hecho esta pregunta, sino que nuestro sistema de producción y intercambio de ese conocimiento está mal diseñado para hacer esas preguntas.

Este es el problema del estudio PLoS: no puede responder a la pregunta que dice responder por la forma en que se diseñó. Los investigadores analizaron las revisiones sistemáticas realizadas entre 2006 y 2013. Pero este período supuso un cambio significativo en el tipo de investigación que se hacía sobre el azúcar y el aumento de peso. Al principio del período, había pocos ensayos controlados aleatorios y muchos estudios observacionales; al final, más ensayos controlados aleatorios, que proporcionan pruebas mucho mejores de la causa y el efecto. Los tamaños del efecto de estos ensayos son aún bastante pequeños, pero si se suman, había más pruebas, y cualitativamente mejores, que asociaban el consumo de azúcar y el aumento de peso a medida que se acercaba el 2013. De hecho, las cuatro revisiones sistemáticas realizadas a partir de 2012 encontraron asociaciones en su mayoría positivas; ninguna fue financiada por la industria.

Pero, ¿se puede calificar de «sesgada» a una revisión sistemática «financiada por la industria» basándose en estudios que no existían cuando se llevó a cabo originalmente la revisión? ¿Se puede criticar una reseña de 2007 por sesgada por no incluir un estudio publicado en 2012?

Bien, puede que le parezca extraño que alguna vez se trate de un debate abierto. Seguro que todos sabemos como hecho básico que el azúcar provoca aumento de peso. Por eso es importante recordar que la cuestión científica no es simplemente el aumento de peso, sino si el azúcar caloría por caloría provoca un aumento de peso adicional o si la reducción o eliminación específica de, por ejemplo, los refrescos en una dieta llevaría a la pérdida de peso. Como señaló el panel de expertos encargado de elaborar las directrices dietéticas de 2010 para el Departamento de Agricultura de los Estados Unidos, la evidencia científica de algo que usted pensaría que sería fundamental para nuestra comprensión de la obesidad fue» decepcionante.”

Los investigadores de PLoS tampoco incluyeron tres reseñas, dos de 2006 y una de 2007, que no encontraran una asociación entre el consumo de bebidas azucaradas y el peso y que no estuvieran financiadas por la industria. Se habían incluido en al menos otro análisis sistemático de la literatura sobre revisiones sistemáticas. Si bien incluirlos no evita el defecto temporal en el diseño del estudio, sí muestran que más académicos sin financiación de la industria no encontraron ningún efecto al hacer la misma pregunta sobre las pruebas.

Además, el diseño del estudio PLoS (¿conflicto con la industria? Sí/no; ¿asociación positiva? Sí/no) también suprime el hecho de que las conclusiones de la revisión sistemática pueden ser contradictorias, ya que los autores de una reseña señalan que hay pruebas que sugieren una relación entre el consumo de bebidas azucaradas y las personas con sobrepeso, y que esas conclusiones deberían examinarse con más ensayos de control aleatorios. Esta reseña en particular dice que tiene un conflicto con la industria, no porque haya sido financiada por la industria (la financiaron los Institutos Nacionales de Salud) sino porque los autores recibieron financiación anterior de la industria alimentaria.

Puede parecer que es recoger liendres. No lo es. Pero, ¿cuántas personas verían algo de esto? Desde luego, no llamó la atención de Forbes colaborador Larry Huston, que es un escritor científico extraordinariamente bueno, pero entonces, ¿por qué lo haría? ¿Por qué estaría familiarizado con la literatura de revisión sistemática sobre este tema y la evolución de la investigación sobre el azúcar y el aumento de peso? (Solo lo sé porque pasé meses consultando la literatura académica sobre los impuestos a las gaseosas y los alimentos y me vi atrapado en los problemas metodológicos que acechaban a todo el campo de la nutrición). El New York Times también publicó el estudio sin ningún análisis.

De hecho, las personas que sabrían inmediatamente por qué el estudio de PLoS es engañoso son relativamente pocas. La mayoría no tendría acceso ni interés en interactuar con los medios de comunicación, mientras que muchos serían de la industria, las mismas personas en las que el estudio de PLoS le advierte eficazmente que no debe confiar.

Pero, ¿qué pasa con la revisión por pares? Si los últimos años nos han enseñado algo, es que la publicación académica es lo que alguna vez se llamaba Internet: el Lejano Oeste. Considere únicamente las quejas emitidas en un taller de los Institutos Nacionales de Salud, que se convocó para abordar el problema de por qué tantos hallazgos de estudios en animales no podían replicarse. Se publicó, como artículo final, en Naturaleza dijo: «un amplio acuerdo» en cuanto a que «la mala información, que a menudo se asocia con un diseño experimental deficiente, es un problema importante en las ciencias de la vida…» En otras palabras, los vicios que se asocian popularmente a los estudios financiados por la industria (la falta de transparencia en los datos, los métodos y los análisis que conduce a resultados exagerados) prevalecían ampliamente entre los financiados por el gobierno.

John Ioannidis, de la Universidad de Stanford, que se ha convertido en el mascarón de proa de un movimiento creciente para mejorar el rigor científico, advirtió el pasado mes de noviembre, cuando el estado de la investigación nutricional estuvo plagado de muestras pequeñas, un diseño de estudio deficiente y métodos de encuesta deficientes. «Casi todos los nutrientes», escribió, «tienen publicaciones revisadas por pares que los asocian con casi cualquier resultado… Muchos hallazgos son totalmente inverosímiles».

Incluso algo tan fundamental para la investigación nutricional como la cantidad de alimentos que consumen las personas, que la Encuesta Nacional de Exámenes de Salud y Nutrición intenta averiguar mediante un cuestionario, se mostró el año pasado ser tremendamente inexacto. Dos tercios de los hombres y casi el 60 por ciento de las mujeres declararon haber consumido menos alimentos de lo que era fisiológicamente plausible.

La revisión por pares es valiosa, pero no garantiza un conocimiento fiable. Y mientras era editor de PLoS Medicine defiende el artículo en un prefacio argumentando que la industria tiene motivos particulares para ser sesgada («aumentar las ventas de sus productos»), pero que los investigadores académicos no los tienen (porque se dedican a «la búsqueda honesta del conocimiento»), la distinción ha perdido sentido ante las presiones académicas de publicación o perecer, el sesgo de publicación hacia los resultados positivos y la creciente conciencia de que los métodos estadísticos deficientes y el débil diseño experimental socavan gran parte de la investigación académica en medicina y salud.

Considere el hallazgo publicado en Importancia, la revista de la Real Sociedad de Estadística, en la que Stanley Young, del Instituto Nacional de Ciencias Estadísticas, comparó 52 afirmaciones (sobre los efectos de las vitaminas) de 12 estudios observacionales con los resultados de ensayos controlados aleatorios. No se pudo replicar ni un solo hallazgo observacional.

Imagínese un producto con una tasa de fallos del 100 por ciento. O una aerolínea en la que la mayoría de los vuelos se estrellaron. Se nos recuerda que esta es la naturaleza de la investigación científica: el camino hacia la verdad está plagado de falsos positivos y resultados nulos. Pero consumimos información como cualquier otro producto; nos basamos en la fiabilidad de los datos. Y si no se corre el riesgo de correr riesgos con esos datos, desde exagerar los resultados de las investigaciones hasta enterrar los datos estadísticos donde el sol no brilla, entonces, como hemos visto en el mundo de las finanzas y los valores con garantía hipotecaria, los científicos se arriesgarán y las organizaciones de noticias publicarán con entusiasmo sus conclusiones. La diferencia clave entre los datos académicos y los producidos por la industria es que actualmente tratamos los segundos con escepticismo. Esa asimetría es el defecto de nuestra economía del conocimiento; conduce al riesgo moral y cosas peores.

Los hallazgos de la PLoS bien podrían utilizarse para deslegitimar las perspectivas científicas legítimas en los futuros debates sobre las bebidas azucaradas y los alimentos en general. Se ha impugnado a una cohorte de científicos y una cohorte más joven ha advertido de que ese es su destino si trabajan para la industria. Como una mariposa maligna que bate sus alas con furia, el daño que una tormenta puede causar un hallazgo sesgado en un sistema de conocimiento dinámico es considerable. Y repararlo con la verdad es muy, muy difícil.