10: ¿Qué hemos forjado?

He pintado un cuadro sombrío. Pero cualquiera puede escoger pequeños detalles en estudios publicados y producir una tremenda lista de errores. ¿Importan estos problemas?

Bueno, sí. De otra manera no hubiera escrito esto.

El famoso artículo de John Ioannidis “Por qué la mayoría de los hallazgos de investigación publicados son falsos” ³¹ se basaba en preocupaciones matemáticas más que en una prueba empírica de resultados de investigación. Si la mayoría de los artículos de investigación tienen un poder estadístico pobre —y lo hacen —, mientras que los investigadores tienen la libertad de elegir entre multitudes de métodos de análisis para obtener resultados favorables —y lo hacen — cuando la mayoría de las hipótesis probadas son falsas y la mayoría de las hipótesis verdaderas corresponden a muy pequeñas efectos, estamos matemáticamente decididos a obtener una multitud de falsos positivos.

Pero si quieres empirismo, puedes tenerlo, cortesía de John Ioannidis y Jonathan Schoenfeld. Estudiaron la pregunta “¿Todo lo que comemos está asociado con el cáncer?” ⁵¹ \(^{[1]}\)Después de elegir cincuenta ingredientes comunes de un libro de cocina, se propusieron encontrar estudios que los vincularan con las tasas de cáncer, y encontraron\(216\) estudios sobre cuarenta ingredientes diferentes. Por supuesto, la mayoría de los estudios no estaban de acuerdo entre sí. La mayoría de los ingredientes tuvieron múltiples estudios que afirmaron que aumentaron y disminuyeron el riesgo de contraer cáncer. La mayor parte de la evidencia estadística fue débil, y los metaanálisis generalmente mostraron efectos mucho menores en las tasas de cáncer que los estudios originales.

Por supuesto, ser contradicido por estudios de seguimiento y metaanálisis no impide que un artículo sea citado como si fuera cierto. Incluso los efectos que han sido contradicidos por ensayos masivos de seguimiento con resultados inequívocos se citan frecuentemente cinco o diez años después, y los científicos aparentemente no notan que los resultados son falsos. ⁵⁵ Por supuesto, los nuevos hallazgos son ampliamente difundidos en la prensa, mientras que casi nunca se mencionan contradicciones y correcciones. ²³ Difícilmente se puede culpar a los científicos por no mantenerse al día.

No olvidemos los resultados meramente sesgados. Los malos estándares de información en las revistas médicas significan que los estudios que prueban nuevos tratamientos para la esquizofrenia pueden dejar de incluir la escala que usaron para evaluar los síntomas, una práctica fuente de sesgo, ya que los ensayos que utilizan escalas inéditas tienden a producir mejores resultados que aquellos que utilizan pruebas previamente validadas. ⁴⁰ Otros estudios médicos simplemente omiten resultados particulares si no son favorables o interesantes, sesgando metaanálisis posteriores para incluir solo resultados positivos. Se estima que un tercio de los metaanálisis padecen este problema. ³⁴

Otra revisión comparó metaanálisis con posteriores ensayos controlados aleatorios grandes, considerados el estándar de oro en medicina. En más de un tercio de los casos, el resultado del ensayo aleatorizado no se correspondió bien con el metanálisis. ³⁹ Otras comparaciones de metaanálisis con investigaciones posteriores encontraron que la mayoría de los resultados fueron inflados, con quizás un quinto representando falsos positivos. ⁴⁵

No olvidemos la multitud de artículos de ciencias físicas que hacen un mal uso de los intervalos de confianza. ³⁷ O el artículo de psicología revisado por pares que supuestamente proporciona evidencia de poderes psíquicos, sobre la base de comparaciones múltiples incontroladas en estudios exploratorios. ⁵⁸ Como era de sorprender, los resultados no pudieron ser replicados —por científicos que parecen no haber calculado el poder estadístico de sus pruebas. ²⁰

Tenemos un problema. Trabajemos en arreglarlo.