9.3: La ciencia en un archivador

Anteriormente vimos el impacto de las comparaciones múltiples y la inflación de verdad en los resultados del estudio. Estos problemas surgen cuando los estudios hacen numerosas comparaciones con bajo poder estadístico, dando una alta tasa de falsos positivos y estimaciones infladas de tamaños de efectos, y aparecen en todas partes en investigaciones publicadas.

Pero no todos los estudios son publicados. Solo vemos una fracción de la investigación médica, por ejemplo, porque pocos científicos se molestan en publicar “Probamos este medicamento y no pareció funcionar”.

Considera un ejemplo: estudios de la proteína supresora tumoral TP53 y su efecto sobre el cáncer de cabeza y cuello. Varios estudios sugirieron que las mediciones de TP53 podrían usarse para predecir las tasas de mortalidad por cáncer, ya que sirve para regular el crecimiento y desarrollo celular y por lo tanto debe funcionar correctamente para prevenir el cáncer. Cuando todos los 18 estudios publicados sobre TP53 y cáncer se analizaron juntos, el resultado fue una correlación altamente estadísticamente significativa: TP53 podría medirse claramente para decir qué tan probable es que un tumor te mate.

Pero luego supongamos que desenterramos resultados inéditos sobre TP53: datos que habían sido mencionados en otros estudios pero no publicados ni analizados. Agrega estos datos a la mezcla y el efecto estadísticamente significativo desaparece. ³⁶ Después de todo, pocos autores se molestaron en publicar datos que no mostraran correlación, por lo que el metaanálisis solo pudo usar una muestra sesgada.

Un estudio similar analizó la reboxetina, un antidepresivo vendido por Pfizer. Varios estudios publicados han sugerido que es efectivo en comparación con el placebo, lo que lleva a varios países europeos a aprobarlo para su prescripción a pacientes deprimidos. El Instituto Alemán de Calidad y Eficiencia en la Atención de la Salud, encargado de evaluar los tratamientos médicos, logró obtener datos de ensayos inéditos de Pfizer —tres veces más datos de los que se habían publicado— y los analizó cuidadosamente. El resultado: la reboxetina no es efectiva. Pfizer sólo había convencido al público de que es efectivo al descuidar mencionar los estudios que demuestran que no lo es. ¹⁸

Este problema se conoce comúnmente como sesgo de publicación o problema de cajón de archivos: muchos estudios se sientan en un cajón de archivos durante años, nunca publicados, a pesar de los valiosos datos que podrían aportar.

El problema no es simplemente el sesgo sobre los resultados publicados. Estudios inéditos conducen a una duplicación de esfuerzos —si otros científicos no saben que has hecho un estudio, bien es posible que lo vuelvan a hacer, desperdiciando dinero y esfuerzo.

Reguladores y revistas científicas han intentado detener este problema. La Administración de Alimentos y Medicamentos requiere que ciertos tipos de ensayos clínicos se registren a través de su sitio web ClinicalTrials.gov antes de que comiencen los ensayos, y requiere la publicación de los resultados dentro de un año a partir de la finalización del ensayo. De igual manera, el Comité Internacional de Editores de Revistas Médicas anunció en 2005 que no publicarían estudios que no hubieran sido preinscritos.

Desafortunadamente, una revisión de ensayos clínicos\(738\) registrados encontró que solo\(22\)% cumplió con el requisito legal para publicar. ⁴⁷ La FDA no ha multado a ninguna compañía farmacéutica por incumplimiento, y las revistas no han hecho cumplir consistentemente el requisito de registrar los ensayos. La mayoría de los estudios simplemente desaparecen.