8: Todo el mundo comete errores

Hasta ahora, he presumido que los científicos son capaces de hacer cálculos estadísticos con una precisión perfecta, y sólo erran en su elección de los números apropiados para calcular. Los científicos pueden hacer mal uso de los resultados de las pruebas estadísticas o no hacer cálculos relevantes, pero al menos pueden calcular un\(p\) valor, ¿verdad?

Quizás no.

Encuestas de resultados estadísticamente significativos reportados en ensayos médicos y psicológicos sugieren que muchos\(p\) valores son erróneos, y algunos resultados estadísticamente insignificantes son realmente significativos cuando se computan correctamente. ^{25, 2} Otras revisiones encuentran ejemplos de datos clasificados erróneamente, duplicación errónea de datos, inclusión del conjunto de datos erróneo por completo, y otras mezclas, todas ocultas por papeles que no describieron su análisis con suficiente detalle para que los errores ser fácilmente notado. ^{1, 26}

Sunshine es el mejor desinfectante, y muchos científicos han pedido que los datos experimentales estén disponibles a través de Internet. En algunos campos, esto ahora es algo común: existen bases de datos de secuenciación de genes, bases de datos de estructura de proteínas, bases de datos de observación astronómica y colecciones de observación de la tierra que contienen las contribuciones de miles de científicos. Muchos otros campos, sin embargo, no pueden compartir sus datos debido a la falta de practicidad (los datos de física de partículas pueden incluir muchos terabytes de información), problemas de privacidad (en ensayos médicos), falta de financiamiento o soporte tecnológico, o simplemente un deseo de mantener el control propietario de los datos y todos los descubrimientos que resultan de ella. Y aunque todos los datos estuvieran disponibles, ¿alguien los analizaría todo para detectar errores?

Del mismo modo, los científicos en algunos campos han empujado hacia que sus análisis estadísticos estén disponibles a través de herramientas tecnológicas inteligentes. Una herramienta llamada Sweave, por ejemplo, facilita la integración de análisis estadísticos realizados usando el popular lenguaje de programación R dentro de artículos escritos en LaTeX, el estándar para publicaciones científicas y matemáticas. El resultado se parece a cualquier artículo científico, pero otro científico que lea el artículo y curioso sobre sus métodos puede descargar el código fuente, que muestra exactamente cómo se calcularon todos los números. Pero, ¿aprovecharían los científicos la oportunidad? Nadie obtiene gloria científica comprobando código para errores tipográficos.

Otra solución podría ser la replicación. Si los científicos recrean cuidadosamente los experimentos de otros científicos y validan sus resultados, es mucho más fácil descartar la posibilidad de que un error tipográfico cause un resultado errante. La replicación también elimina los falsos positivos de platija. Muchos científicos afirman que la replicación experimental es el corazón de la ciencia: no se acepta ninguna idea nueva hasta que se haya probado de forma independiente y se haya vuelto a probar en todo el mundo y se haya encontrado que retenga agua.

Eso no es del todo cierto; los científicos suelen dar por sentado estudios previos, aunque ocasionalmente los científicos deciden volver a probar sistemáticamente trabajos anteriores. Un nuevo proyecto, por ejemplo, tiene como objetivo reproducir artículos en las principales revistas de psicología para determinar cuántos artículos se mantienen a lo largo del tiempo, y qué atributos de un artículo predicen cuán probable es que resista la repetición de pruebas. \(^{[1]}\)En otro ejemplo, los investigadores del cáncer de Amgen volvieron a probar estudios preclínicos\(53\) emblemáticos en la investigación del cáncer. (Por “preclínico” quiero decir que los estudios no involucraron a pacientes humanos, ya que estaban probando ideas nuevas y no probadas). A pesar de trabajar en colaboración con los autores de los trabajos originales, los investigadores de Amgen sólo pudieron reproducir seis de los estudios. ⁵ investigadores de Bayer han reportado dificultades similares a la hora de probar nuevos fármacos potenciales que se encuentran en artículos publicados. ⁴⁹

Esto es preocupante. ¿La tendencia se mantiene cierta para tipos de investigación médica menos especulativos? Al parecer así: de los artículos de investigación más citados en medicina, una cuarta parte no se ha probado después de su publicación, y una tercera parte se ha encontrado exagerada o equivocada por investigaciones posteriores. ³² Eso no es tan extremo como el resultado de Amgen, pero hace que te preguntes qué errores importantes aún acechan desapercibidos en investigaciones importantes. La replicación no es tan frecuente como nos gustaría que fuera, y los resultados no siempre son favorables.