32.5: Haciendo investigación reproducible

En los años transcurridos desde que surgió la crisis de reproducibilidad, ha habido un movimiento robusto para desarrollar herramientas que ayuden a proteger la reproducibilidad de la investigación científica.

32.5.1 Preinscripción

Una de las ideas que ha ganado mayor tracción es el preregistro, en el que se envía una descripción detallada de un estudio (incluyendo todos los análisis de datos) a un repositorio de confianza (como el Open Science Framework o asPredicted.org). Al especificar los planes de uno en detalle antes de analizar los datos, el preregistro proporciona una mayor fe en que los análisis no sufren de p-hacking u otras prácticas de investigación cuestionables.

Los efectos del preregistro se han visto en ensayos clínicos en medicina. En el año 2000, el Instituto Nacional del Corazón, los Pulmones y la Sangre (NHLBI) comenzó a requerir que todos los ensayos clínicos fueran preregistrados utilizando el sistema en ClinicalTrials.gov. Esto proporciona un experimento natural para observar los efectos del preregistro del estudio. Cuando Kaplan e Irvin (2015) examinaron los resultados de los ensayos clínicos a lo largo del tiempo, encontraron que el número de resultados positivos en los ensayos clínicos se redujo después de 2000 en comparación con antes. Si bien hay muchas causas posibles, parece probable que antes del registro del estudio los investigadores pudieran cambiar sus métodos para encontrar un resultado positivo, lo que se hizo más difícil después de que se requiriera el registro.

32.5.2 Prácticas reproducibles

El artículo de Simmons, Nelson y Simonsohn (2011) expuso un conjunto de prácticas sugeridas para hacer que la investigación sea más reproducible, todas las cuales deberían convertirse en estándar para los investigadores:

• Los autores deben decidir la regla para terminar la recolección de datos antes de que comience la recolección de datos y reportar esta regla en el artículo.
• Los autores deben recopilar al menos 20 observaciones por celda o bien proporcionar una justificación convincente del costo de recopilación de datos.
• Los autores deben enumerar todas las variables recopiladas en un estudio.
• Los autores deben reportar todas las condiciones experimentales, incluyendo manipulaciones fallidas.
• Si se eliminan las observaciones, los autores también deben informar cuáles son los resultados estadísticos si se incluyen esas observaciones.
• Si un análisis incluye una covariable, los autores deben reportar los resultados estadísticos del análisis sin la covariable.

32.5.3 Replicación

Una de las señas de identidad de la ciencia es la idea de replicación —es decir, otros investigadores deberían poder realizar el mismo estudio y obtener el mismo resultado. Desafortunadamente, como vimos en el resultado del Proyecto de Replicación discutido anteriormente, muchos hallazgos no son replicables. La mejor manera de garantizar la replicabilidad de la propia investigación es replicarla primero por su cuenta; para algunos estudios esto simplemente no será posible, pero siempre que sea posible uno debe asegurarse de que el hallazgo de uno se mantenga en una nueva muestra. Esa nueva muestra debería estar suficientemente potenciada para encontrar el tamaño del efecto de interés; en muchos casos, esto requerirá realmente una muestra más grande que la original.

Es importante tener en cuenta un par de cosas con respecto a la replicación. En primer lugar, el hecho de que falle un intento de replicación no significa necesariamente que el hallazgo original fuera falso; recuerde que con el nivel estándar de 80% de potencia, todavía hay una probabilidad de uno en cinco de que el resultado no sea significativo, aunque haya un efecto verdadero. Por esta razón, generalmente queremos ver múltiples repeticiones de cualquier hallazgo importante antes de decidir si creerlo o no. Desafortunadamente, muchos campos, incluida la psicología, no han podido seguir este consejo en el pasado, lo que lleva a hallazgos de “libros de texto” que resultan ser probablemente falsos. Con respecto a los estudios de Daryl Bem sobre ESP, un gran intento de replicación que involucró 7 estudios no logró replicar sus hallazgos (Galak et al. 2012).

Segundo, recuerda que el valor p no nos proporciona una medida de la probabilidad de que un hallazgo se replique. Como discutimos anteriormente, el valor p es una afirmación sobre la probabilidad de que se tengan los datos bajo una hipótesis nula específica; no nos dice nada sobre la probabilidad de que el hallazgo sea realmente verdadero (como aprendimos en el capítulo sobre análisis bayesiano). Para conocer la probabilidad de replicación necesitamos saber la probabilidad de que el hallazgo sea verdadero, lo que generalmente no conocemos.