Saltar al contenido principal
LibreTexts Español

13.5: De la “Crisis de Replicabilidad” a las Prácticas de Ciencia Abierta

  1. Última actualización
  2. Guardar como PDF
  • Page ID
    144602

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    Objetivos de aprendizaje
    1. Describir lo que se entiende por “crisis de replicabilidad” en psicología.
    2. Describir algunas prácticas de investigación cuestionables.
    3. Identificar algunas formas en las que se puede incrementar el rigor científico.
    4. Comprender la importancia de la apertura en la ciencia psicológica.

    Al inicio de este libro discutimos el “Proyecto de replicación de muchos laboratorios”, que no logró replicar el hallazgo original de Simone Schnall y sus colegas de que lavarse las manos lleva a la gente a ver las transgresiones morales como menos incorrectas (Schnall, Benton, & Harvey, 2008) [1 ]. Aunque este proyecto es una buena ilustración de la naturaleza colaborativa y autocorrectora de la ciencia, también representa una respuesta específica a la reciente “crisis de replicabilidad” de la psicología, una frase que hace referencia a la incapacidad de los investigadores para replicar hallazgos de investigación anteriores. Consideremos por ejemplo los resultados del Proyecto Reproducibilidad, que involucró a más de 270 psicólogos de todo el mundo coordinando sus esfuerzos para probar la confiabilidad de 100 experimentos psicológicos publicados previamente (Aarts et al., 2015) [2]. Si bien 97 de los 100 estudios originales habían encontrado efectos estadísticamente significativos, ¡solo 36 de las repeticiones sí lo hicieron! Además, incluso los tamaños de efecto de las repeticiones fueron, en promedio, la mitad de los encontrados en los estudios originales (ver Figura\(\PageIndex{1}\)). Por supuesto, no replicar un resultado por sí mismo no necesariamente desacredita el estudio original, ya que las diferencias en el poder estadístico, las poblaciones muestreadas y los procedimientos utilizados, o incluso los efectos de las variables moderadoras podrían explicar los diferentes resultados (Yong, 2015) [3].

    Figura\(\PageIndex{1}\): Resumen de los Resultados del Proyecto de Reproducibilidad Reimpreso con permiso de Macmillan Publishers Ltd: Nature [Baker, M. (30 abril, 2015). Primeros resultados de la prueba de reproducibilidad más grande de la psicología. Noticias de la naturaleza. Recuperado de http://www.nature.com/news/first-res... -prueba-1.17433], copyright 2015.

    Aunque muchos creen que la falta de replicación de los resultados de la investigación es una característica esperada del progreso científico acumulativo, otros han interpretado esta situación como evidencia de problemas sistemáticos con la erudición convencional en psicología, incluyendo un sesgo de publicación que favorece el descubrimiento y publicación de hallazgos contradictorios pero estadísticamente significativos en lugar del proceso más opaco (pero increíblemente vital) de replicar hallazgos previos para probar su robustez (Aschwanden, 2015 [4]; Frank, 2015 [5]; Pashler & Harris, 2012 [6]; Scherer, 2015 [7]). Peor aún es la sugerencia de que la baja replicabilidad de muchos estudios es evidencia del uso generalizado de prácticas de investigación cuestionables por parte de investigadores psicológicos. Estos pueden incluir:

    1. La eliminación selectiva de valores atípicos para influir (generalmente inflando artificialmente) las relaciones estadísticas entre las variables medidas.
    2. El reporte selectivo de resultados, escogiendo solo aquellos hallazgos que respalden las hipótesis de uno.
    3. Extraer los datos sin una hipótesis a priori, solo para afirmar que originalmente se había predicho un resultado estadísticamente significativo, una práctica denominada “HarKing” o hipótesis después de conocerse los resultados (Kerr, 1998 [8]).
    4. Una práctica coloquialmente conocida como “p -hacking” (discutida brevemente en la sección anterior), en la que un investigador podría realizar cálculos estadísticos inferenciales para ver si un resultado era significativo antes de decidir si reclutar participantes adicionales y recolectar más datos (Head, Holman, Lanfear, Kahn, & Jennions, 2015) [9]. Como has aprendido, la probabilidad de encontrar un resultado estadísticamente significativo está influenciada por el número de participantes en el estudio.
    5. Fabricación directa de datos (como en el caso de Diederik Stapel, descrito al inicio del Capítulo 3), aunque esto sería un caso de fraude más que una “práctica de investigación”.

    Es importante arrojar luz sobre estas prácticas de investigación cuestionables para asegurar que los investigadores actuales y futuros (como usted) comprendan el daño que causan a la integridad y reputación de nuestra disciplina (ver, por ejemplo, el “Índice de Replicación”, una “prueba de dopaje” estadística desarrollada de Ulrich Schimmack en 2014 para estimar la replicabilidad de estudios, revistas e incluso investigadores específicos). No obstante, además de destacar lo que no se debe hacer, esta llamada “crisis” también ha resaltado la importancia de potenciar el rigor científico al:

    1. Diseñar y realizar estudios que tengan suficiente poder estadístico, con el fin de aumentar la confiabilidad de los hallazgos.
    2. Publicar hallazgos nulos y significativos (contrarrestando así el sesgo de publicación y reduciendo el problema del cajón de archivos).
    3. Describir los diseños de investigación con suficiente detalle para permitir que otros investigadores repliquen su estudio utilizando un procedimiento idéntico o al menos muy similar.
    4. Realización de replicaciones de alta calidad y publicación de estos resultados (Brandt et al., 2014) [10].

    Una respuesta particularmente prometedora a la crisis de replicabilidad ha sido el surgimiento de prácticas científicas abiertas que incrementan la transparencia y apertura de la empresa científica. Por ejemplo, Psychological Science (la revista insignia de la Association for Psychological Science) y otras revistas ahora emiten insignias digitales a investigadores que pre-registraron sus hipótesis y planes de análisis de datos, compartieron abiertamente sus materiales de investigación con otros investigadores ( ej., para permitir intentos de replicación), o poner a disposición sus datos brutos con otros investigadores (ver Figura\(\PageIndex{2}\)).

    Figura\(\PageIndex{2}\): Insignias Digitales del Centro de Ciencia Abierta

    Estas iniciativas, que han sido encabezadas por el Centro de Ciencia Abierta, han propiciado el desarrollo de “Lineamientos de Promoción de Transparencia y Apertura” (ver Tabla\(\PageIndex{1}\)) que desde entonces han sido adoptados formalmente por más de 500 revistas y 50 organizaciones, una lista que crece cada semana. Al agregar a esto los requisitos impuestos recientemente por las agencias federales de financiamiento en Canadá (el Tri-Consejo) y Estados Unidos (National Science Foundation) en relación con la publicación de investigaciones financiadas con fondos públicos en revistas de acceso abierto, ciertamente parece que el futuro de la ciencia y la psicología será uno que abrace mayor “apertura” (Nosek et al., 2015) [11].

    Tabla\(\PageIndex{1}\): Lineamientos de Promoción de Transparencia y Apertura (TOP) Reproducidos con permiso

    Referencias

    1. Schnall, S., Benton, J., & Harvey, S. (2008). Con la conciencia limpia: La limpieza reduce la severidad de los juicios morales. Ciencia Psicológica, 19 (12), 1219-1222. doi: 10.1111/j.1467-9280.2008.02227.x
    2. Aarts, A. A., Anderson, C. J., Anderson, J., van Assen, M. A. L. M., Attridge, P. R., Attwood, A. S.,... Zuni, K. (2015, 21 de septiembre). Proyecto de Reproducibilidad: Psicología. Recuperado de osf.io/ezcuj
    3. Yong, E. (27 de agosto de 2015). ¿Qué tan confiables son los estudios de psicología? Recuperado a partir de [1]http://www.theatlantic.com/science/archive/2015/08/psychology-studies-reliability-reproducability-nosek/402466/
    4. Aschwanden, C. (2015, 19 de agosto). La ciencia no está quebrada: Es simplemente mucho más difícil de lo que le damos crédito. Fivethirtyeight. Recuperado a partir de [2]http://fivethirtyeight.com/features/science-isnt-broken/
    5. Frank, M. (2015, 31 de agosto). Las formas más lentas y difíciles de aumentar la reproducibilidad. Recuperado a partir de [3]http://babieslearninglanguage.blogspot.ie/2015/08/the-slower-harder-ways-to-increase.html
    6. Pashler, H., & Harris, C. R. (2012). ¿La crisis de replicabilidad es exagerada? Tres argumentos explicados. Perspectivas sobre la Ciencia Psicológica, 7 (6), 531-536. doi:10.1177/1745691612463401
    7. Scherer, L. (2015, septiembre). Post invitado por Laura Scherer. Recuperado a partir de [4]http://sometimesimwrong.typepad.com/wrong/2015/09/guest-post-by-laura-scherer.html
    8. Kerr, N. L. (1998). HarKing: Hipótesis después de que se conozcan los resultados. Revisión de Personalidad y Psicología Social, 2 (3), 196-217. doi:10.1207/s15327957pspr0203_4
    9. Jefe M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). El alcance y las consecuencias del p-hacking en la ciencia. PLoS Biol, 13 (3): e1002106. doi:10.1371/journal.pbio.1002106
    10. Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R.,... can't Veer, A. (2014). La receta de replicación: ¿Qué hace que la replicación sea convincente? Revista de Psicología Social Experimental, 50, 217-224. doi:10.1016/j.jesp.2013.10.005
    11. Nosek, B. A., Alter, G., Bancos, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J.,... Yarkoni, T. (2015). Promover una cultura abierta de investigación. Ciencia, 348 (6242), 1422-1425. doi: 10.1126/ciencia.aab2374

    This page titled 13.5: De la “Crisis de Replicabilidad” a las Prácticas de Ciencia Abierta is shared under a CC BY-NC-SA license and was authored, remixed, and/or curated by Rajiv S. Jhangiani, I-Chant A. Chiang, Carrie Cuttler, & Dana C. Leighton.