3.8: La Crisis de Replicación en Psicología

Edward Diener y Robert Biswas-Diener

En la ciencia, la replicación es el proceso de repetir la investigación para determinar hasta qué punto los hallazgos se generalizan a lo largo del tiempo y a través de situaciones. Recientemente, la ciencia de la psicología ha sido objeto de críticas porque una serie de hallazgos de investigación no se replican. En este módulo se discuten las razones de la no replicación, el impacto que este fenómeno tiene en el campo y se sugieren soluciones al problema.

Objetivos de aprendizaje

• Definir “replicación”
• Explicar la diferencia entre replicación exacta y conceptual
• Enumere 4 explicaciones para la no replicación
• Nombrar 3 posibles soluciones a la crisis de replicación

El problema perturbador

Figura 3.18: Si vieras a un pirata tal vez no lo creas; pero si vieras otro te sentirías más seguro en tu observación. En la ciencia, este es el proceso de replicación.

Si conducías por la carretera y vieras a un pirata parado en una intersección tal vez no te lo creyeras a la vista. Pero si continuaste conduciendo y vieras un segundo, y luego un tercero, podrías tener más confianza en tus observaciones. Cuantos más piratas vieras, menos probable es que el primer avistamiento sea un falso positivo (conducías rápido y la persona solo llevaba un sombrero inusual y una camisa ondulada) y más probable sería el resultado de una razón lógica (hay una conferencia temática pirata en la ciudad). Este ejemplo un tanto absurdo es una ilustración de la replicación de la vida real: los hallazgos repetidos de los mismos resultados.

La replicación de los hallazgos es una de las características definitorias de la ciencia. Los científicos deben ser capaces de replicar los resultados de los estudios o sus hallazgos no pasan a formar parte del conocimiento científico. La replicación protege contra falsos positivos (viendo un resultado que realmente no está ahí) y también aumenta la confianza de que el resultado realmente existe. Si recolectas datos de satisfacción entre personas sin hogar que viven en Calcuta, India, por ejemplo, puede parecer extraño que reporten una satisfacción bastante alta con su comida (que es exactamente lo que encontramos en Biswas-Diener & Diener, 2001). Si encuentras exactamente el mismo resultado, pero en un momento diferente, y con una muestra diferente de personas sin hogar que viven en Calcuta, sin embargo, puedes sentirte más seguro de que este resultado es cierto (como hicimos en Biswas-Diener & Diener, 2006).

En los tiempos modernos, la ciencia de la psicología se enfrenta a una crisis. Resulta que muchos estudios en psicología —incluyendo muchos estudios muy citados— no se replican. En una época en la que las noticias son instantáneas, el hecho de no replicar la investigación plantea importantes interrogantes sobre el proceso científico en general y la psicología específicamente. Las personas tienen derecho a saber si pueden confiar en la evidencia de investigación. Por nuestra parte, los psicólogos también tienen un interés personal en garantizar que nuestros métodos y hallazgos sean lo más confiables posible.

La psicología no es la única en quedarse corto en la replicación. También ha habido fallas notables para replicar hallazgos en otros campos científicos. Por ejemplo, en 1989 los científicos informaron que habían producido “fusión fría”, logrando la fusión nuclear a temperatura ambiente. Esto podría haber sido un enorme avance en el avance de la energía limpia. Sin embargo, otros científicos no pudieron replicar los hallazgos. Así, los resultados potencialmente importantes no pasaron a formar parte del canon científico, y no se materializó una nueva fuente de energía. También en la ciencia médica, se ha encontrado que una serie de hallazgos no se replican, lo que es de vital importancia para toda la sociedad. La no reproducibilidad de los hallazgos médicos sugiere que algunos tratamientos para la enfermedad podrían ser ineficaces. Un ejemplo de no replicación ha surgido en el estudio de la genética y las enfermedades: cuando se intentaron replicaciones para determinar si ciertos hallazgos de enfermedades genéticas se mantuvieron, solo alrededor del 4% de los hallazgos lo hicieron de manera consistente.

La no reproducibilidad de los hallazgos es inquietante porque sugiere la posibilidad de que la investigación original se hiciera descuidadamente. Peor aún es la sospecha de que la investigación pudo haber sido falsificada. En la ciencia, fingir resultados es el mayor de los pecados, el pecado imperdonable, y por esta razón el campo de la psicología ha sido arrojado a un alboroto. Sin embargo, como discutiremos, hay una serie de explicaciones para la no replicación, y no todas son malas.

¿Qué es la replicación?

Figura 3.19: Ejemplo de replicación directa y replicación conceptual del experimento de conformidad de Asch.

Existen diferentes tipos de replicación. Primero, hay un tipo llamado “replicación exacta” (también llamada “replicación directa”). De esta forma, un científico intenta recrear exactamente los métodos científicos utilizados en condiciones de un estudio anterior para determinar si los resultados salen igual. Si, por ejemplo, quisieras replicar exactamente los hallazgos clásicos de Asch (1956) sobre la conformidad, seguirías la metodología original: usarías solo participantes masculinos, usarías grupos de 8 y presentarías los mismos estímulos (líneas de diferentes longitudes) en el mismo orden. El segundo tipo de replicación se llama “replicación conceptual”. Esto ocurre cuando, en lugar de una replicación exacta, que reproduce los métodos del estudio anterior lo más estrechamente posible, un científico intenta confirmar los hallazgos anteriores usando un conjunto diferente de métodos específicos que prueban la misma idea. Se prueba la misma hipótesis, pero utilizando un conjunto diferente de métodos y medidas. Una replicación conceptual de la investigación de Asch podría involucrar tanto a confederados masculinos como femeninos a propósito que identifiquen erróneamente los tipos de frutos para investigar la conformidad, en lugar de solo los machos que identifiquen erróneamente las longitudes de las líneas.

Tanto las réplicas exactas como las conceptuales son importantes porque cada una nos dice algo nuevo. Las réplicas exactas nos dicen si los hallazgos originales son ciertos, al menos en las condiciones exactas probadas. Las replicaciones conceptuales ayudan a confirmar si la idea teórica detrás de los hallazgos es cierta y en qué condiciones se producirán estos hallazgos. En otras palabras, la replicación conceptual ofrece información sobre cuán generalizables son los hallazgos.

Eenormidad de la Crisis Actual

Tabla 3.6: La reproducibilidad de la ciencia psicológica

Recientemente, ha habido una creciente preocupación ya que la investigación psicológica no logra replicarse. Para darte una idea del grado de no replicabilidad de los hallazgos de psicología, el Cuadro 3.6 muestra datos reportados en 2015 por el proyecto Open Science Collaboration, dirigido por el psicólogo de la Universidad de Virginia Brian Nosek (Open Science Collaboration, 2015). Debido a que estos hallazgos fueron reportados en la prestigiosa revista Science, recibieron una amplia atención por parte de los medios de comunicación. Estos son los porcentajes de investigación que replicaron, seleccionados de varias revistas de gran prestigio:

Claramente, ¡hay un problema muy grande cuando solo alrededor de 1/3 de los estudios psicológicos en revistas de primer nivel se replican! Parece que este problema es particularmente pronunciado para la psicología social pero incluso el nivel de replicación del 53% de la psicología cognitiva es motivo de preocupación.

La situación en psicología se ha vuelto tan preocupante que el psicólogo ganador del Premio Nobel Daniel Kahneman llamó a los psicólogos sociales a limpiar su acto (Kahneman, 2012). El premio Nobel habló sin rodeos de dudas sobre la integridad de la investigación en psicología, calificando de “desastre” la situación actual en el campo. Su misiva se apuntó principalmente a investigadores que estudian el “cebado” social, pero a la luz de los resultados de no replicación que desde entonces han salido, podría estar más acertadamente dirigida a las ciencias del comportamiento en general.

Ejemplos de No-replicaciones en Psicología

Figura 3.20: En un estudio, los investigadores mejoraron el rendimiento de las pruebas al cebar a los participantes con estereotipos de inteligencia. Pero estudios posteriores no han podido replicar esos resultados.

Un gran número de científicos han intentado replicar estudios sobre lo que podría llamarse “cebado metafórico”, y la mayoría de las veces estas réplicas han fracasado. El cebado es el proceso por el cual una referencia reciente (a menudo una señal sutil y subconsciente) puede aumentar la accesibilidad de un rasgo. Por ejemplo, si su instructor dice: “Por favor, deje a un lado sus libros, saque una hoja de papel limpia y escriba su nombre en la parte superior”, puede que su pulso se esté acelerando. Con el tiempo, has aprendido que esta señal significa que estás a punto de recibir un cuestionario pop. Esta frase ceba todas las características asociadas a los cuestionarios pop: provocan ansiedad, son complicados, tu desempeño importa.

Un ejemplo de un estudio de cebado que, al menos en algunos casos, no replica, es el cebado de la idea de inteligencia. En teoría, podría ser posible sensibilizar a las personas para que realmente se vuelvan más inteligentes (o que se desempeñen mejor en las pruebas, al menos). Por ejemplo, en un estudio, cebar a los estudiantes con la idea de un profesor estereotipado frente a los hooligans del fútbol llevó a los participantes en la condición de “profesor” a obtener puntuaciones más altas en un juego de trivia (Dijksterhuis & van Knippenberg, 1998). Desafortunadamente, en varios casos de seguimiento este hallazgo no se ha replicado (Shanks et al, 2013). Esto es lamentable para todos nosotros porque sería una manera muy fácil de subir nuestros puntajes de exámenes e inteligencia general. Si tan sólo fuera cierto.

Otro ejemplo de un hallazgo que parece no replicarse consistentemente es el uso de señales de distancia espacial para cebar los sentimientos de cercanía emocional de las personas con sus familias (Williams & Bargh, 2008). En este tipo de estudios, se pide a los participantes que trazen puntos en papel cuadriculado, ya sea juntos o muy separados. Luego se pide a los participantes que califiquen lo cerca que están de los miembros de su familia. Aunque los investigadores originales encontraron que las personas que trazaron puntos cercanos en papel cuadriculado informaron estar más cerca de sus familiares, estudios reportados en PsychfileDrawer—un repositorio de internet de intentos de replicación— sugieren que los hallazgos con frecuencia no se replican. Nuevamente, esto es lamentable porque sería una manera práctica de ayudar a las personas a sentirse más cerca de sus familias.

Como se puede ver en los ejemplos, algunos de los estudios que no se replican reportan hallazgos extremadamente interesantes, incluso hallazgos contradictorios que parecen ofrecer nuevos conocimientos sobre la mente humana. Los críticos afirman que los psicólogos se han vuelto demasiado enamorados de “descubrimientos” tan noticiosos y sorprendentes que reciben mucha atención mediática. Lo que plantea la cuestión del tiempo: ¿podría relacionarse la actual crisis de no replicación con el contexto moderno y hambriento de medios en el que se realiza la investigación psicológica (de hecho, toda la investigación)? Dicho de otra manera: ¿es nueva la crisis de no replicación?

Nadie ha intentado replicar sistemáticamente estudios del pasado, por lo que no sabemos si los estudios publicados son cada vez menos replicables con el tiempo. En 1990, sin embargo, Amir y Sharon pudieron replicar con éxito la mayoría de los efectos principales de seis estudios de otra cultura, aunque no lograron replicar muchas de las interacciones. Esta deficiencia particular en su replicación general puede sugerir que los estudios publicados se están volviendo menos replicables con el tiempo, pero no podemos estar seguros. De lo que podemos estar seguros es que existe un problema significativo con la replicación en psicología, y es una tendencia que el campo necesita corregir. Sin hallazgos replicables, nadie podrá creer en la psicología científica.

Razones para la no replicación

Cuando los hallazgos no se replican, los científicos originales a veces se indignan y se ponen a la defensiva, ofreciendo razones o excusas para la no replicación de sus hallazgos, incluyendo, a veces, atacar a quienes intentan la replicación. A veces afirman que los científicos que intentan la replicación son poco calificados o poco sofisticados, o no tienen suficiente experiencia para replicar los hallazgos. Esto, por supuesto, podría ser cierto, y es una posible razón para la no replicación.

Una razón para las respuestas defensivas es la implicación tácita de que los resultados originales podrían haber sido falsificados. Los resultados falsificados son solo una razón por la que los estudios pueden no replicarse, pero es la razón más inquietante. Esperamos que fingir sea raro, pero en la última década han aparecido varios casos impactantes. Quizás los más conocidos provienen de la psicología social. Diederik Stapel, un reconocido psicólogo social en los Países Bajos, admitió haber fingido los resultados de varios estudios. Marc Hauser, un profesor popular en Harvard, aparentemente fingió resultados sobre moralidad y cognición. También se encontró que Karen Ruggiero de la Universidad de Texas había falsificado varios de sus resultados (demostrando que el mal comportamiento no tiene un sesgo de género). Se creía que cada uno de estos psicólogos —y hay bastantes ejemplos más— tenía datos falsificados. Posteriormente, todos fueron deshonrados y perdieron sus empleos.

Otra razón para la no replicación es que, en estudios con tamaños de muestra pequeños, los resultados estadísticamente significativos a menudo pueden ser el resultado de la casualidad. Por ejemplo, si le preguntas a cinco personas si creen que extraterrestres de otros planetas visitan la Tierra y secuestran regularmente a los humanos, es posible que consigas a tres personas que estén de acuerdo con esta noción, simplemente por casualidad. Sus respuestas pueden, de hecho, no ser en absoluto representativas de la población más amplia. Por otro lado, si encuestas a mil personas, existe una mayor probabilidad de que su creencia en los secuestros foráneos refleje las actitudes reales de la sociedad. Ahora considera este escenario en el contexto de la replicación: si intentas replicar el primer estudio —aquel en el que entrevistaste solo a cinco personas— solo hay una pequeña posibilidad de que dibujes aleatoriamente a cinco nuevas personas con exactamente las mismas (o similares) actitudes. Es mucho más probable que pueda replicar los hallazgos usando otra muestra grande, porque simplemente es más probable que los hallazgos sean precisos.

Otra razón para la no replicación es que, si bien los hallazgos de un estudio original pueden ser ciertos, pueden ser solo ciertos para algunas personas en algunas circunstancias y no necesariamente universales o duraderos. Imagínese que una encuesta realizada en la década de 1950 encontró que una gran mayoría de los encuestados confiaban en los funcionarios del gobierno. Ahora imagina la misma encuesta administrada hoy, con resultados muy diferentes. Este ejemplo de no replicación no invalida los resultados originales. Más bien, sugiere que las actitudes han cambiado con el tiempo.

Una razón final para la no replicación se relaciona con la calidad de la replicación más que con la calidad del estudio original. La no replicación podría ser producto del error científico, con la investigación más reciente no siguiendo los procedimientos originales lo suficientemente cerca. Del mismo modo, el estudio de replicación intentada podría, por sí mismo, tener un tamaño de muestra demasiado pequeño o un poder estadístico insuficiente para encontrar resultados significativos.

En defensa de los intentos de replicación

Las fallas en la replicación no son del todo malas y, de hecho, se debe esperar alguna no replicación en la ciencia. Los estudios originales se realizan cuando la respuesta a una pregunta es incierta. Es decir, los científicos se están aventurando en un nuevo territorio. En tales casos debemos esperar que se descubran algunas respuestas que no salgan bien a la larga. Además, esperamos que los científicos asuman nuevos temas desafiantes que vienen con cierta cantidad de riesgo. Después de todo, si los científicos solo publicaran resultados seguros que fueran fáciles de replicar, podríamos tener estudios muy aburridos que no avancen nuestro conocimiento muy rápidamente. Pero, con tales riesgos, es de esperar alguna no replicación de resultados.

Figura 3.21: Los investigadores utilizan software estadístico especializado para almacenar, analizar y compartir datos. Guardar datos a lo largo del tiempo y compartir datos con otros puede ser útil para realizar replicaciones.

Un ejemplo reciente de toma de riesgos se puede ver en la investigación de la psicóloga social Daryl Bem. En 2011, Bem publicó un artículo en el que afirmaba haber encontrado en varios estudios que los acontecimientos futuros podrían influir en el pasado. Su proposición gira la naturaleza del tiempo, que es asumida por prácticamente todos excepto los escritores de ciencia ficción para correr en una dirección, en su cabeza. No hace falta decir que los ataques al artículo de Bem llegaron rápidos y furiosos, incluyendo ataques a sus estadísticas y metodología (Ritchie, Wiseman & French, 2012). Hubo intentos de replicación y la mayoría de ellos fallaron, pero no todos. Un año después de que saliera el artículo de Bem, la prestigiosa revista donde se publicó, Journal of Personality and Social Psychology, publicó otro artículo en el que un científico no logró replicar los hallazgos de Bem en una serie de estudios muy similares a los originales (Galak, Lebeouf, Nelson & Simmons, 2012).

Algunas personas vieron la publicación del estudio original de Bem (2011) como un fracaso en el sistema de la ciencia. Argumentaron que el artículo no debió haber sido publicado. Pero el editor y los revisores del artículo habían avanzado con la publicación porque, aunque podrían haber pensado que los hallazgos eran provocativos e improbables, no vieron fallas obvias en la metodología. Vemos la publicación del artículo Bem, y el debate subsiguiente, como una fortaleza de la ciencia. Estamos dispuestos a considerar ideas inusuales si hay evidencia que las apoye: somos de mente abierta. Al mismo tiempo, somos críticos y creemos en la replicación. Los científicos deberían estar dispuestos a considerar hipótesis inusuales o arriesgadas pero en última instancia permitir que una buena evidencia tenga la última palabra, no las opiniones de las personas.

Soluciones al problema

Difusión de intentos de replicación

• PsychfileDrawer.org: Los archivos intentaron replicaciones de estudios específicos y si se logró la replicación.
• Centro de Ciencia Abierta: El psicólogo Brian Nosek, campeón de la replicación en psicología, ha creado el Open Science Framework, donde se pueden reportar réplicas.
• Asociación de Ciencias Psicológicas: Ha registrado réplicas de estudios, con los resultados generales publicados en Perspectivas sobre la Ciencia Psicológica.
• Plos One: Public Library of Science—publica una amplia gama de artículos, incluyendo replicaciones fallidas, y hay resúmenes ocasionales de intentos de replicación en áreas específicas.
• El Índice de Replicación: Creado en 2014 por Ulrich Schimmack, el llamado “Índice R” es una herramienta estadística para estimar la replicabilidad de estudios, de revistas, e incluso de investigadores específicos. Schimmack lo describe como una “prueba de dopaje”.

El hecho de que las replicaciones, incluidos los intentos fallidos de replicación, tengan ahora salidas donde puedan comunicarse a otros investigadores es un desarrollo muy alentador, y debería fortalecer considerablemente la ciencia. Un problema durante muchas décadas ha sido la casi imposibilidad de publicar los intentos de replicación, independientemente de que hayan sido positivos o negativos.

Programas más sistemáticos de investigación científica

Figura 3.22:6 Principios de Ciencia Abierta — adaptado de OpenScienceASAP.

La estructura de recompensas en la academia ha servido para desalentar la replicación. Muchos psicólogos, especialmente aquellos que trabajan a tiempo completo en universidades, a menudo son recompensados en el trabajo, con promociones, aumentos salariales, tenencia y prestigio, a través de sus investigaciones. Las réplicas de la propia obra anterior, o la obra de otros, suelen ser desalentadas porque no representa el pensamiento original. En cambio, los académicos son recompensados por un alto número de publicaciones, y a menudo se da protagonismo a los estudios llamativos en los informes de los medios de comunicación de estudios publicados

Los científicos psicológicos necesitan perseguir cuidadosamente la investigación programática. Los hallazgos de un solo estudio rara vez son adecuados, y deben ser seguidos por estudios adicionales que utilicen diferentes metodologías. Pensar en la investigación de esta manera, como si se tratara de un programa en lugar de un solo estudio, puede ayudar. Recomendamos que los laboratorios realicen conjuntos cuidadosos de estudios entrelazados, donde se da seguimiento a hallazgos importantes utilizando diversos métodos. No basta con encontrar algún resultado sorprendente, reportarlo y luego seguir adelante. Cuando los hallazgos son lo suficientemente importantes como para publicarlos, a menudo son lo suficientemente importantes como para impulsar más investigaciones concluyentes. De esta manera los científicos descubrirán si sus hallazgos son replicables, y qué tan ampliamente generalizables son. Si los hallazgos no siempre se replican, sino que a veces lo hacen, aprenderemos las condiciones en las que el patrón se sostiene o no. Esta es una parte importante de la ciencia, para descubrir cuán generalizables son los hallazgos.

Cuando los investigadores critican a otros por no poder replicar los hallazgos originales, diciendo que las condiciones en el estudio de seguimiento fueron cambiadas, es importante prestar atención a esto también. No toda crítica es actitud defensiva instintiva o resentimiento. La crisis de replicación ha despertado emociones acaloradas entre los psicólogos investigadores y el público, pero es el momento de que nos calmaremos y volvamos a una actitud más científica y un sistema de investigación programática.

Libros de texto y revistas

Algunos psicólogos culpan de la tendencia hacia la no replicación a políticas específicas de revistas, como la política de Psychological Science para publicar estudios cortos individuales. Cuando se publican estudios individuales no sabemos si incluso los propios autores pueden replicar sus hallazgos. La revista Psychological Science ha sido objeto quizás de las críticas más duras. Otros culpan de la erupción de estudios no replicables a una tendencia de algunos campos por hallazgos sorprendentes y contradictorios que captan el interés público. La ironía aquí es que tales hallazgos contradictorios son, de hecho, menos propensos a ser ciertos precisamente porque son muy extraños, por lo que tal vez deberían justificar más escrutinio y análisis adicionales.

La crítica a las revistas se extiende también a los libros de texto. En nuestra opinión, los libros de texto de psicología deben enfatizar la ciencia verdadera, a partir de hallazgos que han demostrado ser replicables. Hay una serie de imprecisiones que persisten en los libros de texto comunes de psicología, incluyendo pequeños errores en la cobertura común de los estudios más famosos, como el experimento de la prisión de Stanford (Griggs & Whitehead, 2014) y los estudios Milgram (Griggs & Whitehead, 2015). Hasta cierto punto, la inclusión de estudios no replicados en los libros de texto es producto de las fuerzas del mercado. Los editores de libros de texto están bajo presión para publicar nuevas ediciones de sus libros, a menudo con mucha más frecuencia de lo que realmente justifican los avances en la ciencia psicológica. En consecuencia, existe presión para incluir temas “más sexys” como los estudios polémicos.

En última instancia, las personas también necesitan aprender a ser consumidores inteligentes de la ciencia. En lugar de entusiasmarse demasiado con los hallazgos de un solo estudio, es aconsejable esperar las repeticiones. Cuando se construye un corpus de estudios sobre un fenómeno, podemos comenzar a confiar en los hallazgos. Los periodistas también deben ser educados sobre esto, y aprender a no difundir y promover fácilmente los hallazgos de estudios llamativos únicos. Si los resultados de un estudio parecen demasiado buenos para ser verdad, tal vez lo sean. Todo el mundo necesita tener una visión más escéptica de los hallazgos científicos, hasta que se hayan replicado.

Recursos Externos

Artículo: Artículo neoyorquino sobre la “crisis de replicación” http://www.newyorker.com/tech/elements/the-crisis-in-social-psychology-that-isnt

Web: Proyecto de Replicaciones Colaborativas y Educación — Este es un proyecto de replicación donde se anima a los estudiantes a realizar replicaciones como parte de sus cursos. https://osf.io/wfc6u/

Web: Comentario sobre lo que hace que la replicación sea convincente. http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2283856

Web: Open Science Framework — The Open Science Framework es un proyecto de software de código abierto que facilita la colaboración abierta en la investigación científica. https://osf.io/

Web: Psych File Drawer — Un sitio web creado para abordar “el problema del cajón de archivos”. PsychfileDrawer.org permite a los usuarios subir resultados de intentos de replicación serios en todas las áreas de investigación de la psicología. http://psychfiledrawer.org/

Preguntas de Discusión

1. ¿Por qué los científicos ven la replicación por parte de otros laboratorios como tan crucial para los avances de la ciencia?
2. ¿Los fracasos de replicación sacuden tu fe en lo que has aprendido de la psicología? ¿Por qué o por qué no?
3. ¿Se te ocurre algún hallazgo psicológico que creas que podría no replicar?
4. ¿Qué hallazgos son tan importantes que crees que deberían replicarse?
5. ¿Por qué cree que bastantes estudios no se replican?
6. ¿Con qué frecuencia crees que se producen resultados fingiendo? ¿Por qué? ¿Cómo podríamos evitarlo?

Atribuciones de imagen

Figura 3.18: Dave Hamster, https://goo.gl/xg5QKi, CC BY 2.0, https://goo.gl/BRvSA7

Figura 3.20: CC0 Dominio Público, https://goo.gl/m25gce

Figura 3.21: Departamento de Psicología de la Universidad Politécnica de Kwantlen, CC BY 2.0, https://goo.gl/BRvSA7

Figura 3.22: Imagen subyacente: Greg Emmerich, https://goo.gl/UmVaoD, CC BY-SA 2.0, https://goo.gl/rxiUsF

Referencias

Amir, Y., & Sharon, I. (1990). Investigación de replicación: Un “must” para el avance científico de la psicología. Revista de Comportamiento Social y Personalidad, Número Especial, 5, 51-69.

Asch, S. E. (1956). Estudios de independencia y conformidad: I. Una minoría de uno contra mayoría unánime. Monografías Psicológicas, 70 (9, Entero No. 416).

Bem, DJ (marzo de 2011). “Sentir el futuro: evidencia experimental de influencias retroactivas anómalas sobre la cognición y el afecto”. Revista de personalidad y psicología social, 100, 407—25.

Biswas-Diener, R., & Diener, E. (2006). Bienestar subjetivo de las personas sin hogar, y lecciones para la felicidad. Investigación de Indicadores Sociales. 76, 185-205.

Biswas-Diener, R., & Diener, E. (2001). Aprovechando al máximo una mala situación: Satisfacción en los barrios marginales de Calcuta. Investigación de Indicadores Sociales, 55, 329-352.

Dijksterhuis, A., & van Klippenberg, A. (1998). La relación entre percepción y comportamiento o cómo ganar un juego de Trivial Pursuit. Revista de Personalidad y Psicología Social, 74, 865—877.

Galak, J., LeBoEUF, R. A., Nelson, L. D., & Simmons, J. P. (2012, 27 de agosto). Corregir el Pasado: Fallos al Replicar Psi. Revista de Personalidad y Psicología Social.

Griggs & Whitehead (2015). Cobertura de los experimentos de obediencia de Milgram en libros de texto de psicología social: ¿A dónde han ido todas las críticas? Enseñanza de Psicología, 42, 315-322.

Griggs, R. A. & Whitehead, G. I. (2014). Cobertura de los libros de texto del experimento penitenciario de Stanford en psicología social introductoria. Enseñanza de Psicología, 41, 318-324.

Kahneman, D. (2012). Una propuesta para tratar las preguntas sobre los efectos de cebado. Carta abierta a la comunidad científica: http://www.nature.com/polopoly_fs/7....n%20Letter.pdf

Nosek, B. A., Aarts, A. A., Anderson, C. J., Anderson, J. E., Kappes, H. B., & Open Science Collaboration. (2015). Estimación de la reproducibilidad de la ciencia psicológica. Ciencia, 349 (6251), aac4716-aac4716.

Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Fallando el futuro: Tres intentos fallidos de replicar el efecto de 'facilitación retroactiva del recuerdo' de Bem. PLOS Uno. DOI: 10.1371/periodista.pone.0033423

Shanks, D. R., Newell, B., Lee, E. H., Balikrishnan, D., Ekelund, L., Cenac, Z., Kavvadia, F. & Moore, C. (2013). Cebado del comportamiento inteligente: Fenómeno esquivo. PLOS Uno. DOI: 10.1371/periodista.pone.0056515

Williams, L. E., & Bargh, J. A. (2008). Mantener la distancia: La influencia de las señales de distancia espacial en el afecto y la evaluación. Ciencia Psicológica, 19, 302-308.

Colaboradores y Atribuciones

• Introducción a la Psicología por Jorden A. Cummings & Lee Sanders está bajo una Licencia Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional, excepto cuando se indique lo contrario.
• Refiérase a Atribuciones del Capítulo Fuente para obtener más detalles