3.7: Puedes ser un consumidor informado de la investigación psicológica

Charles Stangor y Jennifer Walinga

Objetivos de aprendizaje

• Describa las cuatro amenazas potenciales a la validez de la investigación y discuta cómo pueden dificultar la interpretación precisa de los resultados de la investigación.
• Describir cómo la confusión puede reducir la validez interna de un experimento.
• Explicar cómo se utilizan la generalización, la replicación y los metanálisis para evaluar la validez externa de los hallazgos de la investigación.

Una buena investigación es una investigación válida. Cuando la investigación es válida, las conclusiones extraídas por el investigador son legítimas. Por ejemplo, si un investigador concluye que participar en psicoterapia reduce la ansiedad, o que las personas más altas son más inteligentes que las personas más bajas, la investigación es válida solo si la terapia realmente funciona o si las personas más altas son realmente más inteligentes. Desafortunadamente, hay muchas amenazas a la validez de la investigación, y estas amenazas a veces pueden llevar a conclusiones injustificadas. A menudo, y a pesar de las mejores intenciones de los investigadores, algunas de las investigaciones reportadas en sitios web, así como en periódicos, revistas e incluso revistas científicas no son válidas. La validez no es una propuesta de todo o nada, lo que significa que algunas investigaciones son más válidas que otras investigaciones. Sólo entendiendo las amenazas potenciales a la validez podrás tomar decisiones bien informadas sobre las conclusiones que pueden o no extraerse de un proyecto de investigación. Hay cuatro tipos principales de amenazas a la validez de la investigación, y los consumidores informados de la investigación son conscientes de cada tipo.

Amenazas a la Validez de la Investigación

1. Amenazas para construir validez. Si bien se afirma que las variables medidas miden las variables conceptuales de interés, en realidad no pueden.
2. Amenazas a la validez de la conclusión estadística. Las conclusiones respecto a la investigación pueden ser incorrectas porque no se realizaron pruebas estadísticas o porque las pruebas estadísticas fueron interpretadas incorrectamente.
3. Amenazas a la validez interna. Si bien se afirma que la variable independiente causó la variable dependiente, la variable dependiente en realidad puede haber sido causada por una variable confusa.
4. Amenazas a la validez externa. Si bien se afirma que los resultados son más generales, los efectos observados en realidad solo pueden encontrarse en condiciones limitadas o para grupos específicos de personas. (Stangor, 2011)

Una amenaza para la investigación válida ocurre cuando existe una amenaza para construir validez. La validez de constructo se refiere a la medida en que las variables utilizadas en la investigación evalúan adecuadamente las variables conceptuales que fueron diseñadas para medir. Un requisito para la validez de constructo es que la medida sea confiable, donde la confiabilidad se refiere a la consistencia de una variable medida. Una báscula de baño suele ser confiable, porque si la pisamos y bajamos un par de veces, la báscula medirá consistentemente el mismo peso cada vez. Otras medidas, entre ellas algunas pruebas psicológicas, pueden ser menos confiables y, por lo tanto, menos útiles.

Normalmente, podemos suponer que los investigadores han hecho todo lo posible para asegurar la validez de constructo de sus medidas, pero no es inapropiado que usted, como consumidor informado de la investigación, cuestione esto. Siempre es importante recordar que la capacidad de aprender sobre la relación entre las variables conceptuales en una hipótesis de investigación depende de las definiciones operativas de las variables medidas. Si las medidas no miden realmente las variables conceptuales que están diseñadas para evaluar (por ejemplo, si una supuesta prueba de coeficiente intelectual no mide realmente la inteligencia), entonces no pueden ser utilizadas para hacer inferencias sobre la relación entre las variables conceptuales (Nunnally, 1978).

Los métodos estadísticos que utilizan los científicos para probar sus hipótesis de investigación se basan en estimaciones de probabilidad. Verá declaraciones en reportes de investigación que indican que los resultados fueron estadísticamente significativos o no estadísticamente significativos. Estas declaraciones irán acompañadas de pruebas estadísticas, a menudo incluyendo declaraciones como p < 0.05 o sobre intervalos de confianza. Estos enunciados describen la significancia estadística de los datos que se han recopilado. La significancia estadística se refiere a la confianza con la que un científico puede concluir que los datos no son por casualidad o error aleatorio. Cuando un investigador concluye que un resultado es estadísticamente significativo, ha determinado que es muy poco probable que los datos observados hayan sido causados solo por factores de azar. Por lo tanto, es probable que exista una relación real entre o entre las variables en el diseño de la investigación. De lo contrario, el investigador concluye que los resultados no fueron estadísticamente significativos.

La validez de la conclusión estadística se refiere a la medida en que podemos estar seguros de que el investigador ha sacado conclusiones precisas sobre la significación estadística de la investigación. La investigación no será válida si las conclusiones hechas sobre la hipótesis de investigación son incorrectas porque las inferencias estadísticas sobre los datos recopilados son erróneas. Estos errores pueden ocurrir ya sea porque el científico infiere de manera inapropiada que los datos sí apoyan la hipótesis de investigación cuando en realidad se deben al azar, o cuando el investigador erróneamente no encuentra apoyo para la hipótesis de investigación. Normalmente, podemos suponer que los investigadores han hecho todo lo posible para asegurar la validez de conclusión estadística de un diseño de investigación, pero siempre debemos tener en cuenta que las inferencias sobre los datos son probabilísticas y nunca seguras — por eso la investigación nunca prueba una teoría.

La validez interna se refiere a la medida en que podemos confiar en las conclusiones que se han extraído sobre la relación causal entre las variables independientes y dependientes (Campbell & Stanley, 1963). La validez interna se aplica principalmente a los diseños de investigación experimental, en los que el investigador espera concluir que la variable independiente ha causado la variable dependiente. La validez interna se maximiza cuando la investigación está libre de la presencia de variables confusas, variables distintas a la variable independiente en la que los participantes en una condición experimental difieren sistemáticamente de las que se encuentran en otras condiciones.

Considera un experimento en el que un investigador probó la hipótesis de que beber alcohol hace que los miembros del sexo opuesto se vean más atractivos. Los participantes mayores de 21 años fueron asignados al azar a tomar jugo de naranja mezclado con vodka o jugo de naranja solo. Para eliminar la necesidad de engaño, se les dijo a los participantes si sus bebidas contenían o no vodka. Después de que hubiera pasado suficiente tiempo para que el alcohol surtiera efecto, se pidió a los participantes que calificaran el atractivo de las fotos de miembros del sexo opuesto. Los resultados del experimento mostraron que, como se predijo, los participantes que bebieron el vodka calificaron las fotos como significativamente más atractivas.

Si piensas en este experimento por un minuto, se te puede ocurrir que aunque el investigador quiso sacar la conclusión de que el alcohol causó las diferencias en el atractivo percibido, la expectativa de haber consumido alcohol se confunde con la presencia del alcohol. Es decir, la gente que bebía alcohol también sabía que bebía alcohol, y los que no bebían alcohol sabían que no. Es posible que el simple hecho de saber que estaban bebiendo alcohol, más que el efecto del propio alcohol, pudiera haber causado las diferencias (ver Figura 3.17, “Un ejemplo de confusión”). Una solución al problema de los posibles efectos de expectativa es decirle a ambos grupos que están bebiendo jugo de naranja y vodka pero realmente le dan alcohol a solo la mitad de los participantes (es posible hacerlo porque el vodka tiene muy poco olor o sabor). Si se encuentran diferencias en el atractivo percibido, el experimentador podría entonces atribuirlas con confianza al alcohol y no a la expectativa de haber consumido alcohol.

Figura 3.17 Un ejemplo de confusión. La confusión ocurre cuando una variable que no forma parte de la hipótesis de investigación se “mezcla” o confunde, con la variable en la hipótesis de investigación. En el panel inferior, el alcohol consumido y la expectativa de alcohol se confunden, pero en el panel superior están separados (independientes). La confusión hace imposible estar seguro de que la variable independiente (en lugar de la variable de confusión) causó la variable dependiente.

Otra amenaza a la validez interna puede ocurrir cuando el experimentador conoce la hipótesis de la investigación y también sabe en qué condición experimental se encuentran los participantes. El resultado es el potencial de sesgo del experimentador, situación en la que el experimentador trata sutilmente a los participantes de la investigación en las diversas condiciones experimentales de manera diferente, resultando en una confirmación inválida de la hipótesis de investigación. En un estudio que demostró sesgo experimentador, Rosenthal y Fode (1963) enviaron a 12 estudiantes a probar una hipótesis de investigación sobre el aprendizaje de laberinto en ratas. Aunque inicialmente no se reveló a los estudiantes, en realidad fueron los participantes en un experimento. A seis de los estudiantes se les dijo al azar que las ratas que estarían probando habían sido criadas para ser altamente inteligentes, mientras que a los otros seis estudiantes se les hizo creer que las ratas habían sido criadas para ser poco inteligentes. En realidad no hubo diferencias entre las ratas entregadas a los dos grupos de estudiantes. Cuando los alumnos regresaron con sus datos, surgió un resultado sorprendente. Las ratas dirigidas por estudiantes que esperaban que fueran inteligentes mostraron un aprendizaje de laberinto significativamente mejor que las ratas dirigidas por estudiantes que esperaban que fueran poco inteligentes. De alguna manera las expectativas de los estudiantes influyeron en sus datos. Evidentemente hicieron algo diferente cuando probaron a las ratas, quizás cambiando sutilmente cómo cronometraron el laberinto corriendo o cómo trataban a las ratas. Y este sesgo experimentador probablemente ocurrió completamente por su conciencia.

Para evitar el sesgo de los experimentadores, los investigadores frecuentemente realizan experimentos en los que los investigadores son ciegos a la condición. Esto significa que aunque los experimentadores conocen las hipótesis de investigación, no saben a qué condiciones están asignados los participantes. El sesgo del experimentador no puede ocurrir si el investigador es ciego a la condición. En un experimento doble ciego, tanto el investigador como los participantes de la investigación son ciegos a la condición. Por ejemplo, en un ensayo doble ciego de un medicamento, el investigador desconoce si el medicamento que se administra es el medicamento real o el placebo ineficaz, y los pacientes tampoco saben cuál están recibiendo. Los experimentos de doble ciego eliminan el potencial de efectos del experimentador y al mismo tiempo eliminan los efectos de expectativa de los participantes.

Si bien la validez interna se refiere a las conclusiones extraídas sobre eventos ocurridos dentro del experimento, la validez externa se refiere a la medida en que los resultados de un diseño de investigación pueden generalizarse más allá de la forma específica en que se realizó el experimento original. La generalización se refiere a la medida en que las relaciones entre variables conceptuales pueden demostrarse en una amplia variedad de personas y una amplia variedad de variables manipuladas o medidas.

Los psicólogos que utilizan a estudiantes universitarios como participantes en su investigación pueden estar preocupados por la generalización, preguntándose si su investigación generalizará a personas que no son estudiantes universitarios. Y los investigadores que estudian los comportamientos de los empleados de una empresa pueden preguntarse si los mismos hallazgos se traducirían a otras empresas. Siempre que haya razones para sospechar que un resultado encontrado para una muestra de participantes no aguantaría para otra muestra, entonces se pueden realizar investigaciones con estas otras poblaciones para probar la generalización.

Recientemente, muchos psicólogos se han interesado en probar hipótesis sobre la medida en que un resultado se replicará a través de personas de diferentes culturas (Heine, 2010). Por ejemplo, un investigador podría probar si los efectos sobre la agresión de ver videojuegos violentos son los mismos para los niños japoneses que para los niños canadienses al mostrar películas violentas y no violentas a una muestra de escolares japoneses y canadienses. Si los resultados son los mismos en ambas culturas, entonces decimos que los resultados se han generalizado, pero si son diferentes, entonces hemos aprendido una condición limitante del efecto (ver Tabla 3.5, “Una replicación transcultural”).

Cuadro 3.5 A Replicación transcultural.

Canadá	Japón	Comportamiento del juego
Comportamiento más agresivo observado	???	Juegos Violentos
Comportamiento menos agresivo observado	???	Juegos Noviolentos
Fuente: Adaptado por J. Walinga.

En una replicación transcultural, se observa validez externa si los mismos efectos que se han encontrado en un cultivo se replican en otro cultivo. Si no se replican en la nueva cultura, entonces se encuentra una condición limitante de los resultados originales.

A menos que el investigador tenga una razón específica para creer que la generalización no se mantendrá, es apropiado suponer que un resultado encontrado en una población (aunque esa población sea universitarios o universitarios) generalizará a otras poblaciones. Debido a que el investigador nunca puede demostrar que los resultados de la investigación se generalizan a todas las poblaciones, no se espera que el investigador intente hacerlo. Más bien, la carga de la prueba recae en quienes afirman que un resultado no generalizará.

Debido a que cualquier prueba única de una hipótesis de investigación siempre estará limitada en términos de lo que pueda mostrar, avances importantes en la ciencia nunca son el resultado de un solo proyecto de investigación. Los avances ocurren a través de la acumulación de conocimiento que proviene de muchas pruebas diferentes de una misma teoría o hipótesis de investigación. Estas pruebas son realizadas por diferentes investigadores utilizando diferentes diseños de investigación, participantes y operacionalizaciones de las variables independientes y dependientes. El proceso de repetición de investigaciones previas, que forma la base de toda investigación científica, se conoce como replicación.

Los científicos suelen utilizar un procedimiento conocido como metaanálisis para resumir las réplicas de los hallazgos de la investigación. Un metaanálisis es una técnica estadística que utiliza los resultados de estudios existentes para integrar y sacar conclusiones sobre dichos estudios. Debido a que los metaanálisis proporcionan tanta información, son formas muy populares y útiles de resumir la literatura de investigación.

Un metaanálisis proporciona un método relativamente objetivo para revisar los hallazgos de la investigación porque a) especifica criterios de inclusión que indican exactamente qué estudios se incluirán o no en el análisis, (b) busca sistemáticamente todos los estudios que cumplan con los criterios de inclusión, y (c) proporciona una medida objetiva de la fuerza de las relaciones observadas. Frecuentemente, los investigadores también incluyen —si pueden encontrarlos— estudios que no han sido publicados en revistas.

La psicología en la vida cotidiana: evaluación crítica de la validez de los sitios web

Es probable que la validez de los informes de investigación publicados en revistas científicas sea alta debido a que las hipótesis, métodos, resultados y conclusiones de la investigación han sido rigurosamente evaluadas por otros científicos, a través de la revisión por pares, antes de que se publicara la investigación. Por esta razón, querrás usar artículos de revistas revisados por pares como tu principal fuente de información sobre investigación psicológica.

Aunque los artículos de investigación son el estándar de oro para la validez, también es posible que necesite y desee obtener al menos alguna información de otras fuentes. Internet es una vasta fuente de información de la que se puede aprender de casi cualquier cosa, incluida la psicología. Los motores de búsqueda, como Google o Yahoo! — traer cientos o miles de visitas sobre un tema, y enciclopedias en línea, como Wikipedia, proporcionan artículos sobre temas relevantes.

Aunque naturalmente usarás la web para ayudarte a encontrar información sobre campos como la psicología, también debes darte cuenta de que es importante evaluar cuidadosamente la validez de la información que obtienes de la web. Debe tratar de distinguir la información que se basa en la investigación empírica de la información que se basa en la opinión, y entre datos válidos e inválidos. El siguiente material puede ser útil para aprender a hacer estas distinciones.

Las técnicas para evaluar la validez de los sitios web son similares a las que se aplican para evaluar cualquier otra fuente de información. Pregunta primero sobre la fuente de la información. ¿El dominio es una entidad “.com” o “.ca” (negocio), “.gov” (gobierno) u “.org” (sin fines de lucro)? Esta información puede ayudarle a determinar el propósito del autor (u organización) en la publicación del sitio web. Trate de determinar de dónde proviene la información. ¿Se están resumiendo los datos a partir de fuentes objetivas, como artículos de revistas o agencias académicas o gubernamentales? ¿Parece que el autor está interpretando la información de la manera más objetiva posible, o los datos se interpretan para sustentar un punto de vista particular? Considere qué grupos, individuos e intereses políticos o comerciales pueden obtener del sitio. ¿El sitio web es potencialmente parte de un grupo de defensa cuyas páginas web reflejan las posiciones particulares del grupo? El material del sitio de cualquier grupo puede ser útil, pero trate de estar al tanto de los propósitos del grupo y posibles sesgos.

También, pregunte si los propios autores parecen o no ser una fuente confiable de información. ¿Tienen cargos en una institución académica? ¿Tienen publicaciones revisadas por pares en revistas científicas? Muchas páginas web útiles aparecen como parte de los sitios organizacionales y reflejan el trabajo de esa organización. Puedes estar más seguro de la validez de la información si es patrocinada por alguna organización profesional, como la Asociación Canadiense de Psicología o la Asociación Canadiense de Salud Mental.

Tratar de verificar la exactitud del material y discernir si las fuentes de información parecen actuales. ¿Se cita la información para que la puedas leer en su forma original? Los sitios web de buena reputación probablemente se vincularán a otras fuentes acreditadas, como artículos de revistas y libros académicos. Trate de verificar la exactitud de la información leyendo por lo menos algunas de estas fuentes usted mismo.

Es justo decir que todos los autores, investigadores y organizaciones tienen al menos algún sesgo y que la información de cualquier sitio puede ser inválida. Pero el buen material intenta ser justo al reconocer otras posibles posiciones, interpretaciones o conclusiones. Un examen crítico de la naturaleza de los sitios web que navega para obtener información te ayudará a determinar si la información es válida y te dará más confianza en la información que tomes de ella.

Conclusiones clave

• Se dice que la investigación es válida cuando las conclusiones extraídas por el investigador son legítimas. Debido a que toda investigación tiene el potencial de ser inválida, ninguna investigación jamás “prueba” una teoría o hipótesis de investigación.
• La validez de constructo, la validez de conclusión estadística, la validez interna y la validez externa son todos los tipos de validez que deben conocer las personas que leen e interpretan la investigación.
• La validez de constructo se refiere al aseguramiento de que las variables medidas miden adecuadamente las variables conceptuales.
• La validez de la conclusión estadística se refiere a la certeza de que las inferencias sobre significancia estadística son apropiadas.
• La validez interna se refiere a la seguridad de que la variable independiente ha causado la variable dependiente. La validez interna es mayor cuando se reducen o eliminan las variables de confusión.
• La validez externa es mayor cuando los efectos pueden replicarse en diferentes manipulaciones, medidas y poblaciones. Los científicos utilizan metaanálisis para comprender mejor la validez externa de la investigación.

Ejercicios y Pensamiento Crítico

1. The Pepsi-Cola Company, ahora PepsiCo Inc., llevó a cabo el “Pepsi Challenge” asignando aleatoriamente individuos para probar una Pepsi o una Coca-Cola. Los investigadores etiquetaron los vasos con solo una “M” (para Pepsi) o una “Q” (para Coca-Cola) y pidieron a los participantes que calificaran cuánto les gustaba la bebida. La investigación mostró que los sujetos preferían abrumadoramente el vidrio “M” sobre el vidrio “Q”, y los investigadores concluyeron que Pepsi era preferido a la Coca-Cola. ¿Se puede decir qué variable de confusión está presente en este diseño de investigación? ¿Cómo rediseñarías la investigación para eliminar el confundio?
2. Localizar un reporte de investigación de un metaanálisis. Determinar los criterios que se utilizaron para seleccionar los estudios e informar sobre los hallazgos de la investigación.

Referencias

Campbell, D. T., & Stanley, J. C. (1963). Diseños experimentales y cuasi-experimentales para investigación. Chicago: Rand McNally.

Heine, S. J. (2010). Psicología cultural. En S. T. Fiske, D. T. Gilbert, & G. Lindzey (Eds.), Manual de psicología social (5ª ed., Vol. 2, pp. 1423—1464). Hoboken, Nueva Jersey: John Wiley & Hijos.

Nunnally, J. C. (1978). Teoría pischométrica. Nueva York, NY: McGraw-Hill.

Rosenthal, R., & Fode, K. L. (1963). Efecto del sesgo experimentador sobre el desempeño de la rata albina. Ciencias del Comportamiento, 8, 183—189.

Stangor, C. (2011). Métodos de investigación para las ciencias del comportamiento (4ª ed.). Mountain View, CA: Cengage.

Colaboradores y Atribuciones

• Introducción a la Psicología por Jorden A. Cummings & Lee Sanders está bajo una Licencia Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional, excepto cuando se indique lo contrario.
• Refiérase a Atribuciones del Capítulo Fuente para obtener más detalles