12.3: La lógica del diseño experimental

Objetivos de aprendizaje

• Aplicar los criterios de causalidad al diseño experimental
• Definir validez interna y validez externa
• Identificar amenazas a la validez

Como comentamos al inicio de este capítulo, el diseño experimental es comúnmente entendido e implementado de manera informal en la vida cotidiana. Probar un nuevo restaurante, salir con una nueva persona, a menudo denominamos estos experimentos. Como has aprendido en las dos últimas secciones, para que algo sea un verdadero experimento, o incluso un cuasi- o pre-experimento, debes aplicar rigurosamente los diversos componentes del diseño experimental. Un verdadero experimento para probar un nuevo restaurante incluiría el reclutamiento de una muestra lo suficientemente grande, asignación aleatoria a grupos de control y experimentales, pretesting y posttesting, así como el uso de medidas de satisfacción claramente y objetivamente definidas con el restaurante.

Los científicos sociales utilizan este nivel de rigor y control porque intentan maximizar la validez interna de su experimento. La validez interna es la confianza que tienen los investigadores sobre si su intervención produjo variación en su variable dependiente. Por lo tanto, los experimentos son intentos de establecer la causalidad entre dos variables: su tratamiento y su resultado previsto. Como hablamos en el Capítulo 7, las relaciones causales nomotéticas deben establecer cuatro criterios: covariación, plausibilidad, temporalidad y falta de espuria.

El diseño experimental de lógica y rigor permite establecer relaciones causales. Los experimentadores pueden evaluar la covariación de la variable dependiente a través de pruebas previas y posteriores. El uso de condiciones experimentales y de control asegura que algunas personas reciban la intervención y otras no, aportando variación en la variable independiente. Además, dado que la investigadora controla cuándo se administra la intervención, puede estar segura de que los cambios en la variable independiente (el tratamiento) ocurrieron antes que los cambios en la variable dependiente (el resultado). De esta manera, los experimentos aseguran la temporalidad. En nuestro experimento de restaurante, sabríamos a través de asignación de grupos experimentales y de control que las personas variaban en el restaurante al que asistían. También sabríamos si su nivel de satisfacción cambió, medido por el pre- y posttest. También sabríamos que los cambios en la satisfacción de nuestros comensales ocurrieron después de que salieron del restaurante, no antes de que entraran por la prueba previa y posterior.

Los experimentadores también tendrán una razón plausible por la que su intervención provocaría cambios en la variable dependiente. Por lo general, una teoría o evidencia empírica previa debe indicar el potencial de una relación causal. Quizás encontramos una encuesta nacional que encontró el tipo de comida que nuestro restaurante experimental sirvió, digamos pizza, es la comida más popular en América. Quizás este restaurante tenga buenas críticas en Yelp o Google. Esta evidencia nos daría una razón plausible para establecer nuestro restaurante como causante de satisfacción.

Si bien es posible que no necesite un traje limpio como estos científicos, debe controlar de manera similar las amenazas a la validez de su experimento.

Una de las características más importantes de los experimentos es que permiten a los investigadores eliminar variables espurias. Los verdaderos experimentos generalmente se llevan a cabo bajo condiciones de laboratorio estrictamente controladas. La intervención se debe dar de la misma manera a cada persona, con un número mínimo de otras variables que puedan hacer que cambien sus puntuaciones posttest. En nuestro ejemplo de restaurante, este nivel de control podría resultar difícil. No podemos controlar cuánta gente está esperando una mesa, si los participantes vieron a alguien famoso ahí, o si hay mal tiempo. Cualquiera de estos factores podría hacer que un comensal esté menos satisfecho con su comida. Estas variables espurias pueden provocar cambios en la satisfacción que no tienen nada que ver con el propio restaurante, un problema importante en la investigación del mundo real. Por esta razón, los experimentos que utilizan el ambiente de laboratorio intentan controlar tantos aspectos del proceso de investigación como sea posible. Los investigadores en experimentos grandes a menudo emplean médicos u otro personal de investigación para ayudarlos. Los investigadores capacitan exhaustivamente a sus miembros del personal, brindan respuestas prescriptas a preguntas comunes y controlan el entorno físico del laboratorio para que cada persona que participe reciba exactamente el mismo tratamiento.

Los investigadores experimentales también documentan sus procedimientos, para que otros puedan revisar qué tan bien controlaron para variables espurias. Mi ejemplo favorito de este concepto son los experimentos de Bruce Alexander's Rat Park (1981) porque hablaba directamente a mi práctica como trabajadora social de abuso de sustancias y salud mental. ^[1] Gran parte de la investigación inicial realizada sobre drogas adictivas, como la heroína y la cocaína, se realizó en animales distintos a los humanos, generalmente ratones o ratas. Si bien esto puede parecer extraño, los sistemas de nuestros parientes mamíferos son lo suficientemente similares a los humanos como para que se puedan hacer inferencias causales a partir de estudios en animales a estudios en humanos. Ciertamente no es ético hacer deliberadamente que los humanos se vuelvan adictos a la cocaína y la midan durante semanas en un laboratorio, pero actualmente es más éticamente aceptable hacerlo con animales. Existen procesos éticos específicos para la investigación animal, similares a una revisión del IRB.

El consenso científico hasta los experimentos de Alexander era que la cocaína y la heroína eran tan adictivas que las ratas, si se les ofrecían las drogas, las consumirían repetidamente hasta que perecieran. Los investigadores afirmaron que este comportamiento explicaba cómo funcionaba la adicción en los humanos, pero Alexander no estaba tan seguro. Sabía que las ratas eran animales sociales y el procedimiento experimental de experimentos anteriores no les permitía socializar. En cambio, las ratas se mantuvieron aisladas en jaulas pequeñas con solo comida, agua y paredes metálicas. Para Alexander, el aislamiento social era una variable espuria, provocando cambios en la conducta adictiva no por la propia droga. Alexander creó un experimento propio, en el que a las ratas se les permitía correr libremente en un ambiente interesante, socializar y aparearse con otras ratas, y por supuesto, beber de una solución que contenía una droga adictiva. En este ambiente, las ratas no se volvieron irremediablemente adictas a las drogas. De hecho, tenían poco interés en la sustancia.

A Alexander, los resultados de su experimento demostraron que el aislamiento social era más un factor causal para la adicción que la propia droga. Esto tiene sentido intuitivo para mí. Si estuviera en celda de aislamiento la mayor parte de mi vida, la fuga de una droga adictiva me parecería más tentadora que si estuviera en mi entorno natural con amigos, familiares y actividades. Un desafío con los hallazgos de Alexander es que los investigadores posteriores han tenido un éxito mixto replicando sus hallazgos (por ejemplo, Petrie, 1996; Solinas, Thiriet, El Rawas, Lardeux, & Jaber, 2009). ^[2] La replicación implica realizar el experimento de otro investigador de la misma manera y ver si produce los mismos resultados. Si la relación causal es real, debería ocurrir en todas (o al menos la mayoría) de las repeticiones del experimento.

Una de las características definitorias de los experimentos es que reportan sus procedimientos diligentemente, lo que permite una replicación más fácil. Recientemente, investigadores del Proyecto Reproducibilidad han causado una controversia significativa en campos de las ciencias sociales como la psicología (Open Science Collaboration, 2015). ^[3] En un estudio, los investigadores intentaron reproducir los resultados de 100 experimentos publicados en las principales revistas de psicología entre 2008 y la actualidad. Lo que encontraron fue impactante. Los resultados de solo 36% de los estudios fueron reproducibles. A pesar de coordinar estrechamente con los investigadores originales, el Proyecto de Reproducibilidad encontró que casi dos tercios de los experimentos de psicología publicados en revistas respetadas no eran reproducibles. Las implicaciones del Proyecto de Reproducibilidad son asombrosas, y los científicos sociales están ideando nuevas formas de garantizar que los investigadores no seleccionen datos ni cambien sus hipótesis, simplemente para publicarlos.

Volviendo al estudio de Alexander's Rat Park, considere cuáles fueron las implicaciones de su experimento para un profesional del abuso de sustancias como yo. Las conclusiones que sacó de sus experimentos con ratas estaban destinadas a generalizar a la población de personas con trastornos por consumo de sustancias con las que trabajé. Los experimentos buscan establecer la validez externa, que es el grado en que sus conclusiones se generalizan a poblaciones más grandes y diferentes situaciones. Alexander argumenta que sus conclusiones sobre la adicción y el aislamiento social nos ayudan a entender por qué las personas que viven en entornos privados y aislados a menudo se volverán adictas a las drogas con más frecuencia que las de entornos más enriquecedores. De igual manera, investigadores de ratas anteriores argumentaron que sus resultados mostraron que estas drogas eran instantáneamente adictivas, a menudo hasta el punto de la muerte.

Ninguno de los estudios coincidirá perfectamente con la vida real. Conocí en mi práctica a muchos individuos que pueden haber encajado en el modelo de aislamiento social de Alexander, pero los aislamientos sociales para humanos son complejos. Mis clientes vivían en ambientes con otros humanos sociables, trabajaban en trabajos y tenían relaciones románticas, entonces, ¿qué tan aislados estaban? Por otro lado, muchos enfrentaron racismo estructural, pobreza, trauma y otros desafíos que pueden contribuir al aislamiento social. El trabajo de Alexander me ayudó a entender parte de las experiencias de mis clientes, pero la explicación estaba incompleta. El mundo real era mucho más complicado que las condiciones experimentales en Rat Park, así como los humanos son más complejos que las ratas.

Los trabajadores sociales están especialmente atentos a cómo el contexto social da forma a la vida social. Entonces, es probable que señalemos una desventaja específica de los experimentos. Son más bien artificiales. ¿Con qué frecuencia ocurren las interacciones sociales del mundo real de la misma manera que en un laboratorio? Los experimentos que se realizan en entornos comunitarios pueden no estar tan sujetos a la artificialidad, aunque entonces sus condiciones son menos fáciles de controlar. Esta relación demuestra la tensión entre validez interna y externa. Cuanto más los investigadores controlen estrechamente el entorno para garantizar la validez interna, menos podrán reclamar validez externa y que sus resultados sean aplicables a diferentes poblaciones y circunstancias. Correspondientemente, los investigadores cuyos entornos sean como el mundo real serán menos capaces de asegurar la validez interna, ya que hay muchos factores que podrían contaminar el proceso de investigación. Esto no es para sugerir que la investigación experimental no pueda tener validez externa, pero los investigadores experimentales siempre deben ser conscientes de que pueden ocurrir problemas de validez externa y ser próximos en sus informes de hallazgos sobre esta posible debilidad.

Amenazas a la validez

La validez interna y la validez externa están conceptualmente vinculadas. La validez interna se refiere al grado en que la intervención provoca sus resultados previstos, y la validez externa se refiere a qué tan bien se aplica esa relación a diferentes grupos y circunstancias. Hay una serie de factores que pueden influir en la validez de un estudio. Podrían considerar estas amenazas a todos como variables espurias, como ya comentamos al inicio de esta sección. Cada amenaza propone otro factor que está cambiando la relación entre intervención y desenlace. Las amenazas introducen error y sesgo en el experimento.

A lo largo de este capítulo, se revisó la importancia de los grupos experimentales y de control. Estos grupos deben ser comparables para que el diseño experimental funcione. Los grupos comparables son grupos que son similares a través de factores importantes para el estudio. Los investigadores pueden ayudar a establecer grupos comparables mediante el uso de muestreo probabilístico, asignación aleatoria o técnicas de emparejamiento. Los grupos de control o comparación proporcionan un contrafecto: ¿qué habría pasado con mi grupo experimental si no les hubiera dado mi intervención? Dos grupos muy diferentes no le permitirían responder a esa pregunta. Intuitivamente, todos sabemos que no hay dos personas exactamente iguales. Entonces, ningún grupo es siempre perfectamente comparable. Lo importante es asegurar que los grupos sean comparables a lo largo de las variables relevantes para el proyecto de investigación.

En nuestro ejemplo de restaurante, si uno de mis grupos tuviera muchos más vegetarianos o personas con problemas de gluten, podría influir en lo satisfechos que estaban con mi restaurante. Mis grupos, en ese caso, no serían comparables. Los investigadores también dan cuenta de esto midiendo otras variables, como la preferencia dietética, y controlando sus efectos estadísticamente, después de recolectar los datos. Se discutieron variables de control como estas en el Capítulo 7. De igual manera, si escogiera gente que pensaba que me gustaría mucho mi restaurante y los asignara al grupo experimental, estaría introduciendo sesgos de selección en mi muestra. Esta es otra razón por la que los experimentadores utilizan la asignación aleatoria, por lo que el sesgo consciente e inconsciente no influye a qué grupo se le asigna un participante.

Los propios experimentadores suelen ser la fuente de amenazas a la validez. Pueden elegir medidas que no midan con precisión a los participantes o implementar la medida de manera que sesgue las respuestas de los participantes en una dirección u otra. Los investigadores pueden, solo por el acto mismo de realizar un experimento, influir en los participantes para que se desempeñen de manera diferente. Los experimentos son diferentes de las rutinas normales de los participantes. La novedad de un ambiente de investigación o tratamiento experimental puede hacer que esperen sentirse de manera diferente, independientemente de la intervención real. Probablemente hayas oído hablar del efecto placebo, en el que un participante se siente mejor, a pesar de no haber recibido ninguna intervención en absoluto.

Los investigadores también pueden introducir errores al esperar que los participantes de cada grupo se comporten de manera diferente. Para el grupo experimental, los investigadores pueden esperar que se sientan mejor y pueden dar señales conscientes o inconscientes a los participantes que influyen en sus resultados. Se espera que a los grupos de control les vaya peor, y el personal investigador podría indicar a los participantes que deberían sentirse peor de lo que de otra manera lo harían. Por esta razón, los investigadores suelen utilizar diseños de doble ciego en los que el personal investigador que interactúa con los participantes desconoce quién está en el grupo de control o experimental. También es necesaria una adecuada capacitación y supervisión para dar cuenta de estas y otras amenazas a la validez. Si no se aplica la supervisión adecuada, el personal investigador que administra el grupo de control puede intentar igualar el tratamiento o participar en una rivalidad con el personal investigador que administra el grupo experimental (Engel & Schutt, 2016). ^[4]

No importa cuán estrechamente controle el investigador el experimento, los participantes son humanos y, por lo tanto, son criaturas curiosas que resuelven problemas. Los participantes que aprenden que están en el grupo de control pueden reaccionar tratando de superar al grupo experimental o desmoralizándose. En cualquier caso, sus resultados en el estudio serían diferentes si no estuvieran al tanto de su asignación grupal. Los participantes en el grupo experimental pueden comenzar a comportarse de manera diferente o compartir ideas de la intervención con individuos en el grupo control. Ya sea a través del aprendizaje social o la conversación, los participantes en el grupo de control pueden recibir partes de la intervención de las que se suponía que desconocían. Los experimentadores, como resultado, intentan mantener los grupos experimentales y de control lo más separados posible. Dentro de un estudio de laboratorio, esto es significativamente más fácil ya que los investigadores controlan el acceso y el tiempo en las instalaciones. En la investigación basada en agencias, este problema es más complicado. Si tu intervención es buena, tus participantes en el grupo experimental pueden impactar al grupo de control al comportarse de manera diferente y compartir las ideas que han aprendido con sus compañeros. Los investigadores basados en la agencia pueden ubicar condiciones experimentales y de control en consultorios separados con personal de tratamiento separado para minimizar la interacción entre sus participantes.

Claves para llevar

• El diseño experimental proporciona a los investigadores la capacidad de establecer mejor la causalidad entre sus variables.
• Los experimentos proporcionan una fuerte validez interna pero pueden tener problemas para lograr la validez externa.
• Los deigns experimentales deben ser reproducibles por futuros investigadores.
• Las amenazas a la validez provienen de la reactividad tanto del experimentador como del participante.

Glosario

• Grupos comparables- grupos que son similares a través de factores importantes para el estudio
• Doble ciego: cuando los investigadores interactúan con los participantes desconocen quién está en el grupo control o experimental
• Validez externa- el grado en que las conclusiones experimentales se generalizan a poblaciones más grandes y diferentes situaciones
• Validez interna- la confianza que tienen los investigadores sobre si su intervención produjo variación en su variable dependiente
• Efecto placebo- cuando un participante se siente mejor, a pesar de no haber recibido ninguna intervención
• Replicación: realizar el experimento de otro investigador de la misma manera y ver si produce los mismos resultados
• Sesgo de selección: cuando un investigador influye consciente o inconscientemente en la asignación a grupos experimentales y de control

Atribuciones de imagen

Uno de los paneles solares de Juno antes de la prueba de iluminación por NASA/Jack Pfaller dominio público

error de Tumisu CC-0

---

1. Alexander, B. (2010). Adicción: La vista desde el parque de ratas. Recuperado de: http://www.brucekalexander.com/articles-speeches/rat-park/148-addiction-the-view-from-rat-park
   
2. Petrie, B. F. (1996). El ambiente no es la variable más importante para determinar el consumo oral de morfina en ratas Wistar. Informes psicológicos, 78 (2), 391-400.; Solinas, M., Thiriet, N., El Rawas, R., Lardeux, V., & Jaber, M. (2009). El enriquecimiento ambiental durante las primeras etapas de la vida reduce los efectos conductuales, neuroquímicos y moleculares de la cocaína. Neuropsicofarmacología, 34 (5), 1102.
   
3. Colaboración en Ciencia Abierta. (2015). Estimación de la reproducibilidad de la ciencia psicológica. Ciencia, 349 (6251), aac4716.
   
4. Engel, R. J. & Schutt, R. K. (2016). La práctica de la investigación en el trabajo social (4ª ed.) . Washington, DC: SAGE Publishing.