2.6: Evaluar la validez de un estudio
- Page ID
- 151413
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)Más que cualquier otra cosa, un científico quiere que su investigación sea “válida”. La idea conceptual detrás de la validez es muy sencilla: ¿puedes confiar en los resultados de tu estudio? De no ser así, el estudio no es válido. Sin embargo, si bien es fácil de afirmar, en la práctica es mucho más difícil verificar la validez que verificar la confiabilidad. Y con toda honestidad, no existe una noción precisa, claramente acordada de lo que realmente es la validez. De hecho, hay muchos tipos diferentes de validez, cada uno de los cuales plantea sus propios temas, y no todas las formas de validez son relevantes para todos los estudios. Voy a hablar de cinco tipos diferentes:
- Validez interna
- Vigencia externa
- Validez de constructo
- Validez facial
- Validez ecológica
Para darte una guía rápida sobre lo que importa aquí... (1) La validez interna y externa son lo más importante, ya que ligan directamente a la cuestión fundamental de si tu estudio realmente funciona. (2) La validez de constructo pregunta si estás midiendo lo que piensas que eres. (3) La validez facial no es terriblemente importante excepto en la medida en que te preocupen por las “apariencias”. (4) La validez ecológica es un caso especial de validez facial que corresponde a un tipo de apariencia que podría interesarte mucho.
Validez interna
La validez interna se refiere a la medida en que usted es capaz de sacar las conclusiones correctas sobre las relaciones causales entre variables. Se llama “interna” porque se refiere a las relaciones entre las cosas “dentro” del estudio. Ilustremos el concepto con un ejemplo sencillo. Supongamos que te interesa saber si una educación universitaria te hace escribir mejor. Para ello, obtienes un grupo de alumnos de primer año, les pides que escriban un ensayo de 1000 palabras, y cuentas el número de errores ortográficos y gramaticales que cometen. Entonces encuentras a algunos alumnos de tercer año, que obviamente han tenido más educación universitaria que los primeros años, y repiten el ejercicio. Y supongamos que resulta que los alumnos de tercer año producen menos errores. Y entonces concluyes que una educación universitaria mejora las habilidades de escritura. ¿Verdad? Excepto... el gran problema que tienes con este experimento es que los estudiantes de tercer año son mayores, y han tenido más experiencia escribiendo cosas. Entonces es difícil saber con certeza cuál es la relación causal: ¿Las personas mayores escriben mejor? ¿O personas que han tenido más experiencia en escritura? ¿O personas que han tenido más educación? ¿Cuál de los anteriores es la verdadera causa del desempeño superior de los terceros años? ¿Edad? ¿Experiencia? ¿Educación? No se puede decir. Este es un ejemplo de una falla de validez interna, porque su estudio no desarticula adecuadamente las relaciones causales entre las diferentes variables.
Vigencia externa
La validez externa se relaciona con la generalización de sus hallazgos. Es decir, en qué medida esperas ver el mismo patrón de resultados en la “vida real” que viste en tu estudio. Para decirlo un poco más precisamente, cualquier estudio que hagas en psicología implicará un conjunto bastante específico de preguntas o tareas, ocurrirá en un entorno específico, e involucrará a participantes que sean extraídos de un subgrupo en particular. Entonces, si resulta que los resultados en realidad no se generalizan a las personas y situaciones más allá de las que estudiaste, entonces lo que tienes es una falta de validez externa.
El ejemplo clásico de este número es el hecho de que una proporción muy grande de los estudios en psicología utilizará como participantes a estudiantes de licenciatura en psicología. Obviamente, sin embargo, a los investigadores no les importan sólo los estudiantes de psicología; se preocupan por la gente en general. Dado eso, un estudio que utiliza únicamente a estudiantes de psicología como participantes siempre conlleva el riesgo de carecer de validez externa. Es decir, si hay algo “especial” en los estudiantes de psicología que los hace diferentes a la población general en algún aspecto relevante, entonces podemos empezar a preocuparnos por la falta de validez externa.
Dicho esto, es absolutamente crítico darse cuenta de que un estudio que utiliza únicamente estudiantes de psicología no necesariamente tiene un problema de validez externa. Volveré a hablar de esto más tarde, pero es un error tan común que voy a mencionarlo aquí. La validez externa se ve amenazada por la elección de la población si (a) la población de la que muestreas a tus participantes es muy estrecha (por ejemplo, estudiantes de psicología), y (b) la población estrecha de la que tomaste muestras es sistemáticamente diferente de la población general, en algún aspecto eso es relevante al fenómeno psicológico que pretendes estudiar. La parte en cursiva es lo que mucha gente olvida: es cierto que los estudiantes universitarios de psicología difieren de la población general en muchos sentidos, por lo que un estudio que utiliza solo estudiantes de psicología puede tener problemas de validez externa. No obstante, si esas diferencias no son muy relevantes para el fenómeno que estás estudiando, entonces no hay nada de qué preocuparte. Para que esto sea un poco más concreto, aquí hay dos ejemplos extremos:
- Quieres medir “actitudes del público en general hacia la psicoterapia”, pero todos tus participantes son estudiantes de psicología. Es casi seguro que este estudio tendría un problema de validez externa.
- Quieres medir la efectividad de una ilusión visual, y tus participantes son todos estudiantes de psicología. Es muy poco probable que este estudio tenga un problema de validez externa
Habiendo pasado el último par de párrafos enfocándose en la elección de los participantes (ya que ese es el gran tema del que a todos les suele preocupar más), vale la pena recordar que la validez externa es un concepto más amplio. Los siguientes son también ejemplos de cosas que podrían representar una amenaza para la validez externa, dependiendo del tipo de estudio que estés haciendo:
- La gente podría responder un “cuestionario de psicología” de una manera que no refleje lo que harían en la vida real.
- Su experimento de laboratorio sobre (digamos) “aprendizaje humano” tiene una estructura diferente a los problemas de aprendizaje que enfrentan las personas en la vida real.
Validez de constructo
La validez de constructo es básicamente una cuestión de si estás midiendo lo que quieres medir. Una medición tiene buena validez de constructo si en realidad está midiendo el constructo teórico correcto, y mala validez de constructo si no lo hace Para dar un ejemplo muy simple (si ridículo), supongamos que estoy tratando de investigar las tasas con las que los estudiantes universitarios hacen trampa en sus exámenes. Y la forma en que intento medirlo es pidiendo a los estudiantes infieles que se pongan de pie en la sala de conferencias para que pueda contarlos. Cuando hago esto con una clase de 300 alumnos, 0 personas afirman ser tramposos. Por lo tanto, concluyo que la proporción de tramposos en mi clase es del 0%. Claramente esto es un poco ridículo. Pero el punto aquí no es que este sea un ejemplo metodológico muy profundo, sino más bien para explicar qué es la validez de constructo. El problema con mi medida es que mientras intento medir “la proporción de personas que hacen trampa” lo que en realidad estoy midiendo es “la proporción de personas lo suficientemente estúpidas como para reconocer que hacen trampa, o lo suficientemente sangrientas como para fingir que lo hacen”. ¡Obviamente, estos no son lo mismo! Entonces mi estudio ha salido mal, porque mi medición tiene muy poca validez de constructo.
Validez facial
La validez facial simplemente se refiere a si una medida “parece” o no está haciendo lo que se supone que debe hacer, nada más. Si diseño una prueba de inteligencia, y la gente la mira y dice “no, esa prueba no mide la inteligencia”, entonces la medida carece de validez facial. Es tan sencillo como eso. Obviamente, la validez facial no es muy importante desde una perspectiva puramente científica. Después de todo, lo que nos importa es si la medida realmente hace o no lo que se supone que debe hacer, no si parece que hace lo que se supone que debe hacer. Como consecuencia, generalmente no nos importa mucho la validez facial. Dicho esto, el concepto de validez facial tiene tres útiles propósitos pragmáticos:
- En ocasiones, un científico experimentado tendrá una “corazonada” de que una medida en particular no funcionará. Si bien este tipo de corazonadas no tienen un valor probatorio estricto, a menudo vale la pena prestarles atención. Porque muchas veces la gente tiene conocimiento que no puede verbalizar del todo, así que podría haber algo de qué preocuparse aunque no puedas decir exactamente por qué. Es decir, cuando alguien en quien confías critica la validez facial de tu estudio, vale la pena tomarte el tiempo para pensar más detenidamente sobre tu diseño para ver si puedes pensar en razones por las que podría salir mal. Eso sí, si no encuentras ningún motivo de preocupación, entonces probablemente no deberías preocuparte: después de todo, la validez de la cara realmente no importa mucho.
- A menudo (muy a menudo), las personas completamente desinformadas también tendrán una “corazonada” de que tu investigación es basura. Y lo van a criticar en internet o algo así. En una inspección minuciosa, a menudo notarás que estas críticas en realidad se centran completamente en cómo “se ve” el estudio, pero no en nada más profundo. El concepto de validez facial es útil para explicar gentilmente a las personas que necesitan fundamentar sus argumentos más a fondo.
- Ampliando el último punto, si las creencias de las personas no capacitadas son críticas (por ejemplo, este suele ser el caso de la investigación aplicada en la que realmente quieres convencer a los políticos de algo u otro) entonces tienes que preocuparte por la validez facial. Simplemente porque —te guste o no— mucha gente usará la validez facial como proxy para una validez real. Si quieres que el gobierno cambie una ley por motivos científicos, psicológicos, entonces no importará lo buenos que sean “realmente” tus estudios. Si les falta validez facial, encontrarás que los políticos te ignoran. Por supuesto, es algo injusto que la política a menudo dependa más de la apariencia que de los hechos, pero así van las cosas.
Validez ecológica
La validez ecológica es una noción diferente de validez, que es similar a la validez externa, pero menos importante. La idea es que, para ser ecológicamente válido, toda la configuración del estudio debe aproximarse de cerca al escenario del mundo real que se está investigando. En cierto sentido, la validez ecológica es una especie de validez facial —se relaciona principalmente con si el estudio “se ve” bien, pero con un poco más de rigor al mismo. Para ser ecológicamente válido, el estudio tiene que verse bien de una manera bastante específica. La idea detrás de esto es la intuición de que un estudio que es ecológicamente válido tiene más probabilidades de ser válido externamente. No es garantía, claro. Pero lo bueno de la validez ecológica es que es mucho más fácil verificar si un estudio es ecológicamente válido que verificar si un estudio es válido externamente. Un ejemplo sencillo serían los estudios de identificación de testigos presenciales. La mayoría de estos estudios tienden a realizarse en un entorno universitario, a menudo con un conjunto bastante simple de caras para mirar en lugar de una línea up. El tiempo que transcurre entre ver al “criminal” y que se le pida que identifique al sospechoso en el “line up” suele ser más corto. El “crimen” no es real, así que no hay posibilidad de que el testigo se asuste, y no hay policías presentes, así que no hay tantas posibilidades de sentirse presionado. Todas estas cosas significan que el estudio definitivamente carece de validez ecológica. Podrían (pero no) significar que también carece de validez externa.