16.8: Pruebas Post Hoc
- Page ID
- 151292
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)Es hora de cambiar a un tema diferente. Supongamos que has hecho tu ANOVA, y resulta que has obtenido algunos efectos significativos. Debido a que las pruebas F son pruebas “ómnibus” que solo prueban realmente la hipótesis nula de que no hay diferencias entre grupos, obtener un efecto significativo no te dice qué grupos son diferentes a cuáles otros. Discutimos este tema en el Capítulo 14, y en ese capítulo nuestra solución fue ejecutar pruebas t para todos los pares de grupos posibles, haciendo correcciones para comparaciones múltiples (por ejemplo, Bonferroni, Holm) para controlar la tasa de error Tipo I en todas las comparaciones. Los métodos que usamos en el Capítulo 14 tienen la ventaja de ser relativamente simples, y ser el tipo de herramientas que puedes usar en muchas situaciones diferentes donde estás probando múltiples hipótesis, pero no son necesariamente las mejores opciones si estás interesado en hacer pruebas post hoc eficientes en un contexto ANOVA. En realidad, existen bastantes métodos diferentes para realizar comparaciones múltiples en la literatura estadística (Hsu 1996), y estaría más allá del alcance de un texto introductorio como este para discutirlos todos con cualquier detalle.
Dicho esto, hay una herramienta a la que sí quiero llamar su atención, a saber, “Honestamente Diferencia Significativa” de Tukey, o HSD de Tukey para abreviar. Por una vez, te ahorro las fórmulas, y solo apegaré a las ideas cualitativas. La idea básica en el HSD de Tukey es examinar todas las comparaciones por pares relevantes entre grupos, y solo es realmente apropiado usar el HSD de Tukey si lo que le interesa son las diferencias por pares. 245 Por ejemplo, en el modelo.2
, donde especificamos un efecto principal para el fármaco y un efecto principal de la terapia, nos interesarían las siguientes cuatro comparaciones:
- La diferencia en el aumento del estado de ánimo para las personas a las que se les administró Anxifree versus
- La diferencia en el aumento del estado de ánimo para las personas que recibieron Joyzepam versus las personas que recibieron el placebo.
- La diferencia en el aumento del estado de ánimo para las personas a las que se les da Anxifree versus las personas a las
- La diferencia en el aumento del estado de ánimo para las personas tratadas con TCC y las personas que no recibieron terapia.
Para cualquiera de estas comparaciones, nos interesa la verdadera diferencia entre medias grupales (poblacionales). El HSD de Tukey construye intervalos de confianza simultáneos para las cuatro comparaciones. Lo que queremos decir con intervalo de confianza “simultáneo” del 95% es que existe una probabilidad del 95% de que todos estos intervalos de confianza contengan el valor verdadero relevante. Además, podemos usar estos intervalos de confianza para calcular un valor de p ajustado para cualquier comparación específica.
La función TukeyHSD ()
en R es bastante fácil de usar: simplemente ingresa el modelo para el que desea ejecutar las pruebas post hoc. Por ejemplo, si estuviéramos buscando ejecutar pruebas post hoc para model.2
, aquí está el comando que usaríamos:
TukeyHSD( model.2 )
## Tukey multiple comparisons of means
## 95% family-wise confidence level
##
## Fit: aov(formula = mood.gain ~ drug + therapy, data = clin.trial)
##
## $drug
## diff lwr upr p adj
## anxifree-placebo 0.2666667 -0.1216321 0.6549655 0.2062942
## joyzepam-placebo 1.0333333 0.6450345 1.4216321 0.0000186
## joyzepam-anxifree 0.7666667 0.3783679 1.1549655 0.0003934
##
## $therapy
## diff lwr upr p adj
## CBT-no.therapy 0.3222222 0.0624132 0.5820312 0.0186602
El resultado aquí es (espero) bastante sencillo. La primera comparación, por ejemplo, es la diferencia Anxifree versus placebo, y la primera parte del resultado indica que la diferencia observada en medias grupales es de .27. Los dos números siguientes indican que el intervalo de confianza del 95% (simultáneo) para esta comparación va de −.12 a .65. Debido a que el intervalo de confianza para la diferencia incluye 0, no podemos rechazar la hipótesis nula de que las dos medias de grupo son idénticas, y así no nos sorprende tanto ver que el valor p ajustado es .21. En contraste, si nos fijamos en la siguiente línea, vemos que la diferencia observada entre Joyzepam y el placebo es de 1.03, y el intervalo de confianza del 95% va de .64 a 1.42. Debido a que el intervalo excluye 0, vemos que el resultado es significativo (p<.001).
Hasta el momento, tan bien. ¿Qué pasa con la situación en la que tu modelo incluye términos de interacción? Por ejemplo, en el modelo.3
permitimos la posibilidad de que exista una interacción entre fármaco y terapia. Si ese es el caso, el número de comparaciones por pares que debemos considerar comienza a aumentar. Como antes, debemos considerar las tres comparaciones que son relevantes para el efecto principal del fármaco
y la única comparación que es relevante para el efecto principal de la terapia
. Pero, si queremos considerar la posibilidad de una interacción significativa (y tratar de encontrar las diferencias grupales que sustentan esa interacción significativa), necesitamos incluir comparaciones como las siguientes:
- La diferencia en el aumento del estado de ánimo para las personas que recibieron Anxifree y tratadas con TCC, versus las personas que recibieron el placebo y tratadas con TCC
- La diferencia en el aumento del estado de ánimo para las personas que recibieron Anxifree y no recibieron terapia, versus las personas que recibieron el placebo y no recibieron terapia.
- etc
Hay bastantes de estas comparaciones que debes considerar. Entonces, cuando ejecutamos el comando TukeyHSD ()
para model.3
vemos que ha hecho muchas comparaciones por pares (19 en total). Aquí está el resultado:
TukeyHSD( model.3 )
## Tukey multiple comparisons of means
## 95% family-wise confidence level
##
## Fit: aov(formula = mood.gain ~ drug * therapy, data = clin.trial)
##
## $drug
## diff lwr upr p adj
## anxifree-placebo 0.2666667 -0.09273475 0.6260681 0.1597148
## joyzepam-placebo 1.0333333 0.67393191 1.3927348 0.0000160
## joyzepam-anxifree 0.7666667 0.40726525 1.1260681 0.0002740
##
## $therapy
## diff lwr upr p adj
## CBT-no.therapy 0.3222222 0.08256504 0.5618794 0.012617
##
## $`drug:therapy`
## diff lwr
## anxifree:no.therapy-placebo:no.therapy 0.10000000 -0.539927728
## joyzepam:no.therapy-placebo:no.therapy 1.16666667 0.526738939
## placebo:CBT-placebo:no.therapy 0.30000000 -0.339927728
## anxifree:CBT-placebo:no.therapy 0.73333333 0.093405606
## joyzepam:CBT-placebo:no.therapy 1.20000000 0.560072272
## joyzepam:no.therapy-anxifree:no.therapy 1.06666667 0.426738939
## placebo:CBT-anxifree:no.therapy 0.20000000 -0.439927728
## anxifree:CBT-anxifree:no.therapy 0.63333333 -0.006594394
## joyzepam:CBT-anxifree:no.therapy 1.10000000 0.460072272
## placebo:CBT-joyzepam:no.therapy -0.86666667 -1.506594394
## anxifree:CBT-joyzepam:no.therapy -0.43333333 -1.073261061
## joyzepam:CBT-joyzepam:no.therapy 0.03333333 -0.606594394
## anxifree:CBT-placebo:CBT 0.43333333 -0.206594394
## joyzepam:CBT-placebo:CBT 0.90000000 0.260072272
## joyzepam:CBT-anxifree:CBT 0.46666667 -0.173261061
## upr p adj
## anxifree:no.therapy-placebo:no.therapy 0.7399277 0.9940083
## joyzepam:no.therapy-placebo:no.therapy 1.8065944 0.0005667
## placebo:CBT-placebo:no.therapy 0.9399277 0.6280049
## anxifree:CBT-placebo:no.therapy 1.3732611 0.0218746
## joyzepam:CBT-placebo:no.therapy 1.8399277 0.0004380
## joyzepam:no.therapy-anxifree:no.therapy 1.7065944 0.0012553
## placebo:CBT-anxifree:no.therapy 0.8399277 0.8917157
## anxifree:CBT-anxifree:no.therapy 1.2732611 0.0529812
## joyzepam:CBT-anxifree:no.therapy 1.7399277 0.0009595
## placebo:CBT-joyzepam:no.therapy -0.2267389 0.0067639
## anxifree:CBT-joyzepam:no.therapy 0.2065944 0.2750590
## joyzepam:CBT-joyzepam:no.therapy 0.6732611 0.9999703
## anxifree:CBT-placebo:CBT 1.0732611 0.2750590
## joyzepam:CBT-placebo:CBT 1.5399277 0.0050693
## joyzepam:CBT-anxifree:CBT 1.1065944 0.2139229
Se ve bastante similar a antes, pero con muchas más comparaciones hechas.