5.1: Diferencias en la significancia

Última actualización
Guardar como PDF

Page ID: 150639

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

“Comparamos los tratamientos A y B con un placebo. El tratamiento A mostró un beneficio significativo sobre el placebo, mientras que el tratamiento B no tuvo ningún beneficio estadísticamente significativo. Por lo tanto, el tratamiento A es mejor que el tratamiento B.”

Escuchamos esto todo el tiempo. Es una manera fácil de comparar medicamentos, intervenciones quirúrgicas, terapias y resultados experimentales. Es sencillo. Parece que tiene sentido.

Sin embargo, una diferencia de significancia no siempre hace una diferencia significativa. ²²

Una razón es la naturaleza arbitraria del\(p<0.05\) corte. Podríamos obtener dos resultados muy similares, con\(p=0.04\) y\(p=0.06\), y decir erróneamente que son claramente diferentes entre sí simplemente porque caen en lados opuestos del corte. La segunda razón es que\(p\) los valores no son medidas del tamaño del efecto, por lo que\(p\) valores similares no siempre significan efectos similares. No obstante, dos resultados con significancia estadística idéntica pueden contradecirse entre sí.

En cambio, piensa en el poder estadístico. Si comparamos nuestros nuevos medicamentos experimentales Fixitol y Solvix con un placebo pero no tenemos suficientes sujetos de prueba para darnos un buen poder estadístico, entonces es posible que no nos demos cuenta de sus beneficios. Si tienen efectos idénticos pero nosotros solo tenemos\(50\)% de potencia, entonces hay una buena probabilidad digamos que Fixitol tiene beneficios significativos y Solvix no. Vuelva a ejecutar el juicio, y es igual de probable que Solvix parezca beneficioso y Fixitol no.

En lugar de comparar independientemente cada medicamento con el placebo, debemos compararlos entre sí. Podemos probar la hipótesis de que son igualmente efectivos, o podemos construir un intervalo de confianza para el beneficio extra de Fixitol sobre Solvix. Si el intervalo incluye cero, entonces podrían ser igualmente efectivos; si no lo hace, entonces un medicamento es un claro ganador. Esto no mejora nuestro poder estadístico, pero sí evita la falsa conclusión de que los medicamentos son diferentes. Nuestra tendencia a buscar una diferencia de significancia debe ser reemplazada por una verificación de la significación de la diferencia.

Abundan ejemplos de este error en la literatura común y en las noticias. Una gran proporción de artículos en neurociencia, por ejemplo, cometen el error. ⁴⁴ También podrías recordar un estudio hace unos años que sugería que los hombres con hermanos mayores más biológicos tienen más probabilidades de ser homosexuales. ⁹ ¿Cómo llegaron a esta conclusión? ¿Y por qué hermanos mayores y no hermanas mayores?

Los autores explican su conclusión señalando que realizaron un análisis de diversos factores y su efecto en la homosexualidad. Solo el número de hermanos mayores tuvo un efecto estadísticamente significativo; el número de hermanas mayores, o el número de hermanos mayores no biológicos, no tuvieron ningún efecto estadísticamente significativo.

Pero como hemos visto, eso no garantiza que haya una diferencia significativa entre los efectos de hermanos mayores y hermanas mayores. De hecho, echando un vistazo más de cerca a los datos, parece que no hay diferencia estadísticamente significativa entre el efecto de hermanos mayores y hermanas mayores. Desafortunadamente, no se publicaron suficientes datos en el artículo para permitir un cálculo directo. ²²