5.2: Cuando se pierden diferencias significativas

El problema puede correr hacia el otro lado. Los científicos juzgan rutinariamente si existe una diferencia significativa simplemente a simple vista, haciendo uso de parcelas como esta:

Figura\(\PageIndex{1}\)

Imagínese que los dos puntos trazados indican el tiempo estimado hasta la recuperación de alguna enfermedad en dos grupos diferentes de pacientes, cada uno con diez pacientes. Hay tres cosas diferentes que esas barras de error podrían representar:

1. La desviación estándar de las mediciones. Calcular qué tan lejos está cada observación del promedio, cuadrar cada diferencia, y luego promediar los resultados y tomar la raíz cuadrada. Esta es la desviación estándar, y mide qué tan dispersas están las mediciones a partir de su media.
2. El error estándar de algún estimador. Por ejemplo, quizás las barras de error son el error estándar de la media. Si tuviera que medir muchas muestras diferentes de pacientes, cada una conteniendo exactamente\(n\) sujetos, puedo estimar que el\(68\)% de los tiempos medios para recuperar que mida estará dentro de un error estándar de tiempo promedio “real” para recuperar. (En el caso de estimar medias, el error estándar es la desviación estándar de las mediciones dividida por la raíz cuadrada del número de mediciones, por lo que la estimación mejora a medida que se obtienen más datos —pero no demasiado rápido). Muchas técnicas estadísticas, como la regresión de mínimos cuadrados, proporcionan estimaciones de error estándar para sus resultados.
3. El intervalo de confianza de algún estimador. Un intervalo de confianza de\(95\)% se construye matemáticamente para incluir el valor verdadero para muestras\(95\) aleatorias de\(100\), por lo que abarca aproximadamente dos errores estándar en cada dirección. (En modelos estadísticos más complicados esto puede no ser exactamente cierto).

Estas tres opciones son todas diferentes. La desviación estándar es una simple medición de mis datos. El error estándar me dice cómo una estadística, como una media o la pendiente de una línea de mejor ajuste, probablemente variaría si tomo muchas muestras de pacientes. Un intervalo de confianza es similar, con una garantía adicional de que\(95\)% de\(95\)% de intervalos de confianza deben incluir el valor “verdadero”.

En la gráfica de ejemplo, tenemos dos\(95\)% de intervalos de confianza que se superponen. Muchos científicos verían esto y concluirían que no hay diferencia estadísticamente significativa entre los grupos. Después de todo, grupos\(1\) y\(2\) tal vez no sean diferentes —el tiempo promedio para recuperarse podría ser\(25\) en ambos grupos, por ejemplo, y las diferencias sólo aparecieron porque el grupo\(1\) tuvo suerte esta vez. Pero, ¿significa esto que la diferencia no es estadísticamente significativa? ¿Cuál sería el valor p?

En este caso,\(p<0.05\). Existe una diferencia estadísticamente significativa entre los grupos, a pesar de que los intervalos de confianza se superponen. \(^{[1]}\)

Desafortunadamente, muchos científicos se saltan las pruebas de hipótesis y simplemente echan un vistazo a las parcelas para ver si los intervalos de confianza Esta es en realidad una prueba mucho más conservadora — exigir intervalos de confianza para no superponerse es similar a requerir\(p<0.01\) en algunos casos. ⁵⁰ Es fácil afirmar que dos medidas no son significativamente diferentes incluso cuando lo son.

Por el contrario, comparar las mediciones con errores estándar o desviaciones estándar también será engañoso, ya que las barras de error estándar son más cortas que las barras de intervalo de confianza. Dos observaciones pueden tener errores estándar que no se superponen y, sin embargo, la diferencia entre las dos no es estadísticamente significativa.

Una encuesta realizada a psicólogos, neurocientíficos e investigadores médicos encontró que la mayoría cometió este simple error, y muchos científicos confundieron errores estándar, desviaciones estándar e intervalos de confianza. ⁶ Otra encuesta de artículos de ciencia climática encontró que la mayoría de los artículos que comparaban dos grupos con barras de error cometieron el error. ³⁷ Incluso los libros de texto introductorios para científicos experimentales, como Una introducción al análisis de errores, enseñan a los estudiantes a juzgar a simple vista, apenas mencionando en absoluto las pruebas formales de hipótesis.

Existen, por supuesto, procedimientos estadísticos formales que generan intervalos de confianza que pueden compararse a simple vista e incluso corregir automáticamente comparaciones múltiples. Por ejemplo, los intervalos de comparación de Gabriel se interpretan fácilmente a simple vista. ¹⁹

Los intervalos de confianza superpuestos no significan que dos valores no sean significativamente diferentes. Del mismo modo, las barras de error estándar separadas no significan que dos valores sean significativamente diferentes. Siempre es mejor usar la prueba de hipótesis apropiada en su lugar. Tu globo ocular no es un procedimiento estadístico bien definido.

Notas al pie

[1] Esto se calculó con una\(t\) prueba no pareada, basada en un error estándar de\(2.5\) en grupo\(1\) y\(3.5\) en grupo\(2\).