1.2: El poder de los valores p

La estadística proporciona la respuesta. Si conocemos la distribución de los casos de resfrío típicos —aproximadamente cuántos pacientes tienden a tener resfriados cortos, resfriados largos, o resfriados promedio— podemos decir cuán probable es que una muestra aleatoria de pacientes con resfriado tenga longitudes de frío, todas más cortas que el promedio, o más largas que el promedio, o exactamente el promedio. Al realizar una prueba estadística, podemos responder a la pregunta “Si mi medicación fuera completamente ineficaz, ¿cuáles son las posibilidades de que vea datos como los que vi?”

Eso es un poco complicado, así que léelo de nuevo.

Intuitivamente, podemos ver cómo podría funcionar esto. Si solo pruebo el medicamento en una persona, no es sorprendente si tiene un resfriado más corto que el promedio — aproximadamente la mitad de los pacientes tienen resfriados más cortos que el promedio. Si pruebo el medicamento en diez millones de pacientes, es bastante improbable que todos tengan resfriados más cortos que el promedio, a menos que mi medicamento funcione.

Las pruebas estadísticas comunes utilizadas por los científicos producen un número llamado el\(p\) valor que cuantifica este. Así es como se define:

El valor P se define como la probabilidad, bajo el supuesto de que no hay efecto o ninguna diferencia (la hipótesis nula), de obtener un resultado igual o más extremo de lo que realmente se observó. ²⁴

Entonces, si doy mi medicamento a\(100\) los pacientes y encuentro que sus resfriados son un día más cortos en promedio, el\(p\) valor de este resultado es la posibilidad de que, si mi medicación no hiciera nada en absoluto, mis\(100\) pacientes tuvieran al azar, en promedio, resfriados de día o más cortos. Obviamente, el\(p\) valor depende del tamaño del efecto —los resfriados más cortos por cuatro días son menos probables que los resfriados más cortos en un día— y del número de pacientes en los que pruebo el medicamento.

Ese es un concepto complicado de entender. Un\(p\) valor no es una medida de lo correcto que eres, o cuán significativa es la diferencia; es una medida de lo sorprendido que deberías estar si no hay diferencia real entre los grupos, pero tienes datos que sugieren que sí. Una diferencia mayor, o una respaldada por más datos, sugiere más sorpresa y un\(p\) valor menor.

No es fácil traducir eso en una respuesta a la pregunta “¿realmente hay alguna diferencia?” La mayoría de los científicos usan una regla general simple: si\(p\) es menor que\(0.05\), solo hay un\(5\)% de probabilidad de obtener estos datos a menos que el medicamento realmente funcione, por lo que llamaremos “significativa” a la diferencia entre medicamento y placebo. Si\(p\) es mayor, llamaremos insignificante a la diferencia.

Pero hay limitaciones. El\(p\) valor es una medida de sorpresa, no una medida del tamaño del efecto. Puedo obtener un\(p\) valor minúsculo ya sea midiendo un efecto enorme —“ este medicamento hace que las personas vivan cuatro veces más ”— o midiendo un efecto minúsculo con gran certeza. La significancia estadística no significa que su resultado tenga significación práctica alguna.

Del mismo modo, la significancia estadística es difícil de interpretar. Podría tener una medicina perfectamente buena, pero si la pruebo en diez personas, sería difícil decir la diferencia entre una mejora real en los pacientes y simple buena suerte. Como alternativa, podría probarlo a miles de personas, pero el medicamento solo acorta los resfriados en tres minutos, y así simplemente soy incapaz de detectar la diferencia. Una diferencia estadísticamente insignificante no significa que no haya diferencia alguna.

No existe una herramienta matemática que te diga si tu hipótesis es cierta; solo puedes ver si es consistente con los datos, y si los datos son escasos o poco claros, tus conclusiones son inciertas.

Pero no podemos dejar que eso nos detenga.