4.4: Si al principio no tienes éxito, inténtalo, inténtalo de nuevo

Última actualización
Guardar como PDF

Page ID: 150693

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

La falacia de la tasa base nos muestra que los falsos positivos son mucho más probables de lo que cabría esperar de un\(p<0.05\) criterio de significación. Sin embargo, la mayoría de las investigaciones modernas no hacen una prueba de significancia; los estudios modernos comparan los efectos de una variedad de factores, buscando encontrar aquellos con los efectos más significativos.

Por ejemplo, imagínese probar si los granos de gelatina causan acné probando el efecto de cada color de frijol de gelatina en el acné:

_images/xkcd-significant.png — Figura\(\PageIndex{1}\): Caricatura de xkcd, de Randall Munroe. http://xkcd.com/882/

Como puede ver, hacer múltiples comparaciones significa múltiples posibilidades de un falso positivo. Por ejemplo, si pruebo sabores de\(20\) jalea que no causan acné en absoluto, y busco una correlación en la\(p<0.05\) significación, tengo un\(64\)% de probabilidad de un resultado falso positivo. ⁵⁴ Si pruebo\(45\) materiales, la probabilidad de falso positivo es tan alta como\(90\)%.

Es fácil hacer múltiples comparaciones, y no tiene por qué ser tan obvio como probar veinte medicamentos potenciales. Rastrea los síntomas de una docena de pacientes durante una docena de semanas y prueba para obtener beneficios significativos durante cualquiera de esas semanas: bam, son doce comparaciones. Comprueba la ocurrencia de veintitrés posibles efectos secundarios peligrosos: ay, has pecado. Envía una encuesta de diez páginas preguntando sobre la proximidad de la planta de energía nuclear, el consumo de leche, la edad, el número de primos varones, el topping de pizza favorito, el color actual del calcetín y algunas docenas de otros factores por si acaso, y encontrarás que algo causa cáncer. Haz suficientes preguntas y es inevitable.

Una encuesta de ensayos médicos en la década de 1980 encontró que el ensayo promedio realizó comparaciones\(30\) terapéuticas. En más de la mitad de los ensayos, los investigadores habían hecho tantas comparaciones que un falso positivo era muy probable, y los resultados estadísticamente significativos que sí reportaron se pusieron en duda: pueden haber encontrado un efecto estadísticamente significativo, pero podría haber sido fácilmente un falso positivo. ⁵⁴

Existen técnicas para corregir las comparaciones múltiples. Por ejemplo, el método de corrección Bonferroni dice que si haces\(n\) comparaciones en el ensayo, tu criterio de significación debería ser\(p<0.05/n\). Esto reduce las posibilidades de un falso positivo a lo que verías al hacer solo una comparación en\(p<0.05\). Sin embargo, como puedes imaginar, esto reduce el poder estadístico, ya que estás exigiendo correlaciones mucho más fuertes antes de concluir que son estadísticamente significativas. Es una compensación difícil, y trágicamente pocos periódicos lo consideran.