6.2: Inflación de verdad

Última actualización
Guardar como PDF

Page ID: 150620

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Los ensayos médicos también tienden a tener un poder estadístico inadecuado para detectar diferencias moderadas entre medicamentos. Por lo que quieren detenerse en cuanto detectan un efecto, pero no tienen el poder de detectar efectos.

Supongamos que un medicamento reduce los síntomas\(20\) en% sobre un placebo, pero el ensayo que estás usando para probarlo no tiene el poder estadístico adecuado para detectar esta diferencia. Sabemos que los ensayos pequeños tienden a tener resultados variables: es fácil conseguir diez pacientes afortunados que tienen resfriados más cortos de lo habitual, pero mucho más difícil conseguir diez mil que todos lo hacen.

Ahora imagina correr muchos ejemplares de este juicio. A veces obtienes pacientes desafortunados, por lo que no notas ninguna mejoría estadísticamente significativa de tu medicamento. A veces tus pacientes son exactamente promedio, y el grupo de tratamiento tiene sus síntomas reducidos\(20\) en% — pero no tienes suficientes datos para llamar a esto un aumento estadísticamente significativo, por lo que lo ignoras. A veces los pacientes tienen suerte y tienen sus síntomas reducidos en mucho más del\(20\)%, y así detienes el ensayo y dices “¡Mira! ¡Funciona!”

Has concluido correctamente que tu medicamento es efectivo, pero has inflado el tamaño de su efecto. Usted cree falsamente que es mucho más efectivo de lo que realmente es.

Este efecto se presenta en ensayos farmacológicos, epidemiológicos, estudios de asociación génica (“el gen A causa condición B”), estudios psicológicos y en algunos de los artículos más citados en la literatura médica. ³⁰^, ³² En campos donde los ensayos pueden ser realizados rápidamente por muchos investigadores independientes (como los estudios de asociación génica), los primeros resultados publicados suelen ser tremendamente contradictorios, porque los ensayos pequeños y la demanda de estadísticas significancia solo hacen que se publiquen los resultados más extremos. ³³

Como bono, la inflación de verdad puede combinar fuerzas con reglas de detención temprana. Si la mayoría de los medicamentos en los ensayos clínicos no son tan efectivos para justificar detener el ensayo temprano, entonces muchos ensayos que se detuvieron temprano serán el resultado de pacientes afortunados, no de medicamentos brillantes —y al detener el ensayo nos hemos privado de los datos adicionales necesarios para decir la diferencia. Las revisiones han comparado los ensayos detenidos temprano con otros estudios que abordan la misma pregunta que no se detuvieron temprano; en la mayoría de los casos, los ensayos se detuvieron temprano exageraron los efectos de sus tratamientos probados en un promedio de\(29\)%. ³

Por supuesto, no sabemos La Verdad sobre alguna droga que se esté estudiando, por lo que no podemos decir si un estudio en particular se detuvo temprano debido a la suerte o a una droga particularmente buena. Muchos estudios ni siquiera publican el tamaño original de la muestra previsto o la regla de detención que se utilizó para justificar la terminación del estudio. ⁴³ El paro temprano de un juicio no es evidencia automática de que sus resultados sean sesgados, sino que es un detalle sugerente.