4.6: Controlar la tasa de falsos descubrimientos

Última actualización
Guardar como PDF

Page ID: 150705

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Mencioné anteriormente que existen técnicas para corregir las comparaciones múltiples. El procedimiento Bonferroni, por ejemplo, dice que puedes obtener la tasa correcta de falsos positivos buscando\(p<0.05/n\), dónde\(n\) está el número de pruebas estadísticas que estás realizando. Si realizas un estudio que hace veinte comparaciones, puedes usar un umbral de\(p<0.0025\) para estar seguro de que solo hay un\(5\)% de probabilidad de que decidas falsamente que un efecto inexistente es estadísticamente significativo.

Esto tiene inconvenientes. Al bajar el\(p\) umbral requerido para declarar un resultado estadísticamente significativo, disminuye mucho su poder estadístico y no logra detectar los efectos verdaderos así como los falsos. Existen procedimientos más sofisticados que la corrección de Bonferroni que aprovechan ciertas propiedades estadísticas del problema para mejorar el poder estadístico, pero no son soluciones mágicas.

Peor aún, no te ahorran de la falacia de la tasa base. Todavía puedes ser engañado por tu\(p\) umbral y afirmar falsamente que “solo hay un\(5\)% de probabilidad de que me equivoque” — simplemente eliminas algunos de los falsos positivos. A un científico le interesa más la tasa de falsos descubrimientos: ¿qué fracción de mis resultados estadísticamente significativos son falsos positivos? ¿Hay alguna prueba estadística que me permita controlar esta fracción?

Durante muchos años la respuesta fue simplemente “no”. Como vio en la sección sobre la falacia de la tasa base, podemos calcular la tasa de falsos descubrimientos si hacemos una suposición sobre cuántas de nuestras hipótesis probadas son ciertas, pero preferimos averiguarlo a partir de los datos, en lugar de adivinar.

En 1995, Benjamini y Hochberg brindaron una mejor respuesta. Ellos idearon un procedimiento excepcionalmente sencillo que te indica qué\(p\) valores considerar estadísticamente significativos. Te he estado salvando de detalles matemáticos hasta ahora, pero para ilustrar lo sencillo que es el procedimiento, aquí está:

Realiza tus pruebas estadísticas y obtén el\(p\) valor para cada una. Hacer una lista y ordenarla en orden ascendente.
Elija una tasa de descubrimiento falso y llámala\(q\). Llame al número de pruebas estadísticas\(m\).
Encuentra el\(p\) valor más grande tal que\(p≤iq/m\), donde\(i\) está el lugar del\(p\) valor en la lista ordenada.
Llamar a ese\(p\) valor y todo menor que estadísticamente significativo.

¡Ya terminaste! El procedimiento garantiza que de todos los resultados estadísticamente significativos, no más del\(q\) porcentaje serán falsos positivos. ⁷

El procedimiento Benjamini-Hochberg es rápido y efectivo, y ha sido ampliamente adoptado por estadísticos y científicos en ciertos campos. Por lo general, proporciona mejor poder estadístico que la corrección Bonferroni y amigos a la vez que da resultados más intuitivos. Se puede aplicar en muchas situaciones diferentes, y las variaciones en el procedimiento proporcionan un mejor poder estadístico al probar ciertos tipos de datos.

Por supuesto, no es perfecto. En ciertas situaciones extrañas, el procedimiento Benjamini-Hochberg da resultados tontos, y se ha demostrado matemáticamente que siempre es posible vencerlo en el control de la tasa de falsos descubrimientos. Pero es un comienzo, y es mucho mejor que nada.