6.2: Metaanálisis
- Page ID
- 149241
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)Objetivos de aprendizaje
- Para usar metaanálisis cuando se quiere combinar los resultados de diferentes estudios, haciendo el equivalente a un gran estudio, así que vea si un efecto general es significativo.
Cuándo usarlo
El metaanálisis es una técnica estadística para combinar los resultados de diferentes estudios para ver si el efecto general es significativo. La gente suele hacer esto cuando hay múltiples estudios con resultados contradictorios: un medicamento funciona o no, reducir la sal en los alimentos afecta o no la presión arterial, ese tipo de cosas. El metaanálisis es una forma de combinar los resultados de todos los estudios; idealmente, el resultado es el mismo que hacer un estudio con un tamaño de muestra realmente grande, uno lo suficientemente grande como para demostrar de manera concluyente un efecto si hay uno, o rechazar concluyentemente un efecto si no hay uno de un tamaño apreciable.
Voy a esbozar los pasos generales que implica hacer un metaanálisis, pero no voy a describirlo con suficiente detalle como para que puedas hacer uno tú mismo; si eso es lo que quieres hacer, ve a Berman y Parker (2002), Gurevitch and Hedges (2001), Hedges y Olkin (1985), o algún otro libro. En cambio, espero explicar algunos de los pasos básicos de un metaanálisis, para que sepas qué buscar cuando leas los resultados de un metaanálisis que alguien más ha hecho.
Decidir qué estudios incluir
Antes de comenzar a recopilar estudios, es importante decidir cuáles vas a incluir y cuáles excluirás. Tus criterios deben ser lo más objetivos posible; alguien más debería poder mirar tus criterios y luego incluir y excluir exactamente los mismos estudios que hiciste. Por ejemplo, si estás analizando los efectos de un medicamento en una enfermedad, podrías decidir que solo vale la pena considerar estudios doble ciego controlados con placebo, o podrías decidir que los estudios de ciego simple (donde el investigador sabe quién recibe el placebo, pero el paciente no) son aceptables; o podrías decidir que se incluya cualquier estudio sobre el medicamento y la enfermedad.
No se debe utilizar el tamaño de la muestra como criterio para incluir o excluir estudios. Las técnicas estadísticas utilizadas para el metaanálisis darán a los estudios con tamaños de muestra más pequeños el menor peso que merecen.
Encontrar estudios
El siguiente paso en un metaanálisis es encontrar todos los estudios sobre el tema. Un tema crítico en el metaanálisis es lo que se conoce como el “efecto archivo-cajón”; las personas que hacen un estudio y no logran encontrar un resultado significativo tienen menos probabilidades de publicarlo que si encuentran un resultado significativo. Los estudios con resultados no significativos son generalmente aburridos; es difícil levantarse el entusiasmo de escribirlos, y es difícil que se publiquen en revistas dignas. Es muy tentador para alguien con un montón de datos aburridos y no significativos ponerlo silenciosamente en un cajón de archivos, decir “Voy a escribir eso cuando tenga algo de tiempo libre”, y luego nunca obtener suficiente tiempo libre.
La razón por la que el efecto archivo-cajón es importante para un metaanálisis es que aunque no haya un efecto real,\(5\%\) de los estudios mostrarán un resultado significativo a\(P<0.05\) nivel; eso es lo que\(P<0.05\) significa, después de todo, que hay una\(5\%\) probabilidad de obtener ese resultado si la hipótesis nula es verdad. Entonces, si la\(100\) gente hiciera experimentos para ver si pensar en uñas largas hacía que tus uñas crecieran más rápido, esperarías\(95\) de ellas encontrar resultados no significativos. Se decían a sí mismos: “Bueno, eso no funcionó, tal vez lo escribiré algún día para el Journal of Fingernail Science”, luego pasa a hacer experimentos sobre si pensar en el cabello largo hizo que tu cabello crezca más largo y nunca te pongas a escribir los resultados de las uñas. Las\(5\) personas que sí encontraron un efecto estadísticamente significativo del pensamiento en el crecimiento de las uñas saltarían arriba y abajo de emoción ante su increíble descubrimiento, luego publicarían sus artículos en Science or Nature. Si hicieras un metaanálisis sobre los resultados publicados sobre el pensamiento de las uñas y el crecimiento de las uñas, concluirías que hubo un efecto fuerte, aunque la hipótesis nula es cierta.
Para limitar el efecto de cajón de archivos, es importante hacer una búsqueda exhaustiva en la literatura, incluyendo revistas realmente oscuras, luego tratar de ver si hay experimentos inéditos. Para conocer los experimentos inéditos, podría consultar resúmenes de propuestas de subvenciones financiadas, que para agencias gubernamentales como NIH y NSF se pueden buscar en línea; buscar resúmenes de reuniones en el campo apropiado; escribir a los autores de estudios publicados; y enviar apelaciones por correo electrónico listas.
Nunca puedes estar 100% seguro de haber encontrado todos los estudios sobre tu tema jamás realizados, pero eso no significa que puedas descartar cínicamente los resultados de cada metaanálisis con las palabras mágicas “efecto de cajón de archivos”. Si su metaanálisis de los efectos del pensamiento sobre el crecimiento de las uñas encontrara artículos\(5\) publicados con resultados significativos individualmente, y una búsqueda exhaustiva utilizando cada recurso que se le ocurra encontró\(5\) otros estudios inéditos con resultados no significativos, su metaanálisis probablemente muestran un efecto general significativo, y probablemente deberías creerlo. Para que todos los resultados\(5\) significativos sean falsos positivos, tendría que haber algo así como estudios\(90\) adicionales inéditos de los que no conocías, y seguramente el campo de la ciencia de las uñas es lo suficientemente pequeño como para que no haya podido haber tantos estudios de los que no hayas oído hablar. Hay formas de estimar cuántos estudios inéditos y no significativos tendría que haber para que el efecto general en un metaanálisis no sea significativo. Si ese número es absurdamente grande, puede estar más seguro de que su metaanálisis significativo no se debe al efecto de cajón de archivos.
Extraer la información
Si el objetivo de un metaanálisis es estimar la diferencia de medias entre dos tratamientos, se necesitan las medias, tamaños de muestra y una medida de la variación: desviación estándar, error estándar o intervalo de confianza. Si el objetivo es estimar la asociación entre dos variables de medición, se necesita la pendiente de la regresión, el tamaño de la muestra, y el\(r^2\). Ojalá esta información se presente en la publicación en forma numérica. Es más probable que los resultados aburridos y no significativos se presenten de forma incompleta, por lo que no debe apresurarse a excluir artículos de su metaanálisis solo porque toda la información necesaria no se presenta en forma fácil de usar en el artículo. Si no lo es, es posible que deba escribir a los autores, o medir el tamaño y la posición de las características en las gráficas publicadas.
Hacer el metaanálisis
La idea básica de un metaanálisis es que se tome un promedio ponderado de la diferencia en medias, pendiente de una regresión u otro estadístico a través de los diferentes estudios. Los experimentos con tamaños de muestra más grandes obtienen más peso, al igual que los experimentos con desviaciones estándar más pequeñas o\(r^2\) valores más altos. Luego puede probar si esta estimación común es significativamente diferente de cero.
Interpretar los resultados
El metaanálisis se inventó para ser una forma más objetiva de encuestar la literatura sobre un tema. Una encuesta de literatura tradicional consiste en que un experto lee un montón de artículos, descarta o ignora aquellos que no creen que sean muy buenos, luego llegando a alguna conclusión basada en lo que piensan que son los buenos trabajos. El problema con esto es que es más fácil ver las fallas en los papeles que no están de acuerdo con tus ideas preconcebidas sobre el tema y las descartan, mientras se decide que los papeles que coincidan con tu postura son aceptables.
El problema con el metaanálisis es que muchos estudios científicos realmente son basura, y juntar un montón de pequeños montones de basura solo te da una gran pila de basura. Por ejemplo, digamos que quieres saber si el agua energizada a la luz de la luna cura los dolores de cabeza. Expones un poco de agua a la luz de la luna, le das pequeñas botellas\(20\) de ella a de tus amigos y dices “Toma esto la próxima vez que tengas dolor de cabeza”. Les pides que registren la gravedad de su dolor de cabeza en una escala\(10\) de puntos, beban el agua energizada a la luz de la luna, luego registren la gravedad de su dolor de cabeza\(30\) minutos después. Este estudio es basura: cualquier mejoría reportada podría deberse al efecto placebo, o dolores de cabeza que mejoran naturalmente con el tiempo, o el agua energizada a la luz de la luna que cura la deshidratación tan bien como el agua regular, o tus amigos mintiendo porque sabían que querías ver mejoras. Si incluyes este estudio asqueroso en un gran metaanálisis de los efectos del agua energizada a la luz de la luna sobre el dolor, ninguna cantidad de análisis estadístico sofisticado va a hacer desaparecer su porquería.
Probablemente estés pensando que el “agua energizada a la luz de la luna” es otra cosa ridículamente absurda que acabo de inventar, ¿no? ¿Que nadie podría ser lo suficientemente estúpido como para creer en tal cosa? Desafortunadamente, hay gente tan estúpida.
El arduo trabajo de un metaanálisis es encontrar todos los estudios y extraer de ellos la información necesaria, por lo que es tentador quedar impresionado por un metaanálisis de un gran número de estudios. Un metaanálisis de\(50\) estudios suena más impresionante que un metaanálisis de\(5\) estudios; es\(10\) tiempos tan grandes y representa\(10\) veces tanto trabajo, después de todo. No obstante, hay que preguntarse: “¿Por qué la gente sigue estudiando lo mismo una y otra vez? ¿Qué motivó a alguien a hacer ese\(50^{th}\) experimento cuando ya se había hecho\(49\) veces antes?” A menudo, la razón para hacer ese\(50^{th}\) estudio es que los\(49\) estudios anteriores fueron de alguna manera porquería. Si tienes\(50\) estudios, y\(5\) de ellos son mejores por unos criterios objetivos que por otro\(45\), sería mejor usar solo los\(5\) mejores estudios en tu metaanálisis.
Ejemplo
La condroitina es un polisacárido derivado del cartílago. Es comúnmente utilizado por personas con artritis en la creencia de que reducirá el dolor, pero los estudios clínicos de su efectividad han arrojado resultados contradictorios. Reichenbach et al. (2007) realizaron un metaanálisis de estudios sobre condroitina y dolor artrítico de rodilla y cadera. Identificaron estudios relevantes mediante búsqueda electrónica de bases de datos bibliográficas y registros de ensayos clínicos, búsqueda manual de actas de conferencias y listas de referencias de trabajos, y contactando a diversos expertos en la materia. Solo se utilizaron ensayos que involucraron comparar pacientes a los que se administró condroitina con pacientes control; el control podría ser placebo o no recibir tratamiento. Obtuvieron la información necesaria sobre la cantidad de dolor y la variación midiendo gráficas en los artículos, si fuera necesario, o contactando a los autores.
La búsqueda inicial de la literatura arrojó reportes\(291\) potencialmente relevantes, pero luego de eliminar aquellos que no utilizaron controles, aquellos que no asignaron aleatoriamente pacientes a los grupos de tratamiento y control, aquellos que utilizaron otras sustancias en combinación con condroitina, aquellos para los cuales lo necesario no se disponía de información, etc., se quedaron con\(20\) juicios.
El análisis estadístico de todos los\(20\) ensayos mostró un gran efecto significativo de la condroitina en la reducción del dolor artrítico. No obstante, los autores señalaron que estudios anteriores, publicados en 1987-2001, tuvieron grandes efectos, mientras que estudios más recientes (que esperaría que sean mejores) mostraron poco o ningún efecto de la condroitina. Además, los ensayos con errores estándar más pequeños (debido a tamaños de muestra más grandes o menor variación entre los pacientes) mostraron poco o ningún efecto. Al final, Reichenbach et al. (2007) analizaron solo los tres estudios más grandes con lo que consideraron los mejores diseños, y mostraron esencialmente cero efecto de la condroitina. Concluyeron que no hay buena evidencia de que la condroitina sea efectiva para el dolor de artritis de rodilla y cadera. Otros investigadores no están de acuerdo con su conclusión (Goldberg et al. 2007, Pelletier 2007); si bien un metaanálisis cuidadoso es una forma valiosa de resumir la información disponible, es poco probable que proporcione la última palabra sobre una pregunta que ha sido abordada con un gran número de estudios mal diseñados.
Referencias
- Berman, N.G., y R.A. Parker. 2002. Metaanálisis: ni rápido ni fácil. BMC Métodos de Investigación Médica 2:10. [Una buena introducción legible al metanálisis médico, con muchas referencias útiles.]
- Goldberg, H., A. Avins, y S. Bent. 2007. Condroitina para artrosis de rodilla o cadera. Anales de Medicina Interna 147:883.
- Gurevitch, J., y L.V. Hedges. 2001. Metaanálisis: combinando los resultados de experimentos independientes. pp. 347-369 en Diseño y Análisis de Experimentos Ecológicos, S.M. Scheiner y J. Gurevitch, eds. Oxford University Press, Nueva York. [Se discute el uso del metaanálisis en ecología, una perspectiva diferente a los usos más comunes del metaanálisis en la investigación médica y las ciencias sociales.]
- Hedges, L.V., e I. Olkin. 1985. Métodos estadísticos para metaanálisis. Prensa Académica, Londres. [No he leído esto, pero aparentemente este es el texto clásico sobre metaanálisis.]
- Pelletier, J.-P. 2007. Condroitina para artrosis de rodilla o cadera. Anales de Medicina Interna 147:883-884.
- Reichenbach, S., R. Sterchi, M. Scherer, S. Trelle, E. Bürgi, U. Bürgi, P.A. Dieppe, y P. Jüni. 2007. Metaanálisis: Condroitina para artrosis de rodilla o cadera. Anales de Medicina Interna 146:580-590.