7: Investigador Libertad- ¿Buenas Vibraciones?

Última actualización
Guardar como PDF

Page ID: 150654

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Existe la idea errónea común de que las estadísticas son aburridas y monótonas. Recopile muchos datos, conecte los números en Excel o SPSS o R, y golpee el software con un palo hasta que produzca algunas tablas y gráficas coloridas. ¡Hecho! Todo lo que debe hacer el estadístico es leer los resultados.

Pero hay que elegir qué comandos usar. Dos investigadores que intentan responder a la misma pregunta pueden realizar análisis estadísticos diferentes por completo. Hay muchas decisiones que tomar:

¿Para qué variables ajusto? En un ensayo médico, por ejemplo, podrías controlar por edad del paciente, sexo, peso, IMC, historial médico previo, tabaquismo, consumo de drogas, o por los resultados de pruebas médicas realizadas antes del inicio del estudio. ¿Cuáles de estos factores son importantes y cuáles pueden ignorarse?
¿Qué casos excluyo? Si estoy probando planes de dieta, tal vez quiera excluir a los sujetos de prueba que bajaron con diarrea incontrolable durante el ensayo, ya que sus resultados serán anormales.
¿Qué hago con los valores atípicos? Siempre habrá algunos resultados que están fuera de lo común, por razones conocidas o desconocidas, y tal vez quiera excluirlos o analizarlos especialmente. ¿Qué casos cuentan como valores atípicos y qué hago con ellos?
¿Cómo defino grupos? Por ejemplo, tal vez quiera dividir a los pacientes en grupos de “sobrepeso”, “normal” y “bajo peso”. ¿Dónde dibujo las líneas? ¿Qué hago con un culturista musculoso cuyo IMC está en el rango del “sobrepeso”?
¿Qué pasa con los datos faltantes? Quizás estoy probando las tasas de remisión del cáncer con un nuevo medicamento. Ejecuto el ensayo por cinco años, pero algunos pacientes tendrán tumores reaparecer después de seis años, u ocho años. Mis datos no incluyen su recurrencia. ¿Cómo doy cuenta de esto al medir la efectividad del medicamento?
¿Cuántos datos debo recopilar? ¿Debo parar cuando tenga un resultado definitivo, o continuar según lo planeado hasta que haya recopilado todos los datos?
¿Cómo mido mis resultados? Un medicamento podría evaluarse con encuestas subjetivas de pacientes, resultados de pruebas médicas, prevalencia de un determinado síntoma o medidas como la duración de la enfermedad.

La producción de resultados puede tomar horas de exploración y análisis para ver qué procedimientos son los más apropiados. Los trabajos suelen explicar el análisis estadístico realizado, pero no siempre explican por qué los investigadores eligieron un método sobre otro, ni explican cuáles serían los resultados si los investigadores eligieran un método diferente. Los investigadores son libres de elegir los métodos que consideren apropiados, y si bien pueden tomar las decisiones correctas, ¿qué pasaría si analizaran los datos de manera diferente?

En las simulaciones, es posible obtener tamaños de efecto diferentes por un factor de dos simplemente ajustando para diferentes variables, excluyendo diferentes conjuntos de casos, y manejando los valores atípicos de manera diferente. ³⁰ El tamaño del efecto es ese número importantísimo que te dice cuánta diferencia hace tu medicamento. Entonces, al parecer, ¡ser libre de analizar cómo quieres te da un enorme control sobre tus resultados!

La consecuencia más relevante de esta libertad estadística es que los investigadores pueden elegir el análisis estadístico más favorable para ellos, produciendo arbitrariamente resultados estadísticamente significativos jugando con los datos hasta que algo emerge. La simulación sugiere que las tasas de falsos positivos pueden saltar a más del\(50\)% para un conjunto de datos dado simplemente permitiendo que los investigadores prueben diferentes análisis estadísticos hasta que uno funcione. ⁵³

Los investigadores médicos han ideado formas de prevenirlo. A menudo se requiere que los investigadores redacten un protocolo de ensayo clínico, explicando cómo se recogerán y analizarán los datos. Dado que el protocolo está redactado antes de que los investigadores vean algún dato, no es posible que puedan elaborar su análisis para que sea más favorable para ellos. Desafortunadamente, muchos estudios se apartan de sus protocolos y realizan diferentes análisis, lo que permite que el sesgo de los investigadores se deslice. ¹⁵^, ¹⁴ Muchos otros campos científicos no tienen ningún requisito de publicación de protocolo.

La proliferación de técnicas estadísticas nos ha dado muchas herramientas útiles, pero parece que se han puesto a utilizar como objetos contundentes. Simplemente hay que batir los datos hasta que confiese.