21: A pesar de las promesas públicas, las principales revistas científicas aún permiten la mala conducta estadística y se niegan a corregirla (Doctorow)

Por Cory Doctorow

#research, #logos, #ethos, #systemanalysis, #cognitivebias, #reportinginformation, #science

Una forma líder de mala praxis estadística en estudios científicos es revisar retroactivamente los datos en busca de patrones “interesantes”; mientras que tales patrones pueden proporcionar pistas útiles para futuras investigaciones, simplemente recogiendo datos que parecen significativos de un estudio que de otro modo no ha podido demostrar la La hipótesis inicial del investigador puede generar conclusiones falsas —pero plausibles-parecidas—.

Para combatir esta práctica, muchas revistas se han suscrito a los Estándares Consolidados de Ensayos Informativos (CONSORT), un conjunto de principios que requieren que los investigadores registren públicamente, de antemano, qué datos recopilarán, y cómo los analizarán, y señalar de manera destacada cuándo cambian metodologías después de la hecho, para que los lectores puedan tratar cualquier conclusión de estos cambios con cuidado adicional. Las revistas que cumplen con el Consorte también prometen aceptar, revisar y publicar rápidamente cartas de corrección cuando los artículos que publican hayan infringido los estándares CONSORT.

El ninja de la medicina basada en evidencia Ben Goldacre (anteriormente) y sus colegas revisaron cada artículo publicado en cinco revistas líderes registradas por el Consorte (New England Journal of Medicine, The Lancet, Journal of the American Medical Association, British Medical Journal y Annals of Internal Medicine) durante seis semanas y, cuando detectaron prácticas estadísticas que violaban los principios de CONSORT, informaron a las revistas por escrito y registraron y publicaron sus respuestas, y tabularon los hallazgos, produciendo una tabla liguilla de las revistas que más hacen para estar a la altura de sus compromisos con una buena estadística práctica. También analizaron las razones que dieron las revistas (y los investigadores) para no publicar correcciones, y señalan las amplias brechas en la comprensión de las buenas prácticas estadísticas por parte de los editores e investigadores de la revista.

Los resultados son muy malos. Si bien la gran mayoría (76%) de los papeles se adhirieron a las normas CONSORT, era muy poco probable que se corrigieran los documentos de incumplimiento, y cuando lo estaban, tardó mucho tiempo (mediana: 99 días).

Dos revistas —JAMA y NEMJ— se negaron rotundamente a publicar una sola corrección (por el contrario, la Lancet publicó el 75% de las cartas correctivas).

Todos los datos subyacentes, correspondencia y otros materiales han sido publicados en un excelente sitio web [compare-trials.org/], y Goldacre y co han presentado sus hallazgos en un artículo [https://trialsjournal.biomedcentral.com/articles/10.1186/s13063-019-3173-2] sobre Biomedcentral.

Antes de realizar un ensayo clínico, todos los resultados que se medirán (por ejemplo, la presión arterial después de un año de tratamiento) deben especificarse previamente en un protocolo de ensayo y en un registro de ensayos clínicos.

Esto se debe a que si los investigadores miden muchas cosas, es probable que algunas de esas cosas den un resultado positivo por casualidad aleatoria (un falso positivo). Un resultado preespecificado es mucho menos probable que dé un resultado falso positivo.

Una vez que se complete el ensayo, el informe del ensayo debe reportar todos los resultados preespecificados. Cuando los resultados reportados difieran de los previamente especificados, éste deberá declararse en el reporte, junto con una explicación del momento y razón del cambio. Esto asegura una imagen justa de los resultados del ensayo.

Sin embargo, en realidad, los resultados preespecificados a menudo se dejan sin informar, mientras que los resultados que no fueron preespecificados se reportan, sin ser declarados como novedosos. Este es un problema extremadamente común que distorsiona la evidencia que utilizamos para tomar decisiones clínicas del mundo real.

COMPARAR: un estudio prospectivo de cohorte que corrige y monitorea 58 ensayos mal reportados en tiempo real [https://trialsjournal.biomedcentral.com/articles/10.1186/s13063-019-3173-2] [Ben Goldacre, Henry Drydale, Aaron Dale, Ioan Milosevic, Eirion Slade, Philip Hartley, Cicely Marston, Anna Powell-Smith, Carl Heneghan y Kamal R. Mahtani/Biomedcentral]

____________________

Cory Doctorow es autor de ciencia ficción, activista y periodista —coeditor de Boing Boing y autor de muchos libros, más recientemente Radicalized and Walkaway, ciencia ficción para adultos, In Real Life, una novela gráfica; La información No quiere ser libre, un libro sobre ganarse la vida en la era de Internet, y Homeland, una secuela de YA de Little Brother.

A pesar de las promesas públicas, las principales revistas científicas aún permiten la mala conducta estadística y se niegan a corregirla por Cory Doctorow apareció en Boing Boing el 15 de febrero de 2019 y está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional