Un aluvión de protocolos vacíos y mal citados inunda la acupuntura
Sin buenos huevos no hay tortilla que se precie, por ejemplares que sean la receta o las manos que la preparen. Referido a la ciencia, se suele decir que un análisis es tan bueno como los estudios o los datos en los que se basa. Aplicado a la acupuntura, parece que algunos de esos huevos no solo no son de buena calidad, sino que están vacíos.
Un trabajo publicado por investigadores españoles ha demostrado una deriva extraña en las publicaciones científicas sobre acupuntura. Para empezar, en los últimos años se ha producido una explosión en la publicación de protocolos de estudios para analizar este tipo de terapias.
Un protocolo sería la receta del trabajo a realizar, y es recomendable compartirlo, pero el incremento parece haber superado con creces la capacidad real de ejecución, hasta el punto de que solo el 4% de los protocolos se desarrollaron posteriormente. Además, cuando se citaban en otros artículos, el 38% de las veces se hacía mal, dando por hecho que se trataba de estudios ya realizados cuando no eran sino huevos aún vacíos.
Tras el análisis de los protocolos publicados sobre acupuntura hemos observado que en muchos casos se citan de forma completamente errónea, a veces con resultados, como si fueran metaanálisis totalmente concluidos
“Los protocolos tienen una función, pero no dejan de ser brindis al sol, una declaración de intenciones”, resume José María Morán, profesor de Metodología de la Investigación en la Universidad de Extremadura y primer autor del estudio.
“Tras el análisis de los protocolos publicados sobre acupuntura hemos observado que en muchos casos se citan de forma completamente errónea, a veces con resultados, como si fueran metaanálisis totalmente concluidos. Teniendo en cuenta que estos últimos son estudios top en la generación de evidencia científica, el daño que se hace es enorme, porque se genera la sensación de que existe evidencia de alto nivel a partir de algo sobre lo que no hay nada”, subraya el investigador.
Una extraña explosión de protocolos
El ritmo de publicaciones científicas publicadas aumenta cada año, pero “es particularmente llamativo en el campo de las terapias alternativas, en especial en la acupuntura”, explica Azucena Santillán, enfermera en el Hospital de Burgos y coordinadora del estudio junto con Morán.
Parte de este incremento tiene que ver con la publicación de protocolos, y el trabajo, impulsado por la beca Sergio López Borgoñoz de la ARP Sociedad para el Avance del Pensamiento Crítico, estudió hasta qué punto estos terminaban siendo realizados y cómo eran utilizados cuando otros artículos los citaban.
Para ello buscaron todos los protocolos publicados sobre revisiones sistemáticas y metaanálisis en relación con la acupuntura. Estos dos tipos de estudios son los más potentes a la hora de interpretar resultados, pues suponen una síntesis y compendio de los datos acumulados. Están en la cúspide de la pirámide de la evidencia.
La publicación de protocolos es una buena idea y ampliamente recomendada: fomenta la transparencia, reduce posibles sesgos y la repetición de trabajos, permite incluso la mejora del diseño gracias a la lectura de terceros. Sin embargo, algo extraño sucede con los protocolos sobre revisiones de acupuntura.
El primero se publicó en el año 2010, y el ritmo de aparición fue lento hasta 2014, cuando el crecimiento se disparó. Aunque suelen publicarse en bases de datos específicas, también hay revistas que los admiten. La que aglutina la mayoría es Medicine, e incluyó uno en 2010, tres en 2014 y más de 80 en 2019. Esos números “exceden claramente la capacidad de publicación de las revisiones asociadas”, explica Santillán.
El desfase continuó al analizar el cumplimiento futuro de esos protocolos: tan solo el 4% culminaban en la revisión o metaanálisis previstos. Los investigadores escribieron un correo electrónico a cada uno de los 124 autores de los protocolos inconclusos y tan solo uno respondió: en ese caso la revisión estaba en marcha.
¿Qué hay detrás de esta explosión? ¿Cómo se puede explicar?
“Para nosotros está claro que algo ocurre. El crecimiento de este tipo de publicaciones tiene que obedecer a algún tipo de razón, y la curricular es nuestra primera hipótesis, pero no tenemos herramientas para poder valorarlo”, reconoce Morán. Aunque los protocolos no funcionan como una publicación científica al uso, “es posible que en determinados ámbitos y lugares sí tenga un valor”, añade Santillán. Eso ha dado lugar a lo que algunos han llamado "la paradoja del protocolo", por la que la publicación de este pueda ser ya lo suficientemente relevante como para no motivar la ejecución del trabajo posterior.
Ruido en las citas
Una de las formas aproximadas de medir la calidad de una publicación es atender al número de veces que se cita en otros artículos científicos. Las citas sirven como contextualización, discusión o refuerzo de hipótesis o resultados, y un protocolo no debería ser algo que en principio fuera muy referenciable. Sin embargo, la mitad de los protocolos de revisiones de acupuntura recibieron al menos una cita, y hasta el 38% de ellas eran incorrectas. Prácticamente todos los errores se debieron a confundir el protocolo con una revisión o metaanálisis ya ejecutado y concluido.
Aunque los protocolos son huevos aún vacíos, “suelen incluir una pequeña revisión de estudios anteriores”, explica Santillán. Los errores en las citas confunden el protocolo con una prueba de evidencia fuerte, como si ese breve comentario se tratara de un nuevo y potente análisis. A partir de ahí, “se corre el peligro de que sirvan para hacer recomendaciones a pacientes”, alerta la investigadora.
Las publicaciones sobre medicina convencional no están exenta de errores, y se ha calculado que alrededor del 20 % de las referencias a otros artículos también tienen fallos, muchas veces importantes. Los propios autores del trabajo han desarrollado la herramienta SCRUTATIOm, que permite identificar la presencia indebida de artículos retractados en revisiones y metaanálisis, encontrando algún ejemplo. Esta es, sin embargo, la primera vez que se analiza el uso indebido de protocolos. “Hemos sido pioneros en esto”, confirma Morán.
Los autores explican en su artículo dos ejemplos de estas desviaciones. En una de ellas, a pesar de que el protocolo explicita claramente lo que es, se cita como un metaanálisis publicado y cuyos resultados muestran un efecto favorable de la acupuntura en la artrosis de rodilla.
La otra, presente en una revisión, confunde un protocolo con un metaanálisis sobre la estimulación de ciertos puntos de la oreja y su efecto en la insuficiencia ovárica. Las conclusiones que sacan del protocolo son que esta estimulación “promueve la energía Qi y la circulación sanguínea, y regula la función reproductiva del eje hipotálamo-hipófisis-ovario”.
Aunque no lo analizan en el trabajo, Morán asegura que “en su inmensa mayoría, los protocolos se utilizan para reafirmar o justificar ideas favorables al uso de la acupuntura en diferentes ámbitos de la salud”. De hecho, el 86% de las citas de protocolos se dan en China, donde existe un claro sesgo positivo respecto al valor de estas terapias: más del 99 % de los trabajos que allí se publican muestran beneficios.
“No tenemos pruebas directas de cuál es la intención”, reconoce Santillán". “Podrían ser errores involuntarios, en lo que se ha dado en llamar "el síndrome del autor perezoso", o podría ser algo deliberado. Esto último sería más punitivo, pero en cualquier caso es peligroso”, asegura.
Una forma de reducir los errores sería “mejorar la presentación de los protocolos, explicitando claramente su naturaleza en el título. Pero esto no es sexy para las editoriales, que quieren que sus publicaciones sean citadas”, explica la investigadora.
A día de hoy, las guías clínicas del Reino Unido NICE —unas de las más prestigiosas en el mundo elaborando recomendaciones sobre salud— solo reconocen que la acupuntura sea beneficiosa en tres casos concretos, a pesar de la inmensa lista de ámbitos estudiados: la cefalea de tipo tensional, las migrañas y el dolor crónico. En ningún caso ha sido demostrado que actúen a través de los canales de energía que la acupuntura defiende.
Posibles repercusiones
Un peligro de las citas incorrectas es que contribuyan a instalar ruido y que este influya en la toma de decisiones, aunque en el trabajo los autores no estudian el valor de las publicaciones donde tuvieron lugar los errores. En principio, las más potentes y fiables son las revisiones sistemáticas.
En ellas se incluyen los metaanálisis, pero estos implican un cálculo estadístico a partir de las fuentes primarias, por lo que este tipo de fallos no les afectarían directamente. Santillán explica que podrían colarse en muchos sitios, pero que, en principio, “las grandes instituciones internacionales que se dedican a hacer revisiones sistemáticas cuentan con metodologías que deberían poder evitarlo”.
Cochrane es una de esas instituciones. Según Gonzalo Casino, responsable de Transferencia del Conocimiento en Cochrane Iberoamérica, el estudio es “novedoso, necesario y muy interesante. Demuestra la existencia de errores de bulto y merecería la pena extender el análisis a publicaciones sobre medicina convencional”, indica Casino. En cualquier caso, la metodología que se usa en las revisiones Cochrane minimiza el riesgo en su opinión, porque “es muy rigurosa y está muy bien definida para la búsqueda de estudios primarios de la mayor calidad posible”.
En concreto, “las revisiones Cochrane sobre acupuntura no han mostrado un efecto claro más allá del placebo para la inmensa mayoría de desenlaces en los que se ha estudiado”, explica Casino.
Reconstruir el diálogo entre políticos y científicos
Ver más
Según Casino, el artículo muestra “el trabajo que mucha gente está haciendo para destapar la mala ciencia. Y ese es el primer paso para corregirla”.
Para Santillán, una herramienta fundamental de la medicina basada en la evidencia es la lectura crítica: “La ciencia la hacen personas y no es infalible, pero el método científico no solo es la mejor manera que tenemos para generar conocimiento, también nos debe servir para detectar anomalías en el proceso”.
Este artículo fue publicado originalmente en la Agencia Sinc, la agencia de noticias científicas de la Fundación Española para la Ciencia y la Tecnología.
