En «Cómo Se Prueban Los Tratamientos» (ver en el enlace el contenido de este interesante sitio web) se presenta de una manera sencilla y clara, pero útil tanto para profesionales como no profesionales en qué consiste esta famosa «prueba de oro» de la validez de una declaración médica de tipo cuantitativo. Se explica por qué es tan importante, así como su uso tramposo por parte de intereses particulares.
Revisiones sistemáticas de toda la evidencia científica pertinente y fiable
Si bien es fácil decir que se deben revisar los resultados de un estudio en particular junto con otra evidencia científica pertinente y fiable, es una tarea complicada en muchos sentidos. Las revisiones son importantes porque las personas deben poder confiar en ellas, y eso significa que deben llevarse a cabo de manera sistemática, ya que de lo contrario serán engañosas.
Las revisiones sistemáticas que abordan lo que parece una misma pregunta sobre tratamientos pueden llegar a diferentes conclusiones. A veces, esto se debe a que las preguntas se plantean de una manera sutilmente diferente, o a que los métodos empleados por los investigadores fueron diferentes y, en ocasiones, a que los investigadores han «manipulado» sus conclusiones.
Por lo tanto, es importante identificar las revisiones que abordan las preguntas sobre los tratamientos que coinciden con lo que nos interesa; cuáles es más probable que se hayan preparado con métodos que reducen eficazmente los efectos de los sesgos y la intervención del azar; y cuáles llegan a conclusiones honestas de forma tal que refleja la evidencia científica presentada.
Reducción de los sesgos en las revisiones sistemáticas
Así como los sesgos pueden distorsionar las pruebas individuales de los tratamientos y llevar a conclusiones falsas, también pueden distorsionar las revisiones de la evidencia científica. Por ejemplo, los investigadores pueden simplemente seleccionar con cuidado aquellos estudios que saben que respaldan las afirmaciones sobre los tratamientos que ellos desean hacer.
Para evitar estos problemas, los protocolos de investigación deben contener planes para las revisiones sistemáticas así como para los estudios de investigación individuales. Los protocolos deben establecer claramente qué medidas tomarán los investigadores para reducir los sesgos y los efectos de la intervención del azar durante el proceso de preparación de las revisiones.
Entre dichas medidas debe especificarse qué preguntas se planteará la revisión acerca de los tratamientos; los criterios que deben cumplir los estudios para su inclusión en la revisión; la manera en que se encontrarán los estudios que reúnen los criterios; y los pasos que se darán para reducir al mínimo los sesgos durante la selección de los estudios que se incluirán, y para analizar los datos.
Localización de toda la evidencia científica pertinente para las revisiones sistemáticas
La localización de toda la evidencia científica pertinente para las revisiones sistemáticas, independientemente del idioma o del formato de los informes relevantes, siempre es una tarea de gran complejidad, sobre todo porque no se reveló la evidencia científica pertinente.
La difusión incompleta deriva principalmente del hecho de que los investigadores no escriben o no envían a publicar los informes de sus investigaciones porque están decepcionados con los resultados. Y las compañías farmacéuticas ocultan los estudios que no favorecen a sus productos. También las revistas científicas tienden a mostrar parcialidad cuando rechazan informes recibidos porque consideran que sus resultados son poco «alentadores». [3]
La difusión incompleta de las investigaciones de forma tendenciosa es anticientífica y poco ética, y actualmente muchos la consideran un problema grave. En especial, las personas que tratan de decidir qué tratamiento deben utilizar pueden llegar a conclusiones erróneas porque los estudios que presentaron resultados «desalentadores» o «negativos» tienen menos probabilidades de ser publicados que otros, mientras que los estudios con resultados alentadores tienen más probabilidades que otros de que se los difunda en exceso.
El grado de difusión incompleta es asombroso: al menos en la mitad de todos los ensayos clínicos nunca se comunican todos los resultados. Esta difusión incompleta de las investigaciones es tendenciosa y se presenta tanto en ensayos clínicos de gran magnitud como en los de pequeña magnitud. Una de las medidas que se tomó para resolver este problema fue establecer disposiciones para registrar los ensayos desde el inicio y alentar a los investigadores a publicar los protocolos de sus estudios. [3]
La difusión incompleta y tendenciosa de la investigación puede ser mortal. Unos investigadores británicos, con gran mérito, decidieron informar en 1993 los resultados de un ensayo clínico que se había realizado 13 años antes. Se trataba de un fármaco nuevo para disminuir las alteraciones del ritmo cardíaco en pacientes con ataques cardíacos. Nueve pacientes habían muerto después de tomar el fármaco, mientras que solo uno había muerto en el grupo de comparación.
Escribieron: «Cuando realizamos nuestro estudio en 1980, pensamos que la tasa de mortalidad más elevada en el grupo del fármaco se debía a la intervención del azar. […] El desarrollo del fármaco (lorcainida) se abandonó por motivos comerciales y, por lo tanto, este estudio nunca se publicó. Ahora es un buen ejemplo de “sesgo de publicación”. Los resultados que se describen aquí […] podrían haber brindado una advertencia temprana del problema que se avecinaba». [4]
El problema al que se referían era que, en el apogeo de su uso, los fármacos similares al que ellos habían probado estaban causando decenas de miles de muertes por año solamente en los Estados Unidos. [5]
Reducción de la intervención del azar en las revisiones sistemáticas
Previamente, se explicó cómo se puede reducir la intervención del azar al combinar los datos de estudios similares pero separados, un proceso que se conoce como «metanálisis». Se utilizó el ejemplo de cinco estudios, en cinco países diferentes, organizados y financiados de forma independiente para abordar el dilema que llevaba 60 años sin respuesta sobre qué concentración de oxígeno en la sangre de los prematuros es necesaria para aumentar al máximo las probabilidades de que sobrevivan sin discapacidades importantes.
El ejemplo mostró cómo se podía planificar este proceso antes de que los resultados de los estudios estuviesen disponibles, pero el mismo proceso se podía utilizar después de que un grupo de estudios similares estuvieran finalizados. Por ejemplo, en 1974, un médico sueco llevó a cabo una revisión sistemática de estudios que compararon los resultados de la cirugía para el cáncer de mama con o sin radioterapia. [6] Descubrió que, en todos los estudios, las mujeres tenían más probabilidades de morir en los grupos que recibían radioterapia.
Cuando esta evidencia científica se sintetiza estadísticamente mediante el metanálisis, se hizo obvio que era poco probable que este aumento en la mortalidad reflejara la intervención del azar. Análisis posteriores más exhaustivos, basados en la evidencia científica de pacientes individuales, confirmaron que la radioterapia que se utilizaba en ese momento realmente incrementaba la mortalidad. [7] El reconocimiento de este hecho impulsó la formulación de prácticas más seguras.
Reconocimiento de los intereses creados y la manipulación en las revisiones sistemáticas
¿Y qué sucede si los revisores tienen otros intereses que puedan afectar la realización o interpretación de su revisión? Quizás los revisores recibieron dinero de la empresa que fabrica el nuevo tratamiento que está en estudio. Al evaluar la evidencia científica sobre los efectos del aceite de onagra para el eccema, los revisores que tenían relación con el fabricante llegaron a conclusiones mucho más entusiastas sobre el tratamiento que aquellos sin tal interés comercial.
Sin embargo, los intereses comerciales no son los únicos que conducen a revisiones tendenciosas. Todos, investigadores, profesionales de la salud y pacientes por igual, tenemos prejuicios que pueden llevarnos a actuar así.
Un hecho que decepciona es que las personas con intereses creados suelen aprovecharse de los sesgos para hacer que los tratamientos parezcan mejores de lo que realmente son. [8]
Esto sucede cuando algunos investigadores —muchas veces por razones comerciales, aunque no siempre— deliberadamente pasan por alto la evidencia científica existente. Diseñan, analizan y publican las investigaciones para resaltar bajo una luz favorable sus propios resultados para un tratamiento determinado.
Esto sucedió en los años noventa cuando el fabricante del antidepresivo Seroxat (paroxetina) ocultó evidencia científica importante que sugería que, en los adolescentes, el fármaco en realidad aumentaba los síntomas que impulsaban a algunos de estos jóvenes a pensar en el suicidio como una forma de enfrentar su depresión. [9]
La difusión en exceso también constituye un problema. En el fenómeno conocido como «publicación fragmentada», los investigadores toman los resultados de un único ensayo y los fragmentan en varios informes sin aclarar que los informes individuales no son estudios independientes. De este modo, un único ensayo «positivo» puede aparecer en varias revistas científicas en distintos artículos y así introducir un sesgo. [10]
Nuevamente, el registro de los ensayos en sus comienzos con identificadores únicos para cada estudio ayudará a reducir la confusión resultante de esta práctica.
¿Qué puede suceder si no se evalúa toda la evidencia científica pertinente y fiable?
En esta sub-sección
- Daño evitable a los pacientes
- Daño evitable a las personas que participan en las investigaciones
- Recursos desperdiciados en la atención sanitaria y la investigación
Las pruebas imparciales de los tratamientos implican la revisión sistemática de toda la evidencia científica pertinente y fiable, para ver qué conocimientos se han adquirido, si provienen de investigaciones en animales u otro tipo de investigación en laboratorio, de voluntarios sanos en quienes se suelen probar tratamientos nuevos o de investigaciones anteriores en las que participaron pacientes. Si se pasa por alto este paso, o si se hace incorrectamente, las consecuencias pueden ser graves: los pacientes en general, así como los participantes de las investigaciones, pueden sufrir y a veces morir innecesariamente, y se desperdiciarán recursos valiosos tanto para la atención sanitaria como para la investigación.
Daño evitable a los pacientes
Los tratamientos recomendados para los ataques cardíacos que habían aparecido en los libros de texto publicados en un período de 30 años se compararon con la evidencia científica que podría haberse tenido en cuenta si los autores hubiesen revisado sistemáticamente los resultados de pruebas imparciales de tratamientos evaluados durante ese tiempo. [11]
Esta comparación mostró que las recomendaciones de los libros de texto a menudo eran incorrectas porque los autores no habían revisado sistemáticamente la evidencia científica pertinente, lo cual tenía repercusiones devastadoras.
En algunos casos, se estaba privando a los pacientes con ataques cardíacos de recibir tratamientos que podrían salvarles la vida (por ejemplo, medicamentos para desintegrar los coágulos). En otros casos, los médicos siguieron recomendando tratamientos mucho después de que las pruebas imparciales habían demostrado que eran mortales; por ejemplo, el uso de fármacos para disminuir las alteraciones del ritmo cardíaco en pacientes con ataques cardíacos).
Al no combinar los resultados de los estudios en revisiones sistemáticas a medida que se obtiene nueva evidencia científica, se sigue perjudicando a los pacientes.
Los sucedáneos de la sangre que no necesitan refrigeración o determinación de la compatibilidad cruzada son una alternativa obviamente atractiva a la sangre real para el tratamiento de la hemorragia. Lamentablemente estos productos aumentan el riesgo de ataques cardíacos y muerte. Además, una revisión sistemática de ensayos aleatorizados publicados desde fines de los años noventa revela que sus riesgos podrían y deberían haberse reconocido muchos años antes. [12]
Daño evitable a las personas que participan en las investigaciones
El hecho de no evaluar toda la evidencia científica pertinente y fiable también puede dar lugar a que las personas que participan en las investigaciones resulten perjudicadas.
Se sigue encargando y permitiendo a los investigadores que realicen estudios que implican no utilizar tratamientos que se sabe que son eficaces. Por ejemplo, mucho tiempo después de que la evidencia científica fiable demostró que la administración de antibióticos a los pacientes sometidos a operaciones del intestino reducía sus probabilidades de morir por complicaciones de la intervención, los investigadores seguían haciendo estudios comparativos, en los cuales la mitad de los pacientes participantes en los ensayos controlados no recibían antibióticos.
Al no revisar de un modo sistemático lo que ya se sabía, los investigadores privaron a la mitad de los participantes de sus estudios de un tratamiento beneficioso conocido. Esta omisión grave fue evidentemente pasada por alto por los organismos patrocinadores que financiaron las investigaciones y por los comités de ética de la investigación que revisaron los protocolos y no cuestionaron a los investigadores.
No solo se puede poner en riesgo a los pacientes que necesitan tratamiento si los investigadores no evalúan sistemáticamente lo que ya se conoce sobre los efectos de los tratamientos que se les administrarán. Los voluntarios sanos también pueden resultar perjudicados.
¿Podría haberse evitado la muerte si primero se hubiera verificado la evidencia?
En la primera etapa de prueba de algunos tratamientos generalmente participan un número muy pequeño de voluntarios sanos. En 2006, seis jóvenes voluntarios en un centro de investigación privado de West London recibieron infusiones de un fármaco que no se había probado antes en seres humanos. Todos sufrieron complicaciones potencialmente mortales (uno de ellos perdió los dedos de los pies y de las manos), y su salud a largo plazo resultó deteriorada.
Muy probablemente, esta tragedia podría haberse evitado [13] si se hubiese enviado a publicar un informe de una reacción grave a un fármaco similar [14] y si los investigadores hubiesen evaluado sistemáticamente lo que ya se sabía sobre los efectos de dichos fármacos. [15] Si lo hubiesen hecho, posiblemente habrían cancelado su estudio; o si hubiesen decidido continuar, podrían haber inyectado a los voluntarios uno a uno en lugar de simultáneamente; y podrían y deberían haber advertido a los jóvenes voluntarios sanos sobre los posibles riesgos. [16]
Recursos desperdiciados en la atención sanitaria y la investigación
El hecho de no realizar revisiones sistemáticas de datos científicos pertinentes y fiables perjudica incluso cuando no daña a los pacientes ni a las personas que participan en la investigación. Esto se debe a que puede derivar en el desperdicio de recursos en la atención sanitaria y la investigación sanitaria.
Durante los años ochenta y noventa, por ejemplo, más de 8000 pacientes participaron en varias pruebas de un nuevo fármaco propuesto para el accidente cerebrovascular. Investigadores holandeses revisaron sistemáticamente los resultados de estos estudios del fármaco y no pudieron encontrar ningún efecto beneficioso. [17] Luego decidieron revisar los resultados de las pruebas del fármaco realizadas anteriormente con animales. Una vez más, no pudieron encontrar ningún efecto beneficioso. [18]
Si los investigadores que hicieron las pruebas con animales y los investigadores clínicos hubiesen revisado sistemáticamente los resultados de los estudios en animales, a medida que surgían, muy probablemente no se habría invitado a miles de pacientes a participar en los ensayos clínicos. De hecho, se podría haber aprovechado mejor los recursos para el tratamiento de los pacientes que padecen un accidente cerebrovascular, y se podrían haber realizado estudios con más probabilidades de ser relevantes para el descubrimiento de mejoras en los tratamientos de esta afección. Y esto está lejos de ser un ejemplo aislado. [19]
Los informes de las investigaciones nuevas deben comenzar y terminar con revisiones sistemáticas
El informe de un estudio [20] para evaluar los efectos de la administración de corticoesteroides a las personas con lesión cerebral traumática aguda muestra cómo abordar cuatro preguntas de Bradford Hill.
Los investigadores explicaron que habían emprendido el estudio porque la revisión sistemática de toda la evidencia científica existente, así como de la evidencia sobre las variaciones en el uso clínico del tratamiento, mostró que había una incertidumbre importante acerca de los efectos de este tratamiento ampliamente utilizado. Informaron que habían registrado y publicado el protocolo para el estudio cuando comenzó.
Describieron las medidas que habían tomado para minimizar los sesgos y para lograr un control adecuado de la intervención del azar al estudiar a un número suficientemente grande de pacientes. Informaron que el estudio había demostrado que la administración de corticoesteroides a pacientes con lesión cerebral grave aumentaba las probabilidades de muerte de estos pacientes.
Por último, es importante destacar que brindaron a los lectores de su informe toda la evidencia científica necesaria para actuar en la prevención de miles de muertes a causa de este tratamiento ampliamente usado, ya que actualizaron su revisión sistemática original de los estudios previos mediante la incorporación de las nuevas pruebas generadas por su estudio.
Referencias (Sección 8)
Referencias de Evaluación de toda la evidencia científica pertinente y fiable:
1 ISIS-2 (Second International Study of Infarct Survival) Collaborative Group. Randomised trial of intravenous streptokinase, oral aspirin, both, or neither among 17,187 cases of suspected acute myocardial infarction: ISIS-2. Lancet 1988;332:349-60.
2 Reynolds LA, Tansey EM, eds. Prenatal corticosteroids for reducing morbidity and mortality after preterm birth. London: Wellcome Trust, Centre for the History of Medicine, 2005.
3 Dickersin K, Chalmers I. Recognising, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the World Health Organisation. James Lind Library 2010.
4 Cowley AJ, Skene A, Stainer K, et al. The effect of lorcainide on arrhythmias and survival in patients with acute myocardial infarction: an example of publication bias. International Journal of Cardiology 1993;40:161-6.
5 Moore T. Deadly Medicine. New York: Simon and Schuster, 1995.
6 Stjernswärd J. Decreased survival related to irradiation postoperatively in early operable breast cancer. Lancet 1974;ii:1285-6.
7 Stjernswärd J. Meta-analysis as a manifestation of ‘bondförnuft’ (‘peasant sense’). JLL Bulletin: Commentaries on the history of treatment evaluation 2009.
8 Fugh-Berman AJ. The haunting of medical journals: how ghostwriting sold “HRT”. PLoS Medicine 2010;7(9):e1000335.
9 Whittington CJ, Kendall T, Fonagy P, et al. Selective serotonin-reuptake inhibitors in childhood depression: systematic review of published versus unpublished data. Lancet 2004;363:1341-5.
10 Spielmans GI, Biehn TL, Sawrey DL. A case study of salami slicing: pooled analysis of duloxetine for depression. Psychotherapy and Psychosomatics 2010;79:97-106.
11 Antman EM, Lau J, Kupelnick B, et al. A comparison of results of metaanalysis of randomized control trials and recommendations of clinical experts. JAMA 1992;268:240-8.
12 Natanson C, Kern SJ, Lurie P, et al. Cell-free hemoglobin-based blood substitutes and risk of myocardial infarction and death: a meta-analysis. JAMA 2008;299(19):2304-12.
13 Chalmers I. TGN1412 and The Lancet’s solicitation of reports of phase 1 trials. Lancet 2006;368:2206-7.
14 Jack A. Call to release human drug trial data. Financial Times, 8 August 2006.
15 Kenter MJH, Cohen AF. Establishing risk of human experimentation with drugs: lessons from TGN1412. Lancet 2006;368:1387-91.
16 McLellan F. 1966 and all that – when is a literature search done? Lancet 2001;358:646.
17 Horn J, Limburg M. Calcium antagonists for acute ischemic stroke. Cochrane Database of Systematic Reviews 2000, Issue 1. Art. No.:
CD001928.
18 Horn J, de Haan RJ, Vermeulen M, et al. Nimodipine in animal model experiments of focal cerebral ischemia: a systematic review. Stroke
2001;32:2433-8.
19 O’Collins VE, Macleod MR, Donnan GA, et al. 1,026 experimental treatments in acute stroke. Annals of Neurology 2006;59:467-77.
20 CRASH trial collaborators. Final results of MRC CRASH, a randomised placebo-controlled trial of intravenous corticosteroid in adults with head injury – outcomes at 6 months. Lancet 2005;365:1957-9.