Mala ciencia (9 page)

Procedimiento ciego

Una característica importante de todo buen ensayo es que ni los experimentadores ni los pacientes sepan si éstos están tomando la pastilla de azúcar homeopática o la simple pastilla de azúcar de placebo, pues nos interesa asegurarnos de que cualquier disparidad que midamos sea ciertamente el resultado de la diferencia entre ambos tipos de pastilla, y no obedezca a las expectativas o los sesgos personales. Si los investigadores supieran cuál de sus queridos pacientes está tomando la pastilla «de verdad» y cuál está ingiriendo el placebo, podrían revelarles a éstos el juego (o podrían cambiar su propia valoración médica del paciente), consciente o inconscientemente.

Pongamos que estoy llevando a cabo un estudio sobre una píldora médica pensada para reducir la hipertensión arterial. Yo sé cuáles de mis pacientes están tomando la nueva (y cara) píldora contra la hipertensión y a cuáles se les está administrando un placebo. Una de las personas que recibe el tratamiento con las nuevas y sofisticadas píldoras para la presión acude a mi consulta y muestra una tensión arterial muy superior a la normal, mucho más alta de la que cabría esperar, sobre todo, teniendo en cuenta que está ingiriendo ese nuevo fármaco tan caro. Así que opto por volver a comprobar su tensión arterial, «sólo para cerciorarme de que no me he equivocado». El siguiente resultado es más normal, así que éste es el que anoto e ignoro el anterior, más elevado.

La lectura de los niveles de la tensión arterial es una técnica bastante inexacta, como pueden serlo también la interpretación de los electrocardiogramas, la de los rayos X, las puntuaciones subjetivas del nivel de dolor, y otras muchas mediciones que se usan de forma rutinaria en los ensayos clínicos. Así que yo me voy a almorzar, sin darme cuenta alguna de que, como quien no quiere la cosa, estoy contaminando los datos, estoy minando el estudio, estoy produciendo pruebas inexactas y, por consiguiente, en última instancia, estoy matando a personas (porque nuestro mayor error radicaría en olvidar que los datos se usan para tomar decisiones muy serias en el mundo real, y la mala información es motivo de sufrimiento y muerte).

Hay varios buenos ejemplos en la historia médica reciente en los que el hecho de que no se garantizara que el procedimiento de prueba fuera adecuadamente «ciego» (así se conoce esta condición) indujo a error al conjunto de la profesión médica acerca de cuál era el mejor tratamiento para ciertas afecciones. No tuvimos forma alguna de saber si la cirugía mínimamente invasiva era mejor que la cirugía abierta, por ejemplo, hasta que un grupo de cirujanos de Sheffield realizó un ensayo muy espectacular y aparatoso, para el que emplearon vendas y manchas y salpicaduras falsas de sangre, a fin de que nadie supiera de entrada con qué tipo de operación había sido intervenido cada paciente.
^[3]

Algunas de las mayores figuras del mundo de la medicina basada en la evidencia empírica colaboraron en la realización de un estudio sobre toda clase de ensayos de medicamentos, y hallaron que los ensayos que no habían sido adecuadamente «ciegos» tendían a exagerar los beneficios de los tratamientos examinados en un 17 %.
^[4]
El carácter ciego de los procedimientos de prueba no se reduce, pues, a una mera cuestión de puntillosidad, para quisquillosos como yo, habituados a atacar las terapias alternativas.

En un terreno mucho más cercano a la homeopatía, un estudio sobre los ensayos de los tratamientos de acupuntura contra el dolor de espalda mostró que las pruebas que habían sido adecuadamente «cegadas» evidenciaban un minúsculo efecto beneficioso de la acupuntura, tan reducido que no era siquiera «estadísticamente significativo» (volveremos sobre el sentido de esta expresión más adelante).
^[5]
Por su parte, los ensayos que no habían sido estrictamente «ciegos» —aquellos en que los pacientes supieron en algún momento si pertenecían al grupo del tratamiento o no— atribuyeron a la acupuntura un efecto beneficioso muy abultado y estadísticamente significativo.
^[6]
(El control de placebo en el caso de la acupuntura, por si se lo están preguntando, consiste en la aplicación de una acupuntura ficticia, realizada con agujas falsas o introducidas en lugares «incorrectos», si bien habría que contar aquí con una divertida complejidad añadida, como es el hecho de que, a veces, una escuela de acupuntores puede reclamar como correctas unas ubicaciones para las agujas que otra escuela puede considerar incorrectas, y viceversa.)

Por tanto, como podemos ver, «cegar» los experimentos es importante y no todos los ensayos tienen necesariamente un efecto positivo. No podemos decir, sin más, que «he aquí un ensayo que muestra que este tratamiento funciona», porque hay ensayos buenos (o «imparciales») y hay ensayos malos. Cuando los médicos y los científicos afirman que un estudio es metodológicamente defectuoso y poco fiable, no lo hacen por mezquindad o por tratar de mantener su «hegemonía» o por seguir recibiendo sobornos de la industria farmacéutica: lo hacen porque el estudio estuvo mal realizado —no costaba nada «cegarlo» apropiadamente— y porque, sencillamente, no constituyó una prueba imparcial.

Aleatorización

Salgamos del plano puramente teórico y fijémonos en algunos ensayos citados por los homeópatas en apoyo de su práctica. Tengo ante mí un estudio de lo más normal sobre ensayos de la eficacia de la árnica homeopática elaborado por el profesor Edward Ernst y que podemos ir repasando en busca de ejemplos.
^[7]
Debe quedar absolutamente claro antes de nada que las deficiencias aquí recogidas no tienen nada de único o exclusivo, que no le supongo malicia alguna a quien las ha recopilado y que no estoy tratando de ser mezquino ni malintencionado. Lo que estamos haciendo, simplemente, es lo que los médicos y los académicos hacen cuando evalúan las pruebas.

Pues bien, Hildebrandt y sus colaboradores analizaron a 42 mujeres que tomaban árnica homeopática para tratar la mialgia diferida (lo que, en lenguaje coloquial, conocemos como «agujetas») y hallaron que funcionaba mejor que el placebo. A simple vista, éste parece ser un estudio bastante plausible, pero si lo examinamos más de cerca, veremos que no se describe ninguna técnica de «aleatorización». La aleatorización (o «randomización») es otro concepto básico en los ensayos clínicos. Asignamos los pacientes al azar, bien al grupo de la pastilla de azúcar de placebo, bien al grupo de la pastilla de azúcar homeopática. Y lo hacemos porque, si no, se corre el riesgo de que el doctor o el homeópata —consciente o inconscientemente— coloque en el grupo del tratamiento homeopático a pacientes a los que cree que les irá mejor, y asigne los casos desesperados al grupo del placebo, lo que desvirtuaría los resultados.

La aleatorización no es una idea nueva. Fue propuesta por primera vez por Jan Baptista van Helmont, un radical belga que retó a los académicos de su tiempo a que probaran los tratamientos que ellos usaban, como las sangrías y las purgas (basados en la «teoría» de entonces), contra los suyos propios, que, según él, estaban basados más directamente en la experiencia clínica: «Saquemos de los hospitales, de los campamentos, o de cualquier sitio, a doscientas o quinientas personas pobres que tengan fiebres, pleuresía, etc. Repartámoslas entre dos grupos de igual tamaño y echemos a suertes cuál de esas mitades corresponderá a mis tratamientos y cuál a los vuestros. […] Y luego veremos cuántos funerales contamos en cada una».
^[8]

Es raro encontrar a un experimentador que no haya hecho intento alguno de «aleatorizar» los pacientes, incluso en el mundo de la medicina alternativa. Pero sí resulta sorprendentemente común dar con ensayos en que el método de aleatorización utilizado es inadecuado: parecen plausibles a simple vista, pero de un examen más detenido se desprende que esos experimentos solamente han sido una especie de comedia, en la que se ha hecho como que se aleatorizaba a los pacientes, cuando, en el fondo, se les dejaba margen para influir (conscientemente o no) a qué grupo acababan yendo a parar.

Hay ensayos bastante torpes (en todas las áreas de la medicina) en que los pacientes son asignados «aleatoriamente» al grupo del tratamiento o al del placebo en función del orden con el que fueron reclutados para participar en el estudio. El primer paciente en llegar recibe el tratamiento de verdad, el segundo toma el placebo, al tercero se le administra el de verdad, al cuarto el placebo, y así sucesivamente. Esto puede parecernos suficientemente imparcial, pero lo cierto es que constituye una laguna mayúscula que abre el ensayo a un posible sesgo sistemático.

Imaginemos que hay un paciente a quien el homeópata no le augura esperanza alguna, un caso perdido que jamás se pondrá mejor sea cual sea el tratamiento que reciba, y que el siguiente puesto disponible en el estudio es para alguien a quien le corresponde una plaza en el grupo «homeopático» del ensayo. No sería inconcebible que el homeópata decidiera —repito, de forma consciente o inconsciente— que al primer paciente «probablemente no le interese en realidad» ese ensayo y lo descarte. Sin embargo, si ese paciente sin esperanza hubiera acudido a la clínica en un momento en el que la siguiente plaza disponible fuera para un componente del grupo del placebo, es posible que el especialista reclutador hubiera tenido menos reparos para apuntarlo.

Lo mismo se puede decir de todos los demás métodos inadecuados de aleatorización, ya sean los que distribuyen los sujetos por la cifra final de su fecha de nacimiento, por la fecha en la que se les ha pasado consulta en la clínica, etc. Existen estudios, incluso, en los que se afirma que los pacientes fueron «aleatorizados» tirando una moneda al aire, pero ya me perdonarán (a mí y a toda la comunidad médica que se basa en la evidencia empírica) si me muestro preocupado ante la posibilidad de que el lanzamiento de una moneda se preste en exceso a manipulaciones (por ejemplo, la de cambiar el método tras un lanzamiento que no nos convence: «No, no, hagámoslo al mejor de tres»; «Bueno, quería decir al mejor de cinco»; «Bueno, ésa no vale, que se ha caído al suelo»).

Hay sobrados métodos genuinamente imparciales de aleatorización que si bien requieren cierto tino y sentido común, no comportan coste adicional alguno. El clásico es el consistente en pedir a los participantes potenciales que llamen a un número de teléfono especial, desde donde alguien los asigna automáticamente a los grupos del estudio por medio de un programa informático de aleatorización (algo que el experimentador no hace hasta que el paciente ha firmado y dado su pleno consentimiento para participar en el estudio). Éste es probablemente el método más popular entre los investigadores meticulosos, particularmente interesados en asegurarse la «imparcialidad» de la prueba que están realizando, una imparcialidad que sólo un charlatán redomado podría estropear (y sólo después de poner especial empeño). Seguiremos riéndonos de charlatanes y curanderos en breve, pero, ahora mismo, sepan que les estoy hablando de una de las ideas más importantes de la historia intelectual moderna.

¿Importa la aleatorización? Como con los procedimientos ciegos, también ha habido gente que ha estudiado el efecto de la randomización analizando los resultados de un gran número de ensayos, y lo que estos autores han descubierto en general es que los que emplean métodos dudosos de aleatorización sobreestiman los efectos del tratamiento en un 41 %. En realidad, el mayor problema de los ensayos de mala calidad no es que empleen un método de aleatorización inadecuado, sino que no nos dicen nada sobre cómo han «aleatorizado» a los pacientes. Ésa es una clásica señal de alerta que, a menudo, significa que el ensayo ha sido mal realizado. Repito, una vez más, que no hablo desde el prejuicio: los ensayos que emplean métodos poco claros de aleatorización exageran los efectos del tratamiento en un 30 %, casi tanto como los ensayos que declaran haber utilizado métodos manifiestamente nefastos.

De hecho, y como norma general, siempre conviene que nos preocupemos cuando los autores de una prueba o ensayo no nos dan suficientes detalles sobre sus métodos y sus resultados. Curiosamente (y prometo que pronto hablaré de esto), ha habido dos estudios muy señalados sobre la existencia o no de una relación entre la inadecuación de la información proporcionada en artículos académicos y la presentación en ellos de unos resultados dudosos y excesivamente positivos para los tratamientos estudiados. Efectivamente, los estudios que no informan plenamente de sus métodos exageran los beneficios de los tratamientos en, aproximadamente, un 25 %.
^[9]
La transparencia y los detalles lo son todo en la ciencia. Hildebrandt y sus colaboradores, aunque no por culpa suya, han sido mi apoyo para estas explicaciones en torno a la aleatorización (y les estoy muy agradecido), y eso a pesar de que es muy posible que hubieran «aleatorizado» a sus pacientes en su momento y que lo hubieran hecho de forma adecuada. Es posible, sí, pero lo cierto es que no dieron información alguna al respecto.

Volvamos a los ocho estudios recogidos en el artículo resumen sobre la árnica homeopática —que elegimos de manera bastante arbitraria—, porque muestran un fenómeno del que somos reiteradamente testigos en los estudios sobre las medicinas alternativas: la mayoría de los ensayos estaban totalmente viciados desde el punto de vista metodológico y daban resultados positivos a favor de la homeopatía. Sin embargo, los dos estudios más aceptables —los dos experimentos más «imparciales»— hallaron que la homeopatía no arrojaba mejores resultados que el placebo.
^[*]