¿HA
DESCARRILADO EL TREN DE LA CIENCIA?
Decía Julio Verne
que “la ciencia se compone de errores, que a su vez, son los pasos hacia la
verdad”. Mal que me pese, creo que el genial escritor estaba en cierto modo
equivocado. Hace unas semanas cayeron en mis manos dos artículos, uno del Los
Angeles Times y otro del The Economist, que, con dramáticos titulares,
cuestionaban seriamente la eficacia del actual sistema de ciencia básica. Alertaban
sobre el tremendo impacto económico que dicha situación provoca sobre
industrias basadas en el conocimiento que genera este tipo de ciencia. Las
malas noticias afectan a todos los campos de la ciencia, pero son especialmente
preocupantes en la Biomedicina y, por supuesto, también afectan a la
Neurociencia. En líneas generales, esta impresión sobre el “descarrilamiento”
del conocimiento científico está basada en recientes estudios que han
demostrado que una parte importante de los resultados científicos publicados no
pueden ser replicados o contienen
importantes errores metodológicos que ponen en duda su veracidad. Los
ejemplos más conocidos de este tipo de estudios son los realizados sobre
artículos muy relevantes en la investigación del cáncer, promovidos por
compañías farmacéuticas tan importantes como Amgen o Bayer, los cuales
demuestran que en un caso sólo se pudieron replicar un noveno de 53 de los
resultados o sólo un cuarto de 67 en el otro caso. Pero la Neurociencia no es
ajena a estos fracasos: Por ejemplo, se han publicado más de 500 estrategias
terapéuticas que parecen funcionar en modelos animales de accidente
cerebrovascular, sin embargo hasta la fecha sólo 2 de ellas han probado su
efectividad en pacientes, a pesar de que muchas de estas estrategias entraron
en ensayos clínicos. Obviamente, existen muchos ejemplos de ciencia de calidad
que ha sido trasladada de manera eficiente a la clínica con muy buenos
resultados. Pero no es menos cierto que la incapacidad de la industria
farmacéutica de validar, a través de ensayos clínicos, los resultados de la
mayoría de los resultados de las publicaciones acerca de moléculas con
potencial terapéutico sugiere la existencia de un problema general y
profundamente enraizado en nuestra manera de hacer y comunicar la ciencia.
* Replicar,
replicar, replicar y replicar.
Obviamente, esta
falta de replicabilidad tiene un impacto económico importantísimo sobre las
compañías farmacéuticas, que son las encargadas de desarrollar estudios
clínicos basados en los compuestos prometedores que señala la ciencia básica; al
mismo tiempo mina la posibilidad de que los pacientes reciban tratamientos
efectivos para su enfermedad. El sistema de financiación que sustenta la
ciencia básica no prima en absoluto en la actualidad la replicación de
experimentos. La necesidad de financiar sobre todo aproximaciones novedosas a
determinados problemas, en agencias de todo el mundo, obliga a soslayar
estudios que intenten replicar y aportar solidez a estudios anteriores. De la
misma manera, los procesos de evaluación de la actividad científica para examinar
la capacidad de los investigadores y promover su carrera tienen un efecto
similar sobre los estudios replicativos. Un sistema basado casi exclusivamente
en premiar la cantidad y el índice de impacto de trabajos publicados ejerce un
efecto perverso, puesto que la mayor parte de revistas no juzgan interesantes
resultados que repitan experimentos que ya han sido publicados. Es necesario
por tanto un esfuerzo conjunto de los investigadores, las agencias que los
financian y los evalúan, y de los editores de las revistas que publican sus
resultados para promover la replicación de experimentos. La manera de conseguir
esto es complicada, pues requiere una reestructuración de gran parte la
política científica actual, pero sin ella la relación coste-beneficio de la
investigación básica seguirá siendo muy alta, tanto a nivel intelectual como
económico. Aunque están apareciendo nuevas iniciativas, como la
“Reproducibility initiative” (https://www.scienceexchange.com/reproducibility),
la inclusión de secciones para réplicas de experimentos en algunas revistas (http://pps.sagepub.com), la posibilidad de añadir comentarios a
trabajos publicados como se pretende en revistas como Frontiers (http://www.frontiersin.org)
o en la iniciativa de Pubmed Commons
(http://www.ncbi.nlm.nih.gov/pubmedcommons), es todavía dudoso que los
investigadores puedan dedicar parte de su valioso tiempo a reproducir
experimentos y no a desarrollar nuevos que sí revertirán en un beneficio para
su carrera o la financiación de futuras investigaciones.
Y todo lo anterior,
recordad, en un sistema en el que (tristemente) sólo una parte de la comunidad
científica tiene acceso fácil a gran parte de los resultados, o (más tristemente)
a la posibilidad de hacerlos accesibles a través de las elevadas tasas de las
revistas “open access”.
* Es
menos malo agitarse en la duda que descansar en el error (A. Manzoni)
¿Pero, por qué
fallan las reproducciones de experimentos previos? La respuesta no es simple,
pero hay algunos factores que parecen críticos. El primero es que existe amplia
evidencia de errores metodológicos en una gran parte de los artículos
científicos publicados. Hay abundante bibliografía al respecto, alguna de la
cual podéis consultar en el pie de este artículo. De estos errores, por
sorprendente que parezca, uno de los más frecuentes es la realización de
experimentos sin que el investigador encargado de desarrollarlos sea ciego a los
diferentes grupos controles y experimentales. Además, muchos experimentos
tampoco tienen una correcta distribución aleatoria de los sujetos (normalmente
animales de experimentación), ni una correcta estimación previa del número de
sujetos necesarios en cada grupo para obtener resultados estadísticamente
satisfactorios. De hecho, muchos estudios adolecen de un número de sujetos
excesivamente bajo que hace que los efectos observados, en contra de la apreciación
del investigador, sean en realidad muy bajos o prácticamente inexistentes. El
tratamiento de los datos producidos en los experimentos también es motivo de
preocupación, dado que muchos estudios excluyen arbitrariamente conjuntos de
datos o los seleccionan en base a experimentos “a posteriori”. La realización
de réplicas o pseudoréplicas en los distintos experimentos de un estudio, que
podría aumentar sus solidez, tampoco es una práctica habitual. Además, parece
claro que la elección de los métodos de análisis estadístico no es la más
adecuada en gran parte de los estudios publicados. La Neurociencia no es en
absoluto ajena a estos problemas; por ejemplo, una revisión sistemática con
meta-análisis de estudios en modelos animales sobre una molécula con potencial
terapéutico para los accidentes cerebrovasculares, reveló que las publicaciones
que contenían información sobre la selección aleatoria de sujetos, así como sobre
la realización de experimentos y el tratamiento de datos “a ciegas”, mostraban
efectos del fármaco significativamente menores que los estudios que no tenían
esta información. Un apartado aparte merecerían los estudios que se realizan
con modelos animales, que son frecuentemente utilizados en Neurociencia y en
Biomedicina. En muchos casos se puede detectar que no existe una validación
externa de dichos modelos, que repetidas veces están lejanos de la realidad de
la enfermedad. Muchos estudios carecen de las explicaciones necesarias para
poner de manifiesto que un determinado modelo sólo sirve para desarrollar
ciertos aspectos de la enfermedad y que no se puede tomar como una plataforma
“global” que replique lo que sucede en los pacientes.
* ¿Tan
difícil es decir las cosas claras (y decirlas todas)?
Otro de los
problemas de los que adolecen frecuentemente las publicaciones científicas
básicas es de deficiencias en la comunicación de los resultados o el diseño
experimental utilizado. Esto redunda en la incapacidad de reproducirlos, no
sólo para confirmarlos, sino para construir sobre ellos nuevos experimentos que
expandan el conocimiento. Además, es muy frecuente que estas deficiencias en la
comunicación vayan en paralelo a una sobrevaloración de los resultados
obtenidos, que puede influir sobre la dirección que toman los experimentos de
otros investigadores o inducir al inicio de costosos análisis clínicos. De
nuevo la Neurociencia no es una excepción; el análisis de centenares de estudios
publicados acerca de enfermedades que afectan al sistema nervioso, como el
Parkinson, los accidentes cerebrovasculares o la esclerosis múltiple, han puesto
de manifiesto deficiencias en la comunicación de parámetros metodológicos clave
para la réplica de experimentos. Estas deficiencias en la comunicación no sólo
son por acción, también lo son frecuentemente por omisión. ¿Quién no ha visto
en revistas de alto índice de impacto secciones de métodos en las cuales una
parte de los experimentos se describen someramente, te remiten a un trabajo
anterior o simplemente están ausentes? Ciertamente también la obligación de
suministrar a la comunidad científica los datos crudos de los experimentos
cuando se publica un trabajo ayudaría mucho a la transparencia. En este
sentido, algunas organizaciones están dando pasos en la buena dirección,
creando bases de datos con los resultados crudos de los proyectos que
financian. Estas bases son abiertas y están a disposición de la comunidad
científica (véase como ejemplo http://www.stanleyresearch.org).
* ¡Siempre
positivo, nunca negativo!
Otro punto
importante que afecta sin duda a la calidad de la ciencia básica que se
transmite a la sociedad y a la industria es la ausencia de resultados
negativos. Éstos, como los experimentos replicados, no son fácilmente
publicables y tampoco contribuyen a impulsar la carrera investigadora o su
financiación, de modo que usualmente permanecen “ad eternum” en un cajón del
laboratorio. Consecuentemente, se provoca que otros científicos transiten por
vías que ya ha sido demostrado que llevan al fracaso, con la implícita perdida
de dinero y horas de trabajo. Como en el caso de la replicabilidad, la
implicación de agencias, editores y científicos es necesaria para fomentar la
difusión de estos resultados. Iniciativas como el Journal of Biomedical
Negative Results (http://www.jnrbm.com) u otras similares parecen interesantes,
pero dudo que sean la respuesta. Otra aproximación son las bases de datos de
resultados negativos, pero se encuentran en fases tempranas de desarrollo. Además
de los resultados negativos, hay otras categorías de investigación que
habitualmente no alcanzan a ver la luz porque, aunque pueden ser potencialmente
interesantes, no alcanzan la barrera no escrita de “una unidad mínima
publicable”.
*
¿Somos los científicos culpables de este fracaso?
La respuesta es,
por desgracia, sí; aunque es verdad que no estamos solos en este jardín en que
nos hemos metido. El artículo que mencionaba de The Economist citaba a Brian
Nosek, un psicólogo de la Universidad de Virginia apabullado por los frecuentes
errores en las publicaciones científicas: “El problema es que no hay un coste
por hacer las cosas de manera equivocada, el coste es no conseguir
publicarlas”. Más claro, agua. Hasta que
este escenario no cambie sustancialmente, difícilmente mejoraremos. Es evidente
que las agencias que pagan nuestra investigación, los editores y hasta la
industria han de cambiar para lograr que los científicos salgamos del
“descarrilamiento” actual, como hemos señalado al hablar de la replicabilidad,
pero también es cierto que la comunidad científica puede y debe hacer un
esfuerzo para salir. Yo no tengo duda de la honestidad de la gran mayoría de
los científicos y, de hecho, las encuestas dicen que sólo un 2% de los
científicos admiten haber falsificado o inventado datos (aunque es preocupante
que un 28% admita conocer a otros investigadores que sí lo han hecho…). En fin,
demos, pues, por supuesto que la mayor parte de nosotros nos comportamos bien
(en términos científicos al menos) y que la mayor parte de errores que
encontramos en las publicaciones son fruto de nuestra ineptitud o inaptitud a
la hora de generar ciencia o de evaluarla. En gran medida nuestros problemas se
generan por errores en el proceso de revisión de los trabajos científicos
previa a su publicación. Muchas veces no ponemos el suficiente celo en el
escrutinio de los trabajos que evaluamos. Es cierto que esto puede ser debido
en parte a que éste no es un trabajo por el que se nos pague directamente y que
hacemos muchas veces por un sentido de obligación profesional. Así, es muchas
veces inevitable evaluar sin un profundo interés y dedicación (tampoco es que
los científicos vayamos sobrados de tiempo habitualmente), lo cual favorece que
estudios con errores varios vean la luz en el paraíso de la publicación. Otra
cuestión que nos compete directamente tiene que ver con nuestra formación. Tenemos
la obligación de formar científicos competentes en el diseño y la comunicación
de experimentos y este esfuerzo debe ser continuado, desde las fases
predoctorales a las sénior. La existencia de cursos de doctorado, asignaturas
de master, cursos promovidos por sociedades científicas, simposios en
convenciones, la tutorización u otros
modos de educar y entrenar en estas cuestiones básicas de la ciencia será una
garantía de que la situación mejorará.
Evidentemente,
cuando un tren descarrila no sólo se puede achacar la culpa al maquinista, a
veces los problemas están también en la vía o en la locomotora. Las agencias de
financiación (de la naturaleza que sean) y las revistas científicas deben
someter los experimentos y resultados que evalúan a un escrutinio severo. Los
estudios clínicos llevan largo tiempo siguiendo un riguroso control de su
metodología que tiene como base el reglamento denominado CONSORT. Éste es el
estándar que siguen los investigadores y que también ha sido adoptado por
muchas agencias de financiación y revistas de investigación clínica. Un
reglamento similar sería deseable para la investigación básica y, de hecho, en
este sentido algunas revistas, como las del grupo Nature, ya cuentan con un listado
de puntos que los estudios deben cumplir para ser considerados para su
publicación. De el mismo modo algunas asociaciones ligadas a comunidades de
pacientes (algunas de enfermedades del sistema nervioso) han adoptado
reglamentos similares para financiar estudios generales y específicamente para
estudios en modelos animales.
En fin, nos queda un
largo camino por recorrer, que debemos hacer todos los implicados directa o
indirectamente en la ciencia cogidos de la mano. El lugar donde estamos ahora
nos hace perder recursos valiosísimos intelectuales y económicos, que bien
utilizados podrían aumentar mucho más el beneficio que la ciencia puede rendir
a la sociedad.
Juan Nàcher. Dpto de Biología Celular, Universitat de València.
Referencias
