LES ENTRADES D'AQUEST BLOC APAREIXEN (QUASI SEMPRE) SEGUIDES EN CATALÀ I ESPANYOL

LAS ENTRADAS DE ESTE BLOG APARECEN SEGUIDAS (CASI SIEMPRE) EN CATALÁN Y ESPAÑOL

dilluns, 18 de novembre del 2013

¿Ha descarrilado el tren de la ciencia?

¿HA DESCARRILADO EL TREN DE LA CIENCIA?
Decía Julio Verne que “la ciencia se compone de errores, que a su vez, son los pasos hacia la verdad”. Mal que me pese, creo que el genial escritor estaba en cierto modo equivocado. Hace unas semanas cayeron en mis manos dos artículos, uno del Los Angeles Times y otro del The Economist, que, con dramáticos titulares, cuestionaban seriamente la eficacia del actual sistema de ciencia básica. Alertaban sobre el tremendo impacto económico que dicha situación provoca sobre industrias basadas en el conocimiento que genera este tipo de ciencia. Las malas noticias afectan a todos los campos de la ciencia, pero son especialmente preocupantes en la Biomedicina y, por supuesto, también afectan a la Neurociencia. En líneas generales, esta impresión sobre el “descarrilamiento” del conocimiento científico está basada en recientes estudios que han demostrado que una parte importante de los resultados científicos publicados no pueden ser replicados o contienen  importantes errores metodológicos que ponen en duda su veracidad. Los ejemplos más conocidos de este tipo de estudios son los realizados sobre artículos muy relevantes en la investigación del cáncer, promovidos por compañías farmacéuticas tan importantes como Amgen o Bayer, los cuales demuestran que en un caso sólo se pudieron replicar un noveno de 53 de los resultados o sólo un cuarto de 67 en el otro caso. Pero la Neurociencia no es ajena a estos fracasos: Por ejemplo, se han publicado más de 500 estrategias terapéuticas que parecen funcionar en modelos animales de accidente cerebrovascular, sin embargo hasta la fecha sólo 2 de ellas han probado su efectividad en pacientes, a pesar de que muchas de estas estrategias entraron en ensayos clínicos. Obviamente, existen muchos ejemplos de ciencia de calidad que ha sido trasladada de manera eficiente a la clínica con muy buenos resultados. Pero no es menos cierto que la incapacidad de la industria farmacéutica de validar, a través de ensayos clínicos, los resultados de la mayoría de los resultados de las publicaciones acerca de moléculas con potencial terapéutico sugiere la existencia de un problema general y profundamente enraizado en nuestra manera de hacer y comunicar la ciencia.

* Replicar, replicar, replicar y replicar.
Obviamente, esta falta de replicabilidad tiene un impacto económico importantísimo sobre las compañías farmacéuticas, que son las encargadas de desarrollar estudios clínicos basados en los compuestos prometedores que señala la ciencia básica; al mismo tiempo mina la posibilidad de que los pacientes reciban tratamientos efectivos para su enfermedad. El sistema de financiación que sustenta la ciencia básica no prima en absoluto en la actualidad la replicación de experimentos. La necesidad de financiar sobre todo aproximaciones novedosas a determinados problemas, en agencias de todo el mundo, obliga a soslayar estudios que intenten replicar y aportar solidez a estudios anteriores. De la misma manera, los procesos de evaluación de la actividad científica para examinar la capacidad de los investigadores y promover su carrera tienen un efecto similar sobre los estudios replicativos. Un sistema basado casi exclusivamente en premiar la cantidad y el índice de impacto de trabajos publicados ejerce un efecto perverso, puesto que la mayor parte de revistas no juzgan interesantes resultados que repitan experimentos que ya han sido publicados. Es necesario por tanto un esfuerzo conjunto de los investigadores, las agencias que los financian y los evalúan, y de los editores de las revistas que publican sus resultados para promover la replicación de experimentos. La manera de conseguir esto es complicada, pues requiere una reestructuración de gran parte la política científica actual, pero sin ella la relación coste-beneficio de la investigación básica seguirá siendo muy alta, tanto a nivel intelectual como económico. Aunque están apareciendo nuevas iniciativas, como la “Reproducibility initiative” (https://www.scienceexchange.com/reproducibility), la inclusión de secciones para réplicas de experimentos en algunas revistas (http://pps.sagepub.com), la posibilidad de añadir comentarios a trabajos publicados como se pretende en revistas como Frontiers (http://www.frontiersin.org) o en la iniciativa de Pubmed Commons (http://www.ncbi.nlm.nih.gov/pubmedcommons), es todavía dudoso que los investigadores puedan dedicar parte de su valioso tiempo a reproducir experimentos y no a desarrollar nuevos que sí revertirán en un beneficio para su carrera o la financiación de futuras investigaciones.
Y todo lo anterior, recordad, en un sistema en el que (tristemente) sólo una parte de la comunidad científica tiene acceso fácil a gran parte de los resultados, o (más tristemente) a la posibilidad de hacerlos accesibles a través de las elevadas tasas de las revistas “open access”.

* Es menos malo agitarse en la duda que descansar en el error (A. Manzoni)
¿Pero, por qué fallan las reproducciones de experimentos previos? La respuesta no es simple, pero hay algunos factores que parecen críticos. El primero es que existe amplia evidencia de errores metodológicos en una gran parte de los artículos científicos publicados. Hay abundante bibliografía al respecto, alguna de la cual podéis consultar en el pie de este artículo. De estos errores, por sorprendente que parezca, uno de los más frecuentes es la realización de experimentos sin que el investigador encargado de desarrollarlos sea ciego a los diferentes grupos controles y experimentales. Además, muchos experimentos tampoco tienen una correcta distribución aleatoria de los sujetos (normalmente animales de experimentación), ni una correcta estimación previa del número de sujetos necesarios en cada grupo para obtener resultados estadísticamente satisfactorios. De hecho, muchos estudios adolecen de un número de sujetos excesivamente bajo que hace que los efectos observados, en contra de la apreciación del investigador, sean en realidad muy bajos o prácticamente inexistentes. El tratamiento de los datos producidos en los experimentos también es motivo de preocupación, dado que muchos estudios excluyen arbitrariamente conjuntos de datos o los seleccionan en base a experimentos “a posteriori”. La realización de réplicas o pseudoréplicas en los distintos experimentos de un estudio, que podría aumentar sus solidez, tampoco es una práctica habitual. Además, parece claro que la elección de los métodos de análisis estadístico no es la más adecuada en gran parte de los estudios publicados. La Neurociencia no es en absoluto ajena a estos problemas; por ejemplo, una revisión sistemática con meta-análisis de estudios en modelos animales sobre una molécula con potencial terapéutico para los accidentes cerebrovasculares, reveló que las publicaciones que contenían información sobre la selección aleatoria de sujetos, así como sobre la realización de experimentos y el tratamiento de datos “a ciegas”, mostraban efectos del fármaco significativamente menores que los estudios que no tenían esta información. Un apartado aparte merecerían los estudios que se realizan con modelos animales, que son frecuentemente utilizados en Neurociencia y en Biomedicina. En muchos casos se puede detectar que no existe una validación externa de dichos modelos, que repetidas veces están lejanos de la realidad de la enfermedad. Muchos estudios carecen de las explicaciones necesarias para poner de manifiesto que un determinado modelo sólo sirve para desarrollar ciertos aspectos de la enfermedad y que no se puede tomar como una plataforma “global” que replique lo que sucede en los pacientes.

* ¿Tan difícil es decir las cosas claras (y decirlas todas)?
Otro de los problemas de los que adolecen frecuentemente las publicaciones científicas básicas es de deficiencias en la comunicación de los resultados o el diseño experimental utilizado. Esto redunda en la incapacidad de reproducirlos, no sólo para confirmarlos, sino para construir sobre ellos nuevos experimentos que expandan el conocimiento. Además, es muy frecuente que estas deficiencias en la comunicación vayan en paralelo a una sobrevaloración de los resultados obtenidos, que puede influir sobre la dirección que toman los experimentos de otros investigadores o inducir al inicio de costosos análisis clínicos. De nuevo la Neurociencia no es una excepción;  el análisis de centenares de estudios publicados acerca de enfermedades que afectan al sistema nervioso, como el Parkinson, los accidentes cerebrovasculares o la esclerosis múltiple, han puesto de manifiesto deficiencias en la comunicación de parámetros metodológicos clave para la réplica de experimentos. Estas deficiencias en la comunicación no sólo son por acción, también lo son frecuentemente por omisión. ¿Quién no ha visto en revistas de alto índice de impacto secciones de métodos en las cuales una parte de los experimentos se describen someramente, te remiten a un trabajo anterior o simplemente están ausentes? Ciertamente también la obligación de suministrar a la comunidad científica los datos crudos de los experimentos cuando se publica un trabajo ayudaría mucho a la transparencia. En este sentido, algunas organizaciones están dando pasos en la buena dirección, creando bases de datos con los resultados crudos de los proyectos que financian. Estas bases son abiertas y están a disposición de la comunidad científica (véase como ejemplo http://www.stanleyresearch.org).


* ¡Siempre positivo, nunca negativo!
Otro punto importante que afecta sin duda a la calidad de la ciencia básica que se transmite a la sociedad y a la industria es la ausencia de resultados negativos. Éstos, como los experimentos replicados, no son fácilmente publicables y tampoco contribuyen a impulsar la carrera investigadora o su financiación, de modo que usualmente permanecen “ad eternum” en un cajón del laboratorio. Consecuentemente, se provoca que otros científicos transiten por vías que ya ha sido demostrado que llevan al fracaso, con la implícita perdida de dinero y horas de trabajo. Como en el caso de la replicabilidad, la implicación de agencias, editores y científicos es necesaria para fomentar la difusión de estos resultados. Iniciativas como el Journal of Biomedical Negative Results (http://www.jnrbm.com) u otras similares parecen interesantes, pero dudo que sean la respuesta. Otra aproximación son las bases de datos de resultados negativos, pero se encuentran en fases tempranas de desarrollo. Además de los resultados negativos, hay otras categorías de investigación que habitualmente no alcanzan a ver la luz porque, aunque pueden ser potencialmente interesantes, no alcanzan la barrera no escrita de “una unidad mínima publicable”.

* ¿Somos los científicos culpables de este fracaso?
La respuesta es, por desgracia, sí; aunque es verdad que no estamos solos en este jardín en que nos hemos metido. El artículo que mencionaba de The Economist citaba a Brian Nosek, un psicólogo de la Universidad de Virginia apabullado por los frecuentes errores en las publicaciones científicas: “El problema es que no hay un coste por hacer las cosas de manera equivocada, el coste es no conseguir publicarlas”.  Más claro, agua. Hasta que este escenario no cambie sustancialmente, difícilmente mejoraremos. Es evidente que las agencias que pagan nuestra investigación, los editores y hasta la industria han de cambiar para lograr que los científicos salgamos del “descarrilamiento” actual, como hemos señalado al hablar de la replicabilidad, pero también es cierto que la comunidad científica puede y debe hacer un esfuerzo para salir. Yo no tengo duda de la honestidad de la gran mayoría de los científicos y, de hecho, las encuestas dicen que sólo un 2% de los científicos admiten haber falsificado o inventado datos (aunque es preocupante que un 28% admita conocer a otros investigadores que sí lo han hecho…). En fin, demos, pues, por supuesto que la mayor parte de nosotros nos comportamos bien (en términos científicos al menos) y que la mayor parte de errores que encontramos en las publicaciones son fruto de nuestra ineptitud o inaptitud a la hora de generar ciencia o de evaluarla. En gran medida nuestros problemas se generan por errores en el proceso de revisión de los trabajos científicos previa a su publicación. Muchas veces no ponemos el suficiente celo en el escrutinio de los trabajos que evaluamos. Es cierto que esto puede ser debido en parte a que éste no es un trabajo por el que se nos pague directamente y que hacemos muchas veces por un sentido de obligación profesional. Así, es muchas veces inevitable evaluar sin un profundo interés y dedicación (tampoco es que los científicos vayamos sobrados de tiempo habitualmente), lo cual favorece que estudios con errores varios vean la luz en el paraíso de la publicación. Otra cuestión que nos compete directamente tiene que ver con nuestra formación. Tenemos la obligación de formar científicos competentes en el diseño y la comunicación de experimentos y este esfuerzo debe ser continuado, desde las fases predoctorales a las sénior. La existencia de cursos de doctorado, asignaturas de master, cursos promovidos por sociedades científicas, simposios en convenciones, la tutorización  u otros modos de educar y entrenar en estas cuestiones básicas de la ciencia será una garantía de que la situación mejorará.
Evidentemente, cuando un tren descarrila no sólo se puede achacar la culpa al maquinista, a veces los problemas están también en la vía o en la locomotora. Las agencias de financiación (de la naturaleza que sean) y las revistas científicas deben someter los experimentos y resultados que evalúan a un escrutinio severo. Los estudios clínicos llevan largo tiempo siguiendo un riguroso control de su metodología que tiene como base el reglamento denominado CONSORT. Éste es el estándar que siguen los investigadores y que también ha sido adoptado por muchas agencias de financiación y revistas de investigación clínica. Un reglamento similar sería deseable para la investigación básica y, de hecho, en este sentido algunas revistas, como las del grupo Nature, ya cuentan con un listado de puntos que los estudios deben cumplir para ser considerados para su publicación. De el mismo modo algunas asociaciones ligadas a comunidades de pacientes (algunas de enfermedades del sistema nervioso) han adoptado reglamentos similares para financiar estudios generales y específicamente para estudios en modelos animales.
En fin, nos queda un largo camino por recorrer, que debemos hacer todos los implicados directa o indirectamente en la ciencia cogidos de la mano. El lugar donde estamos ahora nos hace perder recursos valiosísimos intelectuales y económicos, que bien utilizados podrían aumentar mucho más el beneficio que la ciencia puede rendir a la sociedad.

Juan Nàcher. Dpto de Biología Celular, Universitat de València.

Referencias












            

Cap comentari:

Publica un comentari a l'entrada