Meneando la ciencia

ImagenEs una constante en la vida habiotual de todos los académicos que se precien: los procesos de peer review. Todos participamos en ellos, normalmente desde ambos lados de la línea divisoria: envías tus papers a un journal (perdón por los anglicismos, pero así es la cosa), para ver como dos o tres anónimos reviewers los destrozan, les sacan todos los peros posibles, y te los devuelven con una notita que dice «rejected», «revise and resubmit» o, en las menos de las ocasiones, «accepted». Otras veces, demasiadas – en mi caso, en torno a un par de ellas al mes, y no soy de los especialmente activos – te toca a ti ser reviewer, y eres el que recibe el encargo de destrozar todo lo que puedas el paper del pobre autor, cuya identidad igualmente desconoces. El proceso forma una parte indisoluble de la naturaleza de la ciencia: el paper original sufre un proceso de revisión y mejora al ser revisado, lo que permite asegurar a la comunidad científica una cierta calidad mínima. En ellos se basa, por ejemplo, el prestigio de los journals y congresos: los hay A, que rechazan un porcentaje muy elevado de los papers que reciben, o B, que lo aceptan casi todo tras reviews prácticamente simbólicos. Tras ello, cómo no, un sinnúmero de problemas: reviews que se asignan a personas cuyo expertise no es competente al tema tratado en el paper, hipercriticismos, colegueo y, sobre todo… LENTITUD. Una pasmosa lentitud, que lleva en los tiempos actuales a que cuando el paper finalmente se publique, sea un paso prácticamente ritual, y ya esté en realidad en manos de todos aquellos para los que podía resultar interesante.

El proceso de review no ha estado exento de críticas y polémica. En 2002, Grigori Perelman, el polémico matemático ruso que consiguió demostrar la conjetura de Poincaré y que saltó a la fama recientemente por rechazar la Fields Medal, publicó su estudio directamente en Internet en el repositorio online Arxiv, saltándose así toda la ortodoxia del sistema de peer-reviewing.

Wired publica un interesantísimo artículo, «Web journals take on peer review«, en el que vienen a plantear el caso de algunos journals que han optado por una vía mucho más expeditiva: ¿por qué no optar por una publicación abierta, a la que cualquiera puede enviar artículos, que éstos, tras una primera revisión por un editor, puedan ser revisados por todos aquellos que se estimen competentes, y éstos puedan publicar sus objeciones a los mismos para que el autor y la comunidad los vean y los depuren? En el mejor estilo Digg o Menéame, la comunidad empezaría a tomar forma a medida que autores y revisores van actuando, y el resultado final podría ser un proceso más rápido, más transparente, más interactivo y que acabase dejando papers de mejor calidad. Por supuesto, el proceso no estaría exento de problemas: habría que ver como se maneja el tema del anonimato, nos encontraríamos con personajes intentando desacreditarlo todo de manera sistemática, etc. Pero tras un período de depuración, como ocurre en los sitios de filtrado social, empezaría a verse quiénes son realmente los buenos reviewers, quienes emiten opiniones fundadas y dedican tiempo a la comunidad, y el sistema podría, podsiblemente, dar frutos muy interesantes. Este es el enfoque, por ejemplo, de PLOS One, un journal de la Public Library of Science, que pretende organizar una comunidad de autores y revisores (no anónimos de cara al journal) que manejen este proceso.

El proceso es parte no sólo del desarrollo científico, sino que sirve además a muchos intereses presumiblemente espúreos: en la mayoría de las universidades del mundo, el proceso de tenure o consecución de plaza se basa en el número de papers aceptados en journals de prestigio, provocando así una inflación de estudios irrelevantes pero metodológicamente impecables (o no) que en muchas ocasiones desarrollan sistemas para pasar con mayor fortuna por el peer-review system, mediante filtraciones de identidad, reviews amistosos, presencia en comités editoriales, firma de papers desarrollados por becarios, o simples intercambios de favores. Sistemas que, por otro lado, es dificil no justificar cuando algo como la carrera profesional de un investigador es lo que está en juego. En esos casos, la reacción de un sistema como el propuesto ante, por ejemplo, un estudio erróneo, repetitivo, incorrectamente atribuido o completamente irrelevante sería sin duda clara y contundente, y ese tipo de problemas podrían ponerse de manifiesto de manera inmediata.

La prestigiosa revista Nature está ensayando también con sistemas de este tipo, por el momento con aparentes buenos resultados. Sistemas que habrían sido imposibles antes de la existencia de Internet, pero que ahora podrían llevarnos a un proceso mucho más ágil, más transparente y más justo. Sin duda, el proceso de desarrollo de ese tipo de comunidades será algo que, a su vez, constituirá un verdadero fenómeno de estudio.

8 comentarios

  • #001
    ruben - 2 octubre 2006 - 08:27

    Hola Enrique:
    Antes de acabar diciendo que el blog es estupendo, y al hilo de tus opiniones vertidas en la entrada de ayer sobre los comentarios en el mismo, me gustaría subrayar el hecho de que es «la conjetura de Poincaré» y no «la paradoja». Sé con certeza que éste ha sido un lapsus calami.
    Un abrazo.

  • #002
    Enrique Dans - 2 octubre 2006 - 09:25

    Gracias!! Lo cambio… :-)

  • #003
    ruben - 2 octubre 2006 - 10:48

    De nada :-) Un placer.
    Un saludo.

  • #004
    kikollan - 2 octubre 2006 - 12:37

    El proceso de revisión de artículos científicos no es un tema de interés general, pero creo que es un muy buen ejemplo de lo que las nuevas capacidades de internet pueden aportar.

    La pena es que el mundo académico tiene unas inercias brutales, y es difícil que se acepten cambios drásticos. El procedimiento actual es absolutamente lento, lo que resulta horrible para la gente que empieza (doctorandos) ya que necesitan resultados publicados cuanto antes (para como tu dices, acreditar que han desarrollado un trabajo valioso).

    Por cierto, aa iniciativa de PLOS me parece muy interesante, veremos como les va.

  • #005
    fjcuberos - 2 octubre 2006 - 13:50

    Una pequeña aclaración.

    En cuanto un artículo lleva una lista de referencias y con un poco de investigación tienes muchas opciones de saber de donde viene, la universidad, el grupo de investigación y muchas veces incluso el autor.
    Y eliminado el anonimato ¿que queda? si lo demás está plagado de errores.

    Al menos en informática. Tampoco es que haya revisado mucho pero algo me ha caído.

    Espero que la apertura empiece de una vez.

  • #006
    Enrique Dans - 2 octubre 2006 - 14:05

    Totalmente de acuerdo, fjcuberos. En cuanto es de tu tema, sabes quien utiliza qué referencias, ves quien es el autor más citado, o a veces, con Senior Editors despistados, hasta te encuentras la firma en las Propiedades del documento en Word :-) Y ahí empieza todo el tema de «a Fulanito no le puedo hacer un mal review, se lo voy a poner bien, y un día además voy y se lo comento, etc.», todo un mamoneo variado que con la sociedad hiperconectada en la que vivimos no hace más que empeorar. Realmente creo que el sistema alternativo tiene muchas, muchas posibles ventajas.

  • #007
    Diohbioh - 4 octubre 2006 - 14:09

    Eso que propones ya fue propuesto por J. Scott Armstrong (The Wharton School), en esta anotación de ELMAR:

    http://marketing.wharton.upenn.edu/ideas/pdf/Armstrong/ELMAR/How%20to%20Eliminate%20Censhort%20by%20Academic%20Journals.pdf

    Publicarlo todo y que tus propios compañeros/colegas puedan criticarlo, hasta el punto de que algunos artículos fueran retirados por el propio autor.

    DB.

  • #008
    Sergio Monge - 7 octubre 2006 - 12:21

    Quizá deberías agregar una referencia a los Nobel IG (http://www.microsiervos.com/archivo/ciencia/premios-ig-nobel-2006.html).
    Creo que son una clara demostración de lo que pasa cuando se produce investigación para rellebar el curriculum: investigaciones metodológicamente impecables que no tienen ningún interes….

Dejar un Comentario

Los comentarios están cerrados