Ciencia Abierta: el nuevo marco de la excelencia.

El Museo del Prado acoge dos obras muy similares de Rubens y de su discípulo Cossiers que muestran a Prometeo, benefactor de la humanidad, robando el fuego a los dioses y dándoselo a los seres humanos. Permitía así el progreso y la civilización. En la mitología griega ese fuego representa el conocimiento y la sabiduría.

Prometeo encadenado, Rubens.

Como el Titan, los académicos desafiamos, con más o menos éxito, el conocimiento existente para avanzar en nuestros campos. Esta búsqueda no es gratis. Zeus castigó a Prometeo encadenándolo a una roca del monte Cáucaso, donde un águila devoraba cada día su hígado que se regeneraba en la noche.

Valiéndonos de la analogía, la carrera del profesor universitario está plagada de retos y contratiempos. A pesar de ello, nuestra resiliencia (adoro el palabro) y el espíritu de superación del universitario, como la de Prometeo durante su castigo, pueden conducirle al éxito y al avance del conocimiento y la comprensión (Greenberg et al., 2007).

Si Zeus hubiese querido castigar hoy en día a Prometeo, estoy convencido de que le obligaría a rellenar los formularios para solicitar sexenio tras los cambios que obligan a seguir un proceso de “narrativa bibliométrica” (otro palabro) según los principios de Ciencia Abierta (Open Science, OS) en la Ley Orgánica del Sistema Universitario (LOSU).

Ciencia Abierta: qué, cómo y para qué

Los objetivos de los métodos de evaluación de la Ciencia Abierta, tal y como vienen recogidos en la Declaración de San Francisco de 2012 (DORA) y en el Manifiesto de Leiden* (Hicks et al., 2015), son loables y necesarios. A diferencia de los métodos de evaluación tradicionales, su objetivo es hacer accesible la investigación científica de todos los campos y exigen tener en cuenta distintos factores y rediseñar los sistemas tradicionales.

El Marco de Evaluación de la Ciencia Abierta (OSAF) documenta y ofrece opciones sobre cómo evaluar la investigación en el nuevo ecosistema, teniendo en cuenta factores como el contexto de la disciplina, el institucional o el nivel al que tiene lugar la evaluación (investigadores individuales, grupos de investigación, etc.).

En el año 2022, se pueso en marcha en Europa la Coalition for Advancing Research Assessment (COARA) con el objetivo de hacer el sistema de evaluación científica más justo y transparente, favoreciendo el uso de la evaluación por pares y restringiendo el abuso de los índices de impacto. La evaluación de la Ciencia Abierta en su conjunto requiere una cuidadosa consideración de las necesidades específicas, confianza, herramientas prácticas y una integración (nunca fácil, como se está viendo) en los procesos de seguimiento y evaluación.

La evaluación tradicional se basa en gran medida en una lista de resultados, los famosos cuartiles del JCR, donde se han producido comportamientos estratégicos que han dado lugar a las llamadas revistas predatorias, vinculadas a prácticas éticamente reprobables como la venta de artículos en posiciones preferentes en los rankings. Los métodos de evaluación de la Ciencia Abierta pueden implicar el abandono de los métodos cuantitativos tradicionales en favor de indicadores cualitativos y los criterios de evaluación multidimensionales. Esto implica valorar una gama más amplia de resultados de la investigación, yendo más allá de las publicaciones tradicionales, como conjuntos de datos, software y preprints (i.e. Arvix), para garantizar la reproducibilidad y la posible reutilización de los resultados de la investigación.

La adhesión de organismos internacionales como la Comisión Europea o UNESCO a los principios de DORA y la Declaración de Leiden ha hecho que un creciente número de organismos de financiación incorporen las prácticas de Ciencia Abierta a los criterios de evaluación de proyectos para garantizar que sus resultados sean accesibles.

Un ejemplo de esta incorporación se puede ver en el que probablemente es uno de los más famosos de los sistemas de evaluación de ciencia en Europa, el Research Excellence Framework (REF) en el Reino Unido. Desde 2023, los evaluadores de proyectos de investigación tendrán en cuenta en qué medida los resultados de la investigación son accesibles en abierto. Esto incluye prácticas como la puesta a disposición de los datos de investigación y el intercambio temprano.

En España, en mayo de 2023, el gobierno publicó la Estrategia Nacional de Ciencia Abierta 2023-2027 con el objetivo de establecer nuevas formas de medir el rendimiento de investigación en línea con los parámetros de la Ciencia Abierta. La adhesión de ANECA, FECYT y la Agencia Estatal de Investigación hace que formen parte del nuevo proceso de acreditación del PDI y de la evaluación de la actividad investigadora. El cambio es imparable.

Críticas y fallos de Ciencia Abierta

No todo es felicidad en esta utopía. Recientemente, Times Higher Education se hacía eco de las críticas al nuevo sistema de narrativa empleado por los Países Bajos para la concesión de proyectos. Entre las novedades de la evaluación aparece hacer caso omiso a los índices de impacto y la valoración por académicos no expertos en el área. Como resultado, algunos proyectos rechazados por la agencia holandesa habrían obtenido, con pocas modificaciones, financiación del European Research Council (ERC), adherido a los mismos principios.

Ioannidis y Maniadis (2023) desnudan esos y otros fallos de la evaluación en Ciencia Abierta: elevado coste económico en un momento de recortes en toda Europa, lo intensivo que es en mano de obra cualificada, menor objetividad y la mayor propensión a cometer errores frente a sistemas más objetivos. Cómo solución, proponen la utilización de indicadores con unas características que permitan una evaluación objetiva sin caer en los sesgos de los índices de impacto (ver Tabla 1).

Sistema tradicional v/s Ciencia Abierta

La evaluación de Ciencia Abierta, como toda institución que aspira a la transparencia, se enfrenta a desafíos. El primero y más fácil de entender es que un gran número de investigadores prefieren el sistema tradicional y cerrado de revisión por pares (Ollé et al., 2023). Están acostumbrados a él y a su forma relativamente simple y transparente de definir la excelencia. Muchos profesores, entre los que me incluyo, tenemos miedo a posibles sesgos en la revisión por pares abierta y a un acceso desigual a los recursos dentro de los campos científicos. También a las barreras económicas, principalmente a los costes de publicación. Algunas áreas, como las Humanidades, disponen de menos financiación.

¿Cómo lograr una transición exitosa?

Para que la transición sea fluida, las administraciones deben apoyar a los investigadores con políticas claras, formación y recursos. Decir esto en un momento donde los gobiernos europeos están cercenando recursos en ciencia y universidades puede ser, de hecho lo es, ingenuo. Además, la inclusión en los criterios de evaluación de nuevos méritos para reconocer diversas contribuciones más allá de las publicaciones de alto impacto debe ser transparente y justificada. Por último, se necesita una definición más completa de la excelencia investigadora qué justifique el cambio de modelo (Leptin, 2023). Si las instituciones que se encargan de la evaluación son capaces de cumplir estos objetivos habrán conseguido, como hizo Hércules, salvar a Prometeo encadenado.