La ciencia de la ciencia: indicadores next generation

Cuando Eugene Garfield ideó, allá por los años 50, una forma de analizar las publicaciones científicas, no creo que se imaginara la que estaba liando. Su objetivo era describir el impacto de la ciencia, cómo funcionaba, cómo colaboraban países, instituciones e investigadores, y cómo todo eso evolucionaba. Fue el nacimiento del Science Citation Index (SCI) o la Web of Knowledge. Casi nada.

Pero la historia tiene un giro casi paradójico. Garfield ofreció su idea al gobierno de los EE.UU. y a varias instituciones públicas, pero la respuesta fue «gracias, pero no lo vemos». Ante la falta de entusiasmo público, simplificando, decidió crear su propia empresa en 1960 con 500 dólares. En 2016, esa empresa se vendió por 3.55 mil millones de dólares. ¡De 500 a 3.55 mil millones! Y ahora nos quejamos de depender de indicadores bibliométricos comerciales. Interesante ironía.

Los indicadores en la evaluación: motivo de controversia

Desde entonces, estos indicadores se han utilizado tanto como se han criticado. No, se han usado más de lo que se han criticado. Y eso a pesar de las advertencias sobre los peligros de basar decisiones importantes en estos números. Entre otras, que ciertos tipos de investigación se quedan fuera o que quizá no deberíamos usar estas métricas para evaluar a investigadores individuales… Y así pasamos de los 500 dólares de un “incomprendido” Garfield a los 3.55 mil millones de un gigante editorial. La empresa de Garfield multiplicó su valor por… bueno, por mucho.

La generalización de los indicadores para evaluar la investigación

Primero fue el ámbito anglosajón, luego Europa y, por último, el resto del mundo. ¿Por qué tanto éxito? Pues porque permitía poner números a algo que se convirtió en la llamada evaluación de la investigación.

Y claro, los números son adictivos. ¡Cuántos artículos, cuántas citas! Aunque esas pocas citas fueran casi casuales, nos valían para hacer distinciones.

Y como la información cuantitativa era lo único disponible, nos complicamos la vida con fórmulas y cálculos, haciéndonos creer que teníamos más fundamentos. Pero no, siempre fueron las mismas fuentes.

Mi padre me contaba la historia de un médico que era menospreciado por sus pacientes porque su colega recién llegado era mejor. «Con termómetro y reloj con segundero, ¡así cualquiera diagnostica!», se justificaba amargamente el frustrado doctor. Pues creo que algo así nos pasó con la bibliometría. Teníamos una herramienta de medición muy básica que, aunque útil, no nos daba el diagnóstico completo. Hoy lo sabemos, pero lo seguimos sufriendo. Afortunadamente, la medicina ha avanzado en sus instrumentos de medición más que la bibliometría.

Los indicadores como fin, no como medio

El problema es que esos indicadores, que debían ser simplemente eso, indicadores, se convirtieron en los objetivos.

Ya no importaba tanto hacer una investigación socialmente útil o de calidad, sino publicar en revistas de alto impacto (que lo que impactan de verdad es tu promoción personal).

No estoy criticando a los investigadores, ellos solo juegan según las reglas, y su empleo depende de eso. Por cierto, como la métrica es sencilla, la manera de hacer trampas también es fácil.

Apuntes sobre el informe Next Generations Metrics for Scientific and Scholarly Research in Europe

Ahora, 64 años después, parece que por fin nos estamos planteando buscar alternativas. En abril de 2024 se publicó el informe Next Generation Metrics for Scientific and Scholarly Research in Europe, de la Liga de Universidades de Investigación de Europa (LERU). Consultadlo, que es como la Champions League de las universidades europeas. Empieza diciendo:

“… reconocemos la necesidad de métricas de nueva generación como un aspecto crucial de la evaluación responsable de la investigación. Utilizar métricas fuera de contexto simplemente no tiene sentido, independientemente de lo fácilmente disponibles que estén.”

Seguro que lo que he contado hasta aquí ya os suena a muchos de los que estáis leyendo este blog.

Lo interesante es esto: todos reconocemos que necesitamos nuevas métricas, como en este informe, pero la pregunta es: ¿los actores clave se las creerán y las usarán?

Las buenas noticias son que el informe propone ideas interesantes: poner más énfasis en la innovación, en el impacto social, en la colaboración interdisciplinar, en el trabajo en equipo, en la sostenibilidad o en la difusión de resultados.

También se menciona la ciencia abierta, sobre lo que no pretendo profundizar aquí. Solo una pregunta: ¿el conocimiento creado con fondos públicos debe estar a disposición de todos o solo de aquellos que quieran usarlo para el bien público? La accesibilidad de la ciencia es importante para la cultura de la sociedad, pero no implica directamente el bienestar social. Después vendrán los que comercialicen nuestro conocimiento público y seguiremos quejándonos. Aquí dejo esto y avanzo en mi reflexión principal.

Las propuestas del informe, nuevos indicadores y su viabilidad

Las propuestas (ver resumen en entre las páginas 3 y 7 del informe) están más dirigidas a evaluar proyectos, instituciones o regiones. Pero ¿alguien, por favor, puede calcular lo que tardaremos en aplicarlas también para evaluar a los individuos? (ponedlo en los comentarios).

Repaso ahora una lista de los nuevos criterios, y hasta qué punto se podrán aplicar estas métricas, sin valoraciones subjetivas, tanto para individuos como para niveles más agregados. Es decir, opino sobre su viabilidad y el avance respecto a lo que tenemos.

  • Originalidad e Innovación  – Dada la cantidad de áreas científicas y su rápida evolución, es imprescindible el juicio de expertos.
  • Impacto Académico – Requiere la bibliometría actual (más de lo mismo) y el análisis cualitativo de las investigaciones (que no sabemos bien cómo hacer). En todo caso, hay un sesgo negativo hacia los investigadores jóvenes y, además, esto encaja mal con la originalidad en la investigación.
  • Impacto Social y Relevancia – No todos los campos de investigación tienen un impacto social inmediato o directo. Requiere que alguien lo valore.
  • Colaboración Interdisciplinaria – No todas las disciplinas tienen el mismo nivel de interconexión con otras áreas, por lo que alguien tendría que hacer distinciones.
  • Diversidad y Trabajo en Equipo En algunos contextos, los directores de equipos pueden no tener control sobre la composición de los equipos de investigación, por lo también alguien tendría que valorar estas limitaciones.
  • Integridad y Ética de la Investigación – La ética en la investigación es imposible de cuantificar, por lo que alguien tendría que realizar las valoraciones.
  • Difusión y Comunicación de Resultados – Por una parte, algunos investigadores se centran más en una investigación básica más difícil de divulgar. Por otra, ¿nos acercamos a la era de los followers ciéntificos y de la compra de bots para aumentar los likes? Requerirá que alguien haga distinciones (y que, el que se encargue de la ética, eche un vistazo por aquí).

Así que tenemos que saber distinguir áreas científicas, tener en cuenta las etapas de los investigadores, ponderar la interdisciplinariedad en función de su viabilidad, revisar las políticas que fomente o limiten el liderazgo y el trabajo en equipo… Tenemos que contextualizar (con múltiples fuentes de información) y ser flexibles (no aplicando automáticamente los resultados de la evaluación) para adaptarnos a distintas realidades. ¿Veremos esto sustituir lo que estamos ahora utilizando? (Otra pregunta para que opinéis en comentarios).

De la crítica a las propuestas

Valoro positivamente estas iniciativas. Pasar de las críticas a las propuestas me parece algo digno de reconocimiento. El objetivo es necesario. La pregunta que estamos respondiendo es: ¿cómo hacer una nueva métrica? Sin embargo, creo que antes deberíamos responder a otra pregunta más interesante: ¿por qué no lo hemos hecho hasta ahora? Una pista: los expertos no aceptamos bien la opinión de otros expertos, necesaria en los nuevos criterios (provocación para más comentarios).

Ultima reflexión. Si alguien puede recopilar la información necesaria para esta nueva métrica, debería, por responsabilidad ciudadana, ofrecérselo a alguna institución pública, internacional a ser posible. Pero si “no lo ven”, ánimo, sigue adelante que en unos años esas mismas instituciones pagarán (quejándose) lo que pidas por acceder a esa información y quizás te hagas millonario.

 

Comentarios
  1. Ramón Rincón González ramonrincon4749@gmail.com dice: 04/10/2024 a las 02:51

    No soy médico, sino educador pero he enseñado en todos los niveles y ojalá mis alumnas han aprendido los conocimientos y valores que me planificado. El artículo está muy completo y claro. Se le debe continuar dándole publicidad.

  2. Luis Fernandez dice: 04/10/2024 a las 07:48

    Ahora se critica mucho los indicadores por ser simples pero lo importante es se ha permitido que los baremos de valoración hayan querido simplificarse (todo se basaba en acumular números, que iban subiendo cada vez más para poder ser acreditado o valorado positivamente). Sin embargo, los indicadores numéricos permitieron un avance inmenso para combatir muy malas prácticas de evaluación: al haber indicadores objetivos, decisiones muy controvertidas de esos expertos que evalúan eran susceptibles de ser recurridas o, incluso, ganadas en los tribunales de justicia gracias a los indicadores objetivos. El derecho a ser protegido decae cuando entra el concepto «discrecionalidad técnica», básicamente que lo que opina un «experto» en una decisión no es cuestionable salvo que haya indicios objetivos (esos números que tanto odiamos ahora pero que eran sacralizados por todos): era la protección frente a expertos sesgados (que solo consideran de mérito en una disciplina las contribuciones con ciertas características: por ejemplo, tengan más formalidad matemático-algebraica), directamente con conflictos de interés (tan difíciles de detectar: enemistades directas o indirectas, envidias, estrategias…) o simplemente que deben cambiar de opinión según sea necesario (este año hay muchas peticiones y el sistema no lo aguanta, hay que ser más duros). Estas cosas existen por mucho que no queramos reconocerlo y los indicadores objetivos dificultaban la discrecionalidad injustificada. Ahora se culpa mucho a los que retuercen el uso de indicadores para su promoción pero no se quiere que nos acordemos de la otra parte. Si ahora queremos echarlos abajo, volveremos a oscuros tiempos (que parece que añoran algunos). Claro que cualquier indicador objetivo puede retorcerse para beneficio particular, pero es misión de quienes deben pensar y proponer que se usen con lógica: por ejemplo, no vale con que acumules números de un solo tipo y en cualquier período de tiempo (por ejemplo, para esos publicadores compulsivos que encontraron el método de generar infinitas publicaciones). También es penoso y terrible que un cierto periódico afin al poder publique, exactamente el día que se proponen cambios a la evaluación, casos puntuales escandalosos de los aprovechados de los indicadores objetivos para crear un estado favorable de opinión a los cambios propuestos.

  3. […] a partir de ciertas plantillas, elaboradas por criterios docentes y que se adjudican según criterios de investigación. Demostración de […]

  4. Isabel Martínez Conesa dice: 14/10/2024 a las 10:16

    Totalmente de acuerdo. Tuvo sentido en el momento en que se instauró, pero en estos momentos supone confundir los medios con los objetivos. Supone abandonar la investigación en áreas que no se adaptan a los criterios establecidos. Enhorabuena


¿Y tú qué opinas?