Medir la ciencia y su impacto en el contexto español

A propósito del debate internacional sobre los indicadores formales

El debate internacional sobre si es científico el modo actual de medir la ciencia es una ocasión para reflexionar en España, primero, sobre el modelo de investigador que los indicadores adoptados expresan -por ejemplo: ¿se privilegia el conocimiento analítico sobre el sintético? ¿la productividad a corto plazo?-; segundo, sobre la finalidad que esos medios persiguen -¿medir el impacto al servicio de la industria?-; y, tercero, sobre el sistema de selección del profesorado y la pérdida de competitividad entre profesores e instituciones.

La Declaración de San Francisco

La “Declaración de San Francisco sobre la Evaluación de la Investigación” (DORA, por su acrónimo en inglés) ha sido objeto de seguimiento y adhesión por miles de investigadores e instituciones de todo el mundo desde su formulación en 2012.

Constituye una lectura imprescindible en medio de una época en la que el culto al “indicador formal” y “automático” para medir -y presumir- la calidad de la ciencia y de su impacto se ha convertido en un modelo asumido acríticamente por muchos o, más sencillamente, en un sistema secundado por tantos. El motivo es que, entre otros supuestos, se ha plasmado en ley para la carrera académica o para la evaluación de proyectos.

La crítica de fondo que se hace en esta Declaración a muchos de estos indicadores consiste en afirmar que no es científico el modo de medir la ciencia y su impacto en tantos casos. Así sucede, por ejemplo, cuando se aplican criterios bibliométricos, creados originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas o libros que comprar, y no como una medida de la calidad científica de la investigación de un trabajo. O cuando se proyectan unos mismos indicadores a distintas áreas del saber.

Así, por ejemplo, concluirá el Consejo Federal de la Ciencia en Alemania (2012) que la cita en el ámbito de las ciencias jurídicas no significa de suyo nada -se puede citar para criticar- siendo lo relevante la capacidad para argumentar y debatir sobre instituciones y conceptos.

El Manifiesto de Leiden

En igual dirección se han expresado otros movimientos. Baste recordar el “Manifiesto de Leiden sobre indicadores de investigación”, de 2015. En él se subraya que la evaluación se ha confiado a los datos y no a los expertos, de modo que los procedimientos diseñados para incentivar la calidad científica suponen ahora una verdadera amenaza para el sistema mismo.

La finalidad de medir la ciencia

Pero más allá de su idoneidad, cabría también debatir sobre los fines que esos medios persiguen, por ejemplo, si el énfasis en el impacto de la ciencia puede estar sobredimensionado en no pocos casos, al servicio de la industria.

Sea como fuere, parece evidente que detrás de esos criterios -y la dosis combinada que se establezca- hay un retrato-robot implícito de lo que se entiende por una investigación de calidad a los más variados efectos (selección de personal, de proyectos, de financiación o de inversiones). Subyace, en efecto, una concepción de la persona que investiga. No es un modelo neutro que se imponga por sí solo, “por la naturaleza de las cosas”.

Así, por ejemplo, y por decir lo más obvio, en el esquema español de la ANECA se ha privilegiado el modelo productivista sobre el modelo del pensador de largo recorrido o el conocimiento analítico y especializado, sobre el sintético. Y se ha impuesto además un esquema o un itinerario monocolor de investigador. A nadie se le escapa que figuras clásicas y fundacionales de tantas disciplinas científicas no habrían tenido hoy reconocimiento alguno bajo este sistema.

El contexto de los indicadores para medir la ciencia en España

En lo que hace a España, el problema adquiere unas connotaciones más graves, por encima de los apuntados a nivel global, si contemplamos la praxis establecida y los déficits que esta presenta en términos jurídicos.

El conjunto de indicadores que se utilizan en el sistema español (ANECA y otras agencias autonómicas) muestra de entrada tres problemas de calado, con independencia de su capacidad real para medir la calidad e impacto de la investigación (esto es, más allá de qué o cuáles sean los indicadores idóneos). Son los siguientes:

  • Cómo se establecen estos indicadores.
  • Quién evalúa.
  • Qué competición se sigue, una vez satisfechas las exigencias de los indicadores.

Con todo ello, se quiere poner de relieve que el debate en España no puede ser abstracto (si y qué indicadores utilizar en cada caso), sino, además y como presupuesto, el contexto en el que tiene lugar este fenómeno.

Cómo se fijan

En primer lugar, esos indicadores y su concreta proporción y baremo carecen de legitimidad democrática en cuanto que no han sido establecidos por ley parlamentaria, ni, complementaria o alternativamente, han sido consensuados en la comunidad académica. Nacieron en silencio -entraron en un formato simplificado por la puerta de atrás- en el seno de una ANECA, entonces una simple fundación[1] tímidamente anunciada en la Ley Orgánica de Universidades (LOU) en 2001[2].

Por acarreo esos criterios han ido evolucionando hasta su consolidación. Se trata, pues, de criterios -discutidos y discutibles, como corresponde a la ciencia-, que no tienen amparo siquiera en un debate científico a nivel nacional.

Si por definición la ciencia nace y crece mediante debate público, estos criterios y, sobre todo, su peso relativo en el conjunto, no se han gestado científicamente.

En otras palabras, la mayor reforma del sistema universitario español en toda su historia -a través de la regulación de cuál sea el grado de excelencia que cabe exigir en cada categoría de la carrera personal de un investigador o profesor- no ha pasado por el parlamento; y tampoco ha sido objeto al menos de un debate abierto y transparente en el seno de cada disciplina.

Quién y cómo se aplican

En segundo término, la sustitución de la evaluación sustantiva a cargo de expertos de cada área del saber -lo que exige sin duda tiempo y dinero[3]- por unos indicadores formales y automáticos -al quilo y al peso, si se me permite la ironía-, suscita otro problema. Y es que el derecho fundamental a acceder en condiciones de igualdad, mérito y capacidad a un puesto público -profesor o investigador -[4] requiere, inexcusablemente, la intervención de expertos por cada materia, capaces de medir en el fondo los méritos investigadores, ya que, por ejemplo, el número sin más de congresos a los que se haya asistido suele ser poco significativo.

Si la labor de los expertos se limitara a contar el número de congresos, por mantener esa imagen gráfica, sin margen para apreciar el fondo (qué aportación en realidad se ha hecho), no se satisfarían las exigencias constitucionales citadas. La tiranía del indicador formal impediría una evaluación de verdad. La cuestión se complica por más de un concepto cuando el indicador se remite a supuestos, a su vez, medidos por indicadores también formales (publicar en revistas indexadas, participación en congresos con indicios de calidad, etc.).

¿Y la competición?

Por último, a los déficits que presenta el sistema de indicadores formales en sí se añade en España el hecho de que su aplicación en los procesos de selección se ha convertido en el único elemento de juicio, en contra de lo que la LOU y la Constitución establecen (artículos 64 y 23.2, respectivamente), porque ha desaparecido toda competencia entre candidatos.

La LOU apostó por un sistema de selección en dos fases, en línea con los países de nuestro entorno: primero, el cumplimiento de unos méritos mínimos que garantizaran la aptitud para concursar (lo que en nuestro caso se conoce como acreditación), y, después, un concurso entre los acreditados. Son, pues, dos escalones: uno consistente en la acreditación de una serie de méritos, que en principio cualquiera podría adquirir si se dan las condiciones o requisitos -por ejemplo, doctorado, publicaciones, asistencia a reuniones, organización de eventos, etc.[5]-; y, una vez obtenida esa aptitud, el vencimiento en un concurso en régimen de concurrencia con otros igualmente aptos.

El cumplimiento de los indicadores no da derecho a una plaza, sólo a concursar.

La LOU apenas dice nada sobre los criterios que habrían de integrar la primera fase en el proceso de selección (Art. 32). Lo cual es sorprendente, habida cuenta de la relevancia que ello tiene -y sin entrar ahora en otras consideraciones jurídicas sobre el principio de legalidad, la delegación legislativa y la reserva de ley.

En la práctica, sin embargo, la ANECA le ha atribuido una importancia relativa creciente a esta fase y ha ido añadiendo los criterios que ha estimado convenientes, dando lugar a la postre a un acervo de indicadores sin duda exigente. En la segunda fase -el concurso- se trata de repartir la escasez. Aunque las plazas fueran ilimitadas, ha de garantizarse la igualdad de oportunidades, puesto que por una misma plaza pueden competir dos o más. Lo mismo ocurre en el mercado, para cuyo acceso se acreditan productos (médicos o farmacéuticos, por ejemplo), que luego se sujetarán a una verdadera competición.  Para contratar con la Administración se les exigen a las empresas licitadoras, por ejemplo, certificados de gestión medioambiental, como condición de solvencia técnica, esto es, para acreditar la experiencia o el «buen hacer». Ello no le da, sin embargo, derecho a la adjudicación del contrato.

Un simulacro de concurso

 La cuestión es que las universidades han terminado por devaluar por completo esta segunda fase, hasta el extremo de convertir el concurso en un simulacro: sólo puede ser ganado por el candidato local (salvo un fallo del sistema), ya que éste tiene la posibilidad de determinar cuándo sale a concurso la plaza, quién evalúa su adjudicación, con qué perfil, y, no sin frecuencia, sin dotación presupuestaria autónoma (sólo se prevé el incremento de la propia plaza para subir en la escala). A todo ello se pueden añadir otras anomalías, como la no publicación de la plaza en el boletín oficial del Estado, por tan solo citar un ejemplo.

Algunas consecuencias y una conclusión

Ello ha determinado, entre otras consecuencias, la falta de movilidad y competencia entre el profesorado y las universidades, la sobresaturación de unas con profesorado senior y la precariedad de otras, o, en lo que aquí interesa, que los indicadores se hayan sacralizado hasta extremos impensables, ya que constituyen a la postre los únicos elementos de juicio.

Se ha creado por la vía de hecho un “derecho a la promoción” (esto es, derecho a conseguir una plaza sobre la base de unos indicadores formales), por encima del derecho fundamental a competir (a acceder en condiciones de igualdad, mérito y capacidad). El indicador formal ha pasado de ser un requisito mínimo a serlo todo. Ha desaparecido el concurso. Es como si el certificado de aptitud para acudir a la olimpiada ahorrara la celebración de los juegos.

Ciertamente, la restauración del sistema obligaría, primero, a que por ley todas las universidades abrieran al mismo tiempo sus plazas a la libre competencia, puesto que, si una es proteccionista de su “producto local” y otras no, es imposible crear un “mercado”; y, segundo, a que se haga una regulación uniforme y cuidadosa de los concursos -por ley, no por los concursantes a través de su universidad-, que garantice el juego limpio. Y es que la experiencia histórica anterior, en la que sí había concursos, evidenció no pocas carencias, hasta el punto de que se entienda que muchos prefieran luchar contra unos indicadores -que son objetivos y a la postre acaban consiguiéndose- a luchar contra concursos mal diseñados y peor practicados.

La cuestión, pues, no radica en la existencia de indicadores -aunque quepa discutir, y mucho, cuáles y en qué medida-, sino en que éstos se hayan convertido en la única vara de medir.

Una conclusión

Ha de reconocerse que la regulación a través de indicadores ha generado una mayor actividad y una mejora en la investigación en el país. Sin embargo, el sistema ha de ser objeto de debate científico, y el contexto de una profunda reforma legal.

______

[1] Puede verse el acuerdo del Consejo de Ministros de 19 de julio de 2002 por el que se autoriza al Ministerio de Educación, Cultura y Deporte a constituir a la Fundación estatal «Agencia Nacional de Evaluación de la Calidad y Acreditación».
[2] Recuérdese que el originario artículo 32 LOU se limitaba sin más a disponer que “(m)ediante acuerdo de Consejo de Ministros, previo informe del Consejo de Coordinación Universitaria, el Gobierno autorizará la constitución de la Agencia Nacional de Evaluación de la Calidad y Acreditación.” Posteriormente, un reglamento establecería el procedimiento para la obtención de la evaluación de la ANECA, atribuyéndole a ésta la elaboración de los criterios de evaluación con carácter general por la Agencia Nacional de Evaluación de la Calidad y Acreditación (art. 3.3 del Real Decreto 1052/2002, de 11 de octubre, por el que se regula el procedimiento para la obtención de la evaluación de la Agencia Nacional de Evaluación de la Calidad y Acreditación, y de su certificación, a los efectos de contratación de personal docente e investigador universitario.
[3] Téngase en cuenta que la significativa reforma de la LOU operada en 2007, derogando expresamente el sistema de habilitaciones a titular y los criterios de selección comunes a todo el Estado, obedeció, entre otras razones, al deseo de ahorrar el coste económico y de gestión que al Ministerio de Educación le suponía el sistema de selección inaugurado en 2001 (viajes y dietas de los profesores que debían pasar varios días en el lugar donde se disputaban las plazas…). Por ello, por primera vez, el legislador le dio completa libertad a las universidades para organizaran los concursos en los términos que tuvieran por conveniente, en el entendimiento de que correrían con los gastos, e ignorando que las universidades, gobernadas por los propios competidores, acabarían promoviendo a sus mismos candidatos.
[4] Art. 23.2 y 103.3 de la Constitución española, en línea con la tradición occidental desde la Declaración de Derechos del Hombre y del Ciudadano (art. VI).
[5] A tal efecto, ha florecido toda una industria que lo facilita.

 

 
Comentarios
  1. Antoni Elias Fusté dice: 18/03/2021 a las 10:04

    Un artículo excelente. Enhorabuena Javier Barnes

  2. Lalo Gonzalez Vega dice: 18/03/2021 a las 10:37

    La medición de la Ciencia es un tema poliédrico (siendo este un poliedro con muchas caras) se mire por donde se mire. Como no podía ser de otra manera, hay en este texto (que aborda muchas más cosas que la medición de la Ciencia) muchas cosas con las que estoy de acuerdo y otras muchas con las que no. Lo que sí echo en falta es la reflexión sobre que la medición de la Ciencia depende muy mucho del ámbito científico del que se esté hablando y, a mi juicio, esta es una de las caras del poliedro a la que hay que prestar especial atención. Esta cuestión tan solo aparece brevemente mencionada en el resumen que se hace de la Declaración de San Francisco.

    Solo por aclarar el contexto histórico: la introducción de los indicadores no es responsabilidad de ANECA (a la que se le atribuye la responsabilidad de esta forma de medir la Ciencia en España cuando, a mi juicio, esta responsabilidad es compartida y también hay que atribuírsela a otros actores: ministerios varios, universidades, agencias de investigación y, en último término, nosotros los profesores e investigadores que formamos parte del sistema). La introducción en España de los indicadores se debiera atribuir a la CNEAI (y a los sexenios) que se creó en 1989, cuando ANECA se creó en 2002. ANECA absorbe a la CNEAI en 2014. Eso si, ANECA hace suyos los indicadores cuando pone en marcha los programas de evaluación de profesorado ACADEMIA y PEP (al igual que las agencias de calidad autonómicas).

  3. Javier Barnes dice: 18/03/2021 a las 12:14

    Gracias por el comentario. El mensaje central del «post» está bien reflejado en el resumen. Otras cosas quedan fuera de la reflexión y se abordan solo incidentalmente, a efectos de esbozar el contexto.

    Alguna observación puntual:

    1.Los indicadores formales no son desde luego una invención de la ANECA. Las declaraciones y el debate internacionales son una buena prueba de ello. Los concretos indicadores vigentes, su proporción o proyección en cada área, en esencia sí lo son, aunque con la colaboración y el apoyo de otros muchos actores públicos. Lo que aquí se postula en línea con las declaraciones internacionales es la necesidad de un debate abierto en cada área del saber en general y, respecto de España, la restauración de la obligada competición.

    2. Los sexenios nacieron en 1989, en efecto, aunque sólo como complemento retributivo, en modo alguno vinculado a la promoción académica o a determinadas posibilidades de actuación (por ejemplo, la participación en un tribunal de tesis), lo que, por cierto, abre otra dimensión de relevancia para el Derecho. Y es que a la hora de cambiar las reglas de juego a mitad del partido (sean las de los sexenios; o la primera generación de indicadores de la ANECA, por ejemplo) es necesario ponderar sus efectos sobre quienes iniciaron una carrera con otras reglas, que ahora se pueden ver profundamente alteradas y con carácter retroactivo.

    3. Queda claro que los indicadores han de estar mucho más diversificados en función de las peculiaridades de cada área científica.

  4. Faraón Llorens dice: 18/03/2021 a las 13:41

    Muy acertada la entrada y muchos aspectos para la reflexión. Quiero poner el énfasis en uno que has incorporado en el comentario: “cambiar las reglas de juego a mitad del partido”. No me gusta utilizar el símil del fútbol, pero como lo suelen utilizar para el tema de los rankings universitarios, ahí va. ¿Os imagináis un partido de fútbol en el que los equipos juegan los 90 minutos, asumiendo unas reglas aplicadas en el pasado, pero que solo al finalizar el partido se reúnen los árbitros y deciden matizarlas? Puede que un gol que antes valía, ahora se anule por fuera de juego y no suba al marcador. ¿A qué esto hace imposible el juego y la competición? Pues eso es lo que nos pasa a los investigadores. Te pasas 6 años investigando y publicando tus investigaciones, observando las normas que van aplicando cada año para que no te pille por sorpresa, pero cuando tienes que someter a evaluación tu sexenio de investigación, puede que ese criterio ya no valga: ha descendido en la categoría del JCR, ahora han visto que esa revista no es válida y no la cuentan, los Lecture Notes ya no valen, esa editorial no es de confianza… Por favor, decidnos las reglas del juego (los criterios que vais a aplicar) y dejadnos jugar. Los criterios deberían publicarse con antelación. Así los publicados en el año 2021 deberían servir para medir la investigación realizada del 2021 al 2026, no para medir la investigación del 2016 al 2021.

  5. José Luis Ortega dice: 19/03/2021 a las 11:12

    La evaluación cuantitativa, basada en indicadores es la mejor forma de evaluar debido a:

    Costes económicos: Un primer cribado usando métricas permite descartar CVs que no culmplen los mínimos para un puesto o promoción. Ese primer descarte ahorra tiempo y dietas de comités de expertos. Estos sólo se reunirían para valorar casos en que las métricas no ofrecieran un resultado claro. La escasa inversión en Ciencia no puede malgastarse en dietas y procesos burocráticos. Las métricas favorecen procesos dinámicos y ágiles, que de otro modo serían eternos ¿cuantos comités con sus dietas harían falta para que se leyeran todas las publicaciones de un CVs? ¿Cuanto tiempo tardaría un evaluador en leer 20 publicaciones de sólo un CVs? Estas formar arcáicas nos llevararían a una auténtica parálisis institucional.

    Evaluación cuantitativa vs. cualitativa: evaluación cualitativa significa cualidad no calidad. Eso quiere decir que tanto indicadores cuantitativos como cualitativos permiten detectar indicios de calidad en un CVs. ¿Cree alguien que un experto de un comité no tira de métricas para la evaluación de un CV? ¿Alguien imagina que el evaluador tiene más conocimientos precisos sobre el tema de investigación del evaluado?

    Objetivo y democrático: todo proceso de evaluación en un sistema democrático debe ampararse en la igualdad de oportunidades y la transparencia del sistema. Un indicador cuantitativo permite procesos garantistas en que el evaluado pueda reclamar cuando algún mérito no ha sido considerado ¿Qué sucede cuando una evaluador decide aceptar o rechazar una candidatura? ¿Cómo reclamamos cuando alguien simplemente dice que no tienes los méritos necesarios? Es su palabra contra la tuya. Y todo sin ahondar en conflictos de intereses, nepotismo, endogamia, etc. Todos estos proceso subjetivos son caldo de cultivo para todas esta malas prácticas sociales.

    Por último, y sobre el comentario de Faraón LLorens: no, no es un partido de futbol. La administración valora tu esfuerzo si cumples unos mínimos académicos. La administracion, empleadora de muchos investigadores, tiene el derecho a exigir a sus trabajadores un rendimiento. No te pueden dar las reglas del juego porque de esa forma harías trampas con el resultado. Tu trabajo es investigar, no conseguir sexenios. Si lo haces bien, consigues sexenios, sino no. Siguiendo tu simil, sólo marcarías goles cuando cuentan para ganar el partido. Lo que pasa que para los espectadores (administración) eso es fraude, y te reclamarían la entrada. Suerte que por ahora la administración no está pidiendo la devolución del dinero.

  6. Faraón Llorens dice: 21/03/2021 a las 12:28

    En respuesta a José Luis Ortega.
    ¿” No te pueden dar las reglas del juego porque de esa forma harías trampas con el resultado”? Haz la declaración de Renta pero no te doy las reglas. Ya luego el inspector de hacienda te dirá lo que está bien o mal y la multa correspondiente. Circula por la ciudad sin conocer las normas de tráfico, pero el policía te dirá si está bien hecho o no, aplicando las normas particulares para ese año. Trabaja todo el mes sin saber las condiciones y al final el jefe te dirá si te has ganado el sueldo o no. Dile a tus estudiantes que estudien, sin saber las normas de evaluación.
    “Tu trabajo es investigar, no conseguir sexenios”. Efectivamente, una vez que estoy dentro. Pero aún así, si tras seis años investigando, no tengo el sexenio vivo, paso de 22 créditos de docencia a 33. Y no podré promocionar, ni dirigir tesis, ni conseguir proyectos… Pero lo peor de todo es que a los doctorandos les tengo que decir que no sabemos los detalles para entrar, pero que no se preocupen, que si investigan bien entrarán en la universidad, sabiendo que luego competirán con otros con más publicaciones. Esto nos ha llevado al “publica o perece”.
    ¿”Si lo haces bien, consigues sexenios, sino no”? No existe ningún sistema de medida perfecto, por eso se habla de falsos positivos y falsos negativos.
    “sólo marcarías goles cuando cuentan para ganar el partido. Lo que pasa que para los espectadores (administración) eso es fraude, y te reclamarían la entrada”. Si el objetivo es marcar goles, ¿qué hay de malo en ello? Un aficionado quiere que su equipo gane. Para ello tiene que marcar goles. Un partido sin goles es un partido aburrido.De hecho, eso significa la palabra “goal”, objetivo. Si las reglas de juego estuvieran bien hechas y los indicadores midieran realmente lo que deben medir, si yo jugara para marcar gol y marcar gol significara que mi investigación es buena, no veo donde esta el fraude.

  7. Gonzalo Génova dice: 08/04/2021 a las 20:31

    Es un artículo excelente que toca un tema fundamental en la universidad y los universitarios (profesores y estudiantes) que se están formando en España. Justo ayer he publicado en The Conversation (La burbuja de publicaciones científicas alimenta la infodemia, ) sobre este tema, pero este artículo lo aborda desde una perspectiva diferente y complementaria, con aspectos que yo no había pensado.

    Respecto al debate entre Faraón Llorens y José Luis Ortega, me inclino claramente hacia el primero, y en el artículo referido doy mis argumentos contra el uso desmedido de evaluaciones cuantitativas (que no significa que no tengan una utilidad moderada).

    https://theconversation.com/la-burbuja-de-publicaciones-cientificas-alimenta-la-infodemia-158013


¿Y tú qué opinas? Deja tu comentario