Medir la ciencia y su impacto en el contexto español

A propósito del debate internacional sobre los indicadores formales

El debate internacional sobre si es científico el modo actual de medir la ciencia es una ocasión para reflexionar en España, primero, sobre el modelo de investigador que los indicadores adoptados expresan -por ejemplo: ¿se privilegia el conocimiento analítico sobre el sintético? ¿la productividad a corto plazo?-; segundo, sobre la finalidad que esos medios persiguen -¿medir el impacto al servicio de la industria?-; y, tercero, sobre el sistema de selección del profesorado y la pérdida de competitividad entre profesores e instituciones.

La Declaración de San Francisco

La “Declaración de San Francisco sobre la Evaluación de la Investigación” (DORA, por su acrónimo en inglés) ha sido objeto de seguimiento y adhesión por miles de investigadores e instituciones de todo el mundo desde su formulación en 2012.

Constituye una lectura imprescindible en medio de una época en la que el culto al “indicador formal” y “automático” para medir -y presumir- la calidad de la ciencia y de su impacto se ha convertido en un modelo asumido acríticamente por muchos o, más sencillamente, en un sistema secundado por tantos. El motivo es que, entre otros supuestos, se ha plasmado en ley para la carrera académica o para la evaluación de proyectos.

La crítica de fondo que se hace en esta Declaración a muchos de estos indicadores consiste en afirmar que no es científico el modo de medir la ciencia y su impacto en tantos casos. Así sucede, por ejemplo, cuando se aplican criterios bibliométricos, creados originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas o libros que comprar, y no como una medida de la calidad científica de la investigación de un trabajo. O cuando se proyectan unos mismos indicadores a distintas áreas del saber.

Así, por ejemplo, concluirá el Consejo Federal de la Ciencia en Alemania (2012) que la cita en el ámbito de las ciencias jurídicas no significa de suyo nada -se puede citar para criticar- siendo lo relevante la capacidad para argumentar y debatir sobre instituciones y conceptos.

El Manifiesto de Leiden

En igual dirección se han expresado otros movimientos. Baste recordar el “Manifiesto de Leiden sobre indicadores de investigación”, de 2015. En él se subraya que la evaluación se ha confiado a los datos y no a los expertos, de modo que los procedimientos diseñados para incentivar la calidad científica suponen ahora una verdadera amenaza para el sistema mismo.

La finalidad de medir la ciencia

Pero más allá de su idoneidad, cabría también debatir sobre los fines que esos medios persiguen, por ejemplo, si el énfasis en el impacto de la ciencia puede estar sobredimensionado en no pocos casos, al servicio de la industria.

Sea como fuere, parece evidente que detrás de esos criterios -y la dosis combinada que se establezca- hay un retrato-robot implícito de lo que se entiende por una investigación de calidad a los más variados efectos (selección de personal, de proyectos, de financiación o de inversiones). Subyace, en efecto, una concepción de la persona que investiga. No es un modelo neutro que se imponga por sí solo, “por la naturaleza de las cosas”.

Así, por ejemplo, y por decir lo más obvio, en el esquema español de la ANECA se ha privilegiado el modelo productivista sobre el modelo del pensador de largo recorrido o el conocimiento analítico y especializado, sobre el sintético. Y se ha impuesto además un esquema o un itinerario monocolor de investigador. A nadie se le escapa que figuras clásicas y fundacionales de tantas disciplinas científicas no habrían tenido hoy reconocimiento alguno bajo este sistema.

El contexto de los indicadores para medir la ciencia en España

En lo que hace a España, el problema adquiere unas connotaciones más graves, por encima de los apuntados a nivel global, si contemplamos la praxis establecida y los déficits que esta presenta en términos jurídicos.

El conjunto de indicadores que se utilizan en el sistema español (ANECA y otras agencias autonómicas) muestra de entrada tres problemas de calado, con independencia de su capacidad real para medir la calidad e impacto de la investigación (esto es, más allá de qué o cuáles sean los indicadores idóneos). Son los siguientes:

• Cómo se establecen estos indicadores.
• Quién evalúa.
• Qué competición se sigue, una vez satisfechas las exigencias de los indicadores.

Con todo ello, se quiere poner de relieve que el debate en España no puede ser abstracto (si y qué indicadores utilizar en cada caso), sino, además y como presupuesto, el contexto en el que tiene lugar este fenómeno.

Cómo se fijan

En primer lugar, esos indicadores y su concreta proporción y baremo carecen de legitimidad democrática en cuanto que no han sido establecidos por ley parlamentaria, ni, complementaria o alternativamente, han sido consensuados en la comunidad académica. Nacieron en silencio -entraron en un formato simplificado por la puerta de atrás- en el seno de una ANECA, entonces una simple fundación[1] tímidamente anunciada en la Ley Orgánica de Universidades (LOU) en 2001[2].

Por acarreo esos criterios han ido evolucionando hasta su consolidación. Se trata, pues, de criterios -discutidos y discutibles, como corresponde a la ciencia-, que no tienen amparo siquiera en un debate científico a nivel nacional.

Si por definición la ciencia nace y crece mediante debate público, estos criterios y, sobre todo, su peso relativo en el conjunto, no se han gestado científicamente.

En otras palabras, la mayor reforma del sistema universitario español en toda su historia -a través de la regulación de cuál sea el grado de excelencia que cabe exigir en cada categoría de la carrera personal de un investigador o profesor- no ha pasado por el parlamento; y tampoco ha sido objeto al menos de un debate abierto y transparente en el seno de cada disciplina.

Quién y cómo se aplican

En segundo término, la sustitución de la evaluación sustantiva a cargo de expertos de cada área del saber -lo que exige sin duda tiempo y dinero[3]- por unos indicadores formales y automáticos -al quilo y al peso, si se me permite la ironía-, suscita otro problema. Y es que el derecho fundamental a acceder en condiciones de igualdad, mérito y capacidad a un puesto público -profesor o investigador -[4] requiere, inexcusablemente, la intervención de expertos por cada materia, capaces de medir en el fondo los méritos investigadores, ya que, por ejemplo, el número sin más de congresos a los que se haya asistido suele ser poco significativo.

Si la labor de los expertos se limitara a contar el número de congresos, por mantener esa imagen gráfica, sin margen para apreciar el fondo (qué aportación en realidad se ha hecho), no se satisfarían las exigencias constitucionales citadas. La tiranía del indicador formal impediría una evaluación de verdad. La cuestión se complica por más de un concepto cuando el indicador se remite a supuestos, a su vez, medidos por indicadores también formales (publicar en revistas indexadas, participación en congresos con indicios de calidad, etc.).

¿Y la competición?

Por último, a los déficits que presenta el sistema de indicadores formales en sí se añade en España el hecho de que su aplicación en los procesos de selección se ha convertido en el único elemento de juicio, en contra de lo que la LOU y la Constitución establecen (artículos 64 y 23.2, respectivamente), porque ha desaparecido toda competencia entre candidatos.

La LOU apostó por un sistema de selección en dos fases, en línea con los países de nuestro entorno: primero, el cumplimiento de unos méritos mínimos que garantizaran la aptitud para concursar (lo que en nuestro caso se conoce como acreditación), y, después, un concurso entre los acreditados. Son, pues, dos escalones: uno consistente en la acreditación de una serie de méritos, que en principio cualquiera podría adquirir si se dan las condiciones o requisitos -por ejemplo, doctorado, publicaciones, asistencia a reuniones, organización de eventos, etc.[5]-; y, una vez obtenida esa aptitud, el vencimiento en un concurso en régimen de concurrencia con otros igualmente aptos.

El cumplimiento de los indicadores no da derecho a una plaza, sólo a concursar.

La LOU apenas dice nada sobre los criterios que habrían de integrar la primera fase en el proceso de selección (Art. 32). Lo cual es sorprendente, habida cuenta de la relevancia que ello tiene -y sin entrar ahora en otras consideraciones jurídicas sobre el principio de legalidad, la delegación legislativa y la reserva de ley.

En la práctica, sin embargo, la ANECA le ha atribuido una importancia relativa creciente a esta fase y ha ido añadiendo los criterios que ha estimado convenientes, dando lugar a la postre a un acervo de indicadores sin duda exigente. En la segunda fase -el concurso- se trata de repartir la escasez. Aunque las plazas fueran ilimitadas, ha de garantizarse la igualdad de oportunidades, puesto que por una misma plaza pueden competir dos o más. Lo mismo ocurre en el mercado, para cuyo acceso se acreditan productos (médicos o farmacéuticos, por ejemplo), que luego se sujetarán a una verdadera competición.  Para contratar con la Administración se les exigen a las empresas licitadoras, por ejemplo, certificados de gestión medioambiental, como condición de solvencia técnica, esto es, para acreditar la experiencia o el «buen hacer». Ello no le da, sin embargo, derecho a la adjudicación del contrato.

Un simulacro de concurso

 La cuestión es que las universidades han terminado por devaluar por completo esta segunda fase, hasta el extremo de convertir el concurso en un simulacro: sólo puede ser ganado por el candidato local (salvo un fallo del sistema), ya que éste tiene la posibilidad de determinar cuándo sale a concurso la plaza, quién evalúa su adjudicación, con qué perfil, y, no sin frecuencia, sin dotación presupuestaria autónoma (sólo se prevé el incremento de la propia plaza para subir en la escala). A todo ello se pueden añadir otras anomalías, como la no publicación de la plaza en el boletín oficial del Estado, por tan solo citar un ejemplo.

Algunas consecuencias y una conclusión

Ello ha determinado, entre otras consecuencias, la falta de movilidad y competencia entre el profesorado y las universidades, la sobresaturación de unas con profesorado senior y la precariedad de otras, o, en lo que aquí interesa, que los indicadores se hayan sacralizado hasta extremos impensables, ya que constituyen a la postre los únicos elementos de juicio.

Se ha creado por la vía de hecho un “derecho a la promoción” (esto es, derecho a conseguir una plaza sobre la base de unos indicadores formales), por encima del derecho fundamental a competir (a acceder en condiciones de igualdad, mérito y capacidad). El indicador formal ha pasado de ser un requisito mínimo a serlo todo. Ha desaparecido el concurso. Es como si el certificado de aptitud para acudir a la olimpiada ahorrara la celebración de los juegos.

Ciertamente, la restauración del sistema obligaría, primero, a que por ley todas las universidades abrieran al mismo tiempo sus plazas a la libre competencia, puesto que, si una es proteccionista de su “producto local” y otras no, es imposible crear un “mercado”; y, segundo, a que se haga una regulación uniforme y cuidadosa de los concursos -por ley, no por los concursantes a través de su universidad-, que garantice el juego limpio. Y es que la experiencia histórica anterior, en la que sí había concursos, evidenció no pocas carencias, hasta el punto de que se entienda que muchos prefieran luchar contra unos indicadores -que son objetivos y a la postre acaban consiguiéndose- a luchar contra concursos mal diseñados y peor practicados.

La cuestión, pues, no radica en la existencia de indicadores -aunque quepa discutir, y mucho, cuáles y en qué medida-, sino en que éstos se hayan convertido en la única vara de medir.

Una conclusión

Ha de reconocerse que la regulación a través de indicadores ha generado una mayor actividad y una mejora en la investigación en el país. Sin embargo, el sistema ha de ser objeto de debate científico, y el contexto de una profunda reforma legal.

______

[1] Puede verse el acuerdo del Consejo de Ministros de 19 de julio de 2002 por el que se autoriza al Ministerio de Educación, Cultura y Deporte a constituir a la Fundación estatal «Agencia Nacional de Evaluación de la Calidad y Acreditación».
[2] Recuérdese que el originario artículo 32 LOU se limitaba sin más a disponer que “(m)ediante acuerdo de Consejo de Ministros, previo informe del Consejo de Coordinación Universitaria, el Gobierno autorizará la constitución de la Agencia Nacional de Evaluación de la Calidad y Acreditación.” Posteriormente, un reglamento establecería el procedimiento para la obtención de la evaluación de la ANECA, atribuyéndole a ésta la elaboración de los criterios de evaluación con carácter general por la Agencia Nacional de Evaluación de la Calidad y Acreditación (art. 3.3 del Real Decreto 1052/2002, de 11 de octubre, por el que se regula el procedimiento para la obtención de la evaluación de la Agencia Nacional de Evaluación de la Calidad y Acreditación, y de su certificación, a los efectos de contratación de personal docente e investigador universitario.
[3] Téngase en cuenta que la significativa reforma de la LOU operada en 2007, derogando expresamente el sistema de habilitaciones a titular y los criterios de selección comunes a todo el Estado, obedeció, entre otras razones, al deseo de ahorrar el coste económico y de gestión que al Ministerio de Educación le suponía el sistema de selección inaugurado en 2001 (viajes y dietas de los profesores que debían pasar varios días en el lugar donde se disputaban las plazas…). Por ello, por primera vez, el legislador le dio completa libertad a las universidades para organizaran los concursos en los términos que tuvieran por conveniente, en el entendimiento de que correrían con los gastos, e ignorando que las universidades, gobernadas por los propios competidores, acabarían promoviendo a sus mismos candidatos.
[4] Art. 23.2 y 103.3 de la Constitución española, en línea con la tradición occidental desde la Declaración de Derechos del Hombre y del Ciudadano (art. VI).
[5] A tal efecto, ha florecido toda una industria que lo facilita.