Objetividad, evaluación cualitativa y arbitrariedad en la vida académica

¿A quién se le asigna un premio a la mejor investigación? ¿A quién se le asigna una beca predoctoral? ¿A quién se le asigna el premio a la mejor tesis? ¿A quién se le asigna una plaza de Ayudante Doctor? ¿Un solicitante merece acreditarse para Contratado Doctor? ¿Y para Titular? ¿Y para Catedrático? ¿Qué proyectos deben ser financiados y cuáles no? ¿Quién se merece el sexenio de investigación y quién no?

Todas estas cuestiones, y muchas similares, suelen ser muy complejas de responder y tienen en común que una comisión tiene que ordenar a los aspirantes (premios, becas predoctorales, plazas de profesor, proyectos de investigación) o bien decidir si un aspirante tiene los méritos suficientes para pasar o no pasar un determinado umbral (sexenios de investigación, acreditaciones). Desde hace tiempo, se intenta que estas decisiones sean cada vez más objetivas.

Que las decisiones para establecer quién tiene méritos suficientes sean cada vez más objetivas es positivo sin duda, pero un exceso de objetividad puede plantear problemas por dos vías: criterios objetivos no adecuados y ausencia de evaluación cualitativa.

Yo estoy convencido de que en muchos casos el resultado sería más eficiente si las comisiones tuviesen un mayor margen para realizar una evaluación cualitativa de los méritos y no simplemente dedicarse a sumar los puntos que marque el baremo. Huelga decir que me refiero a una buena y justa evaluación cualitativa de los méritos y no a aplicar aquellos criterios que logren conseguir el orden que más le interese a la comisión. Les voy a poner varios ejemplos.

1) Premio a la mejor tesis doctoral

Es habitual que las universidades otorguen un premio por área de investigación (i.e., Artes y Humanidades, Ciencias, Ciencias de la Salud, Ciencias Sociales, Ingeniería y Arquitectura). Sin embargo, pueden existir usos y costumbres muy diferentes dentro de cada área. Por ejemplo, en Ciencias Sociales hay tesis de Derecho, tesis de Economía, tesis de Administración de Empresas y tesis de Ciencias del Deporte, entre otras. Cada subárea tiene su propia idiosincrasia en cuanto a las publicaciones de la tesis. En la mayor parte de las ramas del Derecho la tesis se suele publicar como la primera monografía del doctorando; en Economía, aunque cada vez es más habitual las tesis por “compendio de artículos”, los plazos de publicación en revistas de prestigio suelen ser muy lentos y esto hace que resulte muy complicado tener los artículos de la tesis ya publicados en revistas de prestigio. Por el contrario, en otras áreas de Ciencias Sociales los plazos de publicación en revistas de prestigio son relativamente cortos y es raro ver una buena tesis sin todos o casi todos los capítulos ya publicados.

Pues bien, si para determinar cuál es la mejor tesis se recurre como uno de los principales indicadores a una valoración de los artículos ya publicados derivados de la tesis, es obvio que la comisión no podrá establecer una ordenación justa pues las tesis de los campos donde el proceso de publicación de la tesis sea más lento o incluso que no sea habitual publicar la tesis antes de su lectura partirán en desventaja.

2) Plazas de profesor Ayudante Doctor

Otro ejemplo son estas plazas en las que habitualmente existe elevada competencia entre candidatos al tratarse posiblemente de la plaza más importante de la carrera académica puesto que suele ser la primera que otorga cierta estabilidad y posibilidad de trayectoria académica. En la mayor parte de las universidades en España, es muy habitual sólo tener en cuenta las publicaciones ya realizadas y no las posibles publicaciones que podría tener un candidato en un futuro. Esta peculiaridad tiene como resultado no deseado que muchos artículos sean publicados en revistas de menos prestigio de las que podría alcanzar. Sin embargo, en otros países esto no es así: la contratación de jóvenes doctores se basa en el potencial investigador y docente del candidato en base a investigaciones realizadas, investigaciones en curso (documentos de trabajo), propuestas (ideas originales) de proyectos de investigación y entrevista personal, donde la evaluación cualitativa de la comisión adquiere un papel relevante.

En plazas de Ayudante Doctor se suele incluir ítems que pueden no valorar correctamente la calidad de un candidato. Dos ejemplos serían las estancias y la participación en proyectos de investigación.

La participación en proyectos depende del grupo en el que te hayas integrado, que poco tiene que ver con la calidad intrínseca del candidato. De forma similar, la cantidad y calidad de las estancias no dependen sólo de la voluntad del candidato sino también (o fundamentalmente) de la capacidad de tener dinero para afrontar las estancias. Aunque es posible obtener ayudas para realizar estancias, rara es la ayuda que cubre todos los gastos y encima suelen llegar a posteriori con lo que habrá candidatos que hayan realizado pocas estancias por su restricción monetaria. Pero, incluso aun pudiendo tener financiación económica, irse fuera viene afectado por las circunstancias personales tanto académicas como no académicas de cada uno, así como de las conexiones de tu grupo de investigación para conseguir una invitación. En definitiva, estoy convencido de que la asignación de estas plazas mejoraría si además de tenerse en cuenta criterios cuantitativos objetivos, se tuviesen en cuenta también criterios cualitativos subjetivos.

3) Informe de la ANECA

El último ejemplo que voy a usar para indicar las ineficiencias que pueden surgir al aplicar criterios meramente objetivos tiene que ver con un informe de la ANECA de reciente publicación titulado “Análisis bibliométrico e impacto de las editoriales Open-Access en España”. En dicho informe hay dos listados de revistas. En el primero se detallan las revistas de editoriales de acceso abierto con comportamientos no estándar en las categorías de JCR y en la segunda se listan las revistas de editoriales de suscripción con comportamientos no estándar. La idea me parece muy pertinente, pues hasta este momento se estaba usando el JCR sin ninguna cortapisa, lo que ha provocado determinados usos y abusos tanto por parte de algunas editoriales como por parte de unos pocos investigadores. Así, me parece una excelente iniciativa que la ANECA intente poner coto a estas prácticas. El problema viene en cómo lo han ejecutado en esta primera versión.

La ANECA, para evitar emitir un listado de revistas de “dudosa calidad a pesar de estar en JCR” basándose en juicios de valor de alguna comisión, ha preferido analizar dos indicadores objetivos: el número de ítems citables y las autocitas, y usa estos dos indicadores para elaborar un listado de revistas con comportamiento no estándar con la idea de que los artículos publicados en esas revistas tengan una especial consideración (evidentemente negativa) por las comisiones para valorar sexenios de investigación y currículums para acreditaciones.

Problemas con las revistas

El problema viene al ver algunas de las revistas que se encuentran en estos listados. Por ejemplo, y para no entrar en revistas de áreas particulares, se encuentran Nature y Science. Se da la circunstancia que uno de los indicadores del conocido como ranking de Shánghai (ARWU) es el número de trabajos en estas dos revistas. Con lo que sin entrar a valorar la calidad de estas publicaciones científicas (si bien, parece haber consenso entre los expertos que estas dos revistas son de las más prestigiosas), pues no soy experto en ello, sí que puedo decir que dar incentivos a no publicar en Science y Nature podría tener como impacto a medio plazo una bajada de las posiciones de las universidades españolas en uno de los principales rankings de universidades a nivel mundial, con todas las consecuencias negativas que esto tendría.

Usar criterios objetivos cuando estos criterios no proporcionan una imagen perfecta de lo que se intenta fotografiar tiene como consecuencia hacer una fotografía con una calidad de imagen mala. ¿Que cómo se podría elaborar una lista de revistas con comportamiento no estándar con el objetivo de una menor valoración de lo que sugieren datos objetivos? Sencillo, se podría poner a expertos en la materia a elaborar una lista.

Los expertos deben basarse en primer lugar en criterios objetivos pero también pueden y deben usar su conocimiento para incorporar criterios cualitativos.

Ejemplo de evaluación cualitativa

Por el contrario, hay casos que ejemplifican que una evaluación cualitativa de los méritos por parte de una comisión puede lograr mejores resultados que aplicar criterios objetivos. Uno de ellos es la concesión del Premio Banco Herrero edición 2021 al mejor economista español menor de 40 años. Supongamos que hay dos candidatos: el “A” y el “B”. El “A” tiene cuatro artículos publicados en revistas Scopus, 73 citas y un índice H de 3 según Scopus. Un candidato “B” tiene 33 documentos en Scopus, 539 citas y un índice H de 12 según Scopus. Aplicando criterios objetivos como los citados en este artículo de Nada es Gratis el premio debería haber ido a parar al candidato “B”. Sin embargo, la comisión encargada de otorgar el premio haciendo uso de una evaluación cualitativa de los currículums, se lo concedió al candidato A que es Mónica Martínez-Bravo que sin duda tiene una trayectoria excelente aunque no se vea reflejado en algunas métricas.

Evitar la arbitrariedad

Hasta ahora he hablado de las ventajas que puede suponer moverse de la objetividad extrema hacia incluir también evaluación cualitativa de los méritos en varios contextos de la universidad española. Me falta hablar de la arbitrariedad. La arbitrariedad es obviamente algo a evitar. Ejemplos de ello serían comisiones que apliquen algún criterio injusto para lograr la clasificación que busquen por el motivo que sea, o bien comisiones que no aplican los criterios establecidos y que basen su decisión en prejuicios.

Esto es bien distinto a la evaluación cualitativa de la que vengo hablando. Yo, por ejemplo, he sido testigo en primera persona de una aplicación arbitraria de los criterios para la acreditación al cuerpo de catedráticos de universidad. Un buen colega ha recibido una D en docencia, que le ha sido mantenida tras reclamar lo cual tiene más inri, teniendo una cantidad de méritos tanto cuantitativos como cualitativos más que suficientes para no merecer tal calificación. Cualquiera que haya corregido un examen es consciente que puede suspender a alguien que no se lo merezca por un error en la corrección. Si se mantiene dicho error tras una revisión deja de ser un error de corrección.

Me parece un acierto establecer criterios objetivos para muchas cuestiones universitarias, pero hay que tener cuidado con su uso excesivo.

Los criterios objetivos pueden y deben complementarse en muchas ocasiones con evaluación cualitativa de los méritos por parte de la comisión, pero nunca con comportamientos arbitrarios tan perjudiciales en todos los sentidos para la vida universitaria.

 

 

Otros artículos del autor:
Ranking de Shanghái: ¿comparando España con Estados Unidos?

 

Comentarios
  1. Javier dice: 27/10/2021 a las 09:21

    Estoy muy de acuerdo en que la aparente objetividad en diferentes evaluaciones del sistema universitario español viene lastrada por un peso excesivo de lo cuantitativo y nominativo, a veces con poco o nulo margen para la evaluación cualitativa (y la que hya suele usarse para aplicar con rigor extremo la interpretación cuantitativa, como en el ejemplo del colega con D en docencia). Para que la evaluación cualitativa sea subjetiva e informada, pero no subjetiva, interesada y arbitraria, creo que harían falta dos factores: que la evaluación incluya siempre el dictamen de al menos un experto en el campo del candidato evaluado (para evitar problemas con los que se indican a la hora de conceder menciones a tesis doctorales) y que haya contrapesos y consecuencias para las evaluaciones relevantes y estructurales (plazas, promociones, etc.), de manera que un ayudante doctor sea sometido a otras evaluaciones antes de poder estabilizarse (y, si no pasa el corte, que se extinga su contrato), que la evaluación de acreditaciones cuente con comisiones de reclamación diferentes a la originalmente evaluadora para revisar casos, etc. Ningún sistema es perfecto, pero hay que tender hacia la mejora.

  2. Mercedes dice: 27/10/2021 a las 10:22

    Excelente comentario de Javier con motivo de la entrada de Julio y muy atinada propuesta para combinar las evaluaciones cualitativas y cuantitativas, una vía que rompe con la tendencia a burocratizar los procedimientos (bloquean tres meses, al menos, la actividad docente e investigadora del candidato) y que reconoce la relevancia del factor humano en la carrera profesional.

  3. PacoMartos dice: 27/10/2021 a las 12:35

    Decía un antiguo e insigne rector: «Ya estamos de acuerdo en el análisis de la problemática, hablemos ahora de la solucionática». Es relativamente fácil llegar acuerdos en el diagnóstico pero resulta más difícil alcanzarlos en la terapéutica. A veces el remedio puede llegar a ser peor que la enfermedad. Hagamos propuestas, estudiémoslas con detenimiento y hagamos las pruebas oportunas. Cuidado con avanzar demasiado rápido para llegar al pasado.

  4. José Luis Ortega dice: 27/10/2021 a las 17:31

    En ciencia, tomar ejemplos específicos que confirman una opinión se le llama cherrypicking y es considerado una mala práctica científica.
    Sugiero al autor que comente también ejemplos de cómo los comités de expertos generan ineficiencia (nunca encuentran un criterio de evaluación satisfactorio, tardan mucho tiempo en tomar una decisión, son tremendamente caros) contradictorios (la opinión de un experto no suele coincidir con la de otro), subjetivos (esto conduce a la endogamia, abuso de poder y conflictos de intereses), no auditables (no es posible comprobar si la comisión está valorando correctamente), no recurribles (las puntuaciones o valoraciones sobre argumentos calitativos no puede ser recurribles en un tribunal).
    Despúes de todos los problemas que este tipo de evaluación está generando (i.e. sexenios, projectos, becas, etc.), me parece sorprendente que todavía se reclame estas figuras tan costosas, lentas, arbitrarias, ineficientes y arcaicas. Por el bien de la ciencia, no más comités de expertos, por favor.

  5. Anbrosio dice: 29/10/2021 a las 19:36

    El evaluador de Aneca redacta su informe en su despacho al amparo de la privacidad y, en su caso, golpe de teléfono (hacia el exterior y desde el exterior). Los datos objetivos no sirven de nada: es habitual que investigadores con tres sexenios reconocidos y vigentes son evaluados negativamente con el pretexto (para el evaluador) de la escasa relevancia de las aportaciones, sin posibilidad de rebatirlo por el solicitante (los recursos difícilmente quitan la razón al evaluador; si lo dice la policía, será verdad). Eso sí, se solicitan «muchos» (cantidades de) trabajos que, realmente, no son analizados por el evaluador (ni es factible, ni importa; si cumple con la cifra, ya está bien). La Comisión solo puede aceptar formalmente lo propuesto por el evaluador; no evalúa realmente. Además, el propio evaluador (que desde la tesis accedió en pocos años a la titlaridad y a la cátedra) acaso no sería capaz de pasar el proceso de evaluación que está llevando a cabo. En fin, mucha gente pasando horas y horas, haciendo y mirando papeles, perdiendo productividad y generando suspicacias académicas. Más fácil: pruebas y defensa pública oralmente y en el propio acto. Que el evaluador le diga personal y públicamente al solicitante por qué cree que no está capacitado para «optar» a ser profesor u «optar» a una oposición.

  6. […] este mismo objetivo, y en el campo de la evaluación del profesorado, se debería reorientar esta función hacia los modelos que operen directamente a través de los […]


¿Y tú qué opinas?