¿Cómo mejorar los resultados de las universidades españolas en el ranking de Shanghái?
Todos los 15 de agosto se publica una nueva edición del Academic Ranking World Universities (ARWU) más conocido en España como ranking de Shanghái. Los días subsiguientes es habitual leer noticias en prensa del rendimiento (o ausencia de él) de las universidades españolas (por ejemplo en 2022, El País, El Confidencial). En algunas regiones se convierte incluso en tema de discusión, como sucedió en Asturias en 2022 (por ejemplo, aquí o aquí). Sin embargo, hay muy poca discusión en la prensa o en los medios de comunicación que vaya al detalle de cómo se construye el ranking y, por ello, falta un análisis concienzudo de cómo se pueden mejorar posiciones en este ranking.
La mayoría de las universidades en el siglo XXI tienen tres misiones: docencia, investigación y la llamada tercera misión o transferencia social y económica.
El ranking de Shanghái se centra fundamentalmente en analizar la misión investigadora. Para ello, se establecen 6 indicadores cuyos pesos no han variado a lo largo de las tres décadas de historia de esta clasificación:
- Alumni (Alumni)- 10%: premios Nobel y medallas Fields de egresados.
- Premios (Award)- 20%: premios Nobel y medallas Fields de investigadores.
- Altamente Citados (HiCi)- 20%: investigadores altamente citados en el listado de Clarivate, empresa que elabora el Web of Science (WOS).
- Nature and Science (N&S)- 20%: publicaciones en las revistas Nature o Science.
- Publicaciones (Pub)- 20%: artículos publicados en los listados de revistas de Science Citation Index-Expanded o Social Science Citation Index.
- Rendimiento per cápita (PCP)- 10%: Rendimiento en los cinco anteriores indicadores ponderado por el profesorado de la universidad.
La metodología de ARWU se encuentra en el siguiente enlace. La explicación detallada de cómo se construyen los indicadores puede consultarse en el magnífico artículo de Domingo Docampo “Reproducibility of the Shanghai academic ranking of world universities result” publicado en 2013 en Scientometrics. Sin este artículo de Domingo no podrían estar leyendo ahora estas líneas y justo es reconocerlo.
ARWU, ranking de excelencia: implicaciones
El ARWU se basa en indicadores de excelencia suprema, como son los premios Nobel o medallas Fields tanto de investigadores como de egresados, los investigadores altamente citados (son menos de 70.000 en todas las disciplinas), los artículos en Nature y Science, y el rendimiento per cápita en estos indicadores.
Los indicadores de excelencia de ARWU suponen casi el 80% de la puntuación obtenida.
Esto tiene dos consecuencias. La primera es que es un ranking diseñado para ordenar a las mejores de las mejores. Por ejemplo, solo 148 universidades cuentan con algún investigador al que se le haya otorgado el premio Nobel o medalla Fields, y 242 cuentan con algún egresado al que se le haya otorgado el premio Nobel o medalla Fields. La segunda es que, a partir del Top-100 aproximadamente, cualquier mejora en alguno de los indicadores que no sea publicaciones puede tener un impacto relevante en la mejora de esa universidad.
En la edición de 2022, solo 13 universidades se sitúan en el Top-100 teniendo un cero en los indicadores de premios Nobel y medallas Fields: en concreto, una europea (Leuven), dos australianas, y el resto asiáticas, seis pertenecen a China, país responsable del ranking, precisamente.
La siguiente tabla muestra los valores del resto de indicadores, pues en Alumni y Award es cero para estas trece universidades y las cinco primeras españolas.
Tabla 1. Indicadores ARWU 2022 para universidades Top-100 con cero en Alumni y Award, y cinco primeras universidades españolas.
El promedio de las trece universidades Top-100 con cero en Alumni y Award es HiCi=32, N&S=23, Pub=71, PCP=28, mientras que el promedio en estos indicadores para las cinco primeras universidades españolas es Hici=13, N&S=10, Pub=48, PCP=20. La mayor diferencia calculada como la ratio se produce en el número de investigadores altamente citados, seguido de Nature & Science, de publicaciones y por último de rendimiento per cápita.
Así, si las universidades españolas quieren parecerse más a las universidades del Top-100 deben intentar tener más investigadores altamente citados y más artículos en Nature y Science.
¿Qué nos ha pasado en el último lustro?
El gráfico 1 muestra la evolución de las universidades españolas en ARWU entre las ediciones de 2017 y 2022. En rojo aparecen las universidades que han empeorado en este periodo de forma considerable: Universidad Jaume I, Universidad de las Islas Baleares, Universidad de Oviedo, Universidad de Alcalá y Universidad Miguel Hernández. En azul aparecen las universidades que han mejorado considerablemente en este periodo: Universidad Complutense de Madrid, Universidad de Valencia, Universidad de Sevilla, Universidad Rovira i Virgili y Universidad de Salamanca.
Gráfico 1. Posición de las universidades españolas en ARWU 2017 y 2022.
La tabla 2 muestra que tanto las mejoras como las caídas en la posición se deben principalmente a los indicadores HiCi y N&S. Todas las universidades que han mejorado han eliminado su cero en HiCi pasando a tener algún investigador en el selecto grupo de «altamente citados». Por el contrario, todas las universidades que han sufrido una bajada importante, excepto la Universidad de Oviedo, han visto como ha disminuido su valor en HiCi.
Tabla 2. Indicadores ARWU 2017 y 2022 de universidades españolas con cambio relevante en la posición.
Y a nivel agregado, ¿cómo sale España en la foto?
A continuación, se muestran datos del rendimiento de las universidades españolas en el ranking. El gráfico 2 muestra la curva del número de universidades en ARWU en función del PIB de los países, que en la edición 2022 clasificó a 1.000 universidades. España se sitúa por encima de la recta de regresión cuadrática que indicaría el número de universidades que debería tener un país dado su PIB. La predicción para España sería tener 17 universidades. En ARWU 2022, España cuenta con 40 universidades, 39 de ellas públicas.
España obtiene muy buena posición, si tomamos como referencia el número de universidades en el Top-1.000.
Gráfico 2. Relación por país del número de universidades en ARWU 2022 y PIB.
Sin embargo, si nos detenemos en las universidades situadas en las 200 primeras posiciones del ranking, la forma de la curva varía. España no sale bien parada pues sólo cuenta con una universidad, cuando según la recta de regresión debería de tener cuatro universidades (gráfico 3). Otros países cuyo sistema universitario funciona bien para situar a universidades en el Top-1.000, pero mal en el Top-200 son Brasil, Corea del Sur, Finlandia e Italia.
Gráfico 3. Relación por país del número de universidades en ARWU 2022 Top-200 y PIB.
A modo de reflexión
A pesar de todas las críticas por ser un ranking elitista y por medir el prestigio de una forma casi inalcanzable (premios Nobel y medallas Fields) sigue siendo el ranking global por excelencia.
Abrió la nueva era de las clasificaciones de las instituciones de Educación Superior a nivel mundial, mantiene su metodología intacta al menos durante 30 años y sigue siendo un club selecto. No nos cansaremos de decir que los rankings han venido para quedarse y que como Sistema Universitario Español tenemos mucho que decir en esta clasificación, aunque sea todavía muy difícil entrar en el Top-200.
La receta es simple como hemos visto: se necesita algún Premio Nobel o Medalla Fields (siempre hay algún candidato de universidad española en las quinielas), autores altamente citados y publicaciones en Nature y Science.
Lo que sí está en nuestras manos es reinventar e impulsar la financiación basal de los grupos de investigación (cofinanciación), ya que las universidades españolas están muy condicionadas por la financiación y el tamaño de los recursos humanos con los que cuentan (la masa crítica de PDI y PAS altamente cualificado. Ni que decir tiene que el inglés no es la lengua vehicular de nuestras instituciones, ni tenemos un régimen de contratación de personal abierto.
Conocer los entresijos del ranking de Shanghái y las barreras que hay que superar para mejorar, no significa que no debamos seguir intentándolo. Es complicado, pero no imposible.
Universídad es el blog de Studia XXI, un espacio para el debate intelectual en políticas y estrategias universitarias.
Muy fácil, hágase como se ha hecho en Francia: coger dos universidades que tenían premios Nóbel (indicador potente) y hacer una fusión fría: es decir, realmente están geográficamente y funcionalmente separadas, se crea un comité directivo conjunto de alto nivel pero prácticamente siguen funcionando principalmente como entes separados (con el lógico incremento de alguna colaboraciones que antes no existían tan claras) y de una vez suben muchísima posiciones y Francia se siente orgullosa de ello.
Quizá la pregunta no es la que encabeza esta entrada, sino «¿Debemos hacer caso al ranking de Shanghái»? Lo digo porque creo que los rankings o listados ordenados son indicios de dinámicas más generales y complejas (si ninguna universidad española figura nunca entre las 25 mejores del mundo en ninguno de estos rankings, por algo será), pero lo primero que hay que hacer es preguntarse por la validez de cada ranking. Es erróneo decir que el ranking de Shanghái «se centra fundamentalmente en analizar la misión investigadora»: se centra en analizar unos aspectos concretos de ciertas áreas de investigación. Mi investigación se centra en un ámbito de las Humanidades: de los 6 puntos que valora el ranking de Shanghái, 0 valoran mi trabajo como investigador. Y soy uno de los referentes internacionales en mi campo. Así que, como comprenderán, tomar decisiones estructurales sobre la universidad española tomando este ranking como referencia me parece muy problemático, pues, sinceramente, como ranking universitario fracasa espectacularmente. ¿Mi propuesta? Identificar los problemas estructurales de la universidad española y abordar su mejoría en su conjunto y desde una pluralidad de perspectivas, con objetivos claros pero comunes a todos los que sacamos adelante el trabajo.
Lo primero felicitar a los autores , por la iniciativa de publicar esta serie de entradas sobre un tema de tanto interés, y que como siempre veo hacen con mucho acierto.
Francia, es cierto que ha situado gracias fundamentalmente a su decidida política de agregación de campus universitarios a cuatro de universidades en el top 100, pero ha perdido más en el top1000, lo que probablemente signifique que hoy hay un mayor número de estudiantes en la elite del top 100 ( excelencia) , pero muchos menos estudiantes en universidades del top1000(calidad reconocida). Lo que invita de nuevo a la reflexión que planteaba Kai Chan en su trabajo para el WEF (excelencia versus equidad).
Una sugerencia a los autores , creo que sería más interesante y seguramente justa trabajar no tanto en la correlación con el PIB total de cada país, más bien debería hacerse con la suma del porcentaje de su PIB que destinan a educación superior y a investigación, y ahí nuestra posición en la curva de regresión sería más favorable.
Y desde luego comparto plenamente vuestra reflexión final.
Muy interesante este análisis, que detalla el planteamiento de ARWU y da pistas sobre su influencia en los comportamientos institucionales de las universidades españolas. Esta breve lectura podría ayudar a dar profundidad a los planteamientos publicados en la prensa generalista.
Es fácil, meter dinero, ofertar salarios estándar internacionalmente y consecuentemente atraer talento internacional. Como se suele decir, “If you pay peanuts you get monkeys”
Lo raro es que la gente investigue, el impacto de las publicaciones en el salario de un académico con posición consolidada es ínfimo, para ellos es más rentable económicamente hacer otras cosas. Atraer figuras internacionales en este contexto es casi imposible. El ranking de las universidades Españolas es bastante bueno considerando todo esto, tenemos un sistema de calidad razonable (mas de lo que cabría esperar) a bajo coste. Si se quiere más calidad, hay que pagarla…
[…] Enlace a la publicación original […]
Buenas soy Julio del Corral escribo de parte de los dos. La respuestas serían:
Luis: Muchas gracias por el interés. Efectivamente al juntarse varias universidades en una nueva, la nueva universidad saldrá clasificada en ARWU, casi con seguridad, en mejor posición que la mejor posición ocupada por las universidades que se juntan. Esto se debe a que casi toda la puntuación de ARWU es size dependent. Sin embargo, nosotros no creemos que sea buena idea juntar universidades por el mero hecho de salir mejor en este o aquel ranking.
Javier: Muchas gracias por el interés. Estamos totalmente de acuerdo en las dos cuestiones que plateas. Comenzando por la segunda, efectivamente el ranking de Shanghái, al igual que el resto de rankings globales, están hechos en base a supuestos pues medir de forma precisa todo lo relacionado con la universidad es sencillamente imposible o al menos muy poco abordable. Es cierto, que algunos de esos supuestos son más sensatos otros.
En cuanto a la primera cuestión, como se dice en la entrada a la serie “cuanto más criticados son por motivos metodológicos por los científicos y expertos académicos, más atención reciben en la formulación de políticas y en los medios de comunicación, lo que puede llegar a ser preocupante. Y este defecto no es solo de nuestro país, sino de otros muchos de nuestro entorno”. Nuestra visión es que no se deben tomar las decisiones de política universitaria sólo mirando a los rankings, pero tampoco se pueden tomar las decisiones de política universitaria obviando a los rankings, pues nos gusten más o menos “los rankings han llegado para quedarse”.
Juan J: Muchas gracias por la felicitación. A la vista de los resultados parece claro que España lo hace muy bien en equidad pues logra que casi todas sus universidades, especialmente las públicas, tengan “calidad reconocida”. Sin embargo, España falla en la excelencia. El reto sería manteniendo la equidad ser capaces de mejorar la excelencia. Cogemos el guante de usar el gasto en educación superior para futuros análisis.
Eva: Muchas gracias por tu interés. Efectivamente, el motivo que nos llevó a escribir este post fue la necesidad que detectamos de matizar a la multitud de artículos que salen en prensa al respecto de los resultados en ARWU.
Carmen y Julio
[…] listado de Clarivate es usado en el ranking de Shanghái del que ya hablamos en la primera entrada de la serie sobre rankings universitarios. Asimismo, dicho listado ya dio pie a otra entrada en […]
[…] conocido que los rankings de universidades miden cosas que pueden ser muy heterogéneas debido a su composición. Por […]