El «ranking» THE-WUR para España: ¿resultados increíbles?
Historia del ranking THE-WUR
Con la separación del QS en 2010 y la implantación de una nueva metodología con cinco dimensiones (docencia, investigación, citas, internacionalización e innovación), el THE logró hacerse un hueco en el olimpo de los rankings globales.
El THE fue el primero en introducir indicadores económicos: ingresos por docencia, por investigación y procedentes de la industria. Con estas decisiones metodológicas y estratégicas, el THE se convirtió en uno de los tres rankings globales (ARWU, QS y THE) más prestigiosos e influyentes durante varios años.
Un crecimiento acelerado
Ya en la primera edición y con su nueva metodología (el QS se quedó con la anterior), se vio como nacía con una vocación muy elitista, puesto que solo posicionó a las 200 mejores universidades del mundo y estableció las “cuotas de poder” por países. En definitiva, mostraba la supremacía del sistema universitario de Estados Unidos, seguida por el de Reino Unido. Las universidades asiáticas estaban muy lejos de las mejores posiciones y sus objetivos estratégicos no eran entonces tan ambiciosos como en la actualidad. España ocupaba la posición 19 por países en 2010, aunque “ha llovido mucho” desde entonces.
Imagen 1. Resultados por países del ranking THE-WUR 2010 (Top-200).
Sin embargo, dada la fuerte competencia, pronto se convirtió en un ranking con más universidades: en 2012, 400; en 2016, 800; en 2017, 981; en 2018, 1.103; en 2019, 1.258; en 2020, 1.396; en 2021, 1.526; en 2022, 1.662; y en 2023, 1.799. Siempre ha intentado mantener la esencia de un club selecto en el que todo el mundo quería entrar, aunque fuera incorporando universidades cada año. Precisamente, esta es una de las consecuencias de la Teoría de los bienes de club, es decir, de bienes reservados donde existe un valor intangible medido por el orgullo de la pertenencia a ese club.
De un club selecto a un «modelo de negocio»
En la edición 2023 aparecen casi 1.800 universidades, que suponen tan solo el 10% de las más de 18.000 instituciones de Educación Superior del mundo. No queremos entrar a valorar aquí si ampliar hasta este número de instituciones es una buena o mala estrategia para una clasificación a nivel mundial que intenta conservar su “efecto halo”. Es importante mencionar que algunos rankings globales, como ocurre en este caso, han intensificado en los últimos años sus intereses comerciales y también de otro tipo, pues parte de su negocio es la asesoría. Los propios editores del ranking se ofrecen a las universidades para asesorarlas, con el fin de “mejorar” posiciones. En realidad, se trata de una venta encubierta de datos de otras instituciones similares, incluso del propio país, en la que algunas universidades entran al juego del benchmarking y del asesoramiento.
El THE-WUR, al igual que otros rankings globales, se ha convertido en un modelo de negocio para sus propietarios. Quién sabe si, con estas decisiones de ampliación de instituciones clasificadas, se está acabando con «la gallina de los huevos de oro».
La metodología del ranking THE-WUR
El siguiente esquema resume la construcción de la puntuación global en el ranking THE-WUR. Está compuesto por cinco indicadores, varios de ellos desglosados en varios subindicadores de diferentes tipologías (económicos, reputacionales):
- Docencia (30%):
- Encuesta (15%).
- Ratio staff-estudiantes (4,5%).
- Ratio egresados de doctorado-egresados de grado (2,25%).
- Ratio egresados de doctorado-staff (6%).
- Ingresos institucionales (2,25%).
- Investigación (30%):
- Encuesta (18%).
- Ingresos de investigación (6%).
- Productividad investigadora en revistas Scopus (6%).
- Citas (30%).
- Proyección internacional (7,5%):
- Proporción de estudiantes internacionales (2,5%).
- Proporción de staff internacional (2,5%).
- Colaboración internacional (2,5%).
- Ingresos de la industria (2,5%).
Los indicadores de los rankings deben de cumplir una serie de propiedades, según muchos expertos académicos. Dos de esas propiedades son que los datos no sean proporcionados por cada universidad (caso de algunos indicadores económicos) y que los datos sean objetivos (caso de los indicadores reputacionales, provenientes de encuestas). Pues bien, de toda esta pléyade de indicadores y subindicadores tan sólo cumplen estas dos propiedades el indicador «Citas» (30%), productividad investigadora en revistas Scopus (6%) y colaboración internacional (2,5%). Es decir, no llega al 40% de la puntuación global en el ranking. El 33% restante recae en la encuesta a docentes e investigadores, y el otro 28,5% en indicadores que se basan en los datos proporcionados por las universidades y, por tanto, con intereses creados «para salir bien en la foto».
La metodología completa puede consultarse de forma resumida aquí y en su versión ampliada aquí.
Defectos cronificados
No vamos a entrar a ver los efectos perversos a largo plazo de cualquier sistema de incentivos que se producen por procesos evaluativos a través del mismo sistema de indicadores que se prolongan en el tiempo. Solo queremos destacar lo que hemos convenido en denominar defectos cronificados.
En primer lugar, los indicadores reputacionales que, como todos sabemos, son subjetivos y con falta de transparencia, son una caja negra. Otorgan un margen de maniobra suficiente a los propios constructores del ranking para seleccionar a los académicos encuestados y, por tanto, pueden influir en los resultados finales. Aunque el peso de estas encuestas no ha variado a lo largo del tiempo, hay que recodar que “controlan” un no despreciable tercio de la puntuación final.
La relación de las citas como proxy de la calidad científica de una universidad a nivel institucional ha sido muy discutida en la literatura de evaluación de la ciencia. Sin embargo, dejando al margen esta discusión sobre si es una buena proxy o no, el indicador «Citas» no se corresponde con lo que nos dice la intuición.
En primer lugar, al ver el listado de las veinte universidades con mayor valor en el indicador «Citas» puede observarse cómo sólo dos universidades (MIT y Stanford) pertenecen al Top-200 en la posición global. Si esta dimensión supone el 30% del ranking y además es el único indicador objetivo, cabría esperar cierta correlación entre el indicador «Citas» y las posiciones globales.
Tabla 1. Universidades en el Top-20 en el indicador «Citas» en la edición 2023 de THE-WUR.
Con arreglo a los análisis de datos que hemos realizado, de las 100 primeras universidades según el indicador «Citas», 47 se sitúan por encima del Top-500 en el resto de los indicadores, pero, es más, de estas 100 universidades 28 se sitúan por encima del Top-1.000. Es decir, más del 25% de universidades que están en el Top-100 según el indicador «Citas», se sitúan fuera del Top-1.000 en el resto de los indicadores.
En nuestra opinión, existen indicios de que: (i) no resulta demasiado convincente el modo de calcular el indicador «Citas»; (ii) los resultados de los indicadores restantes y su ponderación no parecen reflejar fielmente el nivel de calidad de las universidades; y (iii), atendiendo a lo señalado en i) y ii), todo apunta a que la puntuación obtenida en el ranking THE-WUR debe ser analizada con cautela, a pesar del impacto que genera.
El aumento de “corredores” en la carrera por la reputación
Las universidades utilizan su posición en este y otros rankings globales para su promoción (aquí), su reputación entre pares (a nivel institucional y académico) y su reputación entre los estudiantes nacionales e internacionales.
Las universidades de la Europa continental deberían tener en cuenta que el objetivo final de las universidades anglosajonas es la búsqueda de socios y/o empresas (públicos y privados). En definitiva, necesitan financiación por parte de la industria y de fundraising por parte del tercer sector (de ahí la preocupación creciente por el ranking THE-Impact).
Con la entrada de nuevas instituciones asiáticas y de Medio Oriente, se está perfilando un nuevo orden mundial de universidades. Es un desafío colosal para las instituciones europeas.
En los siguientes gráficos se muestra la evolución por continentes del número de universidades en el THE WUR en el Top-400, Top-500 y Top-600.
Con el aumento del número de “corredores” asiáticos en la clasificación se introduce más competencia. Aunque algunas de nuestras universidades lo sigan haciendo igual de bien -con las mismas reglas del juego impuestas por el ranking THE-, se desplazan más atrás en las posiciones y una tendencia decreciente del número de instituciones tanto en Europa como en América del Norte.
Hablamos de un efecto expulsión, entran más universidades en la carrera por la reputación y algunas de ellas suben más deprisa que las universidades españolas.
La carrera de las universidades españolas en el ranking THE: ¿hacia dónde vamos?
Muchas universidades españolas han trabajado duro para colocarse en uno de los tres rankings más influyentes a nivel mundial. De hecho, en THE 2017 entraron 27 universidades españolas, 29 en 2018, 38 en 2019, 45 en 2020, 50 en 2021, 53 en 2022 y 59 en 2023.
Las universidades españolas se ven inmersas en otra problemática de cara a su promoción en este ranking, que es, el de acceder a tramos más amplios. En la edición 2023 de THE-WUR, la gran competencia para el SUE por una relativamente buena puntuación es estar entre las universidades posicionadas en los tramos intermedios 400-600, lugar que ocupan algunas universidades españolas en las últimas ediciones. En nuestra opinión, ello dependerá en el corto plazo más que de la mejora en la citación o en el número de publicaciones de alto impacto, en el impulso que se logre dar a la reputación, el 33% en la puntuación global.
Los tramos Top 601-800 y Top 801-1000, donde se posicionan muchas de las universidades españolas que antes ocupaban puestos alrededor de la posición 500-600, permiten discriminar muy poco. En esos lugares las universidades españolas no tienen incentivos para seguir preocupándose de su imagen de marca, al ver muy difícil aspirar a ganar posiciones con tantos corredores en juego y con complicadas estrategias en la carrera geopolítica.
Reflexión final
A todos los lectores del blog, que son cada vez más, y especialmente a los equipos de gobierno de las universidades españolas, nuestro consejo es que duerman tranquilos. Si la clasificación que se ha volcado a nivel mundial es poco creíble, a nivel de cada país (en nuestro caso, a nivel del sistema universitario español) es aun más increíble la clasificación obtenida en la última edición del THE.
Universídad es el blog de Studia XXI, un espacio para el debate intelectual en políticas y estrategias universitarias.
Coincido plenamente en la reflexión final , hay ordenaciones que evidencian la debilidad de algunas de métricas y con ello de pérdida de credibilidad del ranking, que de seguir así también perderá interés.
Gracias por el artículo, una discusión muy clara. En concreto, se mencionan las citas como indicador más fiable. Creo que lo fueron, hoy en día dudosamente. Las citas también son un modelo de negocio. Para su evaluación se tienen en cuenta cada vez más revistas, a menudo predatorias.
Para hacer un trabajo serio, no solo importa que haya citas, sino que estas vengan de las universidades que verdaderamente son top (la veintena que todos tenemos en la cabeza), el resto de citas son mucho menos fiables como medición de grandes contribuciones. Así que necesitamos saber cuáles son los buenos sitios para seleccionar las buenas publicaciones. Es la pescadilla que se muerde la cola, lo que nos dice es que debe ser una valoración cualitativa, los rankins son un sinsentido. Cuando hay incentivos cualquier medida cuantitativa se va a pervertir rápidamente…
Lanzar un ranking donde las universidades Europeas destaque es tan sencillo como otorgar dar una ponderación de al menos un 30-40% al atributo: “libertad plena de cátedra, de expresión y debate, sin cancelaciones ni censuras o autocensuras, ni persecución gubernamental”. La mayor parte de las universidades asiáticas y norteamericanas suspenderían estrepitosamente. Pero una institución que falla en esta dimensión…¿Como puede ser denominada universidad? Hay poco conocimiento universal en la persecución del pensamiento crítico… Europa resiste en su defensa. Y creo que veces nos preocupamos por aspectos comerciales sin apreciar el valor de lo que tenemos.
Muchas gracias por el artículo, es positivo que se converse de los rankings y se evalúe su capacidad de evaluar los sistemas universitarios nacionales e internacionales.
Me parece que aquí la clave no es si los resultados de los rankings son creíbles, sino si son válidos, si el modelo de excelencia analizado por THE se ejecuta correctamente para analizar la realidad -o incluso la validez del modelo en el caso español-. Me parece que la validez o no de los rankings no se zanja en el artículo. ¿El hecho de que parte de los datos sean autoreportados, por ejemplo, hacen que sean automáticamente falsos en su 100% o directamente increíbles? ¿Entonces nos tenemos que creer los datos de las universidades españolas, están también mintiendo o sólo son las demás?
Sobre las encuestas, efectivamente, como todo análisis de este tipo, tienen un carácter subjetivo, porque evalúan la opinión de los académicos, una realidad subjetiva. ¿Debemos dudar de ellas como un sistema válido para el análisis, así como los cientos de miles de encuestas que se hacen para el gobierno de instituciones y estados, y ya no digo de la investigación?
En cuanto a que las encuestan permiten «seleccionar a los académicos encuestados y, por tanto, influir, en los resultados finales», la encuesta incluye más de 40.000 respuestas de académicos de todo el mundo, lo que dificulta -no impide- esa manipulación que se indica. No digo que pueda tener sesgos por localización (el origen de las encuestas está publicado y eso parece), pero que se manipulan (¿para beneficiar a quién? ¿con qué objeto? ¿qué ganaría THE?) me parece algo no demostrado.
En cuanto a las citas, comparto las dudas de los autores de que sirvan de «proxy» de la calidad científica. La tabla que se comparte sorprende por estar en ella algunas universidades desconocidas. Sin embargo, la presencia de «outlyers», fruto de la metodología o del reporte de datos, en modelos estadísticos es frecuente y no necesariamente los anula. En este caso, es probable que se deban a que son universidades con muy pocos artículos en disciplinas muy relevantes para el ranking y con muchas citas. Habría que examinar cada caso con cuidado. Por ejemplo Cankaya University, la primera, tiene 1.800 artículos publicados en Scopus, los más citados en el ámbito de las matemáticas y con muchas citas cada uno (33.766 en 5 años). ¿Anula el análisis la presencia de outlyers? ¿Debemos reclamarle a THE y Scopus que traten de forma diferente de los valores extremos y entonces le daría validez al sistema?
Aunque no comparto la tesis final del artículo (ni me parece demostrada), muchas gracias por plantear estos temas y plantear estas interesantes preguntas. El sistema universitario mundial no es algo sencillo de analizar por su complejidad y dinamismo, y sería normal que los rankings fallasen de forma frecuenta en dar buenas respuestas. Esto no quita que se intente o que se mejore progresivamente. Ojalá que el artículo suscite análisis más a fondo de los rankings para su mejora o, en caso de que los proveedores de rankings fallen en resolver las dudas importantes, su descarte definitivo.