Nuevos «rankings» para viejas necesidades

La palabra “ranking” atrae la atención del público lector, trate de lo que trate dicha clasificación ordinal. En el caso de rankings de universidades, futuros estudiantes, profesorado, personal de investigación, equipos rectorales, responsables de distintas políticas públicas (y no sólo de educación e investigación), empresas (especialmente de base tecnológica) y otros grupos de interés se sienten atrapados por los listados de instituciones universitarias que aparecen anualmente, transformando estas herramientas en puentes de comunicación masivos que conectan las universidades con su audiencia.

Un breve repaso a los rankings de universidades

Las clasificaciones de universidades al uso (principalmente ARWU, THE-WUR y QS WUR) son productos que están sujetos a numerosas críticas. Se les reprocha los conceptos vagos que miden y la existencia de conocidos sesgos, como son el uso de ciertas fuentes bibliográficas elaboradas y consumidas con perspectiva básicamente occidental;  la excesiva orientación hacia el rendimiento en investigación;  o el diseño de metodologías basadas en la ponderación arbitraria de indicadores para generar indicadores sintéticos, malinterpretados por una gran parte de sus lectores.

La variedad de rankings globales de universidades es amplia y diversa. Se pueden distinguir los rankings puramente bibliométricos (ej. ARWU, Leiden Ranking, Scimago Institutions Ranking), centrados en evaluar la excelencia científica de las universidades como centros generadores de nuevo conocimiento; los rankings integrales (ej. THE-WUR, QS-WUR), centrados en medir la reputación internacional de las universidades a través de todas sus misiones mediante datos tanto cuantitativos (investigación) como cualitativos (encuestas); y los rankings de características especiales, centrados en medir entidades (escuelas, facultades), servicios (bibliotecas, instalaciones deportivas), la penetración en impacto de las universidades en la web (por ejemplo, webometrics) o valores (empleabilidad) concretos de las universidades.

Repensando los fines

La mayoría de estas clasificaciones globales no tienen en cuenta (o lo hacen de forma muy minoritaria) aspectos y actividades sociales, como por ejemplo iniciativas de ciencia abierta, sostenibilidad o diversidad, que podrían encuadrarse dentro de la llamada tercera misión. Esta circunstancia ha llevado a la comunidad a reclamar clasificaciones más justas y responsables.

Algunas de estas clasificaciones globales no incluyen actividades vinculadas a la tercera misión de las instituciones de Educación Superior. 

Esta nueva sensibilidad se vio reflejada en el interesante webinar celebrado en enero de 2021, presentado por los expertos internacionales Alex Usher y Ellen Hazelkorn, y patrocinado por el CIHE (Center for Higher Education Boston College), en el que se formulaba la siguiente pregunta: «¿Las clasificaciones siguen siendo adecuadas para su propósito? (Are rankings still fit for purpose?, fue su título en inglés).

Una de las conclusiones más repetidas fue que se necesitan nuevas métricas para evaluar el papel cada vez más importante de las universidades en sus sociedades.

La discusión concluyó también destacando señaló que “las clasificaciones del siglo XXI todavía se basan en los roles de la universidad en el siglo XX”.

Nuevas tendencias 

Precisamente, este hueco es el que reclaman dos nuevas clasificaciones, el MosIUR y el Impact Rankings (THE-IR), editado por Times Higher Education, responsable de la edición de un amplio catálogo de rankings. Se trata de dos rankings jóvenes de universidades a nivel global ya que solo cuentan con tres ediciones hasta la fecha. Como el resto de sus competidores,  tienen su metodología (que a lo largo de tres ediciones ha ido cambiando) y, por supuesto, sus partidarios y sus detractores, entre los que se pueden identificar los distintos grupos de interés que hay detrás de los mismos, y los intereses de los países u organizaciones que los auspician.

Aun cuando estos nuevos rankings presentan importantes limitaciones metodológicas, la audiencia se ve atrapada por su encanto, tal como Ulises ante el canto de las sirenas en su camino hacia Ítaca. Mientras el THE-IR mide la contribución de las universidades a los objetivos de desarrollo sostenible (ODS), el MosIUR se caracteriza por su objetivo de medir las tres dimensiones universitarias, especialmente la transferencia.

Del análisis de estos dos rankings se desprenden dos aspectos que consideramos de interés: un cambio geopolítico y un cambio metodológico.

Carrera geopolítica a través de los rankings universitarios globales

En el panorama de la educación superior se ha “colado” la geopolítica; los rankings “nuevos” (al igual que los “viejos”) están planteando su interpretación en términos de efecto país (geopolitical race) y de políticas universitarias, más que en el impacto sobre las estrategias de las propias instituciones de Educación Superior.

Los sistemas universitarios y las universidades que los integran quieren ser más “brillantes” no sólo en investigación y docencia, sino en otros temas transversales como la diversidad, la sostenibilidad o la ciencia abierta, porque esto redundará en una mayor reputación de sus universidades y de sus agendas de educación superior, lo que facilitará la captación de estudiantado internacional, y de ingresos.

Estrategias de visibilidad 

En este contexto de cambio, hemos observado que la representación de los países en estos dos nuevos rankings es muy diferente de la observada en los rankings globales tradicionales.

El análisis comparativo de THE-IR y THE-WUR que hemos realizado, y cuyos resultados preliminares se discutieron en el marco de la 5th International Conference on Public Policy celebrada en Barcelona en julio de 2021, nos muestra que los sistemas universitarios que ocupan las primeras posiciones en THE-WUR no están participando en THE-IR con el mismo nivel de intensidad.

Sólo 4 instituciones de las 50 mejores universidades del THE-WUR también están incluidas en el THE-IR en la edición de 2021.

Conclusiones similares han sido expuestas recientemente por Calderón (2021). Lo mismo ocurre en el MosIUR, donde Rusia y China brillan como los sistemas universitarios con más universidades, en comparación con sus posiciones en el ARWU, THE, QS, SIR, etc. (como se puede ver en Orduña-Malea y Perez-Esparrells, 2021).

Esta situación puede explicarse por las estrategias geopolíticas específicas de los países y de las propias universidades por obtener más visibilidad en una familia de rankings que en otras, como es el caso muy llamativo de algunas instituciones ubicadas en América Latina.

Nuevas métricas en los rankings universitarios globales

Tanto MosIUR como THE-IR incorporan una amplia variedad de nuevas métricas. MosIUR se caracteriza por el uso de fuentes de datos alternativas, no anglosajonas, y en gran medida de naturaleza web, incluyendo motores de búsqueda y fuentes de información web internas (sitios web de la universidad) y externas (ej., Wikipedia).

La llegada de rankings orientados a medir aspectos sociales era una necesidad palpable. 

Por su parte, THE-IR incorpora un conjunto de indicadores para cada uno de los ODS, cubriendo tanto actividades de investigación como aspectos estructurales de las propias universidades relacionados con su sostenibilidad, medida esta también en tanto que organizaciones.

La llegada de rankings orientados a medir aspectos sociales, utilizando herramientas que permitieran una mayor visibilidad a todas las regiones del mundo, era una necesidad palpable. Recientemente, Ruth A. Pagell, emérita de la Emory University en los Estados Unidos y experta en rankings, nos comentaba en correspondencia privada el entusiasmo inicial con el que había recibido el nuevo ranking MosIUR, porque incorporaba algunos de los aspectos clave del papel de una universidad que no se incluyen en otras clasificaciones.

De forma similar, se celebraba el lanzamiento del THE-IR, por cuanto suponía disponer de una herramienta que permitiera mapear el “viaje” de desarrollo sostenible de las universidades (Calderón, 2021). Sin embargo, limitaciones metodológicas, tanto clásicas (sesgos en la confección de indicadores combinados) como nuevas (sesgos de las nuevas fuentes, prevalencia de las nuevas métricas)  deben frenar cualquier euforia respecto a estas nuevas herramientas.

¿Transformación o nueva promoción?

Tras la pandemia, los sistemas universitarios de los países han intensificado sus retos; las universidades que los conforman han acelerado los cambios y las transformaciones, lo que ha llevado a nuevas formas de entender las misiones de la universidad, nuevas preguntas ante los nuevos valores (por ejemplo, la sostenibilidad o fuentes y métricas alternativas, en los casos observados en este breve texto).

Estos nuevos rankings están siendo sensibles ante esa necesidad de incorporar nuevas fuentes, métricas y actividades universitarias. Con ello están tratando de romper con la hegemonía de rankings globales que muestran una educación superior dominada por las grandes potencias mundiales (principalmente el mundo anglosajón).

En estas últimas clasificaciones  se observan ligeros pero continuos cambios geopolíticos, incorporando a más universidades de países en vías de desarrollo, lo que podría estar evidenciando la generación de nuevas estrategias activas de visibilidad en rankings dentro del mercado global de la educación superior.

Los rankings más recientes se están convirtiendo en nuevas formas de promocionar la reputación de las universidades y, por ende, de los países donde se localizan.

Nuevas necesidades y nuevos retos para la medida de las instituciones de ES

No queremos resultar pesimistas, sino todo lo contrario. Creemos firmemente  que los rankings jóvenes irrumpen con fuerza en una dirección: la necesidad de medir cosas distintas y de medir mediante métricas distintas. Pero detectamos al mismo tiempo una revolución silenciosa en el sector de la educación superior donde ciertos países y regiones tratan de generar nuevos espacios que no ocupan las universidades tradicionales, aprovechando las grietas existentes en el diseño metodológico de estas clasificaciones.

La principal duda es si estos nuevos rankings serán espacios idóneos para medir las necesidades y los retos del siglo XXI de las instituciones de Educación Superior, o se convertirán en un nuevo canal de comunicación para cubrir viejas necesidades de reputación.