Lecciones sobre los «rankings» globales (I): la importancia del impacto científico

Han pasado ya 15 años desde que la Universidad Jiao Tong de Shanghái lanzó el Academic Ranking of World Universities (ARWU) e inauguró la era de los rankings globales en el ámbito de la educación superior, hasta ese momento solo populares en Estados Unidos y Reino Unido.

Tras ARWU, han surgido y siguen proponiéndose otras iniciativas, pero lo más significativo es que desde su aparición, estos rankings han desarrollado una profunda influencia en la política universitaria en todo el mundo. Una especie de efecto Heisenberg: la medida ha modificado el sistema medido. No es espacio éste para una descripción o un análisis de los diferentes rankings. Recientemente, por encargo de la CRUE, tuve la ocasión de publicar la monografía «Rankings, impacto científico y sistemas universitarios«, donde empezaba por justificar por qué me centro en 4 de estos rankings globales: ARWU, THE, QS y el español SIR. Los tres primeros por ser los que más incidencia tienen en la política universitaria (algunos gobiernos los utilizan para limitar su política de becas en el exterior a las universidades que aparecen en posiciones destacadas en alguno de estos ellos, especialmente ARWU y THE), y el cuarto, SIR, por ser el que proporciona una información más detallada y extensa al mismo tiempo sobre cantidad y calidad de producción científica, sin utilizar ningún algoritmo de ponderación.

Por otra parte, aún más recientemente, en el último mes, han tenido cierta repercusión en los medios de comunicación españoles los resultados de dos rankings en particular, el de BBVA-IVIE sobre el sistema universitario español y el THE sobre las 150 mejores universidades jóvenes, menores de 50 años. Y a lo largo del año, volveremos a estar pendientes de las nuevas ediciones del THE global, ARWU, QS, SIR, Leiden, URAP, NTU, etc…

Para mí, y es parte de lo que he querido desarrollar en la mencionada monografía, la lección más interesante que proporciona toda esta información proviene de su agregación difusa: si se aleja un tanto la vista y se observa el panorama general superponiendo todas las cifras que nos dan estos rankings, lo que se puede observar es una imagen consistente, en la cual efectivamente las universidades aparecen ordenadas, quizás no de una en una, pero si en rangos: no tiene sentido el conocimiento o la valoración de una posición concreta según se avanza en la tabla, dado que la precisión en la medida disminuye progresivamente y de manera muy significativa.

Así, podemos decir casi sin duda o discrepancia cuáles son las mejores 10 universidades del planeta, pero nos costará mucho distinguir entre una universidad en una posición 300 en un ranking o 500 en otro.

Ocurre con cierta facilidad: una misma universidad puede estar entre las posiciones 300-400 en THE y no aparecer en ARWU, y viceversa. Del análisis global infiero que, efectivamente, es posible una cierta clasificación del sistema: conociendo la realidad científica de una universidad es posible hacer una buena estimación de su situación general en rankings globales y, por lo tanto, también a la inversa: de ahí la fascinación por estos rankings en el mundo global, donde es imposible que nos conozcamos todos con suficiente detalle, y de ahí también su utilidad.

De hecho, como muestro en la monografía, podemos ir incluso más allá: conociendo solamente el impacto científico total de una institución (número de publicaciones por su impacto medio normalizado, datos que se pueden encontrar en SIR) es posible estimar las probabilidades de que se encuentre entre las 50 primeras en algún ranking, o entre las 100, 200, 300, etc… Para dar dos datos extremos, si una universidad tiene un impacto total anual superior a 4.800 (por ejemplo, 3.000 publicaciones con impacto medio de 1.6) tiene más del 80% de posibilidades de estar entre las 100 primeras posiciones en alguno  de estos rankings y más del 95% de estar dentro de las 200. En el otro extremo, con un impacto anual menor de 1.200 (1.000 publicaciones de impacto medio 1.2, por ejemplo), lo más probable es no encontrarse entre las 500 primeras universidades en ninguno de los rankings globales.

En definitiva, para las universidades investigadoras la variable más determinante es, efectivamente, el impacto de los resultados de su investigación.

Por otra parte, la agregación de resultados de presencia en rankings de universidades de un mismo país proporciona interesantes posibilidades de análisis sobre la eficacia de los sistemas universitarios y, si se conjuga con datos económicos, también de su eficiencia. Pero este tema merece otra anotación.

____________________

*Si quieres recibir los contenidos de este blog de manera automática, suscríbete aquí, y acompáñanos en el reto de mejorar la universídad.