3ª lección: los «rankings» también ordenan sistemas universitarios

La agregación a nivel de país de la información proporcionada por los principales rankings globales, ARWU, THE y QS, combinada con la proporcionada por el SIR en relación a la producción científica y su impacto, permite una interesante comparación entre los sistemas universitarios. Cuando se considera, además, información sobre recursos económicos movilizados, la comparación entra ya en el terreno de la eficiencia de los distintos sistemas.

¿Cómo se puede agregar información de distintos rankings, y además hacerlo a nivel de país? Naturalmente, no existe un procedimiento establecido o estandarizado. Pero sí se puede hacer de manera sencilla y sin introducir criterios ordenadores adicionales. Basta con considerar las posiciones de las universidades en cada ranking y, además, que éstas son equivalentes. Por ejemplo, otorgando 1 punto a la universidad que está colocada en primer lugar y 0 puntos a la que ocupa la última posición en el ranking que más universidades lista; así una misma posición en diferentes rankings tiene la misma valoración. De esta manera, se puede obtener, también, una puntuación para cada sistema universitario, mediante la simple suma de las puntuaciones de sus universidades. Del mismo modo, se puede obtener el número agregado de publicaciones de un sistema universitario, así como su factor de impacto normalizado medio y, naturalmente, su impacto total. Cabe señalar que estas cantidades no son exactamente el número de publicaciones totales de un país y sus impactos, sino la simple agregación de las de cada una de sus universidades, superior al total, pero representativo de éste.

Considerando como universo el conjunto de 2.413 universidades que aparecen en SIR (2013), como representativas de las universidades investigadoras (con un mínimo de producción científica), y convenientemente agregadas por países del modo descrito, la primera constatación que se puede hacer es que existe una muy buena correlación lineal entre el impacto total por país y la puntuación de éste en los rankings, como muestra la siguiente figura (hasta 49 países están representados en ARWU, THE o QS), mejor incluso que la que existe universidad a universidad (la agregación disminuye la dispersión):

Naturalmente, el atractivo de los rankings radica en la ordenación, en la posición que uno ocupa en relación con los demás. El procedimiento de agregación descrito permite realizar estas ordenaciones bajo diferentes criterios, Veamos algunos de interesantes, en primer lugar de carácter extensivo (dependen del tamaño del sistema):

Como vemos, en número total de universidades investigadoras y en impacto, España ocupa un muy adecuado lugar, entre 11 y 12. También ocupa el lugar 12 en número de universidades presentes en alguno de los tres rankings considerados, pero cae al lugar 16 cuando se trata del número de universidades en los tres rankings, rodeada de países mucho más pequeños, de entre 5 y 10 millones de habitantes. Algo interesante nos está diciendo esta ordenación.

Se trata básicamente de que las universidades españolas tienen una adecuada producción científica en cuanto a cantidad, pero su impacto promedio es relativamente bajo, y es básicamente éste el que se corresponde con las mejores posiciones en los rankings.

Quizás se ve la cuestión más claramente cuando observamos variables de tipo intensivo, que no dependen de la dimensión del sistema. Como variables de dimensión de sistema se han utilizado la población total y el gasto total en educación superior (incluida la investigación), datos que, entre otros, se han obtenido de la OCDE para sus 34 países. Los datos OCDE son de 2011 mientras que los de rankings corresponden a 2013. En cualquier caso, el interés está en las tendencias generales y no en el valor concreto de un indicador. Por otra parte, cualquier producción científica es debida a inversiones en años anteriores y no en el mismo año de su concreción, de modo que los valores de 2011 para todos los países son una buena indicación de su dimensión humana y económica. En la siguiente tabla se ordenan estos países según criterios análogos a los anteriores, pero ahora por población o por gasto. Los resultados muestran como España se aleja de los valores medios de la OCDE, bajando a posiciones entre la 19 y la 24.

Esta tabla permite muchas observaciones que no se pueden desarrollar en el espacio de este post. Señalo únicamente unas cuantas: en las posiciones elevadas se encuentra un mismo conjunto de países anglosajones y europeos, mayoritariamente nórdicos; el país que reúne sin duda el mayor número de primeras universidades del mundo, EEUU, muestra tener un sistema muy dispar, liderando también la clasificación en universidades punteras, con un importante gasto total en educación superior, pero también con un sistema que, mayoritariamente, es medio. Ahí radica una disyuntiva interesante: ¿apostar por concentración de excelencia y un extenso sistema de calidad media, o por un sistema más homogéneo que aporte calidad a la mayor parte de la población?

En cualquier caso, los mismos resultados muestran que España necesita aún extender la calidad de su sistema universitario y mejorar posiciones en cuanto a presencia en rankings o en impacto científico que, como hemos visto, son prácticamente equivalentes.

Transformar la producción científica actual, con un impacto promedio de un 19% por encima de la media mundial, en una producción que se aproxime a la de los países de la Europa occidental (más del 50% por encima de la media mundial) requiere, sobre todo, mayor inversión global en I+D (pública y privada), como también muestran claramente los mismos resultados. Pero ésta no es la única variable, ni sería conveniente recurrir únicamente a ella; si analizamos el sistema español con más detalle, a nivel de Comunidad Autónoma, veremos que internamente es muy heterogéneo, mostrando que, con un mismo marco legal y análogos niveles de gasto, se obtienen resultados muy dispares. Pero éste será el tema de otra anotación.

______________

*Si quieres recibir los contenidos de este blog de manera automática, suscríbete aquí, y acompáñanos en el reto de mejorar la universídad.