La calidad investigadora de los sistemas universitarios internacionales: un análisis más preciso

 Un ejercicio sobre SCImago Institutions Ranking

Los rankings generalistas no son peor ni mejor que los rankings por áreas, pero estos últimos sí que permiten discernir entre universidades o instituciones de investigación diferentes.

En Economía de la Producción y en Economía Pública, nuestras respectivas áreas de especialización, uno de los temas más recurrentes es determinar si la muestra presenta heterogeneidad. En caso de haber heterogeneidad hay que tener especial cuidado al comparar las distintas unidades pues pueden emerger muchas limitaciones.

Cuando se habla de universidades es evidente que son heterogéneas entre sí, dado que existen grandes diferencias en objetivos, especialización, tamaño, recursos y entorno, entre otros. Sin embargo, es posible que haya universidades que sean buenas en algún área concreta, mientras que si se comparan con otras universidades de forma general, pueden salir mal paradas. Paradigmático es el caso de la German Sport University Cologne que en los rankings de área de deporte se sitúa entre las mejores universidades del mundo (la mejor de Alemania en Global Ranking of Sport Science Schools and Departments producido por el ranking de Shangai,  pero en los rankings globales no suele ni aparecer. El motivo es que es una universidad centrada en aspectos deportivos.

Otra forma de comparar universidades y sistemas de educación superior líderes

Los rankings globales más mediáticos (ARWU, THE, QS) son un constructo multidimensional agregado que ofrece una clasificación, en unos casos más objetiva que en otras, pero que, en definitiva, enmascara la verdadera posición de las universidades, especialmente en sus áreas fuertes de investigación.

Estas grandes clasificaciones han logrado una influencia estratégica en los gobiernos e instituciones de educación superior, así como para agencias, industrias, empresas, fundaciones y otros stakeholders. Sin embargo, el peligro radica en utilizarlos de forma torticera y llegar a transformar las agendas de los países y las políticas y estrategias de las instituciones de educación superior a partir de estas clasificaciones. Por ello, estos grandes productores de rankings han elaborado subproductos, ofreciendo ordenaciones por campos de conocimiento (por ejemplo, GRAS: Global Ranking of Academy Subject ). Se trata, a nuestro modo de ver, de rankings complementarios que permiten discriminar mejor cuando lo que se está analizando es la investigación de una institución o la potencia investigadora de un país y que permiten derivar recomendaciones más acertadas.

Emplear datos de rankings a un nivel más desagregado, por ejemplo, por áreas de conocimiento, podría ser aconsejable en muchos casos, cuando se quiere comparar la fortaleza en este caso investigadora de una universidad o de los sistemas universitarios de unos países frente a otros.

Criterios de clasificación

Recientemente se ha publicado una nueva edición del ranking SCImago Institutions, que es uno de los múltiples rankings de investigación que entraña la difícil tarea de identificar y normalizar las instituciones de educación superior y centros centrados en investigación y ordenarlos a nivel mundial (más de 8.000 instituciones en las últimas ediciones). Una de las novedades de este ranking que se elabora por el grupo español SCImago Research Group desde 2009 es que, además de la clasificación general de instituciones, proporciona la clasificación de las universidades e instituciones centradas en investigación en 19 áreas (desde 2021) y en 59 categorías (desde 2022).

Para analizar la calidad de los sistemas universitarios es habitual ver el número o porcentaje de universidades que tiene cada país en una determinada posición.

Top-100, Top-500 y Top-1000

Las más usadas son Top-100, Top-500 y Top-1000 en los rankings globales, lo que enmascara el poder científico de las áreas de conocimiento. Una cosa menos habitual consiste en analizar la evolución del rendimiento de las universidades a lo largo de toda la distribución, es decir, en vez de ver el número o porcentaje de universidades en algún límite concreto como 100, 500 o 1000, analizarlo en cada una de las posiciones y en cada una de las áreas. Hacerlo en tablas sería tedioso, pero en gráficos resulta muy visual, como se verá a continuación.

En esta entrada se va a analizar el porcentaje de universidades por países en los 19 rankings de áreas de SCImago, tanto en los límites habituales como a lo largo de toda la distribución. La tabla 1 muestra el porcentaje que suponen las universidades de varios países en estos límites. Por ejemplo, Estados Unidos tiene 647 de las 1.900 universidades que se sitúan en el Top-100 en las 19 áreas establecidas por SCImago, por lo que tiene un porcentaje de 34,1%.

 

Tabla 1. Porcentaje de universidades por países en las 19 áreas del ranking SCImago en Top-100, Top-500, Top-1000.

Posición	País	Top-100	Top-500	Top-1000
1	Estados Unidos (USA)	34,1% (1)	23,3% (1)	18,9% (1)
2	China (CHN)	22,2% (2)	16% (2)	15,2% (2)
3	Reino Unido (GBR)	8,3% (3)	8,1% (3)	6,8% (3)
4	Alemania (DEU)	1,5% (11)	4,9% (4)	4,9% (4)
5	Australia (AUS)	4,5% (4)	3,2% (7)	2,6% (10)
6	Francia (FRA)	2,0% (7)	3,7% (5)	4,4% (5)
7	Italia (ITA)	1,3% (13)	3,5% (6)	4,0% (6)
8	Canadá (CAN)	3,1% (6)	3% (9)	2,7% (9)
9	Corea del Sur (KOR)	1,4% (12)	3,1% (8)	3,2% (8)
10	España (ESP)	1,2% (16)	3% (10)	3,6% (7)
11	Países Bajos (NLD)	3,6% (5)	2% (11)	1,2% (16)
12	Brasil (BRA)	1,7% (8)	1,8% (13)	2,0% (12)
13	Japón (JPN)	1,3% (13)	2% (11)	2,5% (11)
14	Suecia (SWE)	1,1% (17)	1,5% (14)	1,3% (15)
15	Suiza (CHE)	1,7% (8)	1,2% (15)	0,9% (18)
16	País innombrable (RUS)	0,8% (19)	0,8% (19)	1,2% (17)
17	Bélgica (BEL)	1,3% (13)	1,0% (16)	0,8% (19)
18	Irán (IRN)	0,5% (20)	0,9% (18)	1,5% (13)
19	Dinamarca (DNK)	1,7% (8)	0,8% (19)	0,6% (21)
20	Hong-Kong (HKG)	0,9% (18)	0,9% (17)	0,6% (20)
21	India (IND)	0,3% (21)	0,8% (21)	1,4% (14)

Nota. Los países están ordenados por la ratio promedio en todos los posibles límites. Entre paréntesis la posición en cada uno de los límites establecidos.

 

La tabla 1 muestra que Estados Unidos es el país con más universidades en los tres límites si bien su peso aumenta cuando se hace más restrictivo el límite, es decir, que su sistema universitario es especialmente bueno en producir universidades Top-100 por área de conocimiento.

China se sitúa en segunda posición en los tres límites también con porcentaje creciente, si bien, su peso crece menos que el de Estados Unidos al hacer más restrictivo el límite. El tercer país es Reino Unido. Alemania a nivel global es el cuarto país, pero es el 11 en el número de universidades en el Top-100. Australia representa la situación contraria pues pasa del lugar 10 en el Top 1000 al cuarto en el Top-100.

En cuanto a España, se sitúa a nivel global como décimo país, si bien su rendimiento es heterogéneo entre los distintos límites. Es el séptimo país en el Top-1000, décimo en el Top-500 y en la posición 17 en el Top-100.

El rendimiento de las universidades españolas va bajando en cuanto se hace más restrictivo el límite.

 

España en comparación con los países Top-X

A continuación, se muestran tres gráficos que recogen la comparación de diferentes sistemas universitarios de los principales países con el sistema universitario español a lo largo de toda la distribución. Los gráficos ofrecen el porcentaje de universidades de un determinado país para cada uno de los límites desde 1 hasta 1000.

Si un país tiene una curva decreciente significa que ese país tiene un porcentaje mayor de universidades en los puestos punteros del ranking que en los puestos bajos.

Ejemplos de este tipo de curva son Estados Unidos y China. Por el contrario, si un país tiene una curva creciente significa que tiene un porcentaje menor de universidades en los puestos punteros del ranking que en los puestos bajos. Ejemplos de este tipo de curva son Alemania y España.

 

Gráfico 1. Evolución porcentaje de universidades situadas en Top-X (Estados Unidos, China, Reino Unido y Alemania). Comparación con España.

Los países más dominantes a nivel de universidades son Estados Unidos, China y Reino Unido. Los tres países se sitúan claramente por encima de España en todo el recorrido. Sin embargo, España está relativamente cerca de Alemania en el rango Top-100/Top-1000, pero van prácticamente a la par en el rango Top-1/Top-100.

 

Gráfico 2. Evolución porcentaje de universidades situadas en Top-X (Australia, Francia, Italia y Canadá). Comparación con España.

Puede verse como Australia es peor que España hasta el Top-500, pero a partir de ahí la ratio de universidades australianas va en aumento, mientras que la de España disminuye. Australia no tiene muchas universidades que se sitúen en los 1000 primeros puestos de cada área, pero las que tiene se sitúan en puesto punteros. Algo similar ocurre con Canadá, aunque a partir del Top-100 tiene tendencia decreciente al contrario que Australia.

Muy ilustrativos son los gráficos de Francia e Italia. Ambos países tienen una figura similar a la española, pero van algo por encima. Este dato es esperable, pues tanto Francia como Italia superan a España en términos de PIB y población, así como en inversiones en educación superior y ciencia.

 

Gráfico 3. Evolución porcentaje de universidades situadas en Top-X (Corea del Sur, Países Bajos, Brasil y Japón). Comparación con España.

Corea del Sur tiene un gráfico similar a España, si bien tiene una menor ratio que España desde el Top-600 hasta el Top-1000. Países Bajos tiene un gráfico con una forma similar a Australia, es decir, pocas universidades en el Top-1000, pero con un peso importante en el Top-100. Brasil, tiene una forma peculiar pues es inferior a España desde el Top-150 hasta el Top-1000, pero, aupado por las tres primeras posiciones en el área Odontología y dos de las tres primeras posiciones en Veterinaria, experimenta un repunte muy importante en las posiciones punteras. Por último, Japón se sitúa por debajo de España hasta la posición 200 y desde ahí va a la par que España. Respecto al resto de países España es superior en casi todo el recorrido. La comparación de España con todos los países puede descargase en este enlace.

A modo de conclusión

Como cualquier análisis tiene limitaciones. Este que hemos realizado aquí, aunque más preciso por analizar áreas de conocimiento, también las tiene.

La más destacada es suponer que todas las áreas son igual de importantes entre sí. Es decir, que una universidad se sitúe en una determinada posición en un área es igual de importante que esa misma universidad u otra del país se sitúe en la misma posición en otra área. Claro es el ejemplo de las áreas de Odontología y Medicina. Odontología es un pequeño campo de las Ciencias de la Salud, mientras que Medicina es el campo principal de Ciencias de la Salud. Así, asumir que estar en la posición uno de Odontología (Universidade de Sao Paulo) es igual de importante que estar en la posición uno en Medicina (Harvard University) parece un supuesto demasiado fuerte para que la foto sea la más real.

Con este tipo de datos se podría analizar en qué áreas los países son buenos y en cuáles no para poder tomar decisiones estratégicas a nivel de país o de región. Sin embargo, esto queda para una futura entrada o el análisis de otros investigadores.

En esta entrada se ha evaluado el rendimiento de los sistemas universitarios por área de conocimiento en el ranking SCImago en toda la distribución. España es netamente inferior que Estados, Unidos, China y Reino Unido. Sin embargo, en relación al resto de países, o bien está cerca de ellos (Francia, Italia, Corea del Sur), o bien se sitúa cerca de ellos en algún tramo (Alemania) o bien les supera en algunos tramos (Australia, Canadá, Países Bajos, Brasil). Esta es la buena noticia. La mala es que el peor rendimiento de España se da en los límites punteros, es decir, produciendo áreas top dentro de sus universidades.

La demostración de que en España tenemos universidades de calidad investigadora media en las diferentes áreas de conocimiento sin destacar en ninguna en concreto, salvo alguna excepción, es abrumadora con estos gráficos.

Entonces, ¿qué podemos hacer con un sistema universitario relativamente grande como el nuestro, pero no “fuerte” en las primeras 100 posiciones por áreas del ranking de SCImago?

Hacia un nuevo estatus de las universidades españolas

España es el país 14 en términos de PIB y el número 30 en términos de población, con lo que estar por encima de estas posiciones puede verse como un éxito en cierta manera del sistema universitario español. Nuestro país lo consigue holgadamente entre las posiciones 500 y 1000. Sin embargo, tenemos un déficit de universidades Top-100, donde cuenta con 23 universidades que suponen un 1% de las universidades posibles.

Desde luego para mejorar esto hay que hacer muchas cosas y bien, pero sin una voluntad firme de aumentar la financiación de las universidades y de la ciencia como señalaba en esta entrada José Antonio Pérez García va a ser harto complicado.

______________

Universídad es el blog de Studia XXI y un referente para la comunidad universitaria por la calidad y prestigio de sus firmas.