¿Y si clasificamos la calidad investigadora por áreas de conocimiento?

La calidad investigadora de las universidades: un ejercicio con el SCImago Institutions Ranking

A raíz de la irrupción del ranking de Shanghái (ARWU) y del fenómeno de la internacionalización de las instituciones de Educación Superior, los sistemas universitarios de los países más desarrollados se han convertido en los buques insignia de una parte de la investigación de calidad.

En general, la potencia investigadora de los sistemas universitarios de los países se suele medir a través del número de universidades que estos aglutinan en los rankings globales más mediáticos (ARWU, THE, QS).

Estas herramientas son un constructo multidimensional agregado que ofrece una clasificación, en unos casos más objetiva (ARWU) que en otras (THE y QS). Sin embargo, el uso indiscriminado de las clasificaciones de estos rankings globales enmascara la verdadera posición de las universidades, especialmente en sus áreas fuertes de investigación. Los rankings generalistas no son peor ni mejor que los rankings de investigación por áreas. Pero, estos últimos sí que permiten discernir entre universidades o instituciones de investigación fuertes en determinadas áreas, como es el caso del SCImago Institutions Ranking.

La medida de calidad

Uno de los temas más recurrentes en el mercado global de la Educación Superior, es determinar si la muestra de las instituciones de Educación Superior de un país, un área geográfica o de una región presenta un comportamiento homogéneo o tiene mucha heterogeneidad: por ejemplo, el caso emblemático de Estados Unidos, donde existen muchos tipos de universidades, públicas y privadas, con diferentes perfiles (más investigadores o más docentes). Es bien conocida la heterogeneidad del sistema universitario estadounidense.

Asimismo, tenemos el ejemplo de España, donde contamos con un sistema público universitario relativamente homogéneo: todas las universidades públicas tienen un perfil equilibrado con una calidad media docente e investigadora y, por tanto, ocupan posiciones intermedias en los rankings globales.

¿Comparar lo incomparable?

En caso de que exista heterogeneidad hay que tener especial cuidado al comparar las distintas unidades pues pueden emerger muchas limitaciones.

Cuando se habla de universidades es evidente que son heterogéneas entre ellas, dado que existen grandes diferencias en objetivos, especialización, tamaño, recursos y entorno, entre otros. Sin embargo, estas grandes clasificaciones globales más mediáticas han logrado una influencia estratégica no solo en los gobiernos e instituciones de Educación Superior, sino en las agencias, industrias, empresas, fundaciones y otros stakeholders.  El peligro radica en utilizarlos de forma torticera y llegar a transformar las agendas de la educación superior de los países y las políticas y estrategias de las propias instituciones.

Estos grandes productores de rankings han elaborado subproductos, ofreciendo ordenaciones por campos de conocimiento. Se trata, a nuestro modo de ver, de rankings complementarios que permiten discriminar mejor cuando lo que se está analizando es la investigación de una institución o la potencia investigadora de un país, un área geográfica o una región y permiten, por tanto, derivar ejercicios y recomendaciones más acertadas.

En busca de análisis más precisos

Entre los rankings que permiten hacer análisis más precisos sobre la calidad investigadora se encuentra el que elabora el grupo de investigación SCImago que ha publicado una nueva edición del ranking SCImago Institutions.

Una de las peculiaridades de este ranking es que, además de la clasificación general de instituciones, proporciona la clasificación de las universidades e instituciones centradas en investigación en 19 áreas y en 59 categorías.

Para analizar la calidad de los sistemas universitarios es habitual ver el número o porcentaje de universidades que tiene cada país (o cada comunidad autónoma) en una determinada posición. Las más usadas son Top-100, Top-500 y Top-1.000 en los rankings globales, lo que oculta el poder científico por áreas de conocimiento.

El objetivo de esta entrada consiste en analizar de forma gráfica la evolución del rendimiento de las universidades a lo largo de toda la distribución: es decir, en vez de ver el número o porcentaje de universidades en algún límite concreto como 100, 500 o 1.000, se muestra en cada una de las posiciones agregando las áreas. Así, para cada país y comunidad autónoma se presenta el número de apariciones de sus universidades en las 19 áreas de SCImago y en cada una de las posibles posiciones entre la 1 y la 1.000 para la edición de 2023.

Además, en este post se presenta como novedad una comparativa de los sistemas universitarios de las comunidades autónomas de España con la misma metodología.

Resultados

La tabla 1 muestra el porcentaje en el que se sitúan las universidades de varios países entre estos límites, empleando las 19 áreas del ranking SCImago.

 Estados Unidos tiene 563 de las 1.900 universidades que se sitúan en el Top-100 en las 19 áreas establecidas por SCImago, lo que supone un porcentaje del 29,6%.

Tabla 1. Porcentaje de universidades por países en las 19 áreas del ranking SCImago 2023 en Top-100, Top-500, Top-1000.

Nota: los países están ordenados por la ratio promedio en todos los posibles límites. Entre paréntesis, la posición en cada uno de los límites establecidos. Los resultados con el ranking de 2022 pueden verse en este enlace. 

Los cinco primeros

La tabla 1 muestra que Estados Unidos es el país con más universidades en los tres límites considerados, si bien su peso aumenta cuando se hace más restrictivo el límite, es decir, que su sistema universitario es especialmente bueno en producir universidades del Top-100 por área de conocimiento. China se sitúa en segunda posición en los tres límites también con porcentaje creciente, si bien, su peso crece menos que el de Estados Unidos al hacer más restrictivo el límite. El tercer país es Reino Unido.

Alemania a nivel global es el cuarto país, pero es el 13 en número de universidades en el Top-100, lo que marca un comportamiento diferente con los tres países mejor posicionados. Australia presenta la situación contraria, pues pasa del noveno lugar en el Top 1.000 al cuarto en el Top-100.

España

En cuanto a España, se sitúa a nivel global como noveno país, si bien su rendimiento es heterogéneo entre los distintos límites. Es el séptimo país en el Top-1.000, octavo en el Top-500 y en la posición 13 en el Top-100.

El rendimiento de las universidades españolas va bajando en cuanto se hace más restrictivo el límite, lo que le ocurría a Alemania, salvando las diferencias.

En cuanto a la evolución respecto del 2022, Estados Unidos está descendiendo mucho, especialmente en el Top-100, pues tenía un 34% en la edición anterior pasando de 647 a 563, lo que supone un descenso muy pronunciado. Lo contrario ocurre con China que pasa de tener 422 en 2022 en el Top-100 a tener 524 en 2023. España ha mejorado respecto a la edición 2022.

Comparativa entre países y con España

A continuación, se muestran dos gráficos que recogen la comparación de diferentes sistemas universitarios de los principales países con el sistema universitario español a lo largo de toda la distribución. En ellos se observa el porcentaje de universidades de un determinado país para cada uno de los límites, desde 1 hasta 1.000.

Curvas de distribución en el Top-X

Si un país tiene una curva decreciente, significa que ese país tiene un porcentaje mayor de universidades en los puestos punteros del ranking que en los puestos bajos. Ejemplos de este tipo de curva son Estados Unidos y China. Por el contrario, si un país tiene una curva creciente, significa que tiene un porcentaje menor de universidades en los puestos punteros del ranking que en los puestos bajos. Ejemplos de este tipo de curva son Alemania y España.

Los países más dominantes son Estados Unidos, China y Reino Unido. Se sitúan claramente por encima de España en todo el recorrido. Sin embargo, España está relativamente cerca de Alemania durante el rango Top-100/Top-1.000, pero van prácticamente a la par en el rango Top-1/Top-100.

Gráfico 1. Evolución porcentaje de universidades situadas en Top-X en las 19 áreas del ranking SCImago 2023  (Estados Unidos, China, Reino Unido y Alemania). Comparación con España.

 

Curvas de distribución  por áreas de conocimiento

Con respecto a la distribución por áreas de conocimiento (gráfico 2), Australia es peor que España hasta el Top-500, pero a partir de ahí la ratio de universidades australianas va en aumento, mientras que la de España disminuye. Esto explica que Australia no tenga muchas universidades que se sitúen en los 1.000 primeros puestos de cada área, pero las que tiene se sitúan en puestos punteros. Algo similar ocurre con Canadá, aunque a partir del Top-100 tiene tendencia decreciente, al contrario que Australia.

Muy ilustrativas son las gráficas de Francia e Italia. Las de ambos países tienen una figura similar a la española, pero van algo por encima. Es de esperar pues tanto Francia como Italia superan a España en términos de PIB y población, así como en inversiones en educación superior y ciencia. Se vuelve a repetir en esta edición un comportamiento similar en los países mediterráneos. La comparación de España con todos los países puede descargase en este enlace.

Gráfico 2. Evolución porcentaje de universidades situadas en Top-X en las 19 áreas del ranking SCImago 2023 (Australia, Italia, Francia y Canadá). Comparación con España.

 

 

Comparativa entre países y con las comunidades autónomas

A nivel nacional y replicando el análisis realizado por países a las comunidades autónomas, el gráfico 3 muestra los diferentes comportamientos de los sistemas universitarios autonómicos.

Hay que destacar que el tamaño de los mismos es muy diferente, con sistemas muy grandes como el andaluz (con 10 universidades públicas), el catalán (con 7) y el madrileño (con 6), seguidos por otros sistemas de tamaño intermedio, como el de la Comunidad Valenciana (con 5) y el de Castilla y León (con 4).

Como se puede observar, Cataluña tiene un comportamiento muy diferente al resto de sistemas universitarios: alcanza el 0,6% del mundial, alrededor del Top-100 y después casi se mantiene constante. Es decir, lo hace bastante bien en posiciones top pero tiene margen de mejora a partir de ahí en el Top-1.000.

Las comunidades autónomas que van en ascenso, como Andalucía, Castilla y León y Galicia, aunque no lo hacen bien en las mejores posiciones (Top-100), van mejorando. Madrid tiene un comportamiento binario, consigue como Cataluña algunos puestos en el Top-100 pero luego cae para volver a mejorar.

Gráfico 3. Evolución porcentaje de universidades situadas en Top-X en las 19 áreas del ranking SCImago 2023 de las comunidades autónomas.

 

Conclusiones

Como cualquier análisis, este también sus limitaciones, como lo señalamos en una entrada anterior.

Clasificación por áreas de conocimiento

La más destacada es suponer que todas las áreas son igual de importantes entre sí. Es decir, que una universidad se sitúe en una determinada posición en un área (Medicina) es igual de importante que esa misma universidad u otra del país (o de la región) se sitúe en la misma posición en otra área (Odontología).

Como era de esperar, el rendimiento del sistema universitario español es netamente inferior al de Estados, Unidos, China y Reino Unido. Con relación al resto de países, España, o bien está cerca de ellos (Francia, Italia, Corea del Sur) o bien se sitúa cerca de ellos en algún tramo (Alemania) o bien los supera en algunos tramos (Australia, Canadá, Países Bajos, Brasil).

Esta es la buena noticia, la mala es que el peor rendimiento de España continua en los límites punteros, es decir, produciendo áreas top-100 dentro de sus universidades.

Clasificación por regiones

En segundo lugar, por comunidades autónomas, Cataluña destaca con un mejor rendimiento de su sistema universitario en las mejores posiciones. El resto de Comunidades Autónomas con sistemas universitarios grandes presentan algunas universidades en áreas del top-100, pero también comportamientos susceptibles de mejora.

En cuanto a las recomendaciones sobre qué podemos hacer para que un sistema universitario relativamente grande como el nuestro, pero no “fuerte” en las primeras 100 posiciones por áreas del ranking de SCImago, se encuentra la voluntad firme de aumentar la financiación de las universidades y de la ciencia. 

España es el país 14 en términos de PIB y el número 30 en términos de población. Estar por encima de estas posiciones puede verse como un éxito en cierta manera del sistema universitario español. Nuestro país lo consigue holgadamente entre las posiciones 500 y 1.000. Sin embargo, tiene un déficit de universidades Top-100.

En definitiva, no se trata solo de una apuesta decidida por la investigación que se hace en las universidades con más recursos, sino también de una apuesta concreta (selectiva) por determinadas áreas de conocimiento.

Dicho de otro modo, el reto está en influir de forma selectiva y simultáneamente a nivel nacional y/o autonómico en las estrategias internas de investigación en las universidades.

---

¡Síguenos en LinkedIn!