Desgranando el ranking ARWU: análisis de la sensibilidad de sus indicadores

El Academic Ranking of World Universities (ARWU) o ranking de Shanghái es de sobra conocido y frecuentemente tratado en este blog, por ejemplo en este post reciente.

Mucho se ha escrito sobre las características, los indicadores que utiliza y el proceso de cálculo del ranking de Shánghai.

En esta ocasión nos vamos a ocupar de la importancia de los indicadores que utiliza y lo que afecta cada uno de ellos por separado a las universidades españolas. Es decir, vamos a tratar la sensibilidad de las universidades españolas a tales indicadores o qué consecuencia tiene la no consideración de cada uno de los indicadores.

Lógicamente, la hipotética eliminación de un indicador provoca un reajuste en la puntuación global de cada universidad y, por tanto, en su posición. No obstante, la sensibilidad a esos cambios es diferente según el posicionamiento de partida de la universidad, como destaco en este trabajo, realizado dentro del proyecto P20-01019 financiado por FEDER/Junta de Andalucía.

¿Qué pasaría en las universidades españolas si no se considera alguno de los indicadores con los que se elabora el ARWU?
¿Qué cambios se producirían en las posiciones de las universidades españolas?
¿Y qué cambios se producirían en el conjunto del sistema?

.

Sensibilidad a los indicadores Alumni, Award y HiCi

Veamos los cambios que se producen debidos a los indicadores que tienen un carácter de tipo más personal, es decir los relacionados con los reconocimientos (premios Nobel o medallas Fields) y con los autores altamente citados (HiCi).

INDICADORES ALUMNI Y AWARD

Suprimiendo del ranking ARWU los indicadores relativos a dichos premios, Alumni y Award, se producirían en las universidades españolas importantes cambios mostrados en la figura 1 (con datos de la edición 2021).  En estos indicadores, a excepción de la Complutense, ninguna universidad española puntúa. En consecuencia, su eliminación provocaría que todas ellas subieran en posiciones, salvo la excepción mencionada.

Las universidades que están en posiciones más elevadas son las que experimentarían mayores cambios. Así, las universidades españolas que están entre las primeras 300 variarían de 30 a 40 puestos en el ranking. La que más subiría sería la Universidad de Barcelona (39 posiciones), seguida de las Universidades de Granada (36) y la Autónoma de Barcelona (33). La Complutense de Madrid tendría una variación parecida, pero en sentido contrario, puesto que descendería más de 30 posiciones.

Las universidades entre las posiciones 300-500 subirían en torno a 20 posiciones, la que más lo haría sería la de Valencia (29 posiciones), seguida de Santiago (25) y Salamanca (23).

A partir del puesto 500 hasta el 1000, la mayoría de las universidades españolas subirían entre 10 y 20 posiciones si no se consideraran estos indicadores.

Figura 1. Variación de la posición de las universidades españolas en ARWU al suprimir Alumni y Award según posición en el ranking.

INDICADOR HiCi

Si, además de Alumni y Award, también se suprimiera el indicador HiCi de autores altamente citados (figura 2) habría importantes cambios.

Por debajo de la posición 500, todas las universidades españolas subirían posiciones, salvo UPV. La Universidad de Granada prácticamente no se movería al compensar el ascenso anterior con el descenso por no considerar los autores altamente citados. Sin embargo, otras universidades aumentarían entre 15 y 40 puestos como Santiago, Complutense, Barcelona y Sevilla. Más aún: aumentarían unas  50 posiciones para el caso de la Universidad de Valencia, entre  50 y 80 para las Autónomas de Barcelona y Madrid y la del País Vasco, e incluso más de 130 posiciones la Pompeu Fabra.

La mayor parte del resto de universidades españolas subirían más de 100 posiciones. Aunque algunas perderían más de 150 posiciones, como es el caso de las universidades de Vigo, Extremadura, Lleida y Jaén. También perderían entre 50 y 100 posiciones las universidades de Navarra, Salamanca, Las Palmas de Gran Canaria e Islas Baleares, lo que da una idea de la importancia que en ellas tiene el indicador de autores altamente citados.

Figura 2. Variación de la posición de las universidades españolas en ARWU al suprimir los indicadores de índole personal (Alumni, Award y HiCi) según posición en el ranking.

Sensibilidad al indicador de la producción de artículos PUB

Si no se considerara el indicador de producción de artículos, casi todas las universidades españolas que están entre las 500 primeras perderían posiciones, con excepción de UPF y USAL, algunas perderían 80 posiciones (UAB) o más (UV).

La mayor parte de las universidades que están entre las posiciones 500-1000 ganarían en la clasificación, porque su puntuación la obtienen por otros indicadores (publicaciones en N&S o en indicador de producción por académico). Más de 100 posiciones aumentarían las universidades de Navarra, Jaén, Jaume I y Las Palmas de Gran Canaria.

Las que más posiciones perderían, o más perjudicadas, por la importancia que tiene para ellas este indicador son especialmente las universidades de Oviedo, Castilla-La Mancha, Murcia, Málaga y Politécnica de Madrid que caerían más de 100 puestos.

Figura 3. Variación de la posición de las universidades españolas en ARWU al suprimir el indicador de producción (PUB) según posición en el ranking.

A modo de conclusión

En primer lugar, quedan patente los grandes alteraciones que se producen al cambiar un indicador, algo a tener presente para ponderar la importancia otorgada a un ranking.

En cuanto a los aspectos más destacables respecto a la importancia y la sensibilidad que tiene cada indicador de ARWU en el sistema universitario español, habría que señalar los que siguen:

  • Por término medio, las universidades españolas subirían 16 posiciones si se eliminaran los indicadores relativos a premios Nobel/Fields (Alumni y Award). La variación mayor se produciría entre las de posiciones más elevadas. Es el único indicador que al suprimirlo, la variación media de posiciones de las universidades españolas sería positiva. A las universidades españolas y al sistema universitario español le penaliza este indicador.
  • La eliminación de los otros indicadores supondrían siempre, por término medio, disminución de posiciones en las universidades españolas. Para el indicador de autores altamente citados 0,69 posiciones, para publicaciones en Nature y en Science supondría una disminución media de 0,7 posiciones; en caso de producción artículos sería de 4,4;  y para la producción por académico 15,3 posiciones.

Es decir, en conjunto el sistema universitario español perdería más posiciones al suprimir el indicador de producción por académico, lo que informa sobre la mayor productividad por académico en el contexto internacional, a pesar de que existe diversidad entre universidades españolas.

  • Con gran diferencia, los indicadores con mayor diversidad (coeficiente de variación) entre universidades españolas son el indicador de autores altamente citados y el de publicaciones en Nature y Science. Posiblemente son los dos indicadores sobre los que es más fácil actuar en un plazo de tiempo más reducido para obtener resultados con consecuencias más inmediatas.
  • Si no se consideraran ninguno de los indicadores de marcado carácter personal (Alumni, Awardy HiCi), las universidades españolas subirían de media 41 posiciones, con mayor variación en las que están en posiciones 500-1000. La consideración de estos indicadores tiene efectos muy importantes en las posiciones de las universidades españolas

Esto último conecta con el interesante debate sobre la pertinencia de utilizar este tipo de indicadores de carácter personal, como los premios Nobel. Su uso ha sido especialmente cuestionado, dando lugar a variantes del ranking que excluyen tales indicadores.

Esto no es ajeno a la polémica sobre “fichajes estrella” a efecto de que “aparezcan” determinados académicos (Nobel/Fields o autores altamente citados) como pertenecientes a determinadas universidades o la multiafiliación de autores y la repercusión que eso tiene sobre la actividad o servicio real que prestan dichas universidades.

Sin olvidar, por un lado, la limitación que supone considerar unos premios concretos (aunque sean los Nobel), que no existen para todas las disciplinas o, por otro lado, tener en cuenta el indicador de autores altamente citados con autores cuyas producciones son literalmente increíbles.

En ocasiones tal producción supone una media de artículo publicado que se mide en horas o pocos días por artículo. Algo que no puede ser y además es imposible.

 


¡Síguenos en LinkedIn!

 

 

Comentarios
  1. Juan J dice: 11/05/2023 a las 10:15

    Muy interesante entrada, que invita de nuevo a la reflexión sobre lo que miden realmente los rankings , y ya no hablemos de en los que una parte importante es la opinión de terceros de los que no se conoce bien el grado de conocimiento real que poseen del conjunto de universidades ni tan siquiera de cuantas.

  2. Javier dice: 11/05/2023 a las 10:31

    Dado que trabajo en un área de Humanidades, los parámetros del ránking de Shangái son especialmente ridículos por su extrema parcialidad. Si no me equivoco, quienes trabajamos en Humanidades solo podemos aportar en torno a un 10% de la calificación final, lo hacemos por nuestra mera existencia y, para más inri, nuestra presencia penaliza a las instituciones (es el indicador «Per Capita Performance»). Si este tipo de ránkings son problemáticos de por sí, el de Shangái es especialmente basura al obviar toda una serie de ramas del saber. Simplemente, hay que ignorar y rechazar clasificaciones como estas como indicadores de la calidad de universidades en su conjunto. En todo caso, el ránking de Shangái puede servir para clasificar ámbitos donde los limitados criterios que aplica son válidos. ¿O acaso se nos ocurriría clasificar las universidades del mundo usando como criterio independiente cuántas publicaciones tienen sus profesores en «Journal of Political Economy» y «Review of Economic Studies»?

  3. Teodoro Luque Martínez dice: 11/05/2023 a las 12:36

    Muchas gracias Juan J. por tu comentario. Estoy de acuerdo.

  4. Teodoro Luque Martínez dice: 11/05/2023 a las 12:37

    Javier, desconozco de donde sale esa estimación del 10% pero, en el hipotético caso que fuera así, habría que recordar en según el Ministerio los graduados en Artes y Humanidades en España representan el 8,6% en grado, el 6,8% en master y el 14,2 en doctorado, por tomar unas referencias. Por supuesto que se puede tomar muchas otras referencias.
    Las Humanidades estarán mal representadas, también es mi opinión, pero si se valora que lo están en un 10% (insisto, desconozco de dónde sale ese dato) entonces no estarían tan infrarrepresentadas
    Que los rankings universitarios tienen limitaciones ya se ha comentado hasta la saciedad, pero no comparto expresiones como que éste “es especialmente basura”, sabiendo cómo se construyen otros ranking globales y sintéticos.

  5. Javier dice: 11/05/2023 a las 13:32

    Gracias por las observaciones, Teodoro. Me explico: en cuanto al 10% me refiero que a que el 90% de lo valorado por los parámetros del ránking de Shangái (Alumni, Award, HiCi, N&S y PUB) son completamente ajenos al trabajo que se hace en Humanidades y solo contamos para el indicador PCP, donde además somos un lastre (cuantos más profesores en Humanidades, sale a menos ratio el resto de indicadores, si interpreto correctamente el criterio). Las publicaciones, premios y proyectos de mi trabajo y el de mis compañeros de Humanidades, por mucho impacto que tengan, no cuentan en absoluto para este ránking, el más significativo en minusvalorar nuestro trabajo. De ahí ese hartazgo que muchos tenemos en Humanidades por potenciar clasificaciones que llegan a invisibilizar nuestro trabajo y, por ello, sí, el ránking de Shangái es una clasificación basura por su baja calidad, como lo es la comida basura, si lo que pretende . Hay que poner el dedo sobre la llaga y llamar la atención sobre los problemas estructurales de una clasificación como esta: no basta con quitar o retocar este u otro indicador si hay problemas de fondo más significativos. Por ejemplo, los criterios Alumni, Award, HiCi, N&S son anecdóticos en la calidad general de una universidad (se le podría dar en total, por ejemplo, un 5%, pero no un 70%) y ampliar PUB para incluir todas las publicaciones (y no solo artículos: también libros y capítulos de libros, asignando ratios a factores como número total de publicaciones/PDI ETC, citas totales/citas medias del ámbito de conocimiento, autores por publicación/media autores por publicación del área, etc.). Además, hace falta incorporar indicadores de la calidad de la docencia, que es la otra pata de las universidades. El PDI en Artes y Humanidades somos el 13,5% del PDI en ETC en la universidad española, por encima de Ciencias de la Salud.

  6. Teodoro Luque Martínez dice: 11/05/2023 a las 17:52

    En realidad si no se tiene puntuación en los otros indicadores, difícilmente se puntuará en PCP. Literalmente en la metodología del ranking se dice “The weighted scores of the above five indicators divided by the number of full-time equivalent academic staff give PCP scores”.
    Respecto a PUB, en el Social Science Citation Index se incluyen publicaciones de History, Linguistics o Philosophy es de ahí donde realmente se aporta para poder aportar en PCP.
    En suma, de acuerdo en que las Humanidades están infrarrepresentadas, otra cosa es cuánto. El ranking de Shanghái es imperfecto, por supuesto es mejorable depende del tamaño, entre otras cosas. En suma, mide lo que mide (ni más ni menos), de ahí a que sea basura, no estoy de acuerdo. Con esas reglas (sin olvidar sus limitaciones) es interesante para ver evoluciones, trayectorias. Si una universidad sube en este ranking, algo estará haciendo bien respecto al resto del mundo para estas reglas de juego. Por el contrario si cae en este ranking, puede que esté haciendo las cosas bien pero habrá que argumentarlo y aportar datos contundentes.
    Por otro lado, creo que se está asumiendo que las características de Humanidades no tienen que ver nada en absoluto con lo que se mide en el ranking, pero … ¿es posible que universidades que salgan bien en ese ranking tengan buen desempeño en Humanidades? ¿Y en el caso de que no salgan bien les ocurra lo mismo respecto al desempeño en Humanidades?
    Respecto al % PDI, indica que hay una ratio menor en cuanto a estudiantes. Algo que también habría que ponderar en el desempeño

  7. Javier dice: 11/05/2023 a las 20:30

    Gracias por las observaciones, Teodoro, aunque yo entiendo que el indicador de PCP significa que cogen las puntuaciones ponderadas de los otros indicadores y los dividen por PDI en ETC, por lo que, cuanto mayor número de PDI en Humanidades tenga una universidad (y que no puede contribuir a los otros indicadores), menor será la puntuación en PCP en comparación, por ejemplo, con una politécnica.

    Por otro lado, las revistas en SSCI de Historia, Lingüística y similares son testimoniales respecto de la producción total de los ámbitos que sí que recoge el SSCI, y ya no digamos en el conjunto de las Humanidades. O, desde otra perspectiva, ¿qué puedo hacer yo, como investigador en Humanidades, para contribuir a que mi universidad mejore en el ránking de Shangái? Si la respuesta es «nada o prácticamente nada», no le sorprenda que tenga en mínima estima este ránking.

    Como usted bien dice, «mide lo que mide (ni más ni menos)». Y ahí está el quid de la cuestión: ¿qué es lo que mide? ¿Sirve lo que mide para clasificar la calidad de las universidades de alguna manera significativa? ¿O es una clasificación basada en criterios tan poco representativos de la calidad de las universidades que invalida su utilidad? Llevado al extremo, e inspirado en la problemática de toda taxonomía que presenta Borges en «El idioma analítico de John Wilkins», ¿sería útil un ránking universitario que valorara en un 20% de la puntuación final el número de publicaciones en las revistas «Journal of Political Economy» y «Review of Economic Studies», en un 30% el número de profesores o antiguos alumnos con un Pulitzer, un Grammy o un George Louis Beer Prize, y en un 20% el número de ediciones críticas que preparara su profesorado? La respuesta a esta hipótesis es obvia; su semejanza con los criterios del ránking de Shangái, creo que no está tan alejada: su artículo ilustra perfectamente el peso desproporcionado que presentan estos criterios, con fluctuaciones que pueden sobrepasar las 100 posiciones (lo que no me parece menor, visto que esta cifra representa el 10% del listado completo que ofrece Shangái).

    Si las reglas del juego en el fondo sirven de poco o nada, ¿es realmente importante que las universidades mejoren o empeoren con ellas con el tiempo? Pero claro, sí que es importante desde el momento en que se toma este ránking como un indicador de la calidad general de las universidades, se le preste atención y, en el peor de los casos, se tenga en cuenta a la hora de tomar decisiones de política universitaria. ¿Que pueden servir las clasificaciones para detectar lagunas y proponer mejoras universitarias? Por supuesto, pero siempre que cumplan unos requisitos de calidad mínimos. Y si se valora en un 70% criterios que, como mencionaba en mi comentario anterior, me parece que podría argumentarse que no deberían superar la barrera del 5%, una desviación tan enorme es muy problemática. Quizá sea mejor concretar esfuerzos en crear índices más completos y más útiles para medir lo que pretenden medir, en mi modesta opinión.

  8. Teodoro Luque Martínez dice: 12/05/2023 a las 19:25

    Gracias, Javier, entiendo y me parece interesante tus comentarios.
    Antes de nada una puntualización, intento hablar de posiciones de universidades en una clasificación en lugar de calidad de las universidades. Prefiero hablar de posiciones más o menos elevadas en una clasificación que no olvidemos “mide lo que mide”.
    Dicho esto, creo que se puede sintetizar el debate en dos posiciones:
    a.- Si se consideran las Humanidades “adecuadamente” (había que ver cómo), resultaría un orden muy diferente, de forma que universidades que ahora ocupan posiciones elevadas pasarían a posiciones bajas, y viceversa. En consecuencia la nueva clasificación (con la Humanidades) tendría una correlación casi nula o incluso negativa con la actual. El ranking es basura.
    b.- Si se consideran las Humanidades “adecuadamente” (había que ver cómo), el orden no variaría tan drásticamente. Las universidades que ocupan posiciones altas en la clasificación seguirían ocupando posiciones altas, y viceversa. La nueva clasificación (con la Humanidades) tendría una correlación positiva y alta con la anterior. El ranking puede ser utilizado para ver evoluciones y hacer comparaciones, con cautela.
    Mi hipótesis es que la realidad se parece más a la segunda situación.
    Por supuesto, la ponderación de los indicadores es cuestionable, esa y cualquier otra que se establezca. Por otro lado, la puntuación de este ranking tiene una correlación muy alta con las de otros rankings conocidos (que adolecen de las mismas y, en muchos casos, más graves deficiencias). En ninguno de rankings se ha resuelto la medida de la docencia. Aunque no es descabellado pensar que investigación y docencia estén asociadas. Cuesta trabajo pensar en universidades muy buenas en investigación y muy malas en docencia.
    Por supuesto, es preferible tener mejores indicadores y mejor medida pero por el momento ¿dónde están? Si se ha de esperar al indicador perfecto ni en éste ni en otros ámbitos se podría decir nada o ¿es que el PIB es una medida perfecta de desarrollo económico? Sin embargo, se utiliza constantemente.

  9. Javier dice: 13/05/2023 a las 10:24

    Buenos días, Teodoro. Es completamente cierto que hablas de posiciones en clasificaciones que miden unos parámetros concretos, pero no nos engañemos: se presentan como clasificaciones de calidad, que además son interpretados popularmente como de calidad absoluta y relativa. Si estas clasificaciones fueran meras elucubraciones escolasticistas para bibliómetras, no pasaría nada, pero sabemos que no es así. De ahí que mi crítica no se centre en si este ránking refleja o no el ámbito de las Humanidades (aunque prácticamente ignorar la labor de uno de los cinco pilares del saber de la universidad es un síntoma elocuente), sino en que los parámetros que emplea son válidos para una clasificación como la que se propone. Coincido completamente en que otros ránkings tienen errores incluso más llamativos por su subjetividad (el ránking QS, que supuestamente abarca las Humanidades e incluso distingue entre subáreas, tiene algunas cosas realmente alucinatorias).

    Ahora bien, tampoco debe sorprender que las clasificaciones universitarias más famosas no sean radicalmente diferentes, pues tienden a medir los mismos parámetros. Por eso pido repensar estos parámetros desde cero. Para airear la cabeza en esta primera pausa de una mañana de correcciones, he aquí una propuesta de otros índices que considero que podrían ser útiles para medir dinámicas cualitativas de las universidades:

    1) Cantidad de publicaciones recogidas en WOS/GS/ScienceOpen/etc., con un factor de corrección de la multiautoría (aplicando una división de la media de autores por publicación propia de cada campo de conocimiento), dividida por PDI total.

    2) Cantidad de citas recogidas en JCR/WOS/GS/etc., con el mismo factor de corrección de la multiautoría, pero dividida por PDI en ETC.

    3) Porcentaje de publicaciones de/con estudiantes de grado o posgrado sobre el total de población estudiantil.

    4) Porcentaje del presupuesto propio dedicado a investigación.

    5) Número de Premios Nobel, Medallas Field, Premios Pulitzer, Premios Nacionales de Investigación, premios equivalentes para cada área, etc., dividido por número de PDI total (válido solo para la universidad en la que se estaba trabajando en el momento de obtenerlo, con correcciones temporales similares a las que aplica el ránking de Shangái).

    6) Ratio de estudiantes por PDI en ETC.

    7) Porcentaje del presupuesto propio dedicado a actividades para estudiantes (becas, ayudas, proyectos, actividades, etc.).

    8) Ratio de libros en bibliotecas y revistas suscritas por estudiante.

    9) Ratio del número de asignaturas ofrecidas por estudiante.

    10) Ratio de PAS por «PDI + estudiantes».

        Como sugerencia inicial, se podría otorgar un peso del 25% a cada uno de los parámetros 1, 2 y 6, un peso del 5% a cada uno de los parámetros 3 y 4, y un peso del 3% a cada uno de los parámetros restantes. Me vuelvo a mis correcciones.

  10. Teodoro Luque Martínez dice: 14/05/2023 a las 10:13

    Buen día. Me temo que esos indicadores son igualmente cuestionables y, por supuesto, lo es su ponderación. Tampoco aparece una medida de la docencia. Tener libros (y qué libros: incunables, manuscritos históricos, recientes; físicamente o acceso on line; tener 50 libros iguales es igual que tener 50 diferentes) no implica consultarlos; tener una enorme cantidad de asignaturas por estudiante no implica calidad; las ratios sobre personal podrían ser perversos ¿2 estudiantes por PDI implica que la universidad es el doble mejor que una que tenga un ratio de 4 estudiantes? Igual para el caso de PAS? En general, esos indicadores están orientados a la cantidad y a tener recursos. En ellos saldrán mejor las universidades con más recursos independientemente de cómo los empleen o de los resultados que obtengan, de manera que en el caso de dos universidades con los mismos resultados saldría mejor la que tiene más recursos (económicos y personal).

  11. Javier dice: 15/05/2023 a las 09:03

    Buenos días, Teodoro. Coincido plenamente en que tanto mis propuestas de indicadores como su ponderación son cuestionables, pues es precisamente lo que quiero: cuestionar los indicadores y ponderación de las clasificaciones más difundidas y reflexionar sobre sus problemas de fondo. No se puede tomar en serio un ránking que se usa para valorar la calidad general de las universidades valorando en un 30% si se tiene premios Nobel, en un 20% cuánto se publica en dos revistas y en un 20% cuántos miembros tienen de un subgrupo concreto de unas subdisciplinas determinadas donde funcionan patrones específicos de multiautoría y citación.

    Todos los indicadores para las clasificaciones son, por su naturaleza, cuantitativos. Si queremos valoraciones puramente cualitativas, haría falta que un comité se desplazase universidad a universidad para observar y analizar in situ la calidad docente, investigadora y de gestión de cada universidad. Por eso es tan difícil incorporar a las clasificaciones aspectos docentes de manera seria, pues los indicadores cuantitativos suelen ser pálidos reflejos. También sabemos que las clasificaciones muchas veces no hacen más que medir recursos económicos. Como has señalado esa falta, se debería incorporar algún factor de corrección del aprovechamiento que se saca a los presupuestos disponibles. Eso, a su vez, tiene la trampa de poder ser un argumento en contra del incremento de recursos económicos «si ya se hace mucho con lo que se tiene».


¿Y tú qué opinas?