Desgranando el ranking ARWU: análisis de la sensibilidad de sus indicadores

Muy interesante entrada, que invita de nuevo a la reflexión sobre lo que miden realmente los rankings , y ya no hablemos de en los que una parte importante es la opinión de terceros de los que no se conoce bien el grado de conocimiento real que poseen del conjunto de universidades ni tan siquiera de cuantas.

Dado que trabajo en un área de Humanidades, los parámetros del ránking de Shangái son especialmente ridículos por su extrema parcialidad. Si no me equivoco, quienes trabajamos en Humanidades solo podemos aportar en torno a un 10% de la calificación final, lo hacemos por nuestra mera existencia y, para más inri, nuestra presencia penaliza a las instituciones (es el indicador «Per Capita Performance»). Si este tipo de ránkings son problemáticos de por sí, el de Shangái es especialmente basura al obviar toda una serie de ramas del saber. Simplemente, hay que ignorar y rechazar clasificaciones como estas como indicadores de la calidad de universidades en su conjunto. En todo caso, el ránking de Shangái puede servir para clasificar ámbitos donde los limitados criterios que aplica son válidos. ¿O acaso se nos ocurriría clasificar las universidades del mundo usando como criterio independiente cuántas publicaciones tienen sus profesores en «Journal of Political Economy» y «Review of Economic Studies»?

Muchas gracias Juan J. por tu comentario. Estoy de acuerdo.

Javier, desconozco de donde sale esa estimación del 10% pero, en el hipotético caso que fuera así, habría que recordar en según el Ministerio los graduados en Artes y Humanidades en España representan el 8,6% en grado, el 6,8% en master y el 14,2 en doctorado, por tomar unas referencias. Por supuesto que se puede tomar muchas otras referencias.
Las Humanidades estarán mal representadas, también es mi opinión, pero si se valora que lo están en un 10% (insisto, desconozco de dónde sale ese dato) entonces no estarían tan infrarrepresentadas
Que los rankings universitarios tienen limitaciones ya se ha comentado hasta la saciedad, pero no comparto expresiones como que éste “es especialmente basura”, sabiendo cómo se construyen otros ranking globales y sintéticos.

Gracias por las observaciones, Teodoro. Me explico: en cuanto al 10% me refiero que a que el 90% de lo valorado por los parámetros del ránking de Shangái (Alumni, Award, HiCi, N&S y PUB) son completamente ajenos al trabajo que se hace en Humanidades y solo contamos para el indicador PCP, donde además somos un lastre (cuantos más profesores en Humanidades, sale a menos ratio el resto de indicadores, si interpreto correctamente el criterio). Las publicaciones, premios y proyectos de mi trabajo y el de mis compañeros de Humanidades, por mucho impacto que tengan, no cuentan en absoluto para este ránking, el más significativo en minusvalorar nuestro trabajo. De ahí ese hartazgo que muchos tenemos en Humanidades por potenciar clasificaciones que llegan a invisibilizar nuestro trabajo y, por ello, sí, el ránking de Shangái es una clasificación basura por su baja calidad, como lo es la comida basura, si lo que pretende . Hay que poner el dedo sobre la llaga y llamar la atención sobre los problemas estructurales de una clasificación como esta: no basta con quitar o retocar este u otro indicador si hay problemas de fondo más significativos. Por ejemplo, los criterios Alumni, Award, HiCi, N&S son anecdóticos en la calidad general de una universidad (se le podría dar en total, por ejemplo, un 5%, pero no un 70%) y ampliar PUB para incluir todas las publicaciones (y no solo artículos: también libros y capítulos de libros, asignando ratios a factores como número total de publicaciones/PDI ETC, citas totales/citas medias del ámbito de conocimiento, autores por publicación/media autores por publicación del área, etc.). Además, hace falta incorporar indicadores de la calidad de la docencia, que es la otra pata de las universidades. El PDI en Artes y Humanidades somos el 13,5% del PDI en ETC en la universidad española, por encima de Ciencias de la Salud.

En realidad si no se tiene puntuación en los otros indicadores, difícilmente se puntuará en PCP. Literalmente en la metodología del ranking se dice “The weighted scores of the above five indicators divided by the number of full-time equivalent academic staff give PCP scores”.
Respecto a PUB, en el Social Science Citation Index se incluyen publicaciones de History, Linguistics o Philosophy es de ahí donde realmente se aporta para poder aportar en PCP.
En suma, de acuerdo en que las Humanidades están infrarrepresentadas, otra cosa es cuánto. El ranking de Shanghái es imperfecto, por supuesto es mejorable depende del tamaño, entre otras cosas. En suma, mide lo que mide (ni más ni menos), de ahí a que sea basura, no estoy de acuerdo. Con esas reglas (sin olvidar sus limitaciones) es interesante para ver evoluciones, trayectorias. Si una universidad sube en este ranking, algo estará haciendo bien respecto al resto del mundo para estas reglas de juego. Por el contrario si cae en este ranking, puede que esté haciendo las cosas bien pero habrá que argumentarlo y aportar datos contundentes.
Por otro lado, creo que se está asumiendo que las características de Humanidades no tienen que ver nada en absoluto con lo que se mide en el ranking, pero … ¿es posible que universidades que salgan bien en ese ranking tengan buen desempeño en Humanidades? ¿Y en el caso de que no salgan bien les ocurra lo mismo respecto al desempeño en Humanidades?
Respecto al % PDI, indica que hay una ratio menor en cuanto a estudiantes. Algo que también habría que ponderar en el desempeño

Gracias por las observaciones, Teodoro, aunque yo entiendo que el indicador de PCP significa que cogen las puntuaciones ponderadas de los otros indicadores y los dividen por PDI en ETC, por lo que, cuanto mayor número de PDI en Humanidades tenga una universidad (y que no puede contribuir a los otros indicadores), menor será la puntuación en PCP en comparación, por ejemplo, con una politécnica.

Por otro lado, las revistas en SSCI de Historia, Lingüística y similares son testimoniales respecto de la producción total de los ámbitos que sí que recoge el SSCI, y ya no digamos en el conjunto de las Humanidades. O, desde otra perspectiva, ¿qué puedo hacer yo, como investigador en Humanidades, para contribuir a que mi universidad mejore en el ránking de Shangái? Si la respuesta es «nada o prácticamente nada», no le sorprenda que tenga en mínima estima este ránking.

Como usted bien dice, «mide lo que mide (ni más ni menos)». Y ahí está el quid de la cuestión: ¿qué es lo que mide? ¿Sirve lo que mide para clasificar la calidad de las universidades de alguna manera significativa? ¿O es una clasificación basada en criterios tan poco representativos de la calidad de las universidades que invalida su utilidad? Llevado al extremo, e inspirado en la problemática de toda taxonomía que presenta Borges en «El idioma analítico de John Wilkins», ¿sería útil un ránking universitario que valorara en un 20% de la puntuación final el número de publicaciones en las revistas «Journal of Political Economy» y «Review of Economic Studies», en un 30% el número de profesores o antiguos alumnos con un Pulitzer, un Grammy o un George Louis Beer Prize, y en un 20% el número de ediciones críticas que preparara su profesorado? La respuesta a esta hipótesis es obvia; su semejanza con los criterios del ránking de Shangái, creo que no está tan alejada: su artículo ilustra perfectamente el peso desproporcionado que presentan estos criterios, con fluctuaciones que pueden sobrepasar las 100 posiciones (lo que no me parece menor, visto que esta cifra representa el 10% del listado completo que ofrece Shangái).

Si las reglas del juego en el fondo sirven de poco o nada, ¿es realmente importante que las universidades mejoren o empeoren con ellas con el tiempo? Pero claro, sí que es importante desde el momento en que se toma este ránking como un indicador de la calidad general de las universidades, se le preste atención y, en el peor de los casos, se tenga en cuenta a la hora de tomar decisiones de política universitaria. ¿Que pueden servir las clasificaciones para detectar lagunas y proponer mejoras universitarias? Por supuesto, pero siempre que cumplan unos requisitos de calidad mínimos. Y si se valora en un 70% criterios que, como mencionaba en mi comentario anterior, me parece que podría argumentarse que no deberían superar la barrera del 5%, una desviación tan enorme es muy problemática. Quizá sea mejor concretar esfuerzos en crear índices más completos y más útiles para medir lo que pretenden medir, en mi modesta opinión.

Gracias, Javier, entiendo y me parece interesante tus comentarios.
Antes de nada una puntualización, intento hablar de posiciones de universidades en una clasificación en lugar de calidad de las universidades. Prefiero hablar de posiciones más o menos elevadas en una clasificación que no olvidemos “mide lo que mide”.
Dicho esto, creo que se puede sintetizar el debate en dos posiciones:
a.- Si se consideran las Humanidades “adecuadamente” (había que ver cómo), resultaría un orden muy diferente, de forma que universidades que ahora ocupan posiciones elevadas pasarían a posiciones bajas, y viceversa. En consecuencia la nueva clasificación (con la Humanidades) tendría una correlación casi nula o incluso negativa con la actual. El ranking es basura.
b.- Si se consideran las Humanidades “adecuadamente” (había que ver cómo), el orden no variaría tan drásticamente. Las universidades que ocupan posiciones altas en la clasificación seguirían ocupando posiciones altas, y viceversa. La nueva clasificación (con la Humanidades) tendría una correlación positiva y alta con la anterior. El ranking puede ser utilizado para ver evoluciones y hacer comparaciones, con cautela.
Mi hipótesis es que la realidad se parece más a la segunda situación.
Por supuesto, la ponderación de los indicadores es cuestionable, esa y cualquier otra que se establezca. Por otro lado, la puntuación de este ranking tiene una correlación muy alta con las de otros rankings conocidos (que adolecen de las mismas y, en muchos casos, más graves deficiencias). En ninguno de rankings se ha resuelto la medida de la docencia. Aunque no es descabellado pensar que investigación y docencia estén asociadas. Cuesta trabajo pensar en universidades muy buenas en investigación y muy malas en docencia.
Por supuesto, es preferible tener mejores indicadores y mejor medida pero por el momento ¿dónde están? Si se ha de esperar al indicador perfecto ni en éste ni en otros ámbitos se podría decir nada o ¿es que el PIB es una medida perfecta de desarrollo económico? Sin embargo, se utiliza constantemente.

Buenos días, Teodoro. Es completamente cierto que hablas de posiciones en clasificaciones que miden unos parámetros concretos, pero no nos engañemos: se presentan como clasificaciones de calidad, que además son interpretados popularmente como de calidad absoluta y relativa. Si estas clasificaciones fueran meras elucubraciones escolasticistas para bibliómetras, no pasaría nada, pero sabemos que no es así. De ahí que mi crítica no se centre en si este ránking refleja o no el ámbito de las Humanidades (aunque prácticamente ignorar la labor de uno de los cinco pilares del saber de la universidad es un síntoma elocuente), sino en que los parámetros que emplea son válidos para una clasificación como la que se propone. Coincido completamente en que otros ránkings tienen errores incluso más llamativos por su subjetividad (el ránking QS, que supuestamente abarca las Humanidades e incluso distingue entre subáreas, tiene algunas cosas realmente alucinatorias).

Ahora bien, tampoco debe sorprender que las clasificaciones universitarias más famosas no sean radicalmente diferentes, pues tienden a medir los mismos parámetros. Por eso pido repensar estos parámetros desde cero. Para airear la cabeza en esta primera pausa de una mañana de correcciones, he aquí una propuesta de otros índices que considero que podrían ser útiles para medir dinámicas cualitativas de las universidades:

1) Cantidad de publicaciones recogidas en WOS/GS/ScienceOpen/etc., con un factor de corrección de la multiautoría (aplicando una división de la media de autores por publicación propia de cada campo de conocimiento), dividida por PDI total.

2) Cantidad de citas recogidas en JCR/WOS/GS/etc., con el mismo factor de corrección de la multiautoría, pero dividida por PDI en ETC.

3) Porcentaje de publicaciones de/con estudiantes de grado o posgrado sobre el total de población estudiantil.

4) Porcentaje del presupuesto propio dedicado a investigación.

5) Número de Premios Nobel, Medallas Field, Premios Pulitzer, Premios Nacionales de Investigación, premios equivalentes para cada área, etc., dividido por número de PDI total (válido solo para la universidad en la que se estaba trabajando en el momento de obtenerlo, con correcciones temporales similares a las que aplica el ránking de Shangái).

6) Ratio de estudiantes por PDI en ETC.

7) Porcentaje del presupuesto propio dedicado a actividades para estudiantes (becas, ayudas, proyectos, actividades, etc.).

8) Ratio de libros en bibliotecas y revistas suscritas por estudiante.

9) Ratio del número de asignaturas ofrecidas por estudiante.

10) Ratio de PAS por «PDI + estudiantes».

    Como sugerencia inicial, se podría otorgar un peso del 25% a cada uno de los parámetros 1, 2 y 6, un peso del 5% a cada uno de los parámetros 3 y 4, y un peso del 3% a cada uno de los parámetros restantes. Me vuelvo a mis correcciones.

Buen día. Me temo que esos indicadores son igualmente cuestionables y, por supuesto, lo es su ponderación. Tampoco aparece una medida de la docencia. Tener libros (y qué libros: incunables, manuscritos históricos, recientes; físicamente o acceso on line; tener 50 libros iguales es igual que tener 50 diferentes) no implica consultarlos; tener una enorme cantidad de asignaturas por estudiante no implica calidad; las ratios sobre personal podrían ser perversos ¿2 estudiantes por PDI implica que la universidad es el doble mejor que una que tenga un ratio de 4 estudiantes? Igual para el caso de PAS? En general, esos indicadores están orientados a la cantidad y a tener recursos. En ellos saldrán mejor las universidades con más recursos independientemente de cómo los empleen o de los resultados que obtengan, de manera que en el caso de dos universidades con los mismos resultados saldría mejor la que tiene más recursos (económicos y personal).

Buenos días, Teodoro. Coincido plenamente en que tanto mis propuestas de indicadores como su ponderación son cuestionables, pues es precisamente lo que quiero: cuestionar los indicadores y ponderación de las clasificaciones más difundidas y reflexionar sobre sus problemas de fondo. No se puede tomar en serio un ránking que se usa para valorar la calidad general de las universidades valorando en un 30% si se tiene premios Nobel, en un 20% cuánto se publica en dos revistas y en un 20% cuántos miembros tienen de un subgrupo concreto de unas subdisciplinas determinadas donde funcionan patrones específicos de multiautoría y citación.

Todos los indicadores para las clasificaciones son, por su naturaleza, cuantitativos. Si queremos valoraciones puramente cualitativas, haría falta que un comité se desplazase universidad a universidad para observar y analizar in situ la calidad docente, investigadora y de gestión de cada universidad. Por eso es tan difícil incorporar a las clasificaciones aspectos docentes de manera seria, pues los indicadores cuantitativos suelen ser pálidos reflejos. También sabemos que las clasificaciones muchas veces no hacen más que medir recursos económicos. Como has señalado esa falta, se debería incorporar algún factor de corrección del aprovechamiento que se saca a los presupuestos disponibles. Eso, a su vez, tiene la trampa de poder ser un argumento en contra del incremento de recursos económicos «si ya se hace mucho con lo que se tiene».

[…] ha venido ocurriendo desde principios del siglo XXI con la aparición del Academic Ranking of World Universities (ARWU), conocido popularmente como el Ranking de Shanghái, elaborado por primera vez en 2003 por […]