¿Hay relación entre el presupuesto de las universidades y el rendimiento en rankings universitarios?

Aviso al lector

Antes de entrar a comentar los resultados a los que nos lleva la respuesta a la pregunta de si hay relación entre presupuesto de las universidades y rendimiento en los rankings (tema con historia en el blog) conviene hacer una advertencia (disclaimer): lo que presentaré a continuación no constituye evidencia causal. Es altamente improbable que exista un grupo amplio de universidades que hayan cambiado su presupuesto de forma drástica como para poder estudiar esta cuestión desde una perspectiva causal.

Preguntas como “¿qué posición ocuparía la Universidad de Castilla-La Mancha en los rankings universitarios si duplicara su presupuesto?” pertenecen más bien al terreno de la ciencia ficción. Lo que sí podemos observar, en cambio, es cómo se sitúan en los rankings aquellas universidades cuyo presupuesto duplica al de la UCLM.

¿Estar o no estar?

El resultado más relevante de un ranking universitario es, en última instancia, determinar qué universidades aparecen en él. Cada vez es más habitual que los rankings incluyan al menos 1.000 universidades, una cifra además cómoda y redonda. Dado que emplean metodologías distintas —y que, especialmente en los puestos más bajos, las discrepancias entre ellos pueden ser notables—, resulta razonable considerar varios rankings a la vez para evaluar si una universidad puede calificarse como top 1000.

En concreto, analizaré tres rankings: ARWU, THE y SCImago, desde una nueva perspectiva, de otras ya he dado cuenta aquí. Los dos primeros se incluyen por su indudable impacto y visibilidad internacional, aun cuando sus metodologías sean, como mínimo, discutibles. El tercero lo elijo porque me da la gana, que para eso escribo yo, y también porque, en mi opinión, es el más razonable de los rankings universitarios y, además, es un producto español.

Mi aproximación al tema

Utilizaré para ello datos de los propios rankings enriquecidos con la base de datos ETER de universidades europeas y datos del Ministerio de Ciencia, Innovación y Universidades.

En el gráfico 1 se muestra la probabilidad de que una universidad se sitúe en el top 1000 de los tres rankings en función de su presupuesto, calculada como el porcentaje de universidades que aparecen simultáneamente en esos top 1000 dentro del entorno presupuestario de cada institución en 2022.

Gráfico 1. Probabilidad de que una universidad europea esté en el top 1000 en ARWU, THE y SCImago, a partir del presupuesto de 2022.

Se observa en el gráfico que, con presupuestos inferiores a 100 millones de euros, ninguna universidad logra situarse en el top 1000 de los tres rankings.

La universidad con menor presupuesto que lo consigue es la Universidad de Aveiro, con 121 millones de euros. A partir de ahí, la curva presenta una tendencia claramente creciente hasta alcanzar una probabilidad próxima a uno, en torno a los 600 millones. Por encima de ese umbral, la serie muestra un patrón en “dientes de sierra”, debido en gran parte a que algunas universidades no figuran en alguno de los rankings por decisión propia, como ocurre, por ejemplo, con la Universidad de Zúrich en el caso del THE.

Resultados según presupuesto (1)

En resumen, a mayor presupuesto, mayor es la probabilidad de que una universidad aparezca en el top 1000 de los tres rankings,  siendo el aumento cuantitativamente importante. Por ejemplo, en el caso de mi universidad, la Universidad de Castilla-La Mancha, con un presupuesto de 253 millones de euros, la probabilidad estimada de aparecer en los tres rankings es de 0,23. Con un presupuesto de 100 millones más, dicha probabilidad habría sido de 0,65, mientras que, si el presupuesto se hubiera duplicado, alcanzaría el 0,82.

A partir de este gráfico, es posible estimar qué países obtienen un mayor “rendimiento” de sus universidades, entendido como la probabilidad de situarlas en el top 1000 de los tres rankings, dado su nivel de presupuesto.

Resultados según presupuesto (2)

Además, he calculado para cada país lo que en estadística se denomina el error medio. Para ello, se asigna un valor de uno a las universidades que aparecen en el top 1000 de los tres rankings y cero en caso contrario;  el error se define como la diferencia entre ese valor observado (1 ó 0) y la probabilidad estimada a partir del gráfico. Para presupuestos inferiores a 121 millones se asigna una probabilidad de cero, y para presupuestos superiores a 600 millones, una probabilidad de uno (tabla 1).

Tabla 1. Rendimiento de países europeos de que sus universidades estén en top 1000 en ARWU, THE y SCImago, dado el presupuesto.

Nota: la variable y toma valor 0 si una universidad no se encuentra en el top 1000 en ARWU, THE y SCImago y 1 en caso contrario. La variable p muestra el valor de la probabilidad de estar en los tres rankings según el gráfico 1 teniendo en cuenta que para valores por debajo de 121 millones de presupuesto se ha considerado como cero y para valores por encima de 600 se ha considerado como uno.

Resultados para España según presupuesto (3)

España es el país con mayor error positivo promedio, aun teniendo un número relevante de universidades. Esto quiere decir que España lo hace muy bien, en concreto la mejor de Europa, ya que sus universidades aparecen en los tres rankings en el top 1000 considerando sus respectivos presupuestos.

El modelo preveía que tan sólo hubiese 13 universidades españolas, pero hay 20.

España es seguida en rendimiento positivo por Portugal, Finlandia, Austria y Estonia. En la parte negativa están Suiza y Países Bajos, pero hay que tomar con cautela este dato pues algunas de sus universidades han renunciado a estar en alguno de estos rankings.

La posición en la que se está

Uno de los supuestos del apartado anterior es que una universidad que está en el top 1000 de los tres rankings en posiciones bajas equivale a una universidad que consigue estar en el top 20 mundial en las tres clasificaciones. Obviamente, no es lo mismo.

En este apartado se va a hacer un análisis de eficiencia de las universidades usando como output la posición promedio en los tres rankings. De esta manera, no es lo mismo figurar en las posiciones bajas del ranking que en las posiciones que representan excelencia. En concreto, se usa 1.000-posición promedio para que un mayor valor refleje un mejor rendimiento (tabla 2). Como inputs se usan el presupuesto de la universidad en 2022 y el número de PDI. Además, se incluyen dos variables que se consideran como determinantes de la eficiencia: si la universidad tiene hospital y si es pública.

Tabla 2. Estimación función de producción de universidades mediante frontera estocástica. Output: 1.000-posición promedio ARWU, THE y SCImago.

Resultados según el análisis de eficiencia (output)

Como puede verse, tanto el presupuesto como el PDI tienen una relación creciente con el output. Es decir, a mayor PDI y a mayor presupuesto la función de producción frontera, en cuánto a posiciones en los rankings, se sitúa más arriba. Además, ser universidad pública o no serlo no afecta a la eficiencia de las universidades. En cambio, tener hospital sí mejora la eficiencia de las universidades.

Resultados por función de producción (input)

A continuación, se muestra la función de producción estimada (gráfico 2) usando como input para el gráfico el presupuesto, destacando a algunos países (empleamos los acrónimos de las españolas). Los dientes de sierra en la función aparecen puesto que en la estimación se usa el PDI además del presupuesto.

En cuanto a las españolas, puede verse como sólo la Pompeu Fabra aparece por encima de la función de producción, lo que evidencia su alta eficiencia, superando a las restantes de la muestra.

Otras tres universidades están cerca de la frontera: Universidad de Barcelona, Universidad Autónoma de Barcelona y Universidad Autónoma de Madrid. El resto aparecen relativamente lejos de la frontera.

Gráfico 2. Función de producción estimada.

 

 

Resultados de eficiencia por países

Por países, puede verse como el grupo de universidades del Reino Unido de mayor presupuesto están bien situadas en los rankings. Sin embargo, también hay un grupo de 13 universidades que están por debajo de los 500 millones de presupuesto y cuya posición promedio es inferior a 500. Las universidades de Países Bajos están cerca de la frontera. En Alemania la heterogeneidad es muy grande.

Por último, se muestran en la tabla 3 las universidades españolas públicas presenciales con datos de eficiencia calculada tras la estimación de la tabla 2 y la probabilidad de estar en el top 1000 en los tres rankings del gráfico 1.

Tabla 3. Probabilidad de ser top 1000 y eficiencia de las universidades españolas públicas presenciales.

 

En la tabla se observa que la universidad con mayor presupuesto que no aparece en los tres rankings es la Politécnica de Madrid, a pesar de tener  una probabilidad de 0,69 de estar en el top 1000 en los tres. Por el contrario, la universidad con mejor posición y presente en los tres rankings es la Rovira i Virgili, que se sitúa en el top 1000 de los tres con apenas un 7% de probabilidad de figurar en ellos.

Para concluir

Puede afirmarse que España cuenta con uno de los sistemas universitarios más eficientes de Europa, si medimos el output en términos de presencia en el top 1000 de ARWU, THE y SCImago.

No obstante, cuando el output se define no solo como “estar” sino como “qué posición se ocupa”, únicamente algunas universidades —la Pompeu Fabra, la Universidad de Barcelona, la Universidad Autónoma de Barcelona y la Universidad Autónoma de Madrid— logran destacar con niveles de eficiencia elevados.

La pujanza creciente de las universidades de ciertos países, como China, va a provocar que muchas instituciones que actualmente figuran en el top 1000 vayan cayendo irremediablemente. Hemos visto que el presupuesto determina en gran medida no solo la probabilidad de aparecer en los rankings, sino también la posición dentro de ellos. De poco sirve ser eficiente si ni siquiera se consigue entrar en ese top 1000.

Por todo lo visto aquí, los gobiernos deberían dejar de poner palos en las ruedas y contribuir a mejorar el sistema universitario. Y eso, entre otras muchas cosas, significa mejorar la financiación.

---