¿Cómo evaluamos nuestras universidades? Los efectos de los sistemas de evaluación en las estrategias universitarias

Casi todos estamos de acuerdo en la necesidad de analizar los resultados de las instituciones universitarias, sus estrategias y las políticas públicas para identificar las posibles ineficiencias, inequidades y áreas de mejora del sistema. Sin embargo, las fricciones surgen cuando nos sentamos a hablar de cómo se están midiendo estos resultados o, en otras palabras, cómo estamos evaluando nuestras universidades.

En la actualidad, nos guste o no, los sistemas universitarios están sometidos a dos tipos de sistemas de evaluación: uno que podríamos llamar formal, las agencias de evaluación; y otro que podríamos llamar informal y que escapa al control de los gobiernos, los rankings universitarios. Así, aunque las universidades son evaluadas por sus financiadores de manera formal y en base a los criterios que ellos consideran relevantes, su reputación ante el público general depende en gran medida de los rankings, pues los medios de comunicación construyen opiniones a partir de ellos, fundadas o infundadas, y algunos gobiernos y líderes universitarios los utilizan como fundamento para sus discursos de excelencia y calidad e incluso de legitimación.

Dejando de un lado las ya conocidas críticas a los rankings universitarios, en esta entrada me gustaría reflexionar brevemente sobre los efectos que los sistemas de evaluación y políticas universitarias pueden tener en las exiguas pero existentes estrategias de las instituciones universitarias y en su capacidad para aportar valor añadido en sus entornos socioeconómicos.

El Sistema Universitario Público Español (SUPE) es un sistema que tendemos a considerar como homogéneo, especialmente si lo comparamos con otros sistemas universitarios extranjeros, pues está constituido por un único tipo de institución de educación superior, las universidades, y todas realizan las mismas actividades (docencia, investigación y tercera misión) bajo una misma legislación que no hace distinciones entre ellas (con algunas diferencias introducidas por las políticas y regulación de las Comunidades Autónomas). De hecho, la propia comunidad universitaria no distingue más allá de universidades politécnicas o generalistas y universidades grandes o pequeñas (en función del número de estudiantes, del número de profesores e investigadores).

No obstante, debajo de esta aparente homogeneidad, hay todo un mundo de diferencias entre instituciones, muchas de ellas marcadas por las áreas de conocimiento en las que se especializa una universidad. En cuanto a las actividades que realizan, las titulaciones ofrecidas varían: algunas dan creciente importancia a los estudios de posgrado y formación continua frente a los de grado; los tipos de proyectos de investigación predominantes son diferentes y sus interacciones con la sociedad se implementan mediante una gran variedad de instrumentos; los recursos con los que cuentan las universidades y sus estructuras de ingresos y gastos también son heterogéneas, y en gran medida dependen de decisiones políticas (en el caso de los ingresos) y de las áreas de conocimiento presentes en la universidad (por ejemplo, los gastos docentes, de investigación y de transferencia en economía son mucho menores que en medicina, y los importes de los proyectos en áreas técnicas suelen ser mayores que en ciencias sociales); y, finalmente, diferentes universidades atienden las necesidades de distintos grupos de interés, no ya sólo porque tengan mayor potencial y experiencia en determinadas áreas, sino porque los entornos económicos con los que interaccionan (ya sean locales, nacionales o internacionales) plantean retos diferentes.

Esta heterogeneidad es en parte culpable de la relevancia de los rankings internacionales, pues hace difícil comparar universidades. Sin embargo, estos rankings (que resumen toda la información en un número o posición), junto con la mayoría de las evaluaciones formales, introducen fuertes incentivos de homogeneización, pues son sólo determinadas universidades con perfiles específicos las que obtendrán buenos resultados en la foto final.

De hecho, es bien conocido que los sistemas de evaluación modifican el comportamiento de las instituciones a las que se les aplica, especialmente cuando se basan en indicadores, pues las universidades evaluadas tenderán a centrarse en obtener altos números en los indicadores utilizados, sean relevantes o no para ellas, para su estrategia y para su entorno.

¿Pero qué tendríamos que hacer entonces? ¿No evaluar y desconocer si el uso que se hace de los recursos públicos es el adecuado? Varios estudios han propuesto alternativas basadas en evaluaciones formativas, en las que la evaluación se basa en metodologías cualitativas y en las que lo importante es el proceso de autoaprendizaje en el que participa la institución evaluada, y no una batería de indicadores. La pega es que estas evaluaciones son costosas y llevan mucho tiempo, por lo que no permiten una aplicación frecuente. No obstante, algunos investigadores ya han propuesto métodos cuantitativos intermedios que, aunque se basan en información (indicadores) sintética, respetan las diferencias entre instituciones, de forma que cada universidad es evaluada en base a los indicadores que son relevantes para su perfil. Quizá, esta sea una vía interesante sobre la que trabajar para desarrollar evaluaciones que fomenten la variedad de actividades y tipos de contribuciones que el SUPE aporta a nuestra sociedad.

———————————————————————————————————————————-

Algunas publicaciones relevantes sobre este tema: de la Torre, E.M., Casani, F., Sagarra, M. (2018). ‘Defining typologies of universities through a DEA-MDS analysis: an institutional characterisation for formative evaluation purposes’, Research Evaluation, 27/4, pp. 388-403. doi: 10.1093/reseval/rvy024.