La evaluación de la docencia universitaria. ¿Es el TEF un ejemplo a seguir?

Como ya soy mayor, he visto de primera mano progresos importantes en la universidad española. Empezando por lo más escandaloso, en mi época no era raro que un profesor no viniese a clase, y que no diera explicaciones por ello. Hoy esto es inaudito. Quizá más interesante es observar que cuando yo estudiaba la licenciatura, en economía eran raros los profesores que tenían publicaciones internacionales en revistas de cierto prestigio. A un famoso catedrático le llamaban “el ilustre ágrafo.” Esto va más allá de la anécdota de un viejo profesor. En este blog hemos visto que el porcentaje de profesores con sus sexenios completos es mucho mayor entre los jóvenes que entre los mayores.

Como economista no puedo sorprenderme. Los incentivos funcionan. La generación joven ha crecido bajo un entorno institucional donde las acreditaciones y los sexenios son una parte importante de la carrera profesional. Y para acreditarse y tener sexenios hay que tener publicaciones con un mínimo de calidad. Algunos departamentos tienen además incentivos adicionales para las publicaciones. Esto ha cambiado la cultura de manera permanente. Ahora un ilustre ágrafo no podría ser ni contratado doctor, ni mucho menos catedrático.

Los incentivos para la docencia: buscando modelos

¿Y la docencia? En principio, también hay incentivos. Existen los quinquenios de docencia y las acreditaciones también requieren indicadores de docencia. Estos incentivos también funcionan, parcialmente. Como decía al principio, hoy es impensable que un catedrático no se presente a su clase sin más. Y la mayor parte de los profesores vienen más preparados al aula de lo que lo hacían muchos de mis profesores en los 80. Los materiales docentes suelen estar en las plataformas digitales de las universidades. Los exámenes se corrigen y entregan por lo general en tiempo y forma. Y si un profesor tiene de manera continuada evaluaciones desastrosas recibe advertencias del departamento y del decanato. Pero, quizá subjetivamente, el progreso ha sido menor que en investigación.

Entonces, ¿qué podemos hacer? Una posibilidad es mirar modelos internacionales y ver si se puede mejorar inspirándose en ellos. Concretamente, voy a discutir una innovación reciente del Reino Unido. En este país, los ingresos de docencia son de manera casi exclusiva ingresos por tasas de los estudiantes. En un sentido amplio, esto ya genera incentivos poderosos para una docencia aceptable por los estudiantes. No hay regulación sobre el precio para los estudiantes internacionales, ni sobre los números de estudiantes en general, y la demanda es muy sensible a los rankings (como los del THE). Pero, dado que las tasas son cuantiosas también para los estudiantes nacionales, el gobierno recientemente ha lanzado un elemento incentivador adicional a través del TEF (Teaching Excellence Framework).

El modelo del TEF inglés como fuente de inspiración

El TEF es un ejercicio de evaluación de la docencia que utiliza criterios cuantitativos y cualitativos. Los cuantitativos son: tasas de colocación de los egresados a partir de datos de una encuesta nacional centralizada, el DLHE, las tasas de abandono y los resultados de otra encuesta centralizada de satisfacción docente, el NSS. Los cualitativos se concentran en una narrativa sobre la pedagogía y calidad docente. El elemento incentivador nace de que las tasas máximas para estudiantes británicos dependerán de los resultados del TEF. Pero sobre todo porque los resultados del TEF son públicos y una mala evaluación redundaría en un serio desprestigio, y una menor demanda de sus títulos.

El TEF categoriza las universidades en tres grandes clases: oro, plata y bronce. En el primer ejercicio, que fue exclusivamente agregado de toda la universidad (en los próximos habrá también evaluación por áreas), hubo algunas sorpresas remarcables. La prestigiosísima LSE tuvo una clasificación de bronce, y en general la correlación con el ranking THE era, en el mejor de los casos, muy débil. ¿Y cómo se explican esas bajas correlaciones? Si nos fijamos en los indicadores utilizados, la LSE tiene unos resultados laborales para sus estudiantes (medidos por la encuesta DLHE) espléndidos. Y las tasas de abandono tampoco son malas. En cambio, la satisfacción de los estudiantes es mejorable, y probablemente la narrativa cualitativa no estaba tan depurada como cabría esperar (quizá por un sesgo de exceso de confianza).

Como resultado de esta evaluación negativa, muchas universidades han puesto el foco de manera mucho más intensa en la calidad docente. El nivel de exigencia a los profesores ha subido, así como la formación pedagógica, o la contratación de “estrellas de la docencia.” Por primera vez, como director de departamento, tuve que reaccionar a la contratación de algunos de nuestros más brillantes “teaching fellows” (personal de dedicación prioritaria a la docencia), algunos de ellos precisamente con ofertas de la LSE.

Hasta aquí el modelo británico. Pero ¿qué aprendemos de este ejercicio?

Combinando métodos para la evaluación de la calidad docente

Yo creo que eventualmente en Europa van a aparecer iniciativas similares, y conviene aprender en cabeza ajena. En primer lugar, las universidades tienen que subir el nivel de exigencia en esta dimensión de su labor. No podemos conformarnos con los aspectos formales que miden las acreditaciones o los quinquenios, ni con el hecho de haber mejorado respecto a los años 80. Nuestros estudiantes merecen más. Pero también tenemos que ser cautos con la manera en la que medimos la calidad.

La empleabilidad de los estudiantes o las tasas de abandono me parecen buenos indicadores. Pero las encuestas de evaluación docente son un instrumento de medida muy imperfecto. Hay mucha evidencia rigurosa que muestra que no miden lo que los estudiantes aprenden, como ya discutí hace años en Nada es Gratis. Y también sabemos que las evaluaciones docentes están sesgadas contra las mujeres y otros grupos sociales.

Pero esto no quiere decir que no haya que usarlas, sino que hay que conocer sus sesgos. Las evaluaciones docentes pueden ser una buena manera de controlar que los profesores crean un ambiente adecuado en el aula y prestan atención a las exigencias legítimas de atención de los estudiantes.Pero, en ausencia de otros controles, pueden crear sesgos hacia disminuir el nivel de exigencia, o a primar el entretenimiento sobre el aprendizaje, que, a menudo, es duro y requiere esfuerzo. Una herramienta que me parece particularmente útil en este contexto es que los profesores que imparten la docencia no sean los mismos que realizan la evaluación y escriben o corrigen los exámenes. Y, luego, utilizar los resultados académicos como otro elemento en la evaluación docente.

Las evaluaciones docentes pueden ser una buena manera de controlar que los profesores crean un ambiente adecuado en el aula y prestan atención a las exigencias legítimas de atención de los estudiantes.

Pero el mensaje que querría enfatizar es que las universidades públicas deben prestar mayor atención a la evaluación de la calidad docente y hacerlo de manera menos formalista y rutinaria de lo que lo hacen actualmente. Y hacerlo ya, cuando aún hay tiempo de reaccionar, quizá influyendo en el modo en que se hace esta evaluación cuando llegue, proporcionando ejemplos serios, meditados y creíbles.