La evaluación de la docencia universitaria. ¿Es el TEF un ejemplo a seguir?

Como ya soy mayor, he visto de primera mano progresos importantes en la universidad española. Empezando por lo más escandaloso, en mi época no era raro que un profesor no viniese a clase, y que no diera explicaciones por ello. Hoy esto es inaudito. Quizá más interesante es observar que cuando yo estudiaba la licenciatura, en economía eran raros los profesores que tenían publicaciones internacionales en revistas de cierto prestigio. A un famoso catedrático le llamaban “el ilustre ágrafo.” Esto va más allá de la anécdota de un viejo profesor. En este blog hemos visto que el porcentaje de profesores con sus sexenios completos es mucho mayor entre los jóvenes que entre los mayores.

Como economista no puedo sorprenderme. Los incentivos funcionan. La generación joven ha crecido bajo un entorno institucional donde las acreditaciones y los sexenios son una parte importante de la carrera profesional. Y para acreditarse y tener sexenios hay que tener publicaciones con un mínimo de calidad. Algunos departamentos tienen además incentivos adicionales para las publicaciones. Esto ha cambiado la cultura de manera permanente. Ahora un ilustre ágrafo no podría ser ni contratado doctor, ni mucho menos catedrático.

Los incentivos para la docencia: buscando modelos

¿Y la docencia? En principio, también hay incentivos. Existen los quinquenios de docencia y las acreditaciones también requieren indicadores de docencia. Estos incentivos también funcionan, parcialmente. Como decía al principio, hoy es impensable que un catedrático no se presente a su clase sin más. Y la mayor parte de los profesores vienen más preparados al aula de lo que lo hacían muchos de mis profesores en los 80. Los materiales docentes suelen estar en las plataformas digitales de las universidades. Los exámenes se corrigen y entregan por lo general en tiempo y forma. Y si un profesor tiene de manera continuada evaluaciones desastrosas recibe advertencias del departamento y del decanato. Pero, quizá subjetivamente, el progreso ha sido menor que en investigación.

Entonces, ¿qué podemos hacer? Una posibilidad es mirar modelos internacionales y ver si se puede mejorar inspirándose en ellos. Concretamente, voy a discutir una innovación reciente del Reino Unido. En este país, los ingresos de docencia son de manera casi exclusiva ingresos por tasas de los estudiantes. En un sentido amplio, esto ya genera incentivos poderosos para una docencia aceptable por los estudiantes. No hay regulación sobre el precio para los estudiantes internacionales, ni sobre los números de estudiantes en general, y la demanda es muy sensible a los rankings (como los del THE). Pero, dado que las tasas son cuantiosas también para los estudiantes nacionales, el gobierno recientemente ha lanzado un elemento incentivador adicional a través del TEF (Teaching Excellence Framework).

El modelo del TEF inglés como fuente de inspiración

El TEF es un ejercicio de evaluación de la docencia que utiliza criterios cuantitativos y cualitativos. Los cuantitativos son: tasas de colocación de los egresados a partir de datos de una encuesta nacional centralizada, el DLHE, las tasas de abandono y los resultados de otra encuesta centralizada de satisfacción docente, el NSS. Los cualitativos se concentran en una narrativa sobre la pedagogía y calidad docente. El elemento incentivador nace de que las tasas máximas para estudiantes británicos dependerán de los resultados del TEF. Pero sobre todo porque los resultados del TEF son públicos y una mala evaluación redundaría en un serio desprestigio, y una menor demanda de sus títulos.

El TEF categoriza las universidades en tres grandes clases: oro, plata y bronce. En el primer ejercicio, que fue exclusivamente agregado de toda la universidad (en los próximos habrá también evaluación por áreas), hubo algunas sorpresas remarcables. La prestigiosísima LSE tuvo una clasificación de bronce, y en general la correlación con el ranking THE era, en el mejor de los casos, muy débil. ¿Y cómo se explican esas bajas correlaciones? Si nos fijamos en los indicadores utilizados, la LSE tiene unos resultados laborales para sus estudiantes (medidos por la encuesta DLHE) espléndidos. Y las tasas de abandono tampoco son malas. En cambio, la satisfacción de los estudiantes es mejorable, y probablemente la narrativa cualitativa no estaba tan depurada como cabría esperar (quizá por un sesgo de exceso de confianza).

Como resultado de esta evaluación negativa, muchas universidades han puesto el foco de manera mucho más intensa en la calidad docente. El nivel de exigencia a los profesores ha subido, así como la formación pedagógica, o la contratación de “estrellas de la docencia.” Por primera vez, como director de departamento, tuve que reaccionar a la contratación de algunos de nuestros más brillantes “teaching fellows” (personal de dedicación prioritaria a la docencia), algunos de ellos precisamente con ofertas de la LSE.

Hasta aquí el modelo británico. Pero ¿qué aprendemos de este ejercicio?

Combinando métodos para la evaluación de la calidad docente

Yo creo que eventualmente en Europa van a aparecer iniciativas similares, y conviene aprender en cabeza ajena. En primer lugar, las universidades tienen que subir el nivel de exigencia en esta dimensión de su labor. No podemos conformarnos con los aspectos formales que miden las acreditaciones o los quinquenios, ni con el hecho de haber mejorado respecto a los años 80. Nuestros estudiantes merecen más. Pero también tenemos que ser cautos con la manera en la que medimos la calidad.

La empleabilidad de los estudiantes o las tasas de abandono me parecen buenos indicadores. Pero las encuestas de evaluación docente son un instrumento de medida muy imperfecto. Hay mucha evidencia rigurosa que muestra que no miden lo que los estudiantes aprenden, como ya discutí hace años en Nada es Gratis. Y también sabemos que las evaluaciones docentes están sesgadas contra las mujeres y otros grupos sociales.

Pero esto no quiere decir que no haya que usarlas, sino que hay que conocer sus sesgos. Las evaluaciones docentes pueden ser una buena manera de controlar que los profesores crean un ambiente adecuado en el aula y prestan atención a las exigencias legítimas de atención de los estudiantes.Pero, en ausencia de otros controles, pueden crear sesgos hacia disminuir el nivel de exigencia, o a primar el entretenimiento sobre el aprendizaje, que, a menudo, es duro y requiere esfuerzo. Una herramienta que me parece particularmente útil en este contexto es que los profesores que imparten la docencia no sean los mismos que realizan la evaluación y escriben o corrigen los exámenes. Y, luego, utilizar los resultados académicos como otro elemento en la evaluación docente.

Las evaluaciones docentes pueden ser una buena manera de controlar que los profesores crean un ambiente adecuado en el aula y prestan atención a las exigencias legítimas de atención de los estudiantes.

Pero el mensaje que querría enfatizar es que las universidades públicas deben prestar mayor atención a la evaluación de la calidad docente y hacerlo de manera menos formalista y rutinaria de lo que lo hacen actualmente. Y hacerlo ya, cuando aún hay tiempo de reaccionar, quizá influyendo en el modo en que se hace esta evaluación cuando llegue, proporcionando ejemplos serios, meditados y creíbles.

 
Comentarios
  1. Miguel Arranz dice: 09/07/2020 a las 13:02

    Desde luego, la universidad lleva años descuidando el aspecto docente. Y el modo actual de promoción del profesorado no ayuda a revertir esa tendencia. Habría que poner en marcha mecanismos evaluativos serios para premiar a los buenos docentes y, en cualquier caso, tomar decisiones. Enhorabuena por el artículo.

  2. Jaime Cano dice: 09/07/2020 a las 14:59

    Muy de acuerdo con todo lo que se dice en el artículo, pero conviene reflexionar sobre qué condiciones damos a los docentes a cambio de un nuevo incremento de la exigencia.
    Actualmente la situación es muy precaria tanto en la estabilidad como en la remuneración, con una reducción del % de profesores catedráticos y titulares, y aumento y abuso de figuras inferiores y asociados. Investigadores en la cuerda floja cada 2 ó 3 años y dependiendo de convocatorias, etc. etc.
    Y, no obstante, como bien se dice en la primera sección, la exigencia en los méritos de investigación (con énfases en los artículos) es más alta que nunca.
    ¿Exigir más y progresar? Siempre. Pero un poquito de equilibrio con lo que estamos dispuestos a dar a cambio.

  3. Teresa Vergara dice: 09/07/2020 a las 16:35

    Enhorabuena por este artículo. Una propuesta para recuperar y reconocer el trabajo de los profesores «excelentes», corregir sesgos y recuperar el protagonismo de «Sócrates» en la transmisión del conocimiento.

  4. Humberto Llavador dice: 10/07/2020 a las 10:05

    Muy buen artículo. Necesitamos incentivos y los medios para poder reaccionar a ellos. Una pieza importante creo es la oportunidad de contratar “teaching fellows” en condiciones que permitan una exigencia docente y una relación a largo plazo no acomodaticia.

  5. Félix Huanca dice: 10/07/2020 a las 12:48

    Pienso que los modelos extranjeros no necesariamente deben ser modelos a seguir sino contruir uno local

  6. Sara dice: 10/07/2020 a las 17:15

    Félix, todos los modelos son locales porque se aplican al aquí y ahora, pero conocer sistemas que ya están en marcha en otras partes pueden darnos ideas nuevas que pueden ser útiles y que no tendríamos si nos limitamos solo a lo ya probado en casa. Voy a informarme mejor sobre el TEF a ver cómo puede ayudar aquí.

  7. Jose dice: 13/07/2020 a las 17:15

    Todo lo que sea arrojar luz es siempre valioso y util. El problema es que en gran estas mediciones son facilmente manipulables ( mucho mas que mos dahos de investigacion). Y sin duds se manipularan si luego se usan para eztablecer incentivos (si el bienestar del profesor depende de la satisfaccion de los estudiantes, se intentará que se diviertan y que aprueben todos y que sea conocimiento publico..¿que sentido tiene exigie algo si puede bajarnos el sueldo?). Y aqui esta la clave, queremis una relacion docente-alumno o una relacion vendedor de servicios-cliente. No son compatibles.

  8. Antonio Callejo dice: 14/07/2020 a las 20:02

    No suelo encontrar escritos que hablen sobre la calidad docente. Está en boca de casi todos, pero Nadi le pone «el cascabel al gato». No veo fácil la solución, en un entorno en el que los jóvenes que empiezan deben volcar todos sus esfuerzos en publicar (y digo bien: publicar; no digo investigar) para progresar en la carrera docente. No deja de ser curioso que para aspirar a una plaza de un CUERPO DOCENTE (TU y CU) haya que parecer un avezado investigador (perdón, publicador). Estoy rodeado de Catedráticos con todos los sexenios del mundo que no pueden dar una clase práctica de su disciplina, es decir, de una posible actividad profesional, porque no saben más allá de sus líneas de investigación. Y no lo digo yo; ellos mismos lo reconocen; están alejados de la realidad. Yo no imagino un Catedrático de Cirugía que no sepa operar. O un Catedrático de Puentes que no sepa proyectar un puente. Pues esa es la realidad en muchas disciplinas en la Universidad. Siempre he considerado que el Grado (antiguas Licenciaturas o Ingenierías) debe capacitar para el ejercicio de una profesión. El que quiera dedicarse a la investigación, tiene el Doctorado para ello. La calidad actual de los Trabajos Fin de Grado (al que los Planes de Estudio le han otorgado una carga docente, en ECTS, que no corresponde con el esfuerzo que hay que dedicarle y a su importancia en el ejercicio profesional futuro) está empeorando a pasos agigantados. Lo que en mi época de estudiante no hubiera servido ni para presentarlo a un tribunal, ahora es calificado con una nota por encima del notable.

    En fin, hoy por hoy, soy bastante pesimista al respecto. Perdón por la extensión


¿Y tú qué opinas? Deja tu comentario