Mucha investigación, poca evidencia

El extraño caso de la educación basada en datos

Imagina la escena. Una sala de juntas, un equipo directivo (en el nivel educativo que prefieras), una diapositiva con un titular triunfal: «Esta metodología funciona: lo avalan los estudios». Algunos asienten, otros aplauden, se aprueba. Y nadie pregunta lo que importa: ¿cuántos estudios?, ¿de qué calidad?, ¿y dicen de verdad eso?

Tomamos decisiones educativas como quien gana un juicio por mayoría de testigos, sin reparar en que, en un juicio (y en la ciencia), lo que cuenta no es cuántos comparecen, sino cuánto podemos fiarnos de su testimonio.

La pandemia nos dejó a todos manejando una palabra que antes vivía en los laboratorios: evidencia. Discutíamos en la sobremesa si una mascarilla servía o si una vacuna era eficaz «según la evidencia», y de paso quedó claro cuántos malentendidos arrastra el término. En educación pasa lo mismo: hablamos de metodologías, de innovación docente o de políticas «basadas en evidencias» sin detenernos en qué significa eso exactamente.

 «Evidencia»: una traducción traicionera

Una curiosidad que no es solo lingüística. Evidence-based education se tradujo como «educación basada en evidencias», aunque algunos defendieron que lo fino habría sido «educación basada en pruebas». Y tenían razón: en inglés, evidence es el conjunto de pruebas que sostienen una afirmación, igual que en un proceso judicial. En español, «evidencia» es traicionera, porque también significa algo manifiesto e indudable. Y ahí empieza el lío, porque la evidencia científica no tiene nada de evidente. La evidencia no está en el último estudio publicado, ni el más citado, ni el vídeo de TikTok que promete «volarte la cabeza» con un hallazgo revolucionario (que casi siempre se apoya en un preprint sin revisar).

La evidencia nunca fue lo evidente. Siempre fue el conjunto de las pruebas: el CONJUNTO.

Sobre datos y evidencias

Conviene, ya que hablamos de «datos», ordenar la escalera. Un dato es una observación suelta: un porcentaje, una nota, un resultado. La información aparece cuando esos datos cobran sentido dentro de un estudio. La evidencia es un paso más: es lo que queda cuando ponemos muchos estudios, con sus datos e información, a dialogar y pesamos cuánto podemos fiarnos de su síntesis.

Por eso «educación basada en datos» y «educación basada en evidencias» no son sinónimos, aunque los usemos como si lo fueran: se puede tener un diluvio de datos y una sequía de evidencia.

Y ese diluvio de datos se ha vuelto inundación. Durante décadas hemos mejorado de forma extraordinaria nuestra capacidad de producir investigación: más artículos, más proyectos, más información (que al final nadie puede leer). Pero producir investigación no es lo mismo que producir conocimiento útil para decidir. Aquí conviene separar dos cosas que solemos confundir: la calidad de un estudio (los problemas de ese trabajo concreto: cómo asignó los participantes a los grupos, cuántos abandonaron, si midió bien, …) y la certeza de la evidencia, que es una propiedad del conjunto: cuántos estudios hay, si concuerdan, si las muestras son minúsculas, si el riesgo de sesgo es bajo, … Un estudio impecable puede formar parte de un cuerpo de evidencia endeble, y al revés.

¿Podemos confiar en la evidencia acumulada?

La pregunta importante, entonces, no es cuántos estudios existen sobre una metodología, un sistema de evaluación o el uso de la IA en la enseñanza. La pregunta es mucho más incómoda: ¿hasta qué punto podemos fiarnos de las conclusiones cuando juntamos toda la investigación disponible?

La medicina empezó a responderla hace más de treinta años. El movimiento de la medicina basada en evidencias, impulsado por David Sackett y desarrollado luego por la Colaboración Cochrane, las revisiones sistemáticas PRISMA o el sistema GRADE, nunca buscaba el estudio perfecto al que dar un premio. Buscaba estimar la fortaleza del conjunto de las pruebas antes de recomendar una decisión y, con honestidad, marcar hasta dónde llega nuestro conocimiento, incluso cuando no llega lejos. GRADE, de hecho, no es más que un método para ponerle nota a la credibilidad de cada estudio y, sobre todo, para explicar la nota.

La universidad comparte ese desafío para casi todo lo que toca, con una dificultad añadida. La investigación sobre educación superior no es de una sola disciplina: sobre docencia, gestión o política universitaria escriben pedagogos, psicólogos, sociólogos, economistas, ingenieros, químicos, médicos, expertos en inteligencia artificial o filósofos, en revistas distintas, con métodos y objetivos distintos.

Esa riqueza interdisciplinar es una de nuestras mayores fortalezas y, a la vez, uno de los mayores obstáculos para sintetizar: la evidencia sobre un mismo problema queda dispersa entre decenas de disciplinas y miles de artículos que casi nunca se hablan entre sí.

Una dosis de realidad

Quienes investigamos en educación tenemos otro gran problema: no trabajamos en laboratorios, sino en contextos reales, de los que forman parte pocas personas, con problemas específicos, con variables imposibles de controlar, en contextos amplios y dinámicos. Así que, con mucha frecuencia, investigamos en lo que se puede investigar, concluimos que no se puede generalizar y sentenciamos que «depende mucho del contexto». No es un defecto accidental; es la naturaleza de esta disciplina. Y precisamente por eso es más necesario integrar críticamente muchos estudios antes de decidir.

¿Toca ampliar cómo evaluamos la investigación? Llevamos décadas afinando indicadores de actividad (artículos, citas, revistas, proyectos), todos útiles en su sitio, pero apenas tenemos indicadores para la pregunta que de verdad importa: ¿cuánto conocimiento suficientemente sólido hemos acumulado para resolver un problema? Un indicador así no contaría papers; contaría certezas.

La IA, ¿una infraestructura para la evidencia?

Hasta hace poco, responder a eso costaba meses o años de revisión sistemática, y el rigor hacía casi imposible llegar a tiempo. Eso está cambiando, y aquí entra la inteligencia artificial, que conviene poner en su sitio: ni es un ángel ni un demonio.

Bien colocada, la IA es el asistente que ordena el expediente (localiza estudios, detecta duplicados, comprueba referencias, resume, encuentra contradicciones, mantiene viva una revisión), pero no dicta la conclusión. Decidir qué estudios entran, juzgar su calidad, fijar la certeza y firmar una recomendación es competencia humana e intransferible. Y cuidado, porque a estas máquinas, si se las deja sueltas, pueden hacer cosas raras (aunque no más raras que las que han hecho algunas personas dedicadas a la ciencia a lo largo de la historia).

La mayor aportación de la IA quizá no sea generar conocimiento nuevo, sino lograr que el que ya existe llegue a tiempo para decidir. Ya sería bastante (aunque hay sospechas de que nos ayudará a generar ideas nuevas también).

No partimos de cero. Hay que aprender de la experiencia.  En España ha habido iniciativas valiosas para acercar la investigación educativa a la práctica, pero ninguna ha cuajado como una infraestructura estable, comparable a lo que Cochrane representa en salud o la Campbell Collaboration en las ciencias sociales. Quizá porque una infraestructura de evidencia no puede vivir del voluntarismo de unos cuantos comprometidos ni sobrevivir saltando de convocatoria en convocatoria: necesita continuidad, una metodología compartida, una red real de colaboración y un respaldo institucional (público, privado o mixto) que garantice independencia y sostenibilidad más allá del empuje inicial. Y, sobre todo, no puede medir su éxito solo en revisiones académicamente impecables, sino en su utilidad para quien decide, en responder a necesidades: el profesor que quiere mejorar su docencia, el equipo rectoral que valora una inversión en innovación educativa, la agencia que fija objetivos en convocatorias, la administración que diseña una política.

Una paradoja más en educación

Parecerá una reflexión solo sobre la universidad, y no lo es: los mismos problemas recorren todas las etapas educativas. Sin embargo, la universidad ocupa un lugar singular, porque tiene dos gorros. Por una parte, produce buena parte del conocimiento educativo y, por otra, debe usarlo para transformar su propia práctica. Aunque coincidiréis conmigo en que aplicamos criterios estrictísimos al generar conocimiento y un alegre «amimefuncionalismo» a la hora de tomar decisiones en múltiples asuntos universitarios.

Hace treinta años, la medicina entendió que producir investigación no bastaba: había que convertirla en evidencia útil para decidir. Hoy tenemos métodos más maduros, una cantidad ingente de investigación acumulada y herramientas de IA capaces de acelerar su síntesis como nunca.

La pregunta ya no es si podemos construir una verdadera infraestructura de evidencia para la educación, universitaria o no universitaria. La pregunta es si estamos dispuestos a hacerlo.

Publicar investigaciones es una actividad científica, pero transformarlas en mejores decisiones es, probablemente, una de las mayores responsabilidades que hoy tiene la universidad. Y conviene no olvidarlo cuando se termine la reunión de ese equipo directivo: el aplauso generalizado no tiene por qué ser el veredicto.

Nota final
Para saber más sobre lo que aquí les cuento, les propongo la lectura de un buen libro, publicado recientemente por varios de mis colegas en la editorial Narcea, con Luis Lizasoain como editor, titulado Las pruebas en educación. Políticas y prácticas educativas informadas por evidencias. 

---