Licencia de Creative Commons
blog profesor 3.0 by Alfredo Prieto Martín is licensed under a Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional License.

Sígueme en twitter

jueves, 11 de mayo de 2017

Métricas para medir la eficacia de la enseñanza orientada a la comprensión: cómo comprobar que los modelos de enseñanza aprendizaje activos y flipped obtienen más aprendizaje que los tradicionales

¿Cómo sabemos que un alumno aprende algo en una asignatura?
 Lo primero que habrá que hacer para responder a esta cuestión con evidencias del aprendizaje que se ha producido es averiguar de donde partía ese alumno antes de empezar la asignatura y después medir hasta donde ha llegado tras la formación para así poder hallar la diferencia entre el valor de partida y el valor de llegada. Esta medida la podemos realizar para conocer los conocimientos que el alumno recuerda ahora y antes ignoraba, ¿Pero cómo podemos medir si un alumno comprende o no comprende algo? Una manera será pedirle que nos explique en sus propias palabras que es lo que ha comprendido (comprensión declarativa).

Sin embargo, John Biggs distingue distintos niveles de comprensión  además de la comprensión declarativa, la comprensión funcional (comprender para que sirve), la comprensión condicional (comprender cuando hay que hacer cada cosa) y la comprensión procedimental (comprender como hay que hacer algo). Estos distintos tipos de comprensión deben evaluarse de manera distinta.
Otros autores como Wiggins y McThigue hablan de la comprensión transferible a nuevos contextos que es similar al nivel de comprensión abstracto-extendido de la taxonomía  de estructura de la comprensión de John Biggs (¿Esta alineado tu sistema de evaluación?).


Otra manera de evaluar si el alumno comprende puede ser pedirle que demuestre su competencia para aplicar su comprensión a la interpretación, predicción y resolución de distintas situaciones. Esto precisamente es lo que hacen las preguntas conceptuales (concept tests) pedir al alumno que aplique su comprensión de un concepto o principio para saber que ocurrirá en una situación. Por ejemplo Eric Mazur en el peer instruction usa concepts tests para saber si los alumnos comprenden las leyes de la física y saben aplicarlas para predecir lo que ocurrirá en situaciones hipotéticas. En este vídeo Eric Mazur nos comenta como llegó a desarrollar este método.





¿Cómo podemos medir el nivel de comprensión de los conceptos importantes en nuestra asignatura? 

Deberemos primero crear un inventario conceptual que es una colección selección  de aquellos conceptos esenciales que deben ser comprendidos en una asignatura. Los primeros inventarios conceptuales se hicieron para cursos introductorios de física a nivel universitario y han tenido un enorme impacto en la literatura sobre la medición estandarizada de mejoras de resultados de aprendizaje  logradas mediante me´todos innovadores como el aprendizaje activo. El Force concept inventory de David Hestenes ha sido citado en 2.932 publicaciones según Google Scholar (eso si que es factor de impacto del de verdad y no el factor medio de la mediocres revistas en las que aceptan nuestros artículos científicos).

 Si tu no enseñas física y enseñas otra materia puedes fabricar tu propio inventario de conceptos esenciales escribiendo una lista  de los 15-25 conceptos esenciales en tu asignatura. Una vez que tienes esa lista puedes hacer una prueba de unas 20-30 preguntas que mida el nivel de partida de tus alumnos en la comprensión de esos conceptos que consideras los más importantes en tu materia.

Si aplicas esa prueba a tus alumnos al inicio de tu asignatura y vuelves aplicarla por sorpresa (la sorpresa es esencial para que la medida sea válida) al final de la misma  tras el periodo de instrucción podrás obtener una medida de la la ganancia de aprendizaje en comprensión de cada alumno y obtener también la ganancia media obtenida por los alumnos de una clase. Por tanto la ganancia de comprensión es el resultado de hallar la diferencia ente el nivel de comprensión inicial y el logrado tras el periodo formativo de la asignatura o intervención educativa.

Para medir esta  la ganancia de comprensión necesitamos un cuestionario compuesto por preguntas que diferencian a los alumnos que comprenden un concepto y son capaces de aplicarlo correctamente a una situación y diferenciarlos de los que no son capaces de hacerlo correctamente.

Podemos empezar haciendo cuestionarios de preguntas abiertas en las que cada alumno escriba su respuesta, pero tras analizar las respuestas más frecuentes podemos transformar las preguntas de nuestro cuestionarios en preguntas de elección entre múltiples  respuestas este formato de recolección de respuestas nos permitirá que los alumnos puedan responderlo en menos tiempo y automatizar la corrección y el proceso de las respuestas de nuestros alumnos.
En esta presentación se explica cómo podemos elaborar preguntas conceptuales (concept tests)
de elección entre múltiples opciones



Los estudios de comparación de ganancias de aprendizaje entre metodologías activas y tradicionales muestran que los métodos de aprendizaje activo doblan las ganancias que se obtienen mediante metodologías explicativas tradicionales.

Cuando Mazur cambió desde un modelo de transmisión tradicional a un modelo de aprendizaje inverso como el peer instruction las ganancias de aprendizaje de su alumnos se duplicaron e incluso llegaron a triplicarse.

La investigación sobre los factores que afectan a las ganancias de aprendizaje ha demostrado que los factores que predicen mejor las ganancias de aprendizaje son :
  1. La implicación de los alumnos
  2. El contacto entre profesores y alumnos
  3. El trabajo en equipos cooperativos colaborativos
  4. El feedback rápido y de calidad
  5. El tiempo de trabajo de los alumnos tanto en clase como fuera de ella 
  6. Las expectaciones de aprendizaje claras y elevadas
  7. La inducción en los alumnos de la adopción de un abordaje de aprendizaje en profundidad
Las prácticas pedagógicas eficaces que producen mejores ganancias de aprendizaje que la metodología tradicional logran mejoras significativas en algunos de estos factores.

 El asunto de que cambios tienen los mayores impactos sobre el aprendizaje universitario ha sido estudiado por Astin. Este es el pódium que representa  los cambios que  logran mejorar más los resultados de aprendizaje.




















Con la implantación del EEES se han reorganizado currículos y con la crisis se han acometido cambios organizativos destinados a economizar los medios más que a mejorar los resultados de aprendizaje en nuestras universidades. Sin embargo, no se han acometido los cambios que más impacto potencial podrían tener sobre  la mejora del aprendizaje de nuestros alumnos: esto es producir cambios en nuestros alumnos y sus hábitos de estudio y cambiar los hábitos anticuados y desfasados de los que enseñan y modernizar lo que hacen para enseñar.

El modo más eficaz de cambiar los hábitos de estudio de nuestros alumnos es cambiar el modelo de aprendizaje tradicional que consume la mayor parte de tiempo de clase para transmitir la información a aprender y deja al alumno que la asimile por sus medios. Este modelo desfasado debe ser sustituido por otro modelo de aprendizaje inverso en el que aprovechemos las tecnologías disponibles para que la primera transmisión de información se realice vía on line. Este cambio nos proporcionará  a cambio mucho tiempo de clase para que los alumnos asimilen ese contenido en profundidad, siendo protagonistas, trabajando en equipo, implicándose en la aplicación y la práctica de ese conocimiento.

Este cambio en métodos de enseñanza deberá de ser acompañado por un cambio en la evaluación que en lugar de centrarse en el contenido memorizado deberá ampliarse para valorar el nivel de comprensión de los conceptos esenciales y la capacidad para aplicarlos y transferirlos a nuevas situaciones. 

El método más eficaz para cambiar los hábitos de los profesores es proporcionarles formación docente y oportunidades de desarrollo profesional en equipo.   Los profesores necesitan formación en métodos educativos innovadores y en como usar las tecnología para desarrollar una enseñanza blended que combine el uso de tecnologías on line con el mejor aprovechamiento posible del tiempo de clase (enfocado en las dificultades y dudas de sus alumnos) y con la inducción de estudio autónomo preparatorio por parte de nuestros alumnos en el tiempo de fuera de clase.

Si hacemos que nuestros alumnos piensen en clase (en lugar de aburrirse o tomar notas) y usen su tiempo no presencial para prepararse para las clases en las que ejercitarán competencias es seguro que su educación universitaria les ayudará a desarrollarse mucho más y a prepararse mucho mejor para su futuro en el mundo líquido e impredecible del siglo XXI. Lamentablemente parece que quienes dirigen las universidades españolas no son capaces de darse cuenta de estos hechos en los que deberían basar la renovación de la enseñanza universitaria. 

domingo, 7 de mayo de 2017

Versión open letter course ware del taller de evaluación en grados sanitarios¿Qué tiene que decir la investigación sobre la evaluación de las competencias?


El pasado lunes 23 de junio impartí en la Escuela de Enfermería y Fisioterapia de la Universidad de Casilla-La Mancha, la primera sesión presencial de un curso titulado: “Evaluación en grados sanitarios: cómo evaluar competencias con sentido común y los pies en el suelo”. Este curso usa una metodología de blended learning que combina envío de materiales por medios electrónicos para el estudio previo a las dos sesiones presenciales.

Fase de estudio previo
El curso empezó con un primer e-mail de bienvenida dirigido a los participantes, en el cual les sugeríamos que contestasen a un cuestionario de expectativas previas localizado en el link.
Se pidió a los participantes como tarea de preparación para el curso que reflexionasen seriamente sobre una serie de preguntas relacionadas con los sistemas de evaluación que utilizan en sus asignaturas.
En un segundo e-mail os propuse estudiar una presentación sobre evaluación de competencias.
y ver un vídeo sobre el enfoque de enseñanza funcional en medicina.
En un tercer mail os propuse leer una presentación en la que se iba a centrar el curso ¿Qué tiene que decir la investigación acerca de la evaluación de competencias?

En un cuarto mensaje os envié otros dos documentos. Una presentación sobre cómo hacer que nuestra evaluación continua sea más formativa y eficiente.

Y otra sobre evaluación de competencias genéricas (que me había sido solicitada por varios participantes en sus cuestionarios de expectativas).
También os propuse ver una serie de videos que ilustraban el concepto del alineamiento constructivo y resaltan la importancia del sistema de evaluación para conseguir los resultados de aprendizaje que deseamos..

Resumen de la primera sesión presencial

En la  primera sesión presencial del curso en Evaluación en grados sanitarios: cómo evaluar competencias con sentido común y los pies en el suelo empezamos puntualmente a las 9,30 poniendo como premio para los más puntuales, el famoso vídeo de la Universidad en Cinco Minutos.

Nos reímos bastante con esta parodia de la enseñanza universitaria llevada al extremo del absurdo. En ella el monologista, que se propone fundar un nuevo tipo de Universidad propone que su institución otorgue títulos universitarios en cinco minutos en los que sólo se enseñará a los alumnos, precisamente  aquello que el graduado medio recuerda cinco años después de terminar sus estudios de grado.
Después discutimos sobre el aspecto serio de este monólogo de humor. La corta duración de muchos de los aprendizajes que nuestros alumnos adquieren para superar los innumerables exámenes que les sirven para ir aprobando las sucesivas asignaturas.
 Si en estos exámenes evaluamos cosas que pueden haberse aprendido la noche anterior, es casi seguro que ese aprendizaje será de muy corta duración. En países como Holanda las facultades de Medicina realizan 4 progress tests anuales durante todos los años del currículo en los que evalúan de manera interdisciplinar el progreso en el dominio completo de los conocimientos que deben tener los graduados en medicina y que cubre  las áreas más importantes de las ciencias básicas, clínicas, del comportamiento y de la salud pública.
Los progress tests son como un examen MIR, tienen formato MCQ y la prueba esta diseñada  de manera que, por su profundidad, amplitud y exhaustividad, los alumnos no puedan prepararse mediante una rápida memorización de contenidos y de este modo no tienen más remedio que ir adquiriendo conocimientos continuamente y de forma que puedan movilizarlos en el momento en el que se les pida.
 Los resultados de cada alumno se acumulan en un registro electrónico de manera que se puede seguir su progresión en la adquisición de conocimientos. Cada alumno recibe información detallada sobre sus propios resultados, lo cual le hace consciente del estado de sus conocimientos con respecto al nivel que deberá adquirir para su graduación.
Este vídeo subtitulado al español cuenta que son los progress test que hacen en las facultades de medicina holandesas

El análisis de la información proporciona información muy valiosa para los profesores y tutores sobre el progreso de los alumnos a su cargo. Este procedimiento permite detectar precozmente a los estudiantes con problemas de aprendizaje graves. Dijimos que esto era un ejemplo de cómo abordar la evaluación del aprendizaje de los alumnos con una perspectiva de facultad o escuela con un enfoque (comprehensive) que abarcaba el currículo formativo en toda su amplitud y longitud.
Pusimos los progress tests y los ECOES como ejemplos de una evaluación programática global planteada por la institución docente y la contrastamos  con la evaluación que puede plantearse desde la perspectiva de las asignaturas individuales. Escocidos por el 5-1  que nos metieron los holandeses en el pasado mundial nos parecia recochineo el que encima evaluen mucho mejor a sus alumnos de medicina. Comentamos que la dificultad de organizar sistemas de evaluación con óptica de facultad en España era una muestra de lo lejos que estamos de Holanda (no en futbol sino en la educación de las profesiones sanitarias).
Empezamos con una presentación de la agenda del curso e introduciendo los distintos temas que íbamos a tratar. Indiqué  que el curso se iniciaba con estudio previo a las sesiones presenciales, estudio entre las sesiones presenciales y finalmente continuaría tras las sesiones presenciales con envíos de información a mis exalumnos de formación de profesorado. Los participantes en este curso pasarán a formar parte de la comunidad de casi 2.500 profesores españoles que han sido alumnos de mis cursos de formación de profesorado y reciben noticia de los recursos que voy desarrollando siguiendo mi blog profesor 3.0 y mis twitts como @alfredoprietoma.
Dijimos que en la primera sesión trataríamos tres puntos principales:
1 Comentarios del profesor a vuestras respuestas a los cuestionarios de expectativas.
2 ¿Qué tiene que decir la investigación sobre la evaluación de las competencias?
3 Experimentación de metodologías para evaluación formativa que usan tarjetas de respuesta y preguntas de elección de respuesta entre múltiples opciones.


Comentarios del profesor a vuestras respuestas a los cuestionarios de expectativas

Empezamos comentando los cuestionarios de expectativas recogidos por medio de la aplicación Survey monkey. Empezamos por el de Carmen Torres Valdivieso que fue la primera en contestar. Su cuestionario fue además muy representativo de comentarios compartidos por otros compañeros participantes en el curso. En relación a las cosas que logramos que los alumnos aprendan gracias al sistema de evaluación que empleamos, Carmen señalaba (como también lo hacían otros compañeros) los conocimientos básicos de su asignatura e incluso las relaciones entre ellos. Sin embargo, señalaba como pendiente de lograr un uso más fluido y sofisticado del lenguaje  y un mayor desarrollo de la competencia para el razonamiento crítico.
Carmen señalaba que sus alumnos, no dedicaban el tiempo de trabajo suficiente en las partes iniciales de los cuatrimestres y tendían a esforzarse principalmente al final. Comenté que este era un problema muy frecuente que estaban intentando resolver las metodologías de clase inversa o flipped clasroom. En estas metodologías se pide a los alumnos que estudien por si mismos los materiales antes de tratarlos en clase.
Comentamos el hecho de que los alumnos tienden a esforzarse más al final cuando la evaluación se acerca y cómo podríamos usar ese impulso a estudiar justo antes del examen para hacer que nuestros alumno estudien antes del principio de cada tema poniéndoles una examen formativo o tareas de comprobación en cada tema.
 Este principio es explotado por la pedagogía inversa o flipped classroom en la que pedimos a los alumnos que estudien el siguiente tema antes de que se lo expliquemos. Para aumentar su motivación para hacer este estudio previo se bonifica  a los alumnos que estudian antes de cada tema y realizan una tarea o prueba de comprobación.
En el just in time teaching la tarea del alumno es responder a un cuestionario de preguntas abiertas por ejemplo:
1. Apellidos y nombre (primero apellidos para ordenaros alfabéticamente)
  2. Indica cuál te parece la idea más importante o interesante que has aprendido en este tema y justifica por qué.
 3. ¿Qué parte del tema te parece más necesario profundizar en clase?       ¿Por qué?
  4. ¿Qué es lo que te ha quedado menos claro del tema?     ¿por qué?
 5. ¿Qué pregunta te gustaría que te respondiéramos el primer día?    ¿por qué?
  6. ¿Que parte no necesitas que te expliquen?     ¿por qué?
  7. Resume lo más importante del tema en menos de 200 palabras.
 8. Comenta algo acerca de lo que has comprendido al ver cada uno de los vídeos recomendados en el tema
  9.  ¿Cuánto tiempo has tardado en leer las diapositivas intentando entenderlas, ver los vídeos y contestar a este cuestionario (indícalo en minutos)?
 10. Pon un tu e-mail de contacto por si te tenemos que pedir que lo vuelvas a reestudiar y volver a contestar mejor a las preguntas del cuestionario

Comenté que para que la supervisión de estos cuestionarios no se convirtiese  en algo que esclavizase al profesor era conveniente semiautomatizar el proceso de control y calificación, renunciar a la pretensión de proporcionar un feedback personalizado salvo en aquelllos casos especiales que lo necesiten especialmente un correctivo urgente (los que te responden de una manera tan chapuza que demuestran que no se han mirado casi el tema). A la inmensa mayoría les podemos proporcionar feedback colectivamente, por ejemplo respondiendo a la lista de  preguntas urgentes de nuestros alumnos.
Comente que en la segunda sesión presencial del curso veríamos otras metodologías de fomento del estudio previo que utilizan preguntas MCQ para comprobar el estudio previo de nuestros alumnos.
Demostré que el fomento del estudio previo a las clases es una metodología con tradición en las mejores universidades del mundo. Pusimos primero un vídeo para que se viese como los profesores más huesos de Harvard comprobaban el estudio previo por medio del método de la “llamada sin aviso” o “llamada en frio” (cold call). Estos profesores enviaban a sus alumnos el mensaje de que para aprender más y aprobar en su asignatura había que estudiar antes de las clases y prepararse para discutir los casos en público.  Comprobación del estudio previo a la vieja usanza  de Harvard
Después comentamos que afortunadamente las metodologías habían evolucionado mucho y ahora podía conseguirse que nuestros alumnos se preparasen para las clases  usando las metodologías de enseñanza inversa flipped learning  e incluso enviarles explicaciones en vídeo y podcast. Vimos el vídeo en el que Aaron Sams nos cuenta en qué consiste la metodología de flipped classroom.

En cuanto a la pregunta urgente de Carmen  sobre si profesores y alumnos llegaremos algún día a encontrarnos en una situación de encuentro más que de desencuentro y lleguemos actuar como un equipo con objetivos comunes. Se comentó que esto requiere mucho dialogo y comprensión del punto de vista del otro. En fin, el establecimiento de una relación de ayuda y un sentimiento de empatía mutua.  A este dialogo ayudan mucho las metodologías de enseñanza inversa con su flujo de comunicación bidireccional entre el profesor y sus alumnos. Con esto nos llego la hora del recreo a mitad de la mañana.
Tras el recreo pusimos como premio a los que regresaron con más puntualidad, un vídeo en el que el profesor Kingsfield explicaba a sus alumnos cual era la esencia del método socrático.

¿Qué tiene que decir la investigación sobre la evaluación de las competencias?

Empezamos la segunda parte de la sesión  con la presentación ¿Que tiene que decir la investigación sobre la evaluación de competencias? basada en la conferencia impartida por Cees van der Vleuten en el Karolinska Institutet con motivo de la concesión del premio de este instituto en la modalidad de Educación Médica.
Empecé comentando las características de los instrumentos de    
evaluación: Validez, Fiabilidad, Impacto educativo, Aceptabilidad
y Coste. A continuación expliqué el concepto de compromiso en evaluación del aprendizaje de competencias. El compromiso es comprender que no podemos tenerlo todo en nuestro sistema de evaluación. Tenemos que escoger qué características reforzaremos y cuales son menos esenciales y por tanto podemos comprometer sin perder lo que más queremos lograr.
Dependiendo de del tipo y la utilidad de la evaluación deberemos comprometer aquellas  características de las que podamos prescindir en cada caso. En la evaluación formativa  la utilidad principal es el impacto educativo: Esto incluye estimular el esfuerzo de los alumnos, con situaciones lo más auténticas posibles que proporcionen ocasiones para el ejercicio de competencias  y la generación de feedback a partir de ellas. Esta evaluación formativa debe tener una cierta valoración para que tanto los profesores como los alumnos se la tomen en serio. Sin embargo, no se tomarán a partir de ella decisiones de alta repercusión y por tanto no debemos preocuparnos excesivamente de la fiabilidad en la calificación. La evaluación continua no tiene repercusiones drásticas e irreparables. Un examen de sólo 10 preguntas MCQ nos puede valer para hacer la evaluación formativa de un tema para estimular el estudio de los alumnos y para dar pie a la discusión y el feedback. Desde luego la nota obtenida por cada alumno no será muy fiable (y si es on line nada fiable) pero no debemos preocuparnos por ello si el peso de este examen en la calificación es escaso (un 1% de la calificación final).
Sin embargo, en una prueba de evaluación acreditativa, en la que cada alumno se juega una parte importante de la nota (por ejemplo un 35% de la calificación) y que pesará decisivamente en la calificación de nuestros alumnos, no podemos comprometer su seguridad, fiabilidad y validez. Deberemos esforzarnos por que sean lo más altas posible.
 La investigación en fiabilidad de pruebas de evaluación demuestra que ningún instrumento de evaluación puede evaluar con una fiabilidad superior a 0,80 en menos de 2 horas de prueba. Por tanto la evaluación formativa y la acreditativa son distintas en sus utilidades y en los compromisos que debemos adoptar en ellas.
Despues tratamos el problema que supone realizar una evaluación acreditativa en condiciones de autenticidad (que la prueba se parezca a la práctica profesional real). Si el objetivo es evaluar competencias clínicas al nivel de “demuestra como” de manera acreditativa por ejemplo por medio de un ECOE  no bastan los recursos de una asignatura se necesitan los recursos de una escuela o facultad. Sin embargo para  hacer evaluación formativa a este nivel  en el que no se pretende medir de un modo fiable sino tener un impacto formativo positivo, podemos usar ECOEs en las que algunos alumnos harán de pacientes y otros de tribunal. Desde luego que su resultado no será una medida fiable, pero servirá para que los alumnos aprendan y se entrenen para mejorar su desempeño en las ECOEs realmente acreditativas.
Otro ejemplo de diferencia de enfoque entre evaluación formativa y acreditativa es pretender usar pruebas de test de las que se usan para evaluación acreditativa  para comprobar el estudio previo de los alumnos. Se comentó que los alumnos suelen hacer trampas en este tipo de evaluación on line que no es nada segura. Comente que es un grave error aplicar esquemas de evaluación acreditativa cuando queremos realizar evaluación formativa y queremos que el alumnos reflexione sobre lo que ha estudiado y de esa manera nos demuestre que ha estudiado. Pero para que nuestra evaluación continua y formativa sea más eficiente debemos aprender a usar herramientas que nos la faciliten ahorrando parte del tiempo que el profesor deberá dedicar a su revisión. A este fin nos ayudarán los cuestionarios on line y las herramientas de evaluación por compañeros (Taller de Moodle) y rúbricas. Si queremos usar exámenes MCQ para la evaluación formativa on line (tal vez no sea la mejor estrategia) deberemos automatizar su proceso de corrección y estar preparados para que si ofrecemos la oportunidad (por ejemplo ofreciendo feedback automático e inmediato) los alumnos nos hagan trampas soplando en face book las respuestas correctas a sus compañeros.
Por otro lado, debemos aumentar la fiabilidad de la evaluación acreditativa por ejemplo realizando exámenes que combinen distintos instrumentos: por ejemplo un 50% de la calificación por MCQ y otro 50% por preguntas de respuesta escrita que incluyan preguntas de respuesta corta y la resolución problemas y casos, así como alguna pregunta que permita evaluar la estructura de comprensión de relaciones entre distintos conceptos. Este tipo de exámenes tendrá alta fiabilidad y tendrá un impacto favorable en el tipo de estudio que inducirá pero nos dará mucho trabajo de diseño y de corrección. Se comentó que sería mucho más cómodo para el profesor evaluar todo con MCQ pero que eso tendría un impacto muy negativo en el aprendizaje al inducir una preparación exclusiva para test que se queda en un estudio memorístico y superficial así como de estudio de  preguntas de exámenes pasados.
Se comentó que si les pedimos a nuestros alumnos que nos hagan preguntas sobre las dudas que no comprenden podemos respondérselas colectivamente pero indicándoles que las respuestas a esas preguntas pueden ser materia de examen.
A continuación presentamos la pirámide de Miller que define los distintos niveles de autenticidad profesional a los que se pueden evaluar las competencias.


También comentamos que los instrumentos de evaluación tienen un formato del estímulo y un formato de recogida de la respuesta y los relacionamos con los niveles de evaluación en la pirámide de Miller. Presentamos que formatos de estímulos y de recogida de respuesta son adecuados para  evaluar competencias a distintos niveles de la pirámide de Miller.


También dijimos que para los tres niveles inferiores tenemos métodos de evaluación estandarizada mientras que para el nivel superior solo podemos evaluarlo de una manera no estandarizada.


A continuación expuse y comenté los seis principios de evaluación estandarizada del aprendizaje
1.    La competencia es específica (de ciertos contextos), no genérica.
2.   La objetividad no es lo mismo que la fiabilidad.
3.   El formato del estímulo determina más lo que se mide que  el formato de la respuesta que se recoge.
4.   La validez puede ser construida e incorporada a nuestro sistema.
5.   La evaluación conduce a los logros de aprendizaje de nuestros alumnos.
6.   Ningún método único puede hacerlo todo.

Empezamos nuestra discusión de los principios destacando la importancia de los contextos de evaluación en la evaluación de competencias. Evaluar competencias implica evaluar su aplicación en contextos reales o verosímiles. Si como la investigación demuestra la medición de una competencia en un contexto no predice absolutamente el desempeño en otro contexto distinto, entonces es claro que si queremos evaluar las competencias de manera fiable deberemos combinar el muestreo en contextos diversos. Debemos por tanto examinar una misma competencia en distintos casos, momentos, por distintos profesores, incluso en distintas asignaturas.
Vimos que la investigación demuestra que la fiabilidad no depende tanto del método de evaluación como de la amplitud del muestreo.  Hay métodos más factibles que otros pero para ser fiables todos necesitan un amplio muestreo que requiere al menos 2 horas por alumno.



 Como ejemplo de aplicación del primer principio planeamos la cuestión: ¿Son fiables los exámenes realizados en una hora de clase con los alumnos como piojos en costura? Estábamos todos de acuerdo en que esta práctica tan común hoy en día no es fiable y por tanto los exámenes “parcialitos” deberían ser realizados de otra manera que aumentase su fiabilidad.
Para que nuestra evaluación fuese más fiable sería necesario reservar un aula más grande y durante más tiempo 2-3 horas. También nos ayudaría el usar una prueba elaborada con items altamente discriminativos. Explique una manera sencilla y al alcance de cualquiera, para estudiar el poder discriminativo de las preguntas de sus exámenes. Para ello solo hay que usar una matriz  de resultados de las distintas preguntas del  examen con sus filas (alumnos) ordenadas por el ranking de calificación global y en cada columna las puntuaciones obtenidas en cada pregunta (Excel te lo ordena como se lo pidas).
A partir de de esta matriz podemos comparar las calificaciones de cada pregunta en grupos de alumnos con distinto nivel de conocimientos por ejemplo del cuartil de alumnos con mejor calificación global respecto a aquellos del cuartil con peores calificaciones. El cociente entre ambos valores es el índice de discriminación de esa pregunta y nos permite comparar la capacidad de distintas preguntas para discriminar entre los alumnos con distintos niveles de conocimientos. De esta manera podemos escoger preguntas con mayor poder discriminativo para elaborar nuestras pruebas que de esta manera tendrían una mayor capacidad para discriminar entre alumnos con distintos niveles de conocimientos.

Experimentación de metodologías para evaluación formativa que usan tarjetas de respuesta y preguntas de elección de respuesta entre múltiples opciones.

Después de esta disquisición matemática con la que concluía mi exposición del primer principio os vi un poco cansados de teoría. Por ello cambiamos de tercio y dedicamos los últimos cuarenta minutos a experimentar la metodología Peer instruction con preguntas conceptuales sobre física de bachillerato. Respondimos a las preguntas con las flash cards y discutimos la justificación de las respuestas al modo del peer instruction: unos alumnos discuten con otros que han escogido otras opciones sobre las razones que justifican las respuestas que han escogido. 

También comentamos la posibilidad de utilizar este método de evaluación formativa con la aplicación socrative que permite a los alumnos responder con sus smartphones a preguntas MCQ. Llego la hora de despedirnos y a las 3:25 cogí el AVE que me llevaría a Atocha y de allí a Alcalá de Henares.

En la segunda sesión de este curso acabaremos de ver los principios para mejorar la evaluación estandarizada de competencias. También nos asomaremos a la evaluación no estandarizada y a los sistemas de evaluación programática. Dedicaremos especial atención al uso que podemos hacer de las rúbricas, a los concept tests para la evaluación de la comprensión, a cómo construir preguntas MCQ con contexto que permitan evaluar comprensión y capacidad de transferencia y también a la elaboración de pruebas de evaluación acreditativa de mayor calidad.


A continuación el resumen de la segunda sesión:
En la segunda sesión del curso empezamos utilizando la metodología Just in time teaching comentando los cuestionarios de expectativas que los participantes habían contestado después de leer los materiales instructivos del curso mostrando así sus reacciones a los mismos.

 Empezamos por el de Ana Isabel Cobo que planteaba la pregunta  ¿Cómo mejorar la evaluación sin sobrecargar a los estudiantes y al profesor? ¿Cómo mejorar la evaluación y no morir en el intento? Respondí que la mejor evaluación es la que hace trabajar al alumno las horas no presenciales que le corresponden por cada crédito ECTS (unas 15 por crédito) sin que ello se traduzca en que su profesor se ahogue en una montaña de trabajos por revisar. Se planteó un debate acerca  del problema de la coordinación y contesté que si un alumno con dedicación plena a sus estudios universitarios en el EEES debe trabajar en sus asignaturas 40 horas semanales (sumando las presenciales y no presenciales). Lo normal es que  este alumno este matriculado en 5 asignaturas por cuatrimestre simultáneamente, entonces la carga de trabajo total (presencial+ no presencial) media semanal de cada una de las cinco asignaturas debe ser de 40/5= 8 horas semanales de trabajo en cada asignatura (sumando horas presenciales y no presenciales).

Después comentamos las respuestas De Teresa Martín Vecino a la que en primer lugar agradecí haberme propuesto como ponente de este curso. Teresa comunicó el reciente fallecimiento (14-6-2014) de Carmen Vizcarro Guarch, profesora de Psicología de la universidad autónoma de Madrid autora de múltiples trabajos sobre la evaluación de competencias. Todos los que trabajamos en evaluación de competencias hemos aprendido mucho de Carmen y sus publicaciones. 

Después de este emocionado recuerdo respondí a la pregunta urgente del cuestionario de Teresa: ¿Cómo se puede mantener una evaluación continua con menos inversión de tiempo que el que ahora dedico? usé una presentación sobre  gestión de la carga de trabajo que genera la evaluación continua al profesor (gestión de la carga y más cosas). Este documento incluye un modelo de análisis y digestión de la carga de seguimiento de las tareas de evaluación continua, una explicación sobre los tests conceptuales y su aplicación a la medida de ganancias de aprendizaje y ejemplos de cómo usar La taxonomía de Bloom y la taxonomía SOLO (Structure of Observed Learning Outcomes) para crear preguntas de evaluación.

 Finalmente, comentamos el cuestionario de Jose Antonio de la Torre Brasas que  quería conocer metodologías para que las competencias específicas  de su asignatura se adquiriesen  con una mayor profundidad y de forma más progresiva. Contesté explicando el modelo de pedagogía inversa y las distintas metodologías para el fomento del estudio previo. Os recomendé empezar por el just in time teaching por ser la más sencilla y eficiente en términos de economía en términos de trabajo extra para el profesor. Este método usa para comprobar el estudio un cuestionario de preguntas abiertas que podemos reutilizar en los sucesivos temas por lo que no es necesario tanto trabajo adicional como en los métodos en los que el profesor debe generar preguntas MCQ nuevas y originales para cada tema o incluso para cada clase. Por ello os recomendé como estrategia de innovación empezar experimentando con el just in time teaching y después experimentar con las metodologías que usan preguntas de elección entre múltiples opciones: team based learning, PEPEOLA (preparación y estudio previo por evaluación on line automática) y peer instruction.

Después acabamos de ver la presentación que nos habíamos dejado a medias en la primera sesión sobre los principios para mejorar la evaluación estandarizada de competencias. También comentamos los 6 principios de la evaluación no estandarizada.

Tras el descanso vimos un ejemplo de un sistema de evaluación programática, el del grado en Medicina e Investigación Clínica de la Universidad de Maastricht.  
Después realizamos una actividad en la que respondimos a preguntas MCQ utilizando nuestros smartphones. Después respondistéis en equipo a una serie de preguntas sobre las metodologías de fomento del estudio previo y realizamos una competición entre los equipos al estilo del Team based learning. Discutimos la justificación de las respuestas a las preguntas. De esta manera experimentasteis la metodología TBL desde el punto de vista del alumno.

Finalizamos el curso con una presentación sobre cómo construir preguntas MCQ de más calidad con contexto que permitan evaluar comprensión y capacidad de transferencia y también a la elaboración de pruebas de evaluación acreditativa de mayor calidad. Tal vez si aprendemos a hacer mejores pruebas de evaluación podamos evitar lo que ocurre en la actualidad, que los alumnos en lugar de estudiar temarios estudian exámenes de otros años.
Algo que puede observarse en la siguiente entrada Mafia en los exámenes de Medicina del blog el Linternista