9: Cuestiones de evaluación y calificación

Calificación en Cursos en Línea

La calificación y evaluación en el aprendizaje es una materia compleja que puede (y a menudo lo hace) llenar un libro completo solo. También es un área que todos los instructores con alguna experiencia en la enseñanza conocen bien. La calificación puede abarcar toda la gama, desde preguntas informales descartadas espontáneamente en clase para medir la comprensión, hasta pruebas de alta estaca supervisadas y ampliamente controladas.

Para agregar a esta complejidad, cada sistema LMS y CMS tiene formas ligeramente o mayormente diferentes de crear y administrar evaluaciones. Sus opciones pueden estar limitadas a algunas herramientas o ser abrumadoramente complejas en opciones. Está fuera del alcance de este manual cubrir cada opción de cada herramienta, ya que hay demasiadas para cubrir de manera realista, y cambiarán inmediatamente después de que se complete cualquier lista. En cambio, cubriremos algunas cuestiones relativas a la evaluación y calificación en general, dando algunas ideas para mejorar las formas de abordar el concepto de evaluación. Es posible que estés enseñando como parte de un programa o empresa que haya requerido pruebas o certificaciones que están fuera de tu alcance para controlar. Por lo tanto, este será un breve examen de aquellos escenarios que puedas controlar.

Tenga en cuenta que la calificación y evaluación en línea es muy diferente de calificar y evaluar en aulas presenciales. En las aulas cara a cara, hay mucho que puedes hacer para saber si tus alumnos están aprendiendo sin dar una tarea formal o prueba. La inmediatez de estar en la misma sala con tus alumnos te permite medir pistas no verbales, además de permitir que los alumnos hagan preguntas en el momento. Pero al enseñar en línea, necesitará encontrar alguna manera de determinar lo que realmente aprendieron sus alumnos. Estos a menudo se conocen como “rastros” o “artefactos”. Las limitaciones y posibilidades de la plataforma que utilice afectarán el aspecto de estos rastros o artefactos. Por ejemplo, los alumnos que están en línea tendrán acceso a toda la Internet mientras aprenden, lo que hace que las pruebas estandarizadas de alto riesgo sean problemáticas. Los alumnos pueden simplemente buscar respuestas en la web (y las herramientas de supervisión que prometen seguridad suelen ser fáciles de sortear). Por lo tanto, es posible que desee considerar alejarse de las pruebas de opción múltiple y considerar otras formas más auténticas de evaluar lo aprendido.

Otro aspecto a tener en cuenta a la hora de calificar es el contexto de tu propio curso. Por ejemplo, los MOOC se evaluarán de manera diferente a los cursos cerrados en línea más pequeños. Realmente no habría forma de que un instructor califique cientos o miles de trabajos en un MOOC, así que si estás enseñando un MOOC tendrías que pensar en otras formas de evaluar el aprendizaje. ¿Quizás los cuestionarios de opción múltiple pueden ser más una “autoverificación” que una calificación? ¿Pueden aquellos estudiantes que quieran hacer proyectos utilizar la revisión por pares si les das una rúbrica para guiarlos? Consulte la sección posterior sobre “Problemas de prueba específicos para MOOCs” para obtener más información sobre este tema.

También tenga en cuenta que podría haber otras diferencias en la forma en que crea tareas graduadas, como la diferencia entre los cursos de pregrado y posgrado, o la diferencia entre capacitar a nuevos empleados versus volver a capacitar a empleados existentes que necesitan mejoras de habilidades. En general, cuanta más experiencia aporten tus alumnos a tu curso (como en cursos de posgrado, seminarios de educación continua, programas de readaptación laboral, etc), más querrás construir sobre esos conocimientos y habilidades existentes con proyectos más auténticos que transmitir nueva información que necesita para ser memorizado.

Anteriormente en este libro, discutimos la decisión de calificar o no calificar. Gran parte de este capítulo se centrará en aquellos cursos que han decidido calificar. Sin embargo, incluso en los cursos en los que la calificación es más una conversación, o los estudiantes se califican a sí mismos, los conceptos aquí tratados aún pueden guiar la creación de evaluaciones en esos escenarios. Además, incluso cuando tienes a tus alumnos creando sus propias tareas, esta sección puede ayudarte a darte consejos sobre cómo guiar a tus alumnos en ese proceso.

Enmarcar a los alumnos

El primer paso en la evaluación efectiva es echar un buen vistazo a cómo estás enmarcando a tus alumnos. ¿La forma en que diseñas tus pruebas los enmarca positivamente como co-aprendices o aprendices contigo, o negativamente como posibles tramposos? ¿Estás diseñando evaluaciones que realmente ayudan con el proceso de aprendizaje, o que sirven como un “problema”! por eliminar a los estudiantes “más débiles” o a los que “no hacen el trabajo”? Sugerimos tomar una mirada más positiva a sus alumnos y su proceso de aprendizaje, y diseñar su estrategia de evaluación desde ese punto de vista.

Por supuesto, hay alumnos que van a hacer trampa. Esto sucede en los cursos presenciales, por lo que desde luego sucederá en los cursos en línea. Deberá asumir que los alumnos pueden buscar en Google muchas cosas mientras toman evaluaciones. Son muchas las empresas que venden dispositivos o sistemas de monitoreo destinados a reducir las trampas. Ten en cuenta que estos no son perfectos — la mayoría de los estudiantes saben cómo engañarlos. Simplemente haz una búsqueda en línea si no me crees: tan pronto como alguna compañía lance una nueva solución de vigilancia, pronto hay videos en línea cómo engañar a ese nuevo sistema. Algunas reflexiones adicionales sobre las herramientas de vigilancia y el encuadre de los estudiantes:

• “Avergonzar y enmarcar: imaginando a los estudiantes en una conferencia de educación” por Chris Gilliard

Algo a tener en cuenta es que los alumnos que hacen trampa lo hacen porque se les ha dado una evaluación que es tramposa. De muchas maneras, están tratando la prueba como un juego a batir. Este es el problema con las pruebas estandarizadas basadas en la memorización de memoria: las respuestas son las mismas para todos —y normalmente ya en Wikipedia o en algún otro sitio web en alguna parte—, así que ¿por qué necesito memorizarlas en primer lugar? Esa es una buena pregunta para filtrar todas las actividades de nuestro curso a fondo: ¿los estudiantes están aprendiendo una habilidad y luego solo están siendo probados en factoides sobre esa habilidad? ¿Es realmente una buena manera de ayudarlos a aprender?

Tipos de Evaluación

Como se mencionó anteriormente, existe una larga y siempre cambiante lista de herramientas y opciones de evaluación. Probablemente ya estés familiarizado con muchos de ellos. Si bien no es una lista exhaustiva, estos son algunos de los tipos de evaluaciones más comunes que verá utilizados en los cursos:

• Encuestas informales: Usualmente utilizadas para medir la comprensión en temas recientes, o interés en temas futuros. Estas pueden ser herramientas específicas utilizadas para agregar respuestas, o preguntas de opción múltiple utilizadas para recopilar diferencias más matizadas.
• Pruebas estandarizadas: Estas son las evaluaciones más comunes, utilizando tipos de problemas como opción múltiple, verdadero/falso, coincidencia y otras formas de formatos de preguntas estandarizados. Las respuestas suelen ser las mismas o similares para todos los alumnos, y tienden a enfocarse en la memorización de datos de memoria o la aplicación de ideas a escenarios.
• Respuestas por escrito: Esto puede tomar muchas formas, desde preguntas abiertas en pruebas estandarizadas, hasta exámenes integrales, hasta trabajos de término. Es posible que se requiera que los alumnos recuerden una gran cantidad de información específica, o que tomen lo que saben y la apliquen a escenarios basados en problemas.
• Presentación oral: Los alumnos necesitan preparar un discurso u otra presentación para el instructor y/u otros alumnos, o bien responder una serie de preguntas correctamente.
• Prueba de Habilidades /Demostración: Cuando los cursos se centran más en las habilidades que en la información, a menudo los instructores crearán algún tipo de demostración práctica de las habilidades adquiridas.
• Actividades: Cualquier actividad del curso puede evaluarse potencialmente de diferentes maneras, desde foros de discusión hasta entradas de blog, creación de artefactos creativos (video, gráficos, grabaciones de sonido, etc.) o cualquier otro trabajo que los alumnos produzcan.
• Proyectos grupales: Los proyectos grupales son a veces actividades de clase, y en otras ocasiones son evaluaciones. Estos proyectos suelen involucrar a equipos que trabajan juntos durante un largo período de tiempo para crear un artefacto o presentación compleja.
• Portafolios/Proyectos Acumulativos/Capstone: Estos suelen ser una colección de muchas tareas reunidas a lo largo de la totalidad del curso (o múltiples cursos). Estos suelen ser evaluados no sólo en el contenido general, sino también en la forma en que se presentan o ensamblan.

Sugerencias para prácticas de evaluación

Debido a la gran cantidad de opciones de evaluación, se necesitarían varios libros para cubrirlos todos. Lo que sugerimos es determinar qué plan de evaluación funcionaría mejor para tu curso, y luego buscar prácticas efectivas y consejos sobre esas opciones y herramientas específicas. Hay algunas ideas que le sugerimos que tenga en cuenta antes de tomar decisiones:

• Involucrar lo más posible a los alumnos en el proceso de evaluación de sus propios conocimientos o habilidades. Cuanto más puedan apropiarse de su proceso de aprendizaje, más aprenderán. No solo mires cómo involucrarlos en la evaluación real, sino en el diseño de lo que se prueba o cómo se evalúa el aprendizaje en general.
• No veas las pruebas como una forma de atrapar a los malos estudiantes o castigar a los aprendices perezosos. Muchas pruebas estandarizadas entran dentro de esta categoría. Las pruebas estandarizadas pueden funcionar como una forma de ayudar a los alumnos a saber qué deben quitar de una sección de contenido. Pero eso funcionará mejor si les das intentos ilimitados de tomar el examen como autochequeo.
• Construya formas para que los alumnos te den retroalimentación sobre cualquier forma de evaluación, incluso pruebas requeridas sobre las que no tienes control.
• Considera dar a los alumnos la opción de determinar cómo pueden comunicarte mejor lo que han aprendido. Quizá te sorprenda su creatividad. Esto requiere cierta flexibilidad, pero también se vuelve más difícil para los alumnos hacer trampa si cada persona está creando un artefacto personalizado.
• Mira la evaluación como una conversación a lo largo del tiempo, no como un evento único. ¿Pueden entregarte un borrador de su papel o portafolio o proyecto para que te haga comentarios? Si se retrasan, ¿hay caminos para que se pongan al día?
• Haz que tu trabajo esté más enfocado. Algunos cursos tienen tantos foros de discusión y pruebas y ponencias y así sucesivamente para calificar, que los instructores pasan todo su tiempo calificando. Algunas rúbricas de calificación se vuelven tan complejas que lleva una eternidad leerlas, entenderlas, completarlas y explicarlas. Concentre su atención en qué partes realmente necesitan ser evaluadas y luego concéntrese en lo que realmente necesita saber para evaluar completamente. Tanta valoración puede caer en la categoría de “trabajo ocupado”. Esto solo te carga a ti y al aprendiz.
• Cuando sea posible, concéntrese en demostraciones de habilidades, carteras y otras formas de evaluación más integrales. Hacer que los alumnos apliquen lo que han aprendido, no solo regurgitar factoides.

Rúbricas estandarizadas y abiertas

Las rúbricas son una herramienta popular para usar en la calificación de tareas en línea. Algunos piensan que son una excelente manera de estandarizar el proceso de calificación, mientras que otros piensan que son una forma de sofocar el pensamiento individual en los alumnos. Esta diferencia de opinión probablemente se debe al hecho de que algunos cursos pueden necesitar un enfoque más estandarizado, mientras que otros pueden necesitar un enfoque más abierto. Las rúbricas estandarizadas pueden ser vistas como un enfoque más justo de la calificación por parte de algunos alumnos que les da una hoja de ruta específica para cada parte de una tarea. Por otro lado, las rúbricas más abiertas pueden ahorrar tiempo y dolores de cabeza, al tiempo que permiten que tus alumnos tengan cierta libertad y flexibilidad en su aprendizaje.

La forma más común de diseñar rúbricas estandarizadas es tener amplios detalles en cada línea de la rúbrica explicando para qué cuenta cada punto, con varias filas de criterios que cubren cada aspecto de cada tarea:

Introducción/Tema

10 puntos: El estudiante genera adecuadamente preguntas en torno a un tema y las introduce de manera completa.

5 puntos: Estudiante genera preguntas y tiene una introducción parcial.

2 puntos: Al estudiante le faltan preguntas de introducción o de actualidad.

0 puntos: El estudiante no tiene dudas ni preguntas de actualidad.

Este método crea una hoja de ruta estricta que ayuda a muchos alumnos. Sin embargo, rara vez permite a los alumnos luchar con lo que quieren hacer para una tarea. Además, hay muchas brechas en las que los alumnos podrían caer entre los valores puntuales o las descripciones. Es posible que estos temas no se apliquen a todas las tareas, por lo que puede encontrar que una rúbrica estandarizada funciona mejor para el diseño de su curso. Solo tenga en cuenta que estos pueden llevar más tiempo crearlos y utilizarlos desde el punto de vista del instructor.

Otra forma de abordar los problemas de calificación es adoptar un enfoque más flexible y abierto para crear rúbricas. Por ejemplo, trate de tener menos filas que se centren más en que los alumnos muestren sus conocimientos que enfocarse en varios detalles de tareas como el recuento de palabras o los formatos de asignación. Simplemente dé el área general que se calificará, los parámetros que buscará y un número total de puntos posibles. Después deja un espacio abierto para que ingreses los puntos que ganan en esa zona y un lugar para que te expliques por qué diste esos puntos. Por ejemplo:

Conocimiento de la asignatura

El conocimiento de la materia es evidente a lo largo del proyecto. Toda la información es clara, apropiada y correcta.

20

(comentario)

(puntos ganados)

Este formato puede ayudarte a considerar la calificación como más una conversación que un decreto final, especialmente si permites que los alumnos entreguen versiones tempranas de tareas para obtener comentarios formativos. Sin embargo, tenga en cuenta que los alumnos pueden no estar acostumbrados a este enfoque más abierto, por lo que puede causar ansiedad si no los andamios en este enfoque menos estructurado.

Problemas de prueba específicos para MOOCs

Las pruebas en un entorno MOOC ofrecen muchos desafíos únicos. La gran cantidad de estudiantes significa que calificar las tareas individuales es casi imposible para la mayoría de los instructores. Algunas plataformas MOOC proporcionarán una serie de opciones de autocalificación que pueden ayudar en estas situaciones. Además, puede crear rúbricas autorevisadas y revisadas por pares si ese método se ajusta a su diseño. También hay desarrollos en el área de trabajos autocalificados que analizarán cómo califica 100 trabajos, para luego aplicar esa lógica al resto de los trabajos. Sin embargo, esta característica aún se encuentra en fase de prueba.

El concepto principal a tener en cuenta es que los MOOCs son abiertos, y todos los participantes tendrán acceso a toda la Internet al momento de realizar las pruebas. Esto significa que no quieres diseñar tus pruebas como un gran “problema” para atrapar a alumnos que no memorizaron el contenido. Querrás diseñar las pruebas como un medio para ver si los alumnos pueden encontrar la respuesta correcta utilizando los recursos que puedan, y luego indicar la respuesta correcta en una prueba. O bien, tal vez desee diseñar tareas revisadas por pares que no se basen tanto en respuestas correctas como en evaluar qué tan bien se ha aplicado el contenido. Por último, también se pueden crear rúbricas de autorevisión que permitan a los participantes reflexionar sobre su propio aprendizaje de una manera más profunda.

La idea principal a tener en cuenta es que la cultura MOOC no requiere que un instructor califique miles de pruebas, ponencias y publicaciones en el foro cada semana. Eso sería impensable. Así que diseña tus cursos en consecuencia.

Certificación e insignias

Muchos proveedores de MOOC ofrecerán certificados y/o insignias a los participantes que completen sus cursos. Los certificados e insignias también pueden formar parte de los cursos regulares en línea. Por lo general, estas formas de recompensa son opcionales, lo que significa que los alumnos aún pueden participar en un curso aunque no quieran buscar una insignia o certificado. No obstante, en muchos casos, credencial o certificados forman parte del requisito oficial para completar el curso.

Cuando las insignias o certificados son opcionales, ten en cuenta que algunos participantes querrán los certificados, y algunos solo querrán aprender el contenido por razones personales. Por lo tanto, es posible que desee tener un cierto conjunto de actividades para todos los participantes, y luego un conjunto especial de actividades y/o evaluaciones para aquellos participantes que buscan certificación.

En teoría, cualquier persona puede utilizar cualquier herramienta para hacer un distintivo o certificado y enviarlo a quienes los ganen. Sin embargo, esto podría llevar rápidamente a los alumnos a compartir estas imágenes con otras personas que no han completado el trabajo. Por lo tanto, se recomienda utilizar un sistema que las credenciales aseguren insignias y/o certificados de alguna manera. Por lo general, estos son espacios centralizados que le permiten crear la credencial y luego servir como guardián para entregarlos. Los alumnos a menudo tienen que crear una cuenta en el servicio para mostrar sus insignias o certificados obtenidos. Si está interesado, aquí hay algunos recursos de acreditación:

• Credly: servicio gratuito para hasta 500 insignias.
• OpenBadges: sistema de acreditación abierta ampliamente aceptado.
• Emisión de OpenBadges.
• Badgr: sistema de acreditación gratuito y de código abierto.