24.4: Obteniendo diferentes reacciones a lo largo del curso

Puedes realizar retroalimentación formativa por varias razones: para verificar cómo van las cosas en un momento determinado; para evaluar la efectividad de una tarea o recurso específico; o para medir las actitudes de los estudiantes. La frecuencia con la que los instructores obtienen retroalimentación puede variar desde una vez por sesión hasta una vez a mitad del trimestre. Los métodos directos para recopilar comentarios formativos incluyen, pero no se limitan a, los siguientes:

Revisión por pares y autoevaluación

Por importante que pueda ser la participación de los estudiantes, las evaluaciones de los estudiantes por sí mismas no son suficientes. Solicite una revisión por pares de recursos específicos, actividades o estrategias de evaluación, la estructura de su curso, sus estrategias de comunicación o cualquier otra cosa sobre la que pueda tener inquietudes. Si no puede encontrar a nadie en su escuela, departamento o universidad que también esté enseñando en línea, puede pedirle a los administradores de la escuela o distrito, a los miembros del personal de tecnología académica o al personal del centro de desarrollo de la facultad que identifiquen a posibles mentores pares para este tipo de comentarios. En algunos casos, los propios miembros del personal también pueden ayudarte.

Otra estrategia es crear puntos de referencia para ti mismo y tomarte tiempo cada semana para ver cómo te va. Por ejemplo, si estableces un objetivo para responder a un cierto número de hilos de discusión en un foro en particular, realiza un seguimiento de cuántas respuestas envías y realiza ajustes. Si desea devolver todas las tareas escritas de los estudiantes en una cierta cantidad de tiempo, tenga en cuenta cuántas pudo completar dentro de su plazo autoimpuesto. Esto te ayudará a crear expectativas más realistas para ti mismo para futuras tareas.

Caja de sugerencias en línea

Los buzones de sugerencias en línea son actividades no estructuradas que capturan comentarios voluntarios a intervalos irregulares durante todo un período. Puedes usar el correo electrónico o un foro de discusión roscado para esta actividad. Si usas un foro de discusión, comunícate a los estudiantes si sus contribuciones serán calificadas o no calificadas. En algunas soluciones de Learning Management System (LMS), puede permitir comentarios anónimos. Dígale a los alumnos que permitirá comentarios anónimos siempre y cuando sigan siendo constructivos. Se podría hacer una porción de una calificación de participación para ingresar un cierto número de sugerencias a lo largo del término. Para enfocar sus comentarios, dé una lista de elementos sobre los que desea retroalimentación, como la cantidad de respeto que se muestra a los estudiantes y sus ideas, variedad de vías para alcanzar los objetivos de aprendizaje, cantidad de comentarios proporcionados, relevancia de los cursos para el mundo, prácticas de comunicación o voluntad de hacer cambios basado en los comentarios de los estudiantes. Si se trata de un curso híbrido o presencial, traiga de vuelta las sugerencias al aula y anunciarlas frente a la clase, para que los alumnos sepan que sus ideas han sido escuchadas y están siendo abordadas.

Hilos de un minuto

Normalmente utilizado como técnica de evaluación en el aula (CAT), los trabajos de un minuto piden a los estudiantes que escriban tres cosas en un minuto:

• lo que sentían que era claro, útil o más significativo de la lectura de un curso, una conferencia o una reunión en el aula;
• lo que sentían que era “embarrado”, poco claro o menos significativo de una lectura del curso, conferencia o reunión en el aula; y
• cualquier comentario adicional.

Con solo un minuto para escribir estas tres cosas, los estudiantes brindan respuestas cortas y concentradas en lugar de pasajes largos. Esto hace que sea más fácil ver qué funciona y qué no. Por ejemplo, un estudiante de biología podría escribir “clara, estructura celular básica”, “no clara, 4 fases de mitosis/división celular” y “comentar, por favor, mostrar más animaciones e imágenes... ayudan”. Este proceso puede ser anónimo o no, dependiendo de cómo planees usar los resultados. Angelo y Cross (1993) explican el concepto del trabajo de un minuto en su libro sobre CATs, mientras que Chizmar & Ostrosky (1998) cubren sus beneficios en detalle.

En el aula, el instructor recoge todos los trabajos y busca patrones, o áreas que son claras o poco claras para varios estudiantes. Con esta información, pueden abordar áreas problemáticas al inicio de la siguiente reunión de clase antes de pasar a nuevo material. Para responder a comentarios menos comunes, el instructor puede optar por publicar recursos adicionales, como artículos de revistas o enlaces a sitios web que cubran un área problemática con mayor profundidad o desde otra perspectiva. En lugar de cubrir los problemas menos comunes en clase, el instructor tiene la opción de proporcionar más materiales relacionados con áreas específicas, y estar abierto a preguntas adicionales.

Empecé a pedir a los estudiantes que realizaran el ejercicio de papel de un minuto en un foro de discusión en línea cuando varios estudiantes internacionales pidieron más tiempo para pensar en lo que no entendían. Escribir sus pensamientos justo al final de la reunión de clase no les dio la oportunidad de digerir lo que habíamos hecho. Querían repasar sus notas de la clase presencial, traducir cualquier término e ideas desconocidas, y a veces incluso discutir los conceptos en un grupo pequeño. Al entrar en línea, podrían tener más tiempo para procesar sus pensamientos y aún así darme retroalimentación antes de la próxima reunión de clase.

Esta nueva práctica resultó beneficiar a todos. (Consulte la sección de Diseño Universal para el Aprendizaje en el Capítulo 11, Accesibilidad y Diseño Universal.) En lugar de esperar hasta el próximo período de clase para responder a las necesidades de los estudiantes, podría usar el foro de discusión para responder a la pregunta de cada estudiante con bastante rapidez. Después de sólo dos semanas, sucedió algo increíble. Sin incitar, los estudiantes comenzaron a responder las preguntas del otro antes de que yo tuviera la oportunidad de responder. Se había formado una comunidad en línea alrededor de una técnica de evaluación en el aula que tradicionalmente no es un proceso tan abierto, siendo facilitada solo por el instructor. Para notar la diferencia, he empezado a llamar a este ejercicio “hilos de un minuto”, animando a los estudiantes a ayudarse unos a otros desde el principio.

Nota

Al crear los ajustes para un foro de discusión de “hilos de un minuto”, no permita que los estudiantes publiquen sus propios hilos originales o temas de discusión. De lo contrario, los hilos serán difíciles de clasificar, ya que es posible que no tengan líneas de asunto claras, y se agregarán en un orden bastante aleatorio. En cambio, pídales que respondan a tres preguntas específicas (el punto más claro, el punto más turbio y los comentarios adicionales). Esto organiza las respuestas para ti. Si su LMS u otro motor de foro de discusión no lo permite, escriba instrucciones claras para dar las respuestas específicas que está tratando de obtener.

La figura\(\PageIndex{1}\) muestra un foro de discusión de ejemplo, demostrando cómo exigir a los estudiantes que respondan a los hilos del instructor organizará la información por ti. Para el punto más turbio, se puede ver que el instructor ha respondido a cada alumno de manera individual. En “Comentarios adicionales”, se puede ver que algunos alumnos se han respondido entre sí.

Figura\(\PageIndex{1}\): Ejemplo de foro de discusión

Poling

Existen varias herramientas de sondeo en línea que le permiten obtener pequeñas cantidades de comentarios en poco tiempo. Algunas de estas herramientas de sondeo están integradas en las soluciones LMS, como el módulo Moodle's Choice, que permite a los instructores hacer preguntas individuales relacionadas con el material, la lectura de un curso o la práctica instruccional.

Grupo de enfoque

Pídale a un pequeño grupo de estudiantes que se unan a usted una vez al mes, ya sea físicamente (p. ej., horas de oficina) o virtualmente (por ejemplo, chat, foro de discusión). Estos podrían ser los mismos estudiantes durante todo el trimestre o un nuevo grupo de estudiantes cada vez. Durante tu reunión, hazles preguntas específicas para determinar información sobre objetivos de aprendizaje, recursos y cómo se organizan, actividades en línea, estrategias de evaluación, cantidad de comentarios u otros aspectos de tu enseñanza que quieras mejorar.

Nota

Es más probable que los estudiantes respondan honestamente si sus comentarios son anónimos. En este caso, podrías asignar a alguien del grupo pequeño para hacer las preguntas, otro para hacer un seguimiento del tiempo, y una tercera persona para que tome notas que publique como grupo o envíe por correo electrónico. La mayoría de las herramientas de chat LMS no permiten que los estudiantes bloqueen al instructor para que no vea el archivo, por lo que es posible que tenga que deshabilitar el archivo para ese chat, si es posible. El tomador de notas puede copiar y pegar todo el chat en un documento de procesamiento de textos para resumir, editar y eliminar los nombres de los estudiantes. Otras opciones incluyen decirle a los estudiantes que utilicen un servicio gratuito de Mensajería Instantánea (IM) para realizar la sesión de chat fuera del entorno en línea para el curso.

Encuesta de evaluación de mitad de semestre

Si prefiere un enfoque a mayor escala que un grupo focal, pruebe una encuesta de mitad de semestre. He utilizado diferentes herramientas, dos de las cuales permitieron respuestas anónimas de los estudiantes, pero hay varias más. Las que he usado se llaman Herramienta de resumen de evaluación gratuita (FAST— http://www.getfast.ca) y herramientas de encuestas dentro de las soluciones LMS, como el Survey Manager de Blackboard, el módulo Quiz y Survey de WebCT y el módulo Survey o el módulo Cuestionario de Moodle.

Si bien no es perfecto, me gusta FAST por varias razones:

• Es gratis.
• Cualquiera puede usarlo para crear encuestas. No requiere que tu campus cuente con un LMS.
• Las respuestas de los estudiantes son anónimas. Además la encuesta se realiza en un entorno protegido por contraseña, por lo que puedes estar razonablemente seguro de que nadie que no esté inscrito en tu curso está criticando tu trabajo.
• Proporciona una base de datos de preguntas con más de 350 preguntas de encuesta relacionadas con diferentes aspectos de la efectividad docente. Estas preguntas están organizadas en 34 categorías como Asignaciones, Entusiasmo, Comentarios, Conocimiento del Contenido del Instructor, Entorno de Aprendizaje e Interacción Estudiante/Estudiante. Puedes elegir preguntas de la base de datos, o hacer tus propias preguntas, o ambas.
• Los instructores pueden descargar los resultados como un archivo de Microsoft Excel.

La figura\(\PageIndex{2}\) contiene cinco ítems de la encuesta anónima de veinte preguntas que realizo cada semestre usando FAST. El primer conjunto de diez preguntas se relaciona con las expectativas de los estudiantes que definen durante la primera semana del trimestre. El segundo conjunto de diez preguntas se relaciona con diferentes elementos de efectividad docente que quiero mejorar. Dieciséis de veintiún estudiantes de posgrado respondieron.

Para mi encuesta, elijo la opción “Likert Scale & Long Answer” para cada pregunta. De esa manera puedo obtener datos cuantitativos, números que rápidamente me dicen lo que les gusta o no les gusta a los estudiantes, y datos cualitativos, comentarios escritos que, espero, me digan cómo mejorar diferentes partes de mi clase. Aquí hay algunas respuestas de ejemplo para la Pregunta 5, “En este curso, estoy adquiriendo habilidades prácticas”:

• “Estoy de acuerdo en que me estoy poniendo manos a la obra, o que teóricamente lo estoy. Creo que tener un cliente en el área inmediata o disponible para hablar con los estudiantes de manera continua sería mejor que permitir que un cliente se comunique únicamente por correo electrónico y a su discreción. Un contrato redactado por las dos partes sería deseable a la hora de avanzar”.
• “Kevin trae grandes ejemplos. Siento que un día de conferencia sobre comenzar y terminar una evaluación de necesidades puede ser útil para anclar un poco el aprendizaje. Realmente estoy trabajando con clientes”.
• “Sí, en el sentido de que estoy trabajando en todos los pasos con mis compañeros de grupo, pero me pregunto cómo me iría fuera del contexto de esta clase...”.

Rúbrica de Efectividad Docente en Línea

Si te tomas el tiempo para crear una rúbrica con tus alumnos al inicio del semestre, ¡entonces tienes que usarla algún tiempo! Esto también podría ser un evento de mitad de semestre (en lugar de una encuesta), o podrías pedir a diferentes equipos que completen la rúbrica en diferentes momentos. De esta manera, cada alumno solo podría completarlo una vez, pero obtendrás retroalimentación una vez al mes o incluso con más frecuencia. Posteriormente hablaré sobre abordar los comentarios de los alumnos, tanto de manera individual como en toda la clase. Si eliges usar una rúbrica, asegúrate de dejar tiempo para explicar el concepto a los alumnos. Repasar los resultados llevará más tiempo que una encuesta en línea, pero los datos cualitativos proporcionan mucho más valor que los resultados de la encuesta por sí solos.

La figura\(\PageIndex{3}\) contiene algunos criterios de ejemplo a partir de una rúbrica que mis alumnos y yo creamos juntos. Observe cómo el rango para evaluar cada criterio puede ser de naturaleza cualitativa o cuantitativa. Además, es importante brindar espacio para comentarios escritos para que los estudiantes puedan sugerir formas de mejorar.

No siempre hay que preguntar: “¿Cómo estoy?” evaluar la efectividad de la enseñanza en línea. También puedes usar métodos indirectos para recopilar comentarios formativos. Estos métodos indirectos incluyen, pero no se limitan a, los siguientes.

Resumen de una frase

El resumen de una oración es otra técnica de evaluación en el aula que adapto al entorno en línea. Diseñado para provocar un pensamiento de nivel superior, un resumen de una oración demuestra si los estudiantes son capaces o no de sintetizar un proceso o concepto. Los alumnos responden siete preguntas por separado: “¿Quién? ¿Qué hace? ¿A quién (o qué)? ¿Cuándo? ¿Dónde? ¿Cómo? y ¿por qué?” Entonces juntaron esas respuestas en una sola oración. Angelo y Cross (1993) también describen este ejercicio en su libro sobre técnicas de evaluación en el aula. Los ejemplos que he visto incluyen asignar a estudiantes de enfermería que escriban un resumen de una oración del caso de un paciente simulado, ya que a menudo se requiere que las enfermeras den una sinopsis rápida sobre cada paciente, y pedirle a los estudiantes de ingeniería que escriban un resumen sobre la dinámica de fluidos en una situación determinada.

Es bastante fácil usar esta técnica en línea. Puede configurar un foro de discusión para recopilar las entradas de los estudiantes. El entorno en línea también hace que sea bastante fácil involucrar a los estudiantes en un proceso de revisión por pares y proporcionar retroalimentación oportuna.

Al mirar los resultados de los resúmenes de los estudiantes, se pueden identificar áreas donde un gran número de estudiantes no demostró una comprensión del tema o concepto. El área problemática más común para los estudiantes gira en torno a la pregunta “¿Por qué?” La respuesta del instructor da sugerencias de mejora y muestra al alumno cómo el instructor interpretó los componentes de la oración.

Preguntas de prueba generadas por estudiantes

Pida a los alumnos que creen de tres a cinco preguntas de prueba cada una. Diles que usarás cierto número de esas preguntas en la prueba real. Al hacer esto, obtienes el beneficio de ver el contenido del curso que los estudiantes piensan que es importante en comparación con el contenido en el que crees que deberían enfocarse. Puedes hacer revisiones a tus presentaciones para abordar áreas que los alumnos no cubrieron en sus preguntas. Si hay suficientes buenas preguntas de los estudiantes también puedes usar algunas para ejercicios de revisión de exámenes.

Figura\(\PageIndex{2}\): Resultados de encuestas de ejemplo

Figura\(\PageIndex{3}\): Ejemplo de criterios de rúbrica con rangos de evaluación

Figura\(\PageIndex{4}\): Ejemplo de resumen de una oración del alumno con respuesta del instructor

Evaluar los resultados de pruebas o cuestionarios en línea

Si usa un sistema de gestión del aprendizaje (LMS), un entorno de libro de trabajo en línea que viene con materiales para editores u otro espacio en línea que permita cuestionarios o pruebas en línea, entonces puede usar los resultados para identificar áreas problemáticas. Las soluciones LMS como Moodle y ANGEL proporcionan herramientas para realizar un análisis ítem por ítem para evaluar varios factores relacionados con preguntas individuales. Estos factores incluyen facilidad de ítem, un indicador de la dificultad de la pregunta para los estudiantes; desviación estándar de las respuestas de los estudiantes en cada pregunta; y discriminación de ítem, un indicador de la diferencia entre el desempeño de los estudiantes de alto puntaje y los estudiantes de baja calificación.

Incluso si solo puedes obtener estadísticas simples, como cómo la clase respondió a cada pregunta en general (por ejemplo, 10 por ciento eligió “A”, 25 por ciento eligió “B”, 65 por ciento eligió “C”), puede usar esta información para hacer ajustes. Una forma de hacerlo es pedirle a sus alumnos que tomen una prueba previa o una prueba de línea de base al comienzo del curso, y luego comparar esos resultados con los resultados reales del cuestionario. En situaciones de cursos presenciales o híbridos, puede utilizar los resultados del cuestionario para abordar problemas a través de revisiones de cuestionarios o cambios en su conferencia. La Dra. Karen Grove de la Universidad Estatal de San Francisco discute cómo usar los resultados de los cuestionarios para abordar las brechas de aprendizaje a través de un módulo de preparación estudiantil en la Orientación a la Enseñanza Universitaria (http://oct.sfsu.edu/implementation/s...rep/index.html). Si un gran número de alumnos recibe una pregunta equivocada, el instructor puede cubrir ese tema de manera más completa. El instructor también puede disipar conceptos erróneos después de ver cuántos estudiantes eligen una respuesta incorrecta en particular. El instructor puede ver cuántas personas seleccionan cada respuesta. Para preguntas de ensayo, proporciona una lista completa de todos los ensayos.