4.4: Mejora Continua De Materiales Instructivos

Mejora Continua de Materiales Instructivos

David Wiley, Ross Strader y Robert Corporal

De vez en cuando las nuevas tecnologías nos proporcionan una capacidad cualitativamente diferente para dedicarnos a actividades previamente posibles. Por ejemplo, hace 20 años ya era posible publicar un ensayo en línea. Simplemente usó el programa de línea de comandos Telnet para iniciar sesión en un servidor remoto, navegó al directorio desde el cual su servidor web puso a disposición del público los archivos html, lanzó el pico editor desde la línea de comandos, escribió su ensayo y agregó manualmente todas las etiquetas html necesarias. Hoy en día, el software de blogs de código abierto como Wordpress hace que publicar un ensayo en línea sea tan fácil como usar un procesador de textos. Sí, antes era posible publicar ensayos en línea, pero la experiencia moderna es cualitativamente diferente.

“Evaluar” es el paso final en el metamodelo tradicional ADDIE de diseño instruccional, y siempre ha sido posible, si, a veces, costoso y difícil, evaluar la efectividad de los materiales instructivos. La tecnología moderna ha hecho del proceso de medición de la efectividad de los materiales didácticos una experiencia cualitativamente diferente. La recopilación de datos en el contexto en línea es órdenes de magnitud menos costosa que la recopilación de datos en las aulas, y las herramientas de análisis de código abierto han simplificado enormemente el proceso de análisis de estos datos.

Históricamente, cualquier mejora necesaria descubierta durante el proceso de evaluación tardaría una cantidad significativa de tiempo en llegar a los alumnos, ya que solo se podía acceder a ellos una vez que se imprimieran nuevas ediciones de un libro o se presionaran nuevos DVD. Nuevamente, la tecnología moderna hace que la entrega de mejoras sea un ejercicio cualitativamente diferente. Cuando los materiales de instrucción se entregan en línea, los diseñadores de instrucción pueden participar en prácticas de entrega continuas, donde las mejoras se ponen a disposición de los alumnos de inmediato, tantas veces como varias veces al día.

El enfoque moderno de la mejora continua diseñado para su uso en el contexto de los servicios en línea descritos por Ries (2011), denominado “ciclo construir - medir - aprender”, se ilustra en la Figura 1.

Figura 4.4.1: El Ciclo Construir - Medir - Aprender

En este capítulo adaptamos el ciclo de construcción - medida - aprendizaje para su uso por diseñadores instruccionales que quieran dedicarse a la mejora continua. Debido a que nuestro enfoque está en la mejora de los materiales didácticos, nuestra discusión a continuación no incluye una discusión sobre la creación de la primera versión de los materiales. (La primera versión de los materiales podrían ser recursos educativos abiertos creados por otra persona o una primera versión que hayas creado anteriormente).

El capítulo procederá de la siguiente manera:

• Marco conceptual: Argumentamos que todos los materiales instructivos son hipótesis, o nuestras mejores conjeturas, informadas por la investigación, sobre qué enfoque de diseño instruccional apoyará el aprendizaje de los estudiantes en un contexto específico. Pensar de esta manera naturalmente nos llevará a recopilar y analizar datos para probar la efectividad de nuestros materiales de instrucción.
• Construir: Describimos las implicaciones del diseño para la recolección de datos, junto con la instrumentación y utillaje que se deben construir para recolectar los datos necesarios para la mejora continua.
• Medida: Describimos el proceso de análisis de datos con el fin de identificar porciones de los materiales instructivos que no están apoyando efectivamente el aprendizaje de los estudiantes.
• Aprende: Discutimos métodos a usar al revisar porciones menos efectivas de los materiales de instrucción y decidir qué mejoras hacer antes de comenzar el ciclo nuevamente.
• Nota Técnica: Hacemos una breve pausa para discutir el papel de los derechos de autor, las licencias y los formatos de archivo en la mejora continua.
• Ejemplo Trabajado: Demostramos un viaje a través del ciclo con un ejemplo trabajado.
• Conclusión: Terminamos con algunas reflexiones sobre el imperativo implícito para los diseñadores instruccionales por la existencia y relativa facilidad de uso de enfoques de mejora continua como el ciclo de construcción - medida - aprendizaje.

Marco Conceptual

Los Materiales Instructivos Son Hipótesis

Las personas que diseñan materiales de instrucción (a quienes nos referiremos como diseñadores de instrucción) toman cientos de decisiones sobre cómo apoyar mejor el aprendizaje de los estudiantes. Cada decisión es una hipótesis de la forma “en el contexto de estos alumnos y este tema, aplicar este enfoque de diseño instruccional de esta manera maximizará la probabilidad de aprendizaje de los estudiantes”. Las formas en que estas decisiones individuales se entrelazan crean una red de hipótesis sobre la mejor manera de apoyar el aprendizaje de los estudiantes.

Las hipótesis deben probarse

Revela una fatal falta de curiosidad para un diseñador instruccional simplemente decir “estos materiales fueron diseñados de acuerdo con la investigación actual sobre el aprendizaje” sin seguir para medir su efectividad real con aprendices reales en el mundo real. Si bien diseñar materiales de instrucción de acuerdo con la investigación es un primer paso positivo, para nuestras mentes la medida más importante de la calidad de los materiales de instrucción es el grado en que realmente apoyan el aprendizaje de los estudiantes. Las preguntas sobre si los materiales están o no informados por la investigación, se terminan a tiempo y dentro del presupuesto, son impresionantemente hermosos, se renderizan correctamente en un dispositivo móvil, o fueron escritos por un famoso académico dejan de tener sentido si los estudiantes que usan los materiales no aprenden lo que pretendían los diseñadores.

Las hipótesis iniciales rara vez son correctas

Las hipótesis necesitan ser refinadas en un ciclo continuo de mejora. Los datos recopilados durante el uso del contenido por parte de los estudiantes y de las evaluaciones del aprendizaje pueden usarse para identificar porciones específicas de los materiales de instrucción (es decir, hipótesis específicas de diseño instruccional) que no están apoyando con éxito el aprendizaje de los estudiantes. Una vez identificados estos diseños (hipótesis) de bajo rendimiento, pueden ser rediseñados, mejorados e incorporados a una nueva versión de los materiales instructivos. La colección actualizada de hipótesis de diseño instruccional se puede implementar para uso estudiantil, y el ciclo de mejora continua puede comenzar nuevamente.

Construir: Diseño para datos, instrumentación y herramientas para la recopilación de datos

Para poder involucrarse en la mejora continua, los materiales de instrucción deben diseñarse para la recolección de datos. Debe existir un marco de diseño unificador que permita agregar de manera significativa los datos de una amplia gama de fuentes. El método que describiremos a lo largo de este capítulo organiza materiales didácticos en torno a una red de resultados de aprendizaje. En este método de diseño para la recolección de datos, todos los materiales de instrucción (por ejemplo, lecturas, simulaciones, videos, oportunidades de práctica) están alineados con uno o más resultados de aprendizaje. Todas las formas de evaluación, tanto formativas como sumativas, también están alineadas con uno o más resultados de aprendizaje (esta alineación debe hacerse a nivel de ítem de evaluación individual).

Una vez que se han diseñado los materiales de instrucción para la recolección de datos, se deben crear herramientas e instrumentación para que los datos puedan ser realmente recopilados y manejados. El sistema que media el uso de los materiales de instrucción por parte de los estudiantes (por ejemplo, un sistema de gestión del aprendizaje) debe ser capaz de (a) expresar las relaciones entre los resultados del aprendizaje, los materiales de instrucción y las evaluaciones, (b) capturar datos sobre la participación de los estudiantes con estos materiales de instrucción, y (c) capturar datos a nivel de artículo sobre la participación de los estudiantes y el desempeño en las evaluaciones. Los datos recopilados por el sistema deben ser capaces de responder preguntas como, para cualquier resultado de aprendizaje dado, ¿qué materiales instructivos en el sistema están alineados con ese resultado? (Si las actividades de instrucción están “alineadas con” un resultado de aprendizaje, la participación de los estudiantes con las actividades de instrucción debe apoyar el dominio del resultado). Para cualquier resultado de aprendizaje dado, ¿qué ítems de evaluación del sistema están alineados con ese resultado? (Si las evaluaciones están “alineadas con” un resultado de aprendizaje, el éxito de los estudiantes en estas evaluaciones debe proporcionar evidencia de que han dominado el resultado).

Medida: Uso del análisis RISE para identificar materiales de aprendizaje menos efectivos

Como se describe en Corporal, Nyland y Wiley (2017), los datos de participación en la actividad y los datos de desempeño de evaluación se pueden analizar juntos para identificar resultados de aprendizaje cuyos materiales de instrucción alineados no apoyan suficientemente el dominio de los estudiantes (como lo demuestra el desempeño en evaluaciones alineadas). El propósito del análisis de Inspección, Selección y Mejora de Recursos (RISE) es identificar los resultados de aprendizaje donde los estudiantes estaban altamente comprometidos con materiales de instrucción alineados, pero simultáneamente tuvieron un desempeño deficiente en evaluaciones alineadas.

Cada punto de la Figura 2 representa un resultado de aprendizaje. El eje x es el compromiso con los materiales de instrucción y el eje y es el desempeño de la evaluación, ambos convertidos a puntuaciones z. El cuadrante inferior derecho (alto compromiso, bajo rendimiento) indica qué resultados deben ser objeto de mejora y se numeran para indicar el orden en que deben abordarse.

Figura 4.4.2: Una gráfica de análisis de RISE

Una implementación de software de código abierto del análisis RISE se describe en Wiley (2018). Esto simplifica enormemente el proceso de ejecución de análisis RISE, siempre y cuando se disponga de datos apropiados sobre los nombres de los resultados de aprendizaje, la participación del contenido y el rendimiento de la evaluación.

Aprende: Comprender por qué los resultados de aprendizaje terminan en el cuadrante inferior derecho

Una vez que los resultados de aprendizaje se identifican como en el cuadrante inferior derecho de una gráfica de análisis RISE, se puede aislar la causa del problema. Por brevedad, nos referiremos a los resultados de aprendizaje en el cuadrante inferior derecho de una gráfica de análisis RISE como “resultados de aprendizaje de bajo rendimiento” a continuación. La raíz del problema generalmente se puede identificar en dos pasos.

El primer paso para aislar el problema con un resultado de aprendizaje de bajo rendimiento es evaluar evaluaciones alineadas con cada resultado de aprendizaje. ¿Las evaluaciones miden con precisión el aprendizaje de los estudiantes? Entre las preguntas que hay que hacer en esta etapa se incluyen: ¿hay problemas técnicos con la evaluación? ¿Los artículos están mal identificados? ¿Están presentes otras fuentes de dificultad espurias o de construcción irrelevantes? ¿Son inaceptablemente bajas las medidas de confiabilidad, validez o discriminación? Si la respuesta a alguna de estas preguntas es sí, se deben hacer mejoras en las evaluaciones problemáticas, después de lo cual el diseñador instruccional puede dejar de trabajar en este resultado de aprendizaje y pasar al siguiente. Es probable que no haya necesidad de hacer mejoras en los materiales de instrucción alineados con este resultado de aprendizaje.

Si las evaluaciones alineadas funcionan según lo previsto, el diseñador instruccional puede pasar al segundo paso: revisar los materiales de instrucción para determinar por qué no apoyan suficientemente el aprendizaje de los estudiantes. Este proceso es altamente subjetivo y aporta toda la experiencia del diseñador instruccional para llevar a cabo. El diseñador instruccional revisa los materiales de instrucción alineados con el resultado del aprendizaje y hace preguntas sobre por qué los estudiantes podrían estar luchando aquí. Por ejemplo:

• ¿Existe un desajuste entre el tipo de información que se enseña y el enfoque de diseño instruccional originalmente seleccionado? Por ejemplo, si los estudiantes están aprendiendo una tarea de clasificación, ¿se proporcionan ejemplos y no ejemplos sin una discusión específica de los atributos críticos que separan las instancias de las no instancias?
• ¿Existe un desajuste en el nivel de Taxonomía de Bloom entre el resultado del aprendizaje, los materiales de instrucción y la evaluación? (Por ejemplo, ¿el resultado de aprendizaje y los materiales de instrucción son principalmente el nivel Recordar, mientras que las evaluaciones requieren que los estudiantes se postulen?)
• ¿Los materiales de instrucción no han brindado a los alumnos la oportunidad de practicar en un entorno de no/bajo riesgo y recibir comentarios sobre el estado actual de su comprensión?

No podemos enumerar todas las preguntas que pueda hacer un diseñador instruccional, pero esperamos que estos ejemplos sean ilustrativos. Hablar con los estudiantes también puede ser increíblemente útil en esta etapa. Estas conversaciones son una manera efectiva para que el diseñador instruccional se centre en las causas fundamentales de los malentendidos de los estudiantes.

Una vez que el diseñador instruccional cree que ha identificado los problemas (es decir, tiene una nueva hipótesis sobre cómo apoyar mejor el aprendizaje de los estudiantes), se pueden crear, adaptar o modificar materiales instructivos nuevos o existentes y evaluaciones. Los estudiantes también pueden ser socios y colaboradores poderosos en la creación de mejoras en los materiales de instrucción (por ejemplo, pedagogía habilitada por REA como describen Wiley y Hilton (2018)).

Cuando se completa este proceso (Build), los materiales nuevos o mejorados pueden ser liberados a los estudiantes de inmediato. Una vez que los estudiantes estén usando la nueva versión de los materiales, este uso dará como resultado la creación de nuevos datos que el diseñador instruccional puede examinar mediante el análisis RISE (Medida). Estos análisis apoyan al diseñador instruccional en la formación de nuevas hipótesis sobre por qué los estudiantes no están teniendo éxito (Learn). Cuando se sigue este proceso de mejora continua, los materiales de instrucción deben ser más efectivos para apoyar el aprendizaje de los estudiantes con cada viaje a través del ciclo.

Nota Técnica: El papel de los derechos de autor y los formatos de archivo

Antes de que se puedan hacer adaptaciones o modificaciones, los diseñadores instruccionales deben tener permiso legal para realizar cambios en los materiales de instrucción. Debido a que los derechos de autor prohíben la creación de obras derivadas que a menudo son el resultado de la mejora de los materiales didácticos, se debe mantener una de dos condiciones. En la primera condición, el diseñador instruccional (o su empleador) debe poseer los derechos de autor de los materiales instructivos, haciendo legal la creación y distribución de versiones mejoradas. En la segunda condición, los materiales de instrucción deben estar licenciados bajo una licencia abierta (como una licencia Creative Commons) que otorgue al diseñador instructivo permiso para crear obras derivadas (también conocidas como versiones mejoradas de los materiales de instrucción).

El permiso legal para crear obras derivadas puede ser ineficaz si los materiales de instrucción no están disponibles en un formato técnico susceptible de edición (por ejemplo, HTML). El análisis de ALMS como se describe en Hilton, Wiley, Stein y Johnson (2010) incluye cuatro factores a considerar con respecto a la “mejorabilidad” de los materiales de instrucción. El primer factor es el acceso a las herramientas de edición: ¿es necesario el software para hacer cambios comúnmente disponibles (por ejemplo, MS Word) u oscuros (por ejemplo, Blender)? El segundo factor es el nivel de experiencia requerido para realizar cambios: ¿el contenido es fácil de cambiar (por ejemplo, Powerpoint) o difícil de cambiar (por ejemplo, una simulación interactiva escrita en Javascript)? El tercer factor es si los materiales de instrucción son significativamente editables o no: ¿es el documento una imagen escaneada de notas manuscritas (este texto no es fácilmente editable) o un archivo HTML (fácilmente editable)? El factor final es el acceso al archivo de origen: ¿es el formato de archivo preferido para usar el recurso también el formato preferido para editar el recurso (por ejemplo, un archivo HTML) o son los formatos preferidos preferidos para usar y editar los archivos diferentes (por ejemplo, PSD versus JPG)?

Si los materiales de instrucción con los que está trabajando no le pertenecen a usted o a su empleador, no tienen licencia abierta, o están disponibles solo en formatos de archivo que no son propicios para la adaptación y modificación, es posible que no pueda dedicarse a la mejora continua.

Un ejemplo trabajado

Lumen Learning, una empresa que ofrece materiales didácticos para clases universitarias que se pueden adoptar en lugar de los libros de texto tradicionales, ofrece un curso de Biología para no mayores en su plataforma Waymaker. Esta plataforma permite a los diseñadores instructivos ingresar los resultados de aprendizaje y alinear todos los materiales de instrucción y elementos de evaluación con los resultados de aprendizaje. Se realizó un análisis RISE utilizando los datos de interacción de contenido y los datos de desempeño de evaluación para todos los estudiantes que cursaron el curso de Biología para no-Majors durante un semestre. Entre los 10 mejores resultados de aprendizaje de bajo rendimiento que identificó, el análisis RISE reveló que los estudiantes estaban desempeñando mal en evaluaciones alineadas con el resultado de aprendizaje “comparar el razonamiento inductivo con el razonamiento deductivo” a pesar de que los estudiantes se involucraban con la instrucción alineada materiales a una tasa superior a la media (ver resultado 1 en la Figura 3 a continuación). Este resultado de aprendizaje fue seleccionado para el trabajo de mejora continua.

Figura 4.4.3: Biología para Gráfica de Análisis RISE no Mayores

Una revisión de los ítems de evaluación alineados por un diseñador instruccional reveló que los ítems parecían estar correctamente tecleados y libres de otros problemas. Después de esta revisión de las evaluaciones alineadas, el diseñador instruccional revisó los materiales instructivos alineados guiados por la pregunta, “¿por qué los estudiantes que usan estos materiales de instrucción no dominan el resultado?” El análisis reveló que los materiales instructivos para este resultado estaban compuestos por dos párrafos de contenido de texto, cada uno de los cuales definió uno de los términos. No se proporcionó ningún otro material didáctico en apoyo del dominio de este resultado de aprendizaje y los estudiantes parecían ser incapaces de recordar cuál de estos términos sonoros similares era cuál.

El diseñador instruccional decidió hacer ediciones menores a los párrafos existentes para mejorar su claridad y también crear una actividad de práctica interactiva en línea (Koedinger et al., 2017) en apoyo de este resultado de aprendizaje. Esta actividad proporcionó a los estudiantes herramientas mnemotécnicas para ayudarlos a recordar qué término es cuál, y combinó estos nemotécnicos con ejercicios de práctica en los que los estudiantes clasifican los ejemplos como inductivos o deductivos y reciben retroalimentación inmediata y dirigida sobre su desempeño. La actividad de la práctica interactiva en línea se puede ver en contexto en https://edtechbooks.org/-QwUE.

Estos materiales instructivos nuevos y actualizados ahora están integrados en los materiales existentes y están siendo utilizados por profesores y estudiantes en todo Estados Unidos. Después de que termine otro semestre, se volverá a ejecutar el análisis de RISE. Este nuevo análisis confirmará que las mejoras a los materiales didácticos han mejorado el aprendizaje de los estudiantes, en cuyo caso se seleccionarán otros resultados de aprendizaje de bajo rendimiento para la mejora continua, o bien confirmarán que aún queda trabajo por hacer para apoyar mejor el aprendizaje de los estudiantes de este resultado.

Conclusión

Las tecnologías modernas, incluyendo Internet y software de código abierto, han disminuido radicalmente el costo y la dificultad de recopilar y analizar datos de aprendizaje. Donde la evaluación por sí sola alguna vez fue prohibitivamente difícil y costosa, hoy todo el proceso de mejora continua está al alcance de quienes diseñan materiales de instrucción para su uso en clases en línea y otros entornos de enseñanza y aprendizaje mediados por la tecnología. Si bien Ries (2011) describió el ciclo de construcción - medida - aprendizaje como una forma de aumentar rápidamente los ingresos de una empresa, vemos un análogo claro en el que se pueden usar enfoques similares para aumentar rápidamente el aprendizaje de los estudiantes. Ahora vivimos en un mundo en el que es completamente razonable esperar que los materiales de instrucción sean más efectivos para apoyar el aprendizaje de los estudiantes en todos y cada uno de los períodos.

Invitamos al lector a que nos ayude a hacer de este posible estado de cosas el estado real de las cosas al participar en actividades de mejora continua en su propia práctica de diseño instruccional. Y en el espíritu de mejora continua, invitamos además al lector a unirse a nosotros para desarrollar y refinar los procesos descritos en este capítulo, en parte completando la encuesta al final de este capítulo y proporcionándonos comentarios sobre cómo se puede mejorar el capítulo.

Referencias

Corporal, R., Nyland, R., & Wiley, D. (2017). El marco RISE: Usar la analítica de aprendizaje para identificar automáticamente los recursos educativos abiertos para la mejora continua. La Revista Internacional de Investigación en Aprendizaje Abierto y Distribuido, 18 (2). https://edtechbooks.org/-ymD

Hilton, J., Wiley, D., Stein, J., & Johnson, A. (2010). Las cuatro R de apertura y análisis ALMS: Marcos para los recursos educativos abiertos. Aprendizaje Abierto: La Revista de Aprendizaje Abierto y a Distancia, 25 (1), 37-44. https://edtechbooks.org/-vqPr

Koedinger, K. R., McLaughlin. E. A., Zhuxin, J., & Bier, N. L. (2016). ¿Es el efecto hacedor una relación causal? : Cómo podemos decir y por qué es importante. LAK '16: Actas de la Sexta Conferencia Internacional sobre Análisis de Aprendizaje y Conocimiento. https://edtechbooks.org/-wNfS

Ries, E. (2011). El Lean Startup. Crown Business: Nueva York.

Wiley, D. (2018). RISE: Un paquete R para análisis RISE. Revista de Software de Código Abierto, 3 (28), 846, https://edtechbooks.org/-LKLb

Wiley, D. & Hilton, J. (2018). Definición de Pedagogía Habilitada por OER Revista Internacional de Investigación en Aprendizaje Abierto y a Distancia, 19 (4). https://edtechbooks.org/-tgNj

David Wiley

Figura\(\PageIndex{1}\):

El Dr. David Wiley es el director académico de Lumen Learning, una organización que ofrece recursos educativos abiertos diseñados para aumentar el acceso y el éxito de los estudiantes. El Dr. Wiley ha fundado o cofundado numerosas entidades, incluyendo Lumen Learning, Mountain Heights Academy (una escuela secundaria abierta) y Degreed. Fue nombrado una de las 100 personas más creativas en los negocios por Fast Company, actualmente se desempeña como Becario de Educación en Creative Commons, y lidera el Grupo de Educación Abierta en el programa de posgrado en psicología y tecnología instruccional de la Universidad Brigham Young. Ha sido becario Shuttleworth, se desempeñó como Fellow de Internet y Sociedad en la Facultad de Derecho de Stanford, y fue becario de Emprendimiento Social en la Marriott School of Management de BYU.

Robert Corporal

Figura\(\PageIndex{1}\):

El Dr. Bob Corporal es Científico Senior de Datos e Investigador Educativo en Lumen Learning. Se enfoca en construir canales de datos educativos, crear informes procesables y generar insights para mejorar la enseñanza y el aprendizaje. Sus intereses incluyen el uso de datos para mejorar continuamente los materiales del curso, construir empujones para influir en el comportamiento de los estudiantes y profesores, y crowdsourcing de mejoras de contenido educativo y elementos de evaluación. Actualmente trabaja en tecnologías educativas para mejorar la enseñanza y el aprendizaje en wadayano.com y statstest.com.