Saltar al contenido principal
LibreTexts Español

12. 1:1 Paso nueve: evaluar e innovar

  1. Última actualización
  2. Guardar como PDF
  • Page ID
    135016

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)

    ( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\id}{\mathrm{id}}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\kernel}{\mathrm{null}\,}\)

    \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\)

    \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\)

    \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \( \newcommand{\vectorA}[1]{\vec{#1}}      % arrow\)

    \( \newcommand{\vectorAt}[1]{\vec{\text{#1}}}      % arrow\)

    \( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vectorC}[1]{\textbf{#1}} \)

    \( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)

    \( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)

    \( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)

    \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)

    Imprimir

    Figura 11.11 Evaluar e innovar Imagen: Hilary Page-Bucci, 2002
    Figura 12.11.1 Evaluar e innovar Imagen: Hilary Page-Bucci, 2002

    alt

    La última clave 'fundamental' de la enseñanza y el aprendizaje de calidad en una era digital es la evaluación y la innovación: evaluar lo que se ha hecho, y luego buscar formas de mejorarlo (para una discusión más profunda de los temas involucrados en la evaluación del aprendizaje en línea, ver Gunawardena et al., 2000 )

    12.11.1 Por qué es importante la evaluación

    Para la tenencia y promoción, es importante si estás enseñando para poder aportar evidencia de que la enseñanza ha sido exitosa. Constantemente están disponibles nuevas herramientas y nuevos enfoques para la enseñanza. Proporcionan la oportunidad de experimentar un poco para ver si los resultados son mejores, y si lo hacemos, necesitamos evaluar el impacto del uso de una nueva herramienta o diseño de curso. Es lo que hacen los profesionales. Pero la razón principal es que enseñar es como el golf: buscamos la perfección pero nunca podremos lograrla. Siempre es posible mejorar, y una de las mejores formas de hacerlo es a través de un análisis sistemático de experiencias pasadas.

    12.11.2 Qué evaluar: sumativo

    En el Paso 1, definí la calidad de manera muy estrecha:

    métodos de enseñanza que ayuden con éxito a los alumnos a desarrollar los conocimientos y habilidades que requerirán en la era digital.

    Al leer este libro quedará claro que creo que para lograr estos objetivos, será necesario rediseñar la mayoría de los cursos y programas. Por lo que será importante saber si estos cursos rediseñados son más efectivos que los cursos 'antiguos'. Una forma de evaluar estos nuevos cursos es ver cómo se comparan con los cursos más antiguos, por ejemplo:

    • las tasas de finalización serán al menos tan buenas si no mejores para la nueva versión del (de los) curso (s)
    • calificaciones o medidas de aprendizaje serán al menos tan buenas si no mejores para la nueva versión.

    Los dos primeros criterios se miden con relativa facilidad en términos cuantitativos. Deberíamos estar apuntando a tasas de finalización de al menos el 85 por ciento, lo que significa que 100 estudiantes inicien el curso, 85 completen pasando la evaluación final del curso (desafortunadamente, muchos cursos actuales no logran lograr esta tasa, pero si valoramos la buena enseñanza, deberíamos estar tratando de traer tantos estudiantes como posible al estándar establecido).

    El segundo criterio es comparar las calificaciones. Esperaríamos al menos tantos As y Bs en nuestra nueva versión como en la versión antigua del aula, manteniendo los mismos estándares (ojalá altos) o superiores.

    No obstante, para ser válida la evaluación también necesitaría definir los conocimientos y habilidades dentro de un curso que satisfagan las necesidades de una era digital, para luego medir qué tan efectiva fue la enseñanza al hacer esto. Así, un tercer criterio sería:

    • el (los) nuevo (s) diseño (es) conducirá a nuevos y diferentes resultados de aprendizaje que sean más relevantes para las necesidades de una era digital.

    Este tercer criterio es más difícil, porque sugiere un cambio en los objetivos de aprendizaje previstos para cursos o programas. Esto podría incluir evaluar las habilidades comunicativas de los estudiantes con nuevos medios, o su capacidad para encontrar, evaluar, analizar y aplicar adecuadamente la información dentro del dominio de la asignatura (gestión del conocimiento), que no han sido previamente (adecuadamente) evaluados en la versión de aula. Esto requiere un juicio cualitativo sobre cuáles son los objetivos de aprendizaje más importantes, y esto puede requerir el respaldo o apoyo de un comité curricular departamental o incluso de un organismo de acreditación externo.

    Con un nuevo diseño y nuevos resultados de aprendizaje, puede ser difícil alcanzar estos estándares de inmediato, pero a lo largo de dos o tres años debería ser posible.

    12.11.3 Qué evaluar: formativo

    No obstante, aunque medimos el rumbo por estos tres criterios, no necesariamente sabremos qué funcionó y qué no en el curso. Necesitamos observar más de cerca los factores que pueden haber influido en la capacidad de aprendizaje de los estudiantes. Hemos expuesto en los pasos 1-8 algunos de estos factores. Algunas de las preguntas para las que quizás quieras respuestas son las siguientes:

    • ¿Los resultados u objetivos de aprendizaje fueron claros para los estudiantes?
    • ¿Con qué resultados de aprendizaje luchó la mayoría de los estudiantes?
    • ¿El material didáctico fue claro y bien estructurado?
    • ¿Los materiales y herramientas de aprendizaje que los estudiantes necesitaban eran fácilmente accesibles y disponibles 24 x 7?
    • ¿Qué temas generaron una buena discusión y qué no?
    • ¿Los alumnos dibujaron apropiadamente los materiales del curso en sus foros de discusión o tareas?
    • ¿Los alumnos encontraron sus propias fuentes apropiadas y las usaron bien en discusiones, tareas y otras actividades estudiantiles?
    • ¿Qué actividades estudiantiles funcionaron bien y cuáles mal? ¿Por qué?
    • ¿Cuál de los materiales de aprendizaje suministrados hicieron el mayor y menor uso de los estudiantes?
    • ¿Las tareas evaluaron adecuadamente los conocimientos y habilidades que el curso pretendía impartir?
    • ¿Los alumnos estaban sobrecargados de trabajo?
    • ¿Fue demasiado trabajo para mí como instructor?
    • Si es así, ¿qué podría hacer para gestionar mejor mi carga de trabajo (o la de los alumnos) sin perder calidad?
    • ¿Qué tan satisfechos estaban los alumnos con el curso?
    • ¿Qué tan satisfecho estoy con el curso?

    Ahora voy a sugerir algunas formas en que estas preguntas puedan ser respondidas sin volver a causar una gran cantidad de trabajo.

    12.11.4 Cómo evaluar los factores que contribuyen o inhiben el aprendizaje

    Hay una gama de recursos en los que puedes aprovechar para hacer esto, mucho más que para evaluar los cursos presenciales tradicionales, porque el aprendizaje en línea deja un rastro digital trazable de evidencia:

    • calificaciones de los estudiantes;
    • tasas de participación individual de los estudiantes en actividades en línea, como preguntas de autoevaluación, foros de discusión, podcasts;
    • análisis cualitativo de los foros de discusión, por ejemplo la calidad y rango de los comentarios, indicando el nivel o profundidad de compromiso o pensamiento;
    • portafolios electrónicos de los estudiantes, tareas y respuestas a exámenes;
    • cuestionarios para estudiantes;
    • grupos focales.

    No obstante, antes de comenzar, es útil elaborar una lista de preguntas como en el apartado anterior, para luego mirar qué fuentes tienen más probabilidades de dar respuestas a esas preguntas.

    Imprimir

    Figura 11.11.4 El análisis de una muestra de respuestas de exámenes a menudo proporcionará información sobre la estructura del curso y la presentación de materiales
    Figura 12.11.2 El análisis de una muestra de respuestas de exámenes a menudo proporcionará información sobre la estructura del curso y la presentación de materiales

    alt

    Al final de un curso, tiendo a mirar las calificaciones de los estudiantes, e identificar a qué estudiantes les fue bien y cuáles tuvieron problemas. Esto depende por supuesto del número de alumnos en una clase. En una clase grande podría muestrear por calificaciones. Luego vuelvo al inicio del curso y hago un seguimiento de su participación en línea en la medida de lo posible (los análisis de aprendizaje lo hacen mucho más fácil, aunque también se puede hacer manualmente si se utiliza un sistema de gestión del aprendizaje). Encuentro que algunos factores son específicos del estudiante (por ejemplo, un estudiante gregario que se comunica con todos) y algunos son específicos de factores del curso, por ejemplo, relacionados con metas de aprendizaje o la forma en que he explicado o presentado contenido. Este enfoque cualitativo a menudo sugerirá cambios en el contenido o en la forma en que interactué con los estudiantes para la próxima versión del curso. Puedo, por ejemplo, determinar la próxima vez para manejar con más cuidado a los estudiantes que 'acaparan' la conversación.

    Muchas instituciones cuentan con un sistema de reporte de estudiantes “estándar” al final de cada curso. Estos suelen ser inútiles a los efectos de evaluar cursos con un componente en línea. Las preguntas formuladas deben adaptarse al modo de entrega. Sin embargo, debido a que dichos cuestionarios se utilizan para comparaciones entre cursos, las personas que manejan dichos formularios de evaluación suelen ser reacias a tener una versión diferente para la enseñanza en línea. En segundo lugar, debido a que estos cuestionarios suelen ser completados voluntariamente por los estudiantes una vez finalizado el curso, las tasas de finalización suelen ser notoriamente bajas (menos del 20 por ciento). Las bajas tasas de respuesta suelen ser inútiles o, en el mejor de los casos, son Los alumnos que hayan abandonado el curso ni siquiera recibirán el cuestionario en la mayoría de los casos. Las bajas tasas de respuesta tienden a estar fuertemente sesgadas hacia los estudiantes exitosos. Son los estudiantes que lucharon o abandonaron los estudios de los que necesitas saber.

    Encuentro que los grupos focales pequeños funcionan mejor que los cuestionarios de los estudiantes, y para ello prefiero herramientas presenciales o sincrónicas como Blackboard Collaborate. Me acercaré deliberadamente a 7-8 estudiantes específicos que cubren toda la gama de logros, desde la deserción hasta la A, y conduciré una discusión de una hora alrededor de preguntas específicas sobre el curso. Si un alumno seleccionado no quiere participar, trato de encontrar otro en la misma categoría. Si puede encontrar el tiempo, dos o tres de estos grupos focales proporcionarán comentarios más confiables que solo uno.

    12.11.5 Innovar

    Por lo general, paso bastante tiempo al final de la primera presentación de un curso rediseñado evaluándolo y haciendo cambios en la siguiente versión, generalmente trabajando con un diseñador instruccional de confianza. Después de eso me concentro principalmente en asegurar que las tasas de finalización y las calificaciones estén en el estándar al que me he dirigido.

    Lo que tengo más probabilidades de hacer en la tercera o posteriores ofertas es buscar formas de mejorar el rumbo que son el resultado de nuevos factores externos, como el nuevo software (por ejemplo. un paquete de cartera electrónica), o nuevos procesos (por ejemplo, contenido generado por estudiantes, uso de teléfonos móviles o cámaras, recolección datos relacionados con proyectos). Esto mantiene el curso 'fresco' e interesante. No obstante, suelo limitarme a un cambio sustantivo, en parte por razones de carga de trabajo pero también porque de esta manera es más fácil medir el impacto del cambio.

    De hecho, es un momento emocionante para ser instructor. En particular, la nueva generación de herramientas web 2.0, incluyendo WordPress, nuevos LMS 'ligeros' enfocados en instructor como Instructure /Canvas, recursos educativos abiertos, aprendizaje móvil, tabletas y iPads, MOOCs, y tecnologías emergentes como juegos serios, virtuales y aumentados realidad e inteligencia artificial, todas ofrecen una amplia variedad de oportunidades de innovación y experimentación. Estos pueden integrarse dentro del LMS existente y la estructura del curso existente, o los diseños pueden ser más radicales. Los capítulos 3 a 5 discuten una amplia gama de diseños posibles.

    Sin embargo, es importante recordar que el objetivo es permitir que los estudiantes aprendan de manera efectiva. Tenemos suficiente conocimiento y experiencia para poder diseñar un aprendizaje 'seguro' y efectivo en torno a LMS estándar. Nuevo no siempre es mejor. Así, para los instructores que comienzan en el aprendizaje en línea, instaría a la precaución. Sigue la ruta experimentada, luego agrega y evalúa gradualmente nuevas herramientas y nuevos enfoques de aprendizaje a medida que vas adquiriendo más experiencia.

    Por último, si haces una innovación interesante en tu curso, asegúrate de evaluarlo adecuadamente como se sugirió anteriormente, luego comparte estos hallazgos con colegas y ayúdalos a incluir la innovación dentro de su propio curso, o ayúdalos a mejorar aún más la innovación a través de sus propias modificaciones. De esa manera todos podemos aprender unos de otros.

    Referencia/lectura adicional

    Gunawardena, C., Lowe, C. & Carabajal, K. (2000) Evaluando el aprendizaje en línea: modelos y métodos s en D. Willis et al. (eds.), Actas de la Sociedad para la Tecnología de la Información y la Educación Docente Conferencia Internacional 2000 San Diego CA

    Actividad 12.11 Evaluar tu curso o programa

    1. Diseñar y realizar una evaluación de su curso utilizando las preguntas de la Sección 12.11.3 y los datos y métodos sugeridos en la Sección 12.11.4. ¿Qué cambios, si los hubiere, harás como resultado?

    Thereis no se han proporcionado comentarios sobre esta actividad.

    This page titled 12. 1:1 Paso nueve: evaluar e innovar is shared under a CC BY-NC license and was authored, remixed, and/or curated by A.W. (Tony) Bates.