3.1: Repensar la evaluación de escritura K-12 para apoyar las mejores prácticas de instrucción

Paul Deane, John Sabatini y Mary Fowles

Servicio de Pruebas Educativas

El trabajo descrito en este capítulo surge en un contexto específico actual de Estados Unidos: uno en el que existe tensión entre las mejores prácticas en la instrucción de escritura y los enfoques estándar para la evaluación escrita, particularmente en el contexto de pruebas estandarizadas, como los exámenes estatales de rendición de cuentas. Por un lado, la literatura instruccional enfatiza la importancia de enseñar procesos de escritura deliberados y bien desarrollados; indica el valor de la revisión por pares; y apoya firmemente un enfoque instruccional en el que se enseñan estrategias explícitas en contextos significativos donde el contenido importa (Perin, 2009). Por otro lado, los requisitos de las pruebas estandarizadas a menudo favorecen la creación de tareas de escritura relativamente descontextualizadas en las que los estudiantes producen ensayos en condiciones cronometradas con poco acceso a fuentes externas de información, un estado de cosas que puede tener efectos nocivos en la instrucción de escritura, ya que el predominio de las evaluaciones de alto riesgo a menudo obliga a los instructores a centrarse en la preparación de exámenes (Hillocks, 2002, 2008).

No es sorprendente que los actuales esfuerzos de reforma como el programa Race to the Top conciban parcialmente las evaluaciones como intervenciones, y diversos estudiosos han argumentado que tales reformas deben guiarse por teorías modernas del aprendizaje y la cognición (Pellegrino, 2009). Este punto ha sido avanzado en particular por Bennett y Gitomer (2009), quienes proponen un programa de investigación que califican CBAL (Cognitively-Based Assessment of, for and as Learning). El objetivo de este programa de investigación es conceptualizar y probar los componentes de un sistema integrado en el que las evaluaciones sumativas, las evaluaciones formativas y el apoyo profesional docente se combinan para fomentar y potenciar la enseñanza y el aprendizaje efectivos.

Este capítulo presenta algunos resultados iniciales del programa de investigación CBAL en su aplicación a la escritura. En particular, hemos desarrollado un marco que se basa en una extensa revisión de la literatura sobre escritura y habilidades de alfabetización relacionadas; desarrollado métodos para diseñar evaluaciones sumativas y formativas para medir la habilidad de escritura mientras se modelan las mejores prácticas en la pedagogía de la escritura; y hemos comenzado a analizar los resultados de pilotos preliminares (pero en muchos casos, a gran escala).

Nuestro trabajo aún se encuentra en sus primeras etapas (aunque ver Deane, 2011; Deane, Fowles, Baldwin, & Persky, 2011; Deane, Quinlan & Kostin, 2011; Deane, Quinlan, Odendahl, Welsh & Bivens-Tatum, 2008), pero ha comenzado a surgir un tema central: que la escritura debe conceptualizarse dentro de un sistema integrado de habilidades de alfabetización socialmente integradas.

El diseño efectivo de la evaluación requiere construir un argumento interpretativo que conecte la teoría de constructos con las demandas de tareas a través de una cadena de evidencia obtenida por esas tareas (Kane, 2006; Mislevy & Haertel, 2006). La ciencia de la lectura ha documentado una trayectoria de desarrollo en la que ciertas habilidades, como la decodificación y la comprensión verbal, comienzan de manera relativamente independiente, y gradualmente se integran e entrelazan a medida que se desarrolla la experiencia (Hoover & Gough, 1990; Vellutino, Tunmer, & Jaccard, 2007). Con el tiempo, algunos procesos cognitivos se vuelven cada vez más fluidos y automatizados, mientras que otros se vuelven cada vez más estratégicos y más finamente sensibles a los detalles de la situación en la que debe tener lugar la comunicación o el entendimiento (Scarborough, 2001). Por lo tanto, se hace necesario considerar las habilidades como capacidades independientes y como capacidades invocadas como parte de un conjunto de habilidades más grande y complejo. Consideraciones similares y paralelas se aplican a la descripción del desarrollo de la pericia escrita. Desarrollar experiencia en escritura implica tanto el desarrollo de habilidades como su apego como recursos estratégicos dentro de un sistema de actividad. El problema es que debemos medir tanto la fluidez como la precisión de las habilidades como tareas independientes y la efectividad con la que los lectores/escritores/pensadores pueden emplear esas habilidades de manera flexible para lograr metas específicas de alfabetización; así, debemos conceptualizar la lectura y la escritura no solo como habilidades individuales, sino también como herramientas interdependientes y de apoyo mutuo para la interacción social.

El marco de alfabetización desarrollado para el proyecto CBAL se basa en este tipo de trayectoria de desarrollo y predice que las habilidades expresivas, interpretativas y deliberativas paralelas invocan representaciones mentales comunes y compartidas. Un lector puede comenzar con letras en la página, y terminar con ideas. Un escritor puede comenzar con ideas, y terminar con letras en la página. Un pensador puede tratar simultáneamente con letras y palabras, oraciones, párrafos, documentos, ideas y metas retóricas. Una de las ventajas y contribuciones de un modelo combinado de lectura/escritura (English Language Arts) es que nos ayuda a enfocarnos en la presencia de recursos cognitivos comunes y compartidos desplegados en los sistemas de actividad de alfabetización, ya sea que el canal/modalidad en sí sea principalmente lectura, escritura o pensamiento. Pero en la práctica educativa real, la lectura y la escritura suelen tratarse por separado, particularmente en los grados medio y superior, aunque ambos son impartidos por profesores de Artes del Lenguaje Inglés (ELA). Si bien la práctica en el aula a menudo integra la lectura y la escritura, solo hay intentos dispersos de integrar modelos teóricos de desarrollo de lectura y escritura, y aún menos esfuerzo para construir un sistema de evaluación sensible a un modelo de alfabetización integrado. Irónicamente, la lectura y la escritura se combinan frecuentemente en evaluaciones de alto riesgo; en las pruebas de lectura, se les pide a los estudiantes que escriban para demostrar que entienden lo que han leído; en algunas pruebas de escritura, ni siquiera se les pide a los estudiantes que produzcan escritura, sino que solo editen, revisen o identifiquen errores en oraciones o composiciones escritas simuladas.

Tratar la lectura y la escritura por separado parece una oportunidad perdida con consecuencias de aprendizaje potencialmente negativas. Si la alfabetización lectora es privilegiada en la escuela a expensas del desarrollo de habilidades de escritura, los estudiantes pueden estar mal preparados para el aprendizaje académico secundario y postsecundario, lo que exige cada vez más la capacidad de expresar su pensamiento (sobre lo que se lee) en formas escritas. La construcción de evaluaciones de alfabetización más complejas e integradas se alinea bien con las mejores prácticas de instrucción y puede ayudar a los alumnos a desarrollar toda la gama de habilidades de alfabetización.

En general, la comunidad de investigadores de lectura tiende a reconocer que la instrucción de escritura apoya el desarrollo de la lectura, pero relativamente pocos investigadores cruzan el precipicio y los ven como determinados conjuntamente. A menudo, la instrucción de escritura ha sido el enano histórico de la lectura, la escritura y la 'basura rítmética. Cuando los puntajes de rendición de cuentas estatales caen, las intervenciones explícitas de lectura y matemáticas a menudo exprimen el tiempo Sin embargo, los puntajes de lectura continúan estancándose a nivel nacional, lo que significa que millones de niños, adolescentes y adultos tienen habilidades inadecuadas de lectura, escritura y, probablemente, pensamiento. Un enfoque integrado que enfatice el aprendizaje de escribir con fluidez y reflexión también puede proporcionar el camino más efectivo y eficiente hacia la lectura reflexiva, aunque solo sea porque los procesos de lectura cognitiva son en su mayoría invisibles, mientras que los procesos de composición escrita pueden hacerse visibles, transparentes y un objeto de reflexión metalingüística (Olson, 1991; Olson & Hildyard, 1985). El modelo aquí descrito es el punto de partida para mapear las interdependencias que queremos fomentar, aun cuando el desafío de evaluación de separarlas sigue siendo el objetivo de la mayoría de las declaraciones de estándares y programas de pruebas externas. Primero debemos reformar el constructo social para evaluar el constructo cognitivo de manera más productiva

Temas principales

Nuestra perspectiva trata la lectura, la escritura y el pensamiento crítico como sistemas de actividad integrados en el sentido vygotskiano (Vygotsky y Luria, 1994) y siguiendo las líneas discutidas en Bazerman (2004). Prevemos la escritura (y, en particular, géneros específicos de escritura) como parte de un conjunto integrado de herramientas para la comunicación social. Así, como Deane (2011) describe con mayor detalle, la habilidad de escritura es inherentemente intertextual, implicando una interacción de habilidades que podrían, de manera aislada, considerarse lectura o pensamiento crítico (Bloome, 1993). Este punto puede apoyarse en parte considerando los muchos elementos compartidos que juegan un papel no solo en las teorías de la escritura sino también en las teorías de la comprensión lectora, como la comprensión verbal (Hoover & Gough, 1990) y la macroestructura del texto (Graesser, Singer, & Trabasso, 1994). Se puede reforzar observando el papel clave que juegan las habilidades de lectura, deliberación y reflexión en los modelos clásicos de escritura (Alamargot & Chanquoy, 2001; Bereiter & Scardamalia, 1987; Hayes, 1996; Hayes & Flower, 1980). Pero la importancia de la intertextualidad surge con mayor fuerza cuando consideramos géneros particulares de escritura y analizamos las configuraciones específicas de habilidades que se requieren en géneros particulares, siguiendo líneas ejemplificadas por Coirier, Andriessen y Chanquoy (1999).

Además, hemos encontrado que es útil pensar que la habilidad de escritura implica la adquisición de paquetes de habilidades específicos (solo algunos de los cuales son específicos de escritura) y su elaboración y generalización progresivas. Más allá de la fluidez general y precisión de la producción escrita, hay evidencia específica de que el progreso en la escritura en géneros particulares está ligado a la secuencia de desarrollo observada para habilidades específicas. ¹ Por ejemplo, el progreso en la escritura de narrativas parece depender críticamente de adquirir la capacidad primero de representar secuencias de eventos causalmente en términos de motivaciones y metas de carácter; y segundo, en adquirir la capacidad de representar narrativas metacognitivamente como actos interpretativos promulgados por el autor (McKeough, 2007; Nicolopoulou & Bamberg, 1997; Nicolopoulou, Blum-Kulka, & Snow, 2002). Del mismo modo, el desarrollo de la habilidad en la escritura argumentativa refleja parcialmente el desarrollo subyacente de las habilidades de argumentación (Felton & Kuhn, 2001; Kuhn, 1999; Kuhn y Udell, 2003). Cuando analizamos géneros particulares de esta manera, las dependencias intertextuales también emergen de la ecología del sistema de actividades. Por ejemplo, la escritura argumentativa depende críticamente de las habilidades de resumen y no solo de la capacidad de crear argumentos, ya que la participación en el argumento casi siempre conlleva una respuesta a puntos de vista anteriores y opuestos. Del mismo modo, el análisis literario depende críticamente de la capacidad de encontrar y explicar evidencia para interpretaciones en un texto, y más generalmente de la capacidad de evaluar y responder a tales interpretaciones. Muchas de estas dependencias son reconocidas en los estándares educativos, al menos implícitamente. Por ejemplo, en los Estándares Estatales Básicos Comunes que han sido adoptados por 44 de los 50 estados de Estados Unidos (http://www.corestandards.org/ the-standards/inglés-language-arts-standards), muchos de los estándares de artes del lenguaje abordan específicamente habilidades tales como la construcción de un modelo mental de los eventos en un narrativa, creación de argumentos o búsqueda de evidencia en un texto fuente.

Las consideraciones esbozadas hasta ahora conducen en direcciones específicas: (i) hacia estrategias de diseño de evaluación que toman prestadas muchas características de las evaluaciones de desempeño, (ii) por diseños de evaluación que incorporan un contexto (relativamente) significativo y organizan secuencias de tareas para que su aplicación fuera de la evaluación el contexto es transparente para estudiantes y profesores.

> Diseñar evaluaciones de escritura para apoyar la instrucción

Consideraciones de diseño

Cualquier tipo de evaluación formal crea compensaciones. Cuanto más buscamos estandarizar las pruebas, hacer que las pruebas sean equivalentes y generalizables, más difícil es capturar interdependencias entre tareas, comunicar por qué una tarea apoya a otra, o comunicar el contexto social que motiva habilidades particulares. Por otro lado, las tareas de desempeño puro pueden crear dificultades de medición y puntuación. Dentro del marco general de investigación de CBAL, estamos investigando tanto las evaluaciones de alto riesgo (donde las presiones para la estandarización son mayores) como las evaluaciones formativas en el aula (donde las tareas de desempeño a menudo se ven favorecidas, pero aún así deben ser lo suficientemente confiables como para apoyar las decisiones de instrucción basadas en desempeño estudiantil).

En este capítulo discutimos principalmente nuestros diseños para pruebas de alto riesgo, con énfasis en las características destinadas a hacer que las pruebas de alto riesgo sean más compatibles con la instrucción. Destacamos, en particular, las características que hacen que las evaluaciones de alto riesgo sean más transparentes, en el sentido de que cada prueba ejemplifica prácticas adecuadas de lectura y escritura y proporciona resultados instruccionalmente procesables. Algunas de estas consideraciones no son específicas de la escritura, pero son particularmente problemáticas para escribir debido al tiempo requerido para recopilar una sola respuesta escrita de cualquier extensión. Por ejemplo, las estimaciones confiables de habilidad requieren múltiples mediciones; y en el caso de escribir, eso significa que una evaluación válida de escritura recopilará múltiples muestras de escritura en múltiples ocasiones. Resolver este problema es fundamental para el enfoque CBAL, que se enfoca en explorar las consecuencias de distribuir evaluaciones a lo largo del año (lo que facilita la recolección de múltiples muestras, pero es probable que sea factible solo si las evaluaciones de alto riesgo son experiencias educativas valiosas en sus derecho propio.)

Nuestro objetivo es desarrollar una serie de evaluaciones que se puedan dar a intervalos, muestreando habilidades de lectura y escritura, a lo largo del curso escolar. Una forma lógica de hacerlo es enfocar cada prueba individual en un género diferente (pero probar sistemáticamente todas las habilidades de lectura, escritura y pensamiento necesarias para el éxito en cada género). Habiendo dado este primer paso, es posible introducir muchas de las características de una tarea de rendimiento en un diseño sumativo sin sacrificar las características necesarias para producir un instrumento confiable en condiciones de alto riesgo.

Estructura de las Evaluaciones Individuales

Ciertas decisiones de diseño están bien motivadas si concebimos evaluaciones individuales de escritura como ocasiones para practicar las habilidades necesarias para el éxito en géneros particulares, y planeamos desde el principio proporcionar múltiples evaluaciones durante el transcurso del año escolar. En particular, las evaluaciones de escritura CBAL tienen una estructura común, involucrando:

• Un escenario unificador
• Andamios incorporados
• Textos y otras fuentes diseñadas para proporcionar a los estudiantes materiales ricos sobre los que escribir
• Tareas de guía diseñadas para involucrar a los estudiantes con la asignatura y medir habilidades importantes relacionadas
• Una tarea de escritura extendida culminante

El Escenario

En lugar de presentar una sola tarea de escritura indiferenciada, cada prueba contiene una serie de tareas relacionadas que se desarrollan dentro de un contexto social apropiado. El escenario pretende proporcionar una representación clara del género pretendido y el modo social que se está evaluando, comunicar cómo la tarea de escritura encaja en un sistema de actividad social más amplio y hacer que cada tarea sea significativa dentro de un contexto realista. Por su naturaleza, tales escenarios son simulaciones, y puede que no capturen el contexto social último a la perfección; pero en la medida en que representan de manera transparente situaciones socialmente significativas dentro de las cuales los estudiantes pueden ser requeridos posteriormente a escribir (ya sea dentro o fuera de la escuela), el escenario ayuda a hacer conexiones explícitas entre ítems que (i) comunican por qué cada ítem ha sido incluido en la prueba; (ii) ayudan a los maestros a conectar la situación de las pruebas con las mejores prácticas de instrucción; y (iii) apoyan el objetivo de hacer de la experiencia de evaluación una oportunidad de aprendizaje.

Andamios

La construcción de elementos de andamios en la prueba ayuda al modelo de evaluación de mejores prácticas en la instrucción. Tales elementos incluyen:

• Tareas de introducción, que pueden implicar actividades de lectura o pensamiento crítico y consisten en respuestas seleccionadas, así como tareas de redacción de oraciones o párrafos. Las tareas de introducción están destinadas a satisfacer varios objetivos a la vez, preparar a los estudiantes para escribir, medir habilidades que no se miden fácilmente en una tarea de escritura extendida y para ejercer habilidades de prerrequisito.
• Apoyos de tareas como rúbricas que brindan información explícita sobre cómo se juzgará el trabajo de los estudiantes, consejos y listas de verificación que indiquen qué tipo de estrategias serán exitosas, y materiales y herramientas de referencia apropiados para apoyar la comprensión lectora y el pensamiento. Estos materiales se incluyen para minimizar la variación irrelevante en la preparación del estudiante que podría oscurecer las habilidades específicas.

Textos de apoyo

En lugar de pedirle a los estudiantes que escriban sobre temas genéricos, proporcionamos textos de apoyo destinados a informar a los estudiantes sobre un tema y estimular su pensamiento antes de que emprendan la tarea final y extendida de redacción. El objetivo es exigir que los estudiantes se involucren en los tipos de prácticas intertextuales que subyacen a cada género escrito.

La tarea de escritura culminante extendida

En cada prueba, variamos propósito y audiencia, y por lo tanto examinamos diferentes habilidades sociales, conceptuales y discursivas, al tiempo que se requiere que los escritores demuestren la capacidad de coordinar estas habilidades para producir un texto escrito extendido.

Este diseño general es instanciado de manera diferente dependiendo de qué género se seleccione para la tarea de escritura extendida culminante. Cada género tiene un propósito social bien definido, que define (a su vez) un subconjunto específico de habilidades focales. Para el ensayo argumentativo clásico, por ejemplo, las habilidades focales incluyen la construcción de argumentos y el resumen. Ante esta elección, el problema es crear una secuencia de tareas iniciales que ejerzan los focos correctos y, por lo tanto, andamien y midan habilidades de prerrequisito crítico. Para una tarea de escritura paradigmática diferente, como el análisis literario, las habilidades focales incluyen la capacidad de identificar apoyos específicos para una interpretación en un texto, y reunir esa evidencia para sustentar y justificar las propias interpretaciones. Se trata de diferentes tipos de intertextualidad, apoyando prácticas de alfabetización muy diferentes. La tarea final de escritura es significativa solo en la medida en que los escritores son capaces de participar en toda la gama de prácticas de lectura y escritura asociadas con cada género.

Un ejemplo: Dos pruebas de escritura/lectura en la escuela secundaria

Los cuadros 1 y 2 muestran la estructura de dos diseños que podrían formar parte de la secuencia de pruebas de lectura/escritura de un solo año: uno se centra en el ensayo argumentativo clásico y el otro, en el análisis literario. El diseño de la argumentación contiene una serie de tareas preliminares diseñadas, entre otras cosas, para medir si los estudiantes han dominado las habilidades de resumir un texto fuente y construir un argumento, mientras simultáneamente familiarizan a los estudiantes con el tema sobre el que escribirán en la final, extendida tarea de redacción. El diseño de análisis literario contiene una serie de tareas preliminares destinadas a medir si los estudiantes tienen la capacidad de encontrar evidencia textual que sustente una interpretación, puede evaluar la plausibilidad de las interpretaciones globales, o puede participar en una discusión interpretativa.

Una característica importante de este diseño es que las tareas iniciales se extienden a horcajadas en puntos clave en las secuencias críticas de desarrollo. Por lo tanto, la prueba contiene una tarea centrada en clasificar argumentos como pro o con, una tarea relativamente simple que debería ser directa incluso a niveles relativamente bajos de habilidad argumental. También contiene una tarea bastante más difícil —identificar si la evidencia fortalece o debilita un argumento— y una tarea altamente desafiante, una que parece desarrollarse relativamente tarde, es decir, la capacidad de criticar o rechazar el argumento de otra persona.

Nótese que un efecto clave de este diseño es que incluye lo que son, desde un punto de vista, tareas de lectura o pensamiento crítico en una prueba de escritura, y así nos permite recopilar información sobre cómo las habilidades de alfabetización varían o covarían cuando se aplican dentro de un escenario compartido. Además, dado que las pruebas son administradas por computadora, podemos recopilar datos de proceso (por ejemplo, registros de pulsaciones de teclas) y podemos usar esta información para complementar la información que podemos obtener puntuando los productos escritos. Por lo tanto, los diseños de pruebas de escritura CBAL proporcionan un laboratorio natural para explorar cómo las habilidades de escritura interactúan, dependen de, o incluso facilitan las habilidades de lectura y pensamiento crítico.

También hay que señalar que la tarea culminante no es (por sí misma) particularmente innovadora. Uno podría ser visto como un aviso estándar de redacción de ensayos persuasivos; el otro, como un ensayo interpretativo bastante estándar del tipo enfatizado en las clases de literatura. Esto no es casualidad; los géneros son bien conocidos, y se han elegido como ejemplares tareas ejemplares por la importancia del sistema de actividad (es decir, las prácticas sociales) dentro del cual desempeñan papeles clave. Nuestra contribución es examinar cómo estas complejas actuaciones finales se relacionan con otras actividades, a menudo mucho más simples, que encapsulan habilidades clave que un lector/escritor experto es capaz de desplegar en preparación para un desempeño exitoso en la actividad culminante.

Es decir, dentro de la perspectiva que hemos desarrollado, caracterizamos todas estas habilidades como habilidades de alfabetización, y tratamos la escritura como un constructo sociocognitivo. Actualmente estamos desarrollando una variedad de materiales, algunos de ellos diseñados para su uso en el aula como evaluaciones formativas, y algunos diseñados como apoyo profesional docente, como parte de la iniciativa de artes del lenguaje CBAL. En colaboración con maestros de aula en varios sitios piloto, hemos comenzado a explorar una amplia gama de preguntas sobre la escritura y su relación con las habilidades de lectura y pensamiento. Como se señaló anteriormente, la literatura contiene evidencia considerable de que la lectura y la escritura comparten una gran base de habilidades comunes. Pero hay relativamente poca evidencia sobre cómo estas habilidades interactúan en el transcurso de tareas complejas de alfabetización. Los diseños que hemos venido desarrollando están destinados en parte a apoyar la investigación destinada a construir un modelo de alfabetización de lectura/escritura compartida.

Tabla\(\PageIndex{1}\): Diseño: Argumentación

Tabla\(\PageIndex{2}\): Diseño: Análisis literario

> Medición de las relaciones entre habilidades de lectura, escritura y pensamiento crítico en una evaluación cognitiva

Las evaluaciones basadas en este marco han sido diseñadas sistemáticamente para sondear las interrelaciones de lectura, escritura y pensamiento. Varias evaluaciones de este tipo han sido probadas en campo, incluyendo las dos descritas en partes anteriores de este capítulo. Como parte de las pruebas de campo, recopilamos diversas fuentes de evidencia: no solo las respuestas de los estudiantes, sino también registros de pulsaciones de teclas capturando datos de tiempo para la respuesta culminante y escrita, y sometemos las respuestas de los estudiantes a análisis usando técnicas de procesamiento de lenguaje natural. El resultado es un rico conjunto de datos que nos permite abordar una variedad de cuestiones relacionadas con las habilidades de lectura y escritura. En esta sección del capítulo, exploramos brevemente algunas de las preguntas de investigación que pueden abordarse como resultado.

Diseño FieldTest

En 2009 las pruebas multiestatales de campo, a 2,606 estudiantes de octavo grado se les administraron dos formularios de prueba seleccionados de cuatro formularios totales, en un diseño contrapesado (es decir, los estudiantes seleccionados al azar tomaron cada combinación ordenada de pruebas, lo que nos permite verificar que el orden o elección específica de las pruebas no cambió nuestros resultados). Dos de estas formas se discuten en este capítulo. ² Un total de 1,054 estudiantes completaron el primer formulario analizado aquí (el diseño de argumentación), y 1,109 completaron el segundo formulario (el diseño de análisis literario), con 293 estudiantes completando ambos formularios. La muestra fue aproximadamente la mitad femenina, con un rango de niveles de habilidad, nivel socioeconómico (SES) y raza/etnia. La información de SES, raza/etnia y dominio del idioma inglés se recopiló por encuesta, y los no completos alcanzaron un 45% en algunas preguntas; pero de los estudiantes que respondieron, aproximadamente la mitad eran SES bajos (en almuerzo gratis y reducido), menos del cinco por ciento informó tener el estado de Aprendiz de Idioma Inglés (ELL), y la mayoría (62%) eran blancos, con subpoblaciones sustanciales afroamericanas (22%) e hispanas (12%). Cada evaluación se completó en dos sesiones de 45 minutos, y se centró en un género escrito específico. Las tareas de entrada ocuparon los primeros 45 minutos. El ensayo fue escrito en la segunda sesión de 45 minutos, la cual tuvo lugar ya sea inmediatamente después de la primera sesión, o con unos días de diferencia entre ellas. La confiabilidad de las pruebas fue alta (interpretación literaria, α=.81, 13 ítems; ensayos persuasivos, α=.76, 25 ítems ³).

Relación entre lectura y escritura

Si conceptualizamos las tareas iniciales como tareas básicamente de lectura/pensamiento, y las tareas culminantes como tareas de escritura, las correlaciones fueron moderadas a altas cuando se sumaron todas las tareas de lectura para dar una puntuación total, como se muestra en la Tabla 3. ⁴ Este nivel de correlación nos llevó a preguntarnos si estos diseños de tareas de evaluación capturan evidencia de procesamiento cognitivo reflexivo compartido (deliberativo) desplegado en tareas de lectura (interpretiva) y escritura (expresiva), y cómo están interrelacionadas. Específicamente, nos preguntamos:

1. ¿Los puntajes de cada conjunto de tareas de lectura/pensamiento aportan varianza única a la predicción de puntuaciones de composición holística?
2. ¿Los puntajes holísticos de composición escrita contribuyen varianza única a la predicción de puntuaciones en las tareas de lectura/pensamiento más allá de la aportada por otras puntuaciones de conjuntos de tareas de lectura/pensamiento? ⁵

Tabla\(\PageIndex{3}\): Correlaciones de Pearson entre las puntuaciones de ensayos humanos y las tareas de plomo total dentro y entre indicaciones (p<.001)

Para abordar estas preguntas, ejecutamos una serie de modelos de regresión que predicen puntuaciones de Ensayo (Tarea 4) a partir de Conjuntos de Tareas (1-3). En cada caso, los resultados fueron altamente significativos (R2 = .474 y R2 =.464 para Literario y Persuasivo respectivamente). Cada conjunto de tareas fue un predictor significativo y agregó varianza única cuando se agregó paso a paso al modelo. Se ejecutó una segunda serie de modelos de regresión prediciendo cada Conjunto de Tareas, con otros Conjuntos de Tareas ingresados primero y los puntajes de Ensayo últimos. Nuevamente, en la mayoría de los casos, la puntuación del ensayo predijo varianza adicional y única (véanse las tablas 4, 5, 6 y 7). ⁶

Tabla\(\PageIndex{4}\): Predecir la puntuación del ensayo argumental a partir de tareas iniciales (Adj. R ² =.464)

Tabla\(\PageIndex{5}\): Predecir la puntuación del ensayo interpretativo a partir de tareas iniciales (Adj. R ² =.474)

Tabla\(\PageIndex{6}\): Predecir las tareas iniciales a partir de la puntuación del ensayo argumentativo

Tabla\(\PageIndex{7}\): Predecir las tareas iniciales a partir de la puntuación del ensayo interpretativo (Adj. R ² =.366)

Como podemos ver en las Tablas 4 y 5, cada tarea de lectura aporta varianza separada para predecir la puntuación de escritura; y, como indican las Tablas 6 y 7, la puntuación de escritura aporta varianza única adicional por encima y más allá de la aportada por las otras tareas iniciales. El patrón de desempeño es consistente (aunque por supuesto no suficiente para demostrar) el tipo de interpretación que sugeriríamos, en la que la lectura y la escritura se basan en una base común de habilidades compartidas y, por lo general, se adquieren y ejercen de manera más eficiente como un conjunto de habilidades integradas.

Estos ejemplos ilustran un tipo de estrategia de investigación habilitada por el marco de evaluación CBAL. Esta estrategia proporciona una justificación basada en la investigación para un enfoque integrado de la instrucción y evaluación de la alfabetización ELA que ve la lectura, la escritura y el pensamiento como habilidades que se refuerzan mutuamente y que se basan en representaciones mentales compartidas. Este estudio y sus resultados comprenden primeros pasos prometedores. Los formularios de prueba demostraron implementación y puntuación factibles, psicometría aceptable y patrones de resultados en las direcciones predichas por el marco y el diseño.

> Conclusiones y discusiones futuras: de la escritura a la lectura y al pensamiento

Este capítulo representa la colaboración entre investigadores que previamente se centraron por separado en la escritura y la lectura. En el lenguaje del arte visual, hemos tomado una perspectiva “de un punto” hasta el momento, enfocándonos en el desarrollo de habilidades y evaluaciones de escritura. No hemos descuidado las habilidades de lectura (interpretativa) y pensamiento crítico (deliberativo), sino que han sido vistas a través de la lente de la escritura. Una vez que nos comprometemos con la idea de que la habilidad de escritura debe evaluarse dentro de un contexto más amplio, entonces es posible que queramos ver este paisaje desde una perspectiva de dos o tres puntos. Es decir, una vez que reconocemos que el acto de escribir puede incorporar toda una serie de actos de alfabetización que no involucran directamente la producción de texto, se hace necesario dar una contabilidad mucho más detallada de la relación entre habilidades que ponga igual enfoque a la lectura y el pensamiento como actividades propias derecha.

De hecho, el tipo de modelo integrado que hemos propuesto conduce naturalmente a una posición en la que una perspectiva de tres puntos se ve como la norma hacia la que debe esforzarse la práctica educativa. Las representaciones cognitivas compartidas y de apoyo mutuo no necesariamente emergen espontáneamente en el lector/escritor/pensador desentrenado y en desarrollo. La literatura pedagógica sugiere (Langer, 2001) que este tipo de habilidades son promovidas y desarrolladas por el aprendizaje y la instrucción en el aula que aprovechan y fomentan su construcción y uso integrados en la práctica de la alfabetización social.

La relación de la lectura con el pensamiento crítico, aunque a menudo contenciosa, está bien establecida en la literatura de comprensión y evaluación lectora, incluyendo su encarnación más reciente, la lectura para la comprensión (Kintsch, 1998; Pearson & Hamm, 2005). Casi todos los planos de evaluación de comprensión lectora en las últimas décadas tienen alguna variación de un cruce de tipos de texto (típicamente narrativo vs. expositivo vs. persuasivo) contra los tipos de habilidades de pensamiento crítico derivados de Bloomio (típicamente inferencia, análisis, síntesis, evaluación, explicación, aplicación ) (ej., NAGB, 2005). El desafío constante para los teóricos de la lectura ha sido encontrar una manera de distinguir alguna construcción “purificada” de lectura avanzada de una construcción igualmente “pura” enfocada en el razonamiento verbal/pensamiento crítico/resolución de problemas, reconociendo que este último podría evaluarse usando estímulos no lingüísticos (e.g., matriz rotaciones), o problemas lógicos que se basan mínimamente en la comprensión verbal.

Pero podemos preguntarnos, ¿no es una prueba de escritura basada en escenarios, andamios como hemos descrito en este capítulo también una prueba de dominio de lectura? ¿No es también una prueba de habilidad de pensamiento crítico? Dicho de otra manera, ¿no tenemos evidencia considerable de facto de dominio de lectura y pensamiento crítico cuando un escritor produce un ensayo o composición bien construida que cita evidencia derivada de textos fundacionales y articula una posición bien pensada, reclamo, argumento, interpretación, descripción, o explicación? Tal desempeño posiblemente proporciona evidencia de que un individuo tiene el paquete completo de alfabetización. Hay otras formas de evaluar la comprensión lectora avanzada y las habilidades de pensamiento que no requieren que un estudiante componga un producto escrito (por ejemplo, dar una oración, producir un multimedia o video, realizar un experimento u otras acciones, seleccionar respuestas correctas a preguntas en un examen), pero quizás permitir que los individuos expresen su comprensión en un determinado género bien conocido —un formato de comunicación sancionado, convencionalizado y, por lo tanto, aceptado— es también una de las formas más limpias y justas de reunir evidencia de habilidades de lectura y pensamiento.

Esta visión, que nos obliga a hablar de tareas de manera compuesta, de diversas maneras como lectura para escritura, escritura para lectura-comprensión, producción de texto para estimular el razonamiento o razonamiento-en-apoyo a la escritura, crea importantes problemas de medición porque es incompatible con simples modelos factoriales de habilidades y capacidad. Toda la dirección del desarrollo de la alfabetización es hacia una mayor integración y dependencia mutua entre las habilidades, de manera que (por ejemplo) un escritor experto, al emplear una estrategia de composición transformadora del conocimiento, es mucho más dependiente de la lectura calificada (tanto para la adquisición de conocimiento como para la autoevaluación) y sobre razonamiento verbal/habilidades de pensamiento crítico, que es un escritor novato que se basa casi exclusivamente en la narración de conocimientos. El seguimiento del desarrollo de la experiencia en escritura requiere así una cuenta altamente matizada, ya que los escritores expertos se distinguen de los escritores novatos no por la posesión de una sola habilidad, sino por la capacidad de coordinar muchas habilidades estratégicamente para lograr los objetivos de escritura.

Por el contrario, construir una representación mental compleja o modelo de un texto o la integración de varias fuentes textuales (y no textuales), y conectar e integrar esas fuentes actualizando el conocimiento existente del dominio, a menudo exige iteraciones de escritura (notas, esquemas, explicaciones) y concomitantes deliberación y reflexión. Podemos flexionar este Cubo de Rubik en permutaciones exponenciales para formar innumerables patrones, pero en última instancia siempre tenemos consecuencias tridimensionales.

> Notas

1. Fuera de las artes del lenguaje inglés, tales progresiones a menudo se llaman “Learning Progressions” (Duncan & Hmelo-Silver, 2009). Evitamos este término aquí principalmente para evitar confusiones, ya que no queda claro en la etapa actual de investigación si las secuencias de desarrollo observadas con habilidades de alfabetización general siguen el mismo tipo de principios que pueden regir el aprendizaje de conceptos matemáticos o científicos. En nuestro trabajo para el programa CBAL, hemos terminado planteando la hipótesis de “Focos de habilidades” específicos que corresponden a géneros disciplinarios y académicos y prácticas de alfabetización bien establecidas, y luego proponiendo “secuencias de desarrollo hipotéticas” que podrían sustentar el aprendizaje de los estudiantes y los tipos de metas curriculares expresado en las normas. Las evaluaciones presentadas en este capítulo dependen en parte de que se realice dicho análisis, ya que (por ejemplo) buscamos incluir ítems que midan diferentes niveles de desempeño (y posiblemente diferentes puntos en una secuencia de desarrollo) para habilidades específicas.
2. Los otros dos se centraron en (i) argumentar a favor de una elección entre alternativas y (ii) escribir piezas de un folleto informativo. Estas implicaban muy poca lectura de textos extendidos y, por lo tanto, quedan excluidas del presente análisis.
3. Alfa (α) es una medida estadística estándar que indica la confiabilidad o consistencia interna de una prueba; alfa alto es consistente con la hipótesis de que todos los ítems están midiendo el desempeño en un constructo subyacente común.
4. Este nivel de concordancia entre las puntuaciones de lectura y escritura es aproximadamente al nivel visto entre las pruebas normalizadas a nivel nacional, estandarizadas de comprensión lectora y escritura.
5. Para los fines de este análisis, no distinguimos entre elementos de lectura y pensamiento, ya que los ítems diseñados para sondear habilidades como la argumentación fueron lanzados específicamente para medir el desempeño en tareas argumentativas que combinaban lectura y pensamiento.
6. Un análisis de regresión crea una puntuación predicha asignando un peso a cada una de las variables predictoras y sumando las variables ponderadas junto con una constante para producir una puntuación predicha. Los pesos se ajustan para que el puntaje previsto coincida con los puntajes reales lo más cerca posible. R Square es una medida de la calidad del modelo. Cuando R Square es 1 la variable dependiente es totalmente predicha por los predictores; cuando es 0, la variable dependiente no depende de los predictores. Una puntuación de rango medio como .474 o .464 corresponde a un modelo que predice aproximadamente la mitad de la variancia—funciona razonablemente bien, pero con una cantidad significativa de ruido. En un análisis de regresión, R es la raíz cuadrada positiva del cuadrado R, e indica el nivel de correlación entre los valores predichos por el modelo y los valores observados de la variable dependiente. Los niveles de significancia cercanos a 0 indican que los resultados serían muy improbables si la hipótesis nula fuera cierta. En las Tablas 4 y 5, el valor Beta es importante, ya que es un peso estandarizado, indica la importancia relativa de cada una de las variables utilizadas en la regresión en términos de una unidad de medida estándar. Cuanto mayor sea la Beta, más efecto tendrá esa variable en la puntuación final. En las Tablas 6 y 7, el cambio del cuadrado R es la cifra más importante, ya que nos muestra cuánto de la predicción proporcionada por el modelo puede ser producida por las otras dos tareas de introducción y cuánto se agrega al incluir la partitura de escritura.

> Referencias

Alamargot, D., & Chanquoy, L. (2001). Proceso de planeación. En G. Rijlaarsdam, D. Alamargot & L. Chanquoy (Eds.), A través de los modelos de escritura (Vol. 9, pp. 33-64). Dordrecht, Países Bajos: Kluwer.

Bazerman, C. (2004). Actos del habla, géneros y sistemas de actividad. En C. Bazerman & P. A. Prior (Eds.), Qué hace la escritura y cómo lo hace (pp. 309-340). Mahwah, Nueva Jersey: Lawrence Erlbaum.

Bennett, R. E., & Gitomer, D. H. (2009). Transformación de la evaluación K-12: Integración de pruebas de rendición de cuentas, evaluación formativa y soporte profesional. En C. Wyatt-Smith & J. J. Cumming (Eds.), Evaluación educativa en el siglo XXI. Berlín: Springer.

Bereiter, C., & Scardamalia, M. (1987). La psicología de la composición escrita. Hillsdale, Nueva Jersey: Lawrence Erlbaum.

Bloome, D. (1993). La construcción social de la intertextualidad en las clases de lectura y escritura presenciales. Investigación de Lectura Trimestral, 28 (4), 305-333.

Coirier, P., Andriessen, J. E. B., & Chanquoy, L. (1999). De la planeación a la traducción: La especificidad de la escritura argumentativa. En P. Coirier & J. Andriessen (Eds.), Fundamentos del procesamiento de textos argumentativos (pp. 1—28). Ámsterdam: Amsterdam University Press.

Deane, P. (2011). Evaluación escrita y cognición. (Informe de Investigación ETS RR11-14). Princeton, NJ: Servicio de Pruebas Educativas.

Deane, P., Fowles, M., Baldwin, D., & Persky, H. (2011). La evaluación sumativa de escritura CBAL: Un borrador de diseño de octavo grado. (Memorándum de Investigación ETS RM-11-01). Princeton, NJ: Servicio de Pruebas Educativas.

Deane, P., Quinlan, T., & Kostin, I. (2011). Puntuación automatizada dentro de un modelo cognitivo y evolutivo de dominio de escritura. (Informe de Investigación ETS RR-11-16). Princeton, NJ: Servicio de Pruebas Educativas.

Deane, P., Quinlan, T., Odendahl, N., Welsh, C., & Bivens-Tatum, J. (2008). Modelos cognitivos de escritura: El dominio de la escritura como una habilidad integrada compleja. Revisión-escritura de literatura CBAL (ETS Research Report RR-08-55). Princeton, NJ: Servicio de Pruebas Educativas.

Duncan, R. G., & Hmelo-Silver, C. E. (2009). Progresiones de aprendizaje: Alineación curricular, instrucción y evaluación. Revista de Investigación en Enseñanza de las Ciencias, 46 (6), 606-609.

Felton, M., & Kuhn, D. (2001). El desarrollo de la habilidad discursiva argumentiva. Procesos del discurso, 32 (2/3), 135-153.

Graesser, A. C., Singer, M., & Trabasso, T. (1994). Construir inferencias durante la comprensión del texto narrativo. Revisión Psicológica, 101 (3), 371-395.

Hayes, J. R. (1996). Un nuevo marco para entender la cognición y el afecto en la escritura. En C. M. Levy, & S. Ransdell (Eds.), La ciencia de la escritura: teorías, métodos, diferencias individuales y aplicaciones (pp. 1-27). Mahwah, Nueva Jersey: Lawrence Erlbaum.

Hayes, J. R., & Flower, L. (1980). Identificar la organización de los procesos de escritura. En L. Gregg & E. R. Steinberg (Eds.), Procesos cognitivos en la escritura (pp. 3-30). Hillsdale, Nueva Jersey: Lawrence Erlbaum.

Hillocs, G., Jr. (2002). La trampa de prueba. Nueva York: Teachers College Press.

Hillocks, G., Jr. (2008). Redacción en escuelas secundarias. En C. Bazerman (Ed.), Manual de investigación sobre escritura: Historia, sociedad, escuela, individuo, texto (pp. 311-330). Mahwah, Nueva Jersey: Lawrence Earlbaum.

Hoover, W. A., & Gough, P. B. (1990). La visión simple de la lectura. Lectura y Escritura: Una Revista Interdisciplinaria, 2, 127-160.

Kane, M. T. (2006). Validación. En R. L. Brennan (Ed.), Medición educativa (4ª ed., pp. 17-64). Westport, CT: Praeger.

Kintsch, W. (1998). Comprensión: Un paradigma para la cognición. Cambridge, Reino Unido: Cambridge University Press.

Kuhn, D. (1999). Un modelo de desarrollo del pensamiento crítico. Investigador Educativo, 28 (2), 16-46.

Kuhn, D., & Udell, W. (2003). El desarrollo de las habilidades argumentativas. Desarrollo Infantil, 74 (5), 1245-1260.

Langer, J. A. (2001). Superar las probabilidades: Enseñar a los estudiantes de secundaria y preparatoria a leer y escribir bien. Revista Americana de Investigación Educativa, 38 (4), 837-880.

McKeough, A. (2007). Mejores prácticas de escritura narrativa cuando se enseña desde un marco de desarrollo. En S. Graham, C. MacArthur, & J. Fitzgerald (Eds.), Mejores prácticas en la instrucción de escritura (pp. 50-73). Nueva York: Guilford.

Mislevy, R. J., & Haertel, G. (2006). Implicaciones para el diseño centrado en la evidencia para la evaluación educativa. Medición Educativa: Problemas y Práctica, 25, 6-20.

Junta Directiva de Evaluación Nacional. (2005). Especificaciones para la evaluación de lectura del NAEP 2009. Washington, DC: Junta Directiva de Evaluación Nacional, Institutos Americanos de Investigación.

Nicolopoulou, A., & Bamberg, M. G. W. (1997). Niños y narrativas: Hacia un enfoque interpretativo y sociocultural. En M. Bamberg (Ed.), Desarrollo narrativo: seis enfoques (pp. 179-215). Mahwah, Nueva Jersey: Lawrence Erlbaum.

Nicolopoulou, A., Blum-Kulka, S., & Snow, C. E. (2002). Cultura entre pares y desarrollo narrativo. En S. Blum-Kulka & C. E. Snow (Eds.), Hablando con adultos (pp. 117-152). Mahwah, Nueva Jersey: Lawrence Erlbaum.

Olson, D. R. (1991). La alfabetización como actividad metalingüística. En D. R. Olson & N. Torrance (Eds.), Alfabetización y oralidad (pp. 251-270). Cambridge, Reino Unido: Cambridge University Press.

Olson, D. R., & Hildyard, A. (1985). Alfabetización, lenguaje y aprendizaje: La naturaleza y consecuencias de la lectura y la escritura. Cambridge, Reino Unido: Cambridge University Press.

Pearson, P. D., & Hamm, D. N. (2005). La evaluación de la comprensión lectora: Una revisión de prácticas pasadas, presentes y futuras. En S. G. Paris & S. A. Stahl (Eds.), Comprensión y evaluación lectora infantil (pp. 17-30). Mahwah, Nueva Jersey: Lawrence Earlbaum.

Pellegrino, J. W. (2009, diciembre). El diseño de un sistema de evaluación para la Carrera a la cima: Una perspectiva de las ciencias del aprendizaje sobre temas de crecimiento y medición. Ponencia presentada en el Seminario Exploratorio: Desafíos de Medición Dentro de la Agenda Race to the Top. Resumen recuperado de www.K12center.net/RSC/pdf/pel... erSession1.pdf.

Perin, D. (2009). Mejores prácticas en la enseñanza de la escritura a adolescentes. En S. Graham, C. MacArthur, & J. Fitzgerald (Eds.), Best Practices in writing instruction (pp. 242-264). Nueva York: Guilford.

Scarborough, H. S. (2001). Conectando el lenguaje temprano y la alfabetización con las (des) habilidades de lectura posterior: evidencia, teoría y práctica. En S. Neuman & D. Dickinson (Eds.), Manual para la investigación en alfabetización temprana (Vol 1., pp. 97-110). Nueva York: Guilford.

Vellutino, F., Tunmer, W. E., & Jaccard, J. (2007). Componentes de la capacidad lectora: Evidencia multivariante para un modelo convergente de habilidades de desarrollo de lectura. Estudios Científicos de la Lectura, 11 (1), 3-32.

Vygotsky, L., & Luria, A. R. (1994). Herramienta y símbolo en el desarrollo infantil. En R. van der Veer & J. Valsiner (Eds.), El lector Vygotsky (pp. 99-174). Oxford, Reino Unido: Blackwell.