5.7: El tema de cinco párrafos enseña “más allá de la prueba”

Autor: Bruce Bowles, Jr., Inglés, Texas A&M University—Centro de Texas

“Diles lo que vas a decir, dilo, diles lo que dijiste”. Recuerdo haber aprendido esta estrategia de mi profesor de inglés en mi último año de secundaria. Si bien mencionar esto puede parecer una oportunidad barata para un ex maestro, es todo lo contrario: fue uno de los mejores maestros que he tenido. Esta estrategia nos fue enseñada como un formato general a seguir, pero modificar, para una variedad de tareas de escritura. Sin embargo, con el aumento de las pruebas de alto riesgo que ha visto la educación en los últimos 10 a 15 años, esta estrategia frecuentemente se convierte en una fórmula bastante rígida y prescriptiva: el tema de cinco párrafos (FPT).

La mayoría de nosotros estamos familiarizados con esta estructura, aunque no nos referimos a ella como el tema de cinco párrafos. Tradicionalmente, el FPT contiene un párrafo introductorio que pasa de una visión general de un tema a una declaración explícita de tesis que resalta tres puntos principales. Cada uno de los tres párrafos de apoyo retoma uno de estos tres puntos principales, comenzando con una oración temática y luego pasando a una descripción más detallada. Por último, el FPT termina con una conclusión estándar que a menudo es simplemente una reafirmación de la tesis y reiteración de los tres puntos principales. (Sí, este tema es referido como un ensayo de cinco párrafos, FPE, en otra parte de este libro, pero el concepto es exactamente el mismo. Que vaya por diferentes nombres mientras tiene el mismo resultado muestra su ubicuidad en situaciones de escritura escolar).

Los defensores del FPT sostienen que se trata de una herramienta fenomenal que enseña a todos los estudiantes una estructura organizacional básica que se puede construir en el futuro y, además, es especialmente útil para enseñar a los estudiantes que luchan con la organización básica al escribir. Si bien tal opinión puede tener un pequeño grado de mérito, la persistencia y popularidad del FPT tiene una fuente más siniestra: pruebas estandarizadas. Con su fórmula mecánica, el FPT es el vehículo perfecto para garantizar la confiabilidad entre evaluadores (consistencia entre las motoniveladoras), permitiendo sesiones de puntuación eficientes y económicas para las empresas de pruebas. Esencialmente, el FPT influye en la instrucción de escritura como resultado de lo que se conoce como lavado de evaluación, con pruebas estandarizadas que dictan indirectamente el currículo. Así, el FPT se ha convertido en el género primario, no por su mérito educativo o aplicabilidad en el mundo real, sino por sus beneficios pragmáticos para las empresas de prueba. Peor aún, como resultado de su rigidez y la manera en que las empresas de pruebas evalúan el FPT, imparte a los estudiantes una noción hueca y formulaica de la escritura que enfatiza la adherencia a características genéricas en lugar de enfocarse en la calidad del contenido, prácticas de investigación informadas, técnicas persuasivas efectivas, y atención a los contextos específicos en los que los estudiantes van a componer.

Para entender por qué el FPT es inmensamente beneficioso para las empresas de pruebas, es esencial comprender el concepto de confiabilidad entre evaluadores. Los intentos originales de evaluar la capacidad de escritura en evaluaciones estandarizadas a gran escala se basaron en preguntas de opción múltiple que trataban principalmente de gramática y estilística. Sin embargo, dichos métodos de evaluación fueron examinados ya que en realidad no tenían estudiantes que componían (y, como discuten otros capítulos de esta colección, la instrucción gramatical acontextual en la que se basan las pruebas de elección múltiple no mejora la escritura). Dichos métodos fueron criticados por carecer de validez de constructo; en esencia, no estaban midiendo el constructo real (habilidad de escritura) que se pretendía medir. En cambio, simplemente se centraron en habilidades específicas que no reflejaban la capacidad general de escribir.

Como resultado, las empresas de pruebas se vieron obligadas a hacer la transición a la calificación holística, evaluando la escritura en su conjunto en lugar de sus componentes aislados. Sin embargo, esto presentaba todo un dilema. En esencia, la evaluación de la escritura es un esfuerzo subjetivo, interpretativo. Después de todo, todos hemos discrepado en un momento u otro con un amigo o colega sobre la calidad de un libro en particular, artículo periodístico, etc.

Sin embargo, tal desacuerdo es especialmente problemático para la comunidad de pruebas estandarizadas. ¿Cómo puede una evaluación de escritura estandarizada ser un reflejo exacto de la capacidad de escritura de los estudiantes si las personas que califican la escritura de los estudiantes no están de acuerdo salvajemente en cuanto a su calidad? Por lo tanto, es necesario que estas empresas de pruebas produzcan consistencia entre los puntajes. Eso es lo que pretende hacer la confiabilidad entre evaluadores: crear confiabilidad entre los evaluadores, y es primordial que las empresas de prueba justifiquen la precisión y equidad de sus evaluaciones de escritura. En esencia, la confiabilidad entre evaluadores es una medida de la frecuencia con la que los puntajes de los lectores coinciden en un escrito específico. Una confiabilidad entre evaluadores de 1 indica un acuerdo perfecto y, para fines de pruebas estandarizadas, una confiabilidad entre evaluadores de .8 (80% de acuerdo) generalmente se considera como el punto de referencia de confiabilidad. Sin embargo, obtener una confiabilidad entre evaluadores de.8 no es tan fácil como parece. Incluso en una escala holística de uno a seis (uno más pobre, seis más alto), los evaluadores frecuentemente no estarán de acuerdo.

Como regla general, cuanto más rígidos y precisos sean los criterios para la evaluación de un escrito, más probable es que se logre una alta confiabilidad entre evaluadores. Es por ello que el FPT es tan eficiente en la puntuación de evaluaciones estandarizadas de escritura; con su fórmula prescriptiva y características distintas, los evaluadores pueden ser normados (es decir, entrenados para acordar) sobre la presencia y calidad de estas características bastante específicas. ¿Existe una declaración de tesis clara y concisa con tres puntos principales? Cheque. ¿Cada párrafo de apoyo tiene una oración temática y pasa a una descripción más detallada? Cheque. ¿La conclusión efectivamente reafirmó el argumento? Cheque.

Aunque la sesión de puntuación para una evaluación escrita estandarizada puede no ser necesariamente de naturaleza mecánica, la premisa general aún se mantiene. Si los evaluadores pueden ser capacitados para identificar características o cualidades específicas por escrito, será más probable que acuerden una puntuación general; este acuerdo ahorra tiempo y dinero a las empresas de prueba ya que no necesitan resolver desacuerdos entre evaluadores. Si bien tal práctica puede parecer meramente una solución práctica a un problema de evaluación preocupante, en realidad tiene profundas consecuencias para la instrucción de escritura en los niveles elemental, secundario y colegiado.

Idealmente, las evaluaciones deben reflejar el plan de estudios impartido en las escuelas. Sin embargo, cuando las pruebas de alto riesgo vinculan los puntajes de los estudiantes a los fondos escolares, las bonificaciones de maestros, la aceptación de los estudiantes a las universidades, etc., sucede lo contrario con frecuencia: el plan de estudios que se enseña en las escuelas comienza a alinearse con El estado de Florida brinda un ejemplo ilustrativo de ello. Al encuestar a estudiantes de cuatro escuelas secundarias de Florida, Lisa Scherff y Carolyn Piazza han encontrado que la escritura persuasiva y expositiva (estilos frecuentemente asociados con el FPT y las pruebas estandarizadas) fueron fuertemente enfatizadas en los grados 9 y 10, no es sorprendente los grados en los que los estudiantes tomaron el prueba de escritura estandarizada del estado. En lugar de recibir instrucción sobre la composición en una variedad de géneros y para una variedad de propósitos, los estudiantes son rigurosamente perforados sobre cómo componer efectivamente para el género que aparece en la evaluación estatal, que, para sorpresa de nadie, es un ensayo persuasivo o expositivo de cinco párrafos.

Más allá de restringir la instrucción de escritura a un género formulaico, esta evaluación también tiene otros efectos negativos en el desarrollo de la escritura de los estudiantes. Los destacados estudiosos de la composición Chris Anson y Les Perelman (destacados en esta colección) han descubierto que los estudiantes pueden ser entrenados para que desempeñen mejor estas evaluaciones estandarizadas de escritura siguiendo algunas pautas generales: Seguir la estructura del FPT, escribir más palabras (la duración del ensayo tiende a directamente correlacionarse con la puntuación), usar palabras grandes (cuanto mayor sea el vocabulario, mejor, independientemente de que las palabras se usen correctamente), use múltiples ejemplos (sean relevantes para el argumento general o no) y proporcione muchos detalles y pruebas de respaldo, sean fácticamente correctos o no, ya que los evaluadores están capacitados para no dar cuenta de la exactitud fáctica. (Uno de los estudiantes que entrenó Perelman escribió que la Gran Depresión fue principalmente resultado de la competencia estadounidense con la Rusia comunista, admitiendo que inventó algo ya que no podía recordar los detalles específicos). Estas evaluaciones estandarizadas de escritura refuerzan las nociones sobre cantidad sobre calidad en la escritura. ¡Creo que es justo suponer que la mayoría de los profesores de inglés no apoyarían estas prácticas como métodos para mejorar la escritura!

La solución simple a todos estos problemas parecería ser simplemente reducir nuestra dependencia o eliminar el FPT de nuestros planes de estudio. Sin embargo, mientras los formuladores de políticas confíen en pruebas estandarizadas de escritura, y esas evaluaciones de escritura confíen en el FPT, tal cambio en el plan de estudios no será posible. La manera en que evaluamos la escritura siempre ejercerá una tremenda influencia sobre cómo enseñamos la escritura. Dado que, para la confiabilidad entre evaluadores y fines económicos, las pruebas estandarizadas se basan en el FPT, la única forma segura de reducir o erradicar el uso del FPT en nuestros planes de estudio es reducir o erradicar nuestra dependencia de las pruebas estandarizadas.

En las últimas dos décadas, se nos ha alimentado constantemente la mentira de que la evaluación de los maestros es sesgada; como resultado, son necesarias pruebas estandarizadas para responsabilizar a las escuelas por el aprendizaje de los estudiantes. Esta astuta artimaña nos ha engañado haciéndonos creer que la evaluación estandarizada evalúa mejor el aprendizaje de los estudiantes y predice el crecimiento futuro y el rendimiento con mayor precisión. La lógica es que los maestros y administradores están sesgados; las pruebas estandarizadas proporcionan un campo de juego nivelado para todos los involucrados.

Y sin embargo, sorprendentemente (o no sorprendentemente), lo contrario es cierto, al menos a la hora de predecir el éxito académico futuro. Quiz pop: ¿Qué medida es el predictor más preciso del éxito de los estudiantes de secundaria a nivel universitario? Si respondiste los puntajes del SAT o el desempeño en evaluaciones estatales, estarías equivocado. Una y otra vez, los estudios demuestran que el GPA de la escuela secundaria de un estudiante es el predictor más preciso del éxito universitario! Esencialmente, los educadores locales supuestamente sesgados y poco capacitados son los más aptos para evaluar el crecimiento, el aprendizaje y el desempeño futuro de los estudiantes. La experiencia y el conocimiento localizado de nuestros maestros se vuelven irrelevantes mediante pruebas estandarizadas; en un esfuerzo por eliminar el supuesto sesgo de los educadores locales, las pruebas estandarizadas eliminan una gran cantidad de conocimiento local y experiencia del proceso de evaluación de la escritura.

La transición a evaluaciones de escritura localizadas no solo aprovecharía el conocimiento y la experiencia locales de los educadores, sino que permitiría formas más auténticas y válidas de evaluación escrita. Los estudiantes podrían producir proyectos culminantes que requieran que compongan en géneros y medios que reflejen adecuadamente los desafíos de composición que enfrentarán en la universidad o sus futuras profesiones. Escribir carteras permitiría a los educadores locales evaluar cómo los estudiantes se desempeñan en una multitud de tareas de escritura en una variedad de contextos. Las carteras electrónicas permitirían incluso a los estudiantes practicar habilidades de alfabetización tecnológica. Los educadores locales podrían trabajar en colaboración con agencias estatales y federales para crear evaluaciones de escritos desafiantes que reflejen con precisión los desafíos de composición que enfrentarán los estudiantes en su futuro, al tiempo que garantizan la supervisión para evitar cualquier posible sesgo o relleno de los resultados de estas evaluaciones.

Mientras permanezcamos atados a las pruebas estandarizadas como nuestro método principal para evaluar el dominio de escritura de los estudiantes, el FPT ejercerá una influencia prominente sobre los planes de estudio. Sin embargo, al permitir que los educadores locales, que trabajan diligentemente con nuestros estudiantes y niños durante todo el año escolar y conozcan mejor las habilidades y necesidades de los estudiantes, desempeñen un papel destacado en el desarrollo y administración de tales evaluaciones localizadas, se pueden desarrollar evaluaciones de escritura más válidas que influirán en currículo de manera positiva y productiva desde el punto de vista educativo.

Lectura adicional

Si estás interesado en aprender más sobre las influencias negativas de las pruebas estandarizadas en el plan de estudios y la instrucción, y

los beneficios de la evaluación localizada, “Being There: (Re) Making the Assessment Scene” (College Composition and Communication) de Chris Gallagher proporciona profundos conocimientos sobre los peligros de recurrir a las prácticas empresariales en un contexto educativo, criticando la idea de usar la rendición de cuentas como el lógica impulsora detrás de las prácticas educativas. La muerte y la vida del gran sistema escolar americano: cómo las pruebas y la elección están socavando la educación (Libros básicos) de Diane Ravitch también proporciona una crítica mordaz de las pruebas estandarizadas desde la perspectiva de alguien que inicialmente abogó por las pruebas y la elección escolar.

Con respecto a los efectos dañinos del FPT y las pruebas estandarizadas, Chris Anson “Sistemas cerrados y pruebas estandarizadas de escritura” y “Evaluaciones de analfabetismo de la información y escritura de mercado masivo” de Les Perelman (ambas encontradas en Composición y Comunicación Universitaria) discuten las consecuencias adversas de estas evaluaciones sobre el desarrollo de los estudiantes como escritores.

Por último, si te interesan alternativas a las pruebas estandarizadas, Bob Broad es Lo que realmente valoramos: más allá de las rúbricas en la enseñanza y evaluación de la escritura (Utah State University Press), Brian Huot's (Re) Articulating Writing Assessment for Teaching and Learning (Utah) State University Press) y Darren Cambridge, Barbara Cambridge y Kathleen Yancey's Electronic Portfolios 2.0: Emergency Research on Implementation and Impact (Stylus Publishing) proporcionan modelos valiosos de prácticas de evaluación de escritura más localizadas y sensibles al contexto.

Palabras clave

lavado de evaluación, plan de estudios, tema de cinco párrafos, confiabilidad entre evaluadores, evaluación localizada, evaluación de cartera, pruebas estandarizadas, validez

Autor Bio

Bruce Bowles, Jr. es profesor asistente de inglés y director del centro de escritura de Texas A&M University—Central Texas. Su investigación se centra en las prácticas de evaluación formativa, en particular la respuesta a la escritura de los estudiantes, así como metodologías para la evaluación de la escritura, la ética de la evaluación de la escritura y la influencia de la evaluación escrita en el currículo y la pedagogía. Ha enseñado escritura y retórica a nivel universitario desde hace varios años y, lamentablemente, ha visto la influencia negativa que tiene el tema de cinco párrafos en el desarrollo de la escritura de los estudiantes.