6.8: Las puntuaciones del SAT son útiles para colocar estudiantes en cursos de escritura

Autor: Kristen di Gennaro, Pace University

En Estados Unidos, muchos estudiantes que planean asistir a la universidad están obligados a tomar exámenes estandarizados, como el SAT, como parte del proceso de solicitud a la universidad. Actualmente el SAT incluye secciones que miden habilidades críticas de lectura, matemáticas y escritura consideradas necesarias para el éxito en la universidad. En 2004, el College Board (que controla y revisa el SAT) introdujo un componente de ensayo como parte de la prueba. Muchos programas de escritura universitaria aplaudieron este cambio, ya que apoyó la posición de que una prueba que mide la capacidad de escritura debe requerir que los examinados escriban, en lugar de simplemente responder a preguntas de opción múltiple o de respuesta corta sobre gramática, ortografía y mecánica.

Los administradores universitarios también dieron la bienvenida al cambio, viéndolo como una oportunidad para reducir o incluso eliminar los exámenes de colocación de escritura que los estudiantes entrantes toman al aceptar o llegar al campus. De hecho, el uso de las calificaciones de los estudiantes de las pruebas de admisión administradas externamente para fines internos se vio inmediatamente como un ahorro de tiempo y rentable para las universidades. La práctica también apeló a quienes creen que los estudiantes son sometidos a demasiadas pruebas. ¿Quién se opondría a esta prueba de usos múltiples?

Sin embargo, en 2014, apenas una década después del debut del componente de ensayo SAT, el College Board rebajó el ensayo a un estado opcional, lo que significa que ya no es una sección obligatoria de la prueba. Si el ensayo es tan útil para profesores y administradores de escritura universitaria, ¿por qué sus creadores desalentarían esencialmente su uso? ¿No garantizaría la demanda de las partes interesadas su éxito continuo?

Sin embargo, cuando los usuarios de la prueba puntúan SAT multitarea, no logran darse cuenta de que la prueba carece de validez para estos usos adicionales. La mayoría de las personas entienden que la validez del examen significa que una prueba mide lo que dice medir: Un examen de manejo mide las habilidades de manejo y una prueba de escritura mide la capacidad de escritura. Lo que muchas personas no logran darse cuenta, sin embargo, es que una prueba en sí misma no tiene o carece de validez, pero los fines para los que se aplica pueden ser más o menos válidos. Según la American Educational Research Association, la validez de una prueba depende de su uso previsto. Por ejemplo, usar los resultados de un examen de manejo para otorgar o denegar a alguien una licencia de conducir es un uso válido de un examen de manejo, pero usar los mismos resultados para otorgar o denegar diplomas de secundaria no se consideraría un uso válido. El examen de manejo tiene poca o ninguna validez como indicación de quién merece un diploma de preparatoria. Un estuche claro como este es fácil de entender. Menos claros son los casos en que diferentes pruebas adoptan un formato similar, como el componente de escritura SAT y una prueba de nivel de escritura universitaria.

El SAT es una prueba referenciada a normas. Esto significa que puntuar la prueba implica identificar la mediana, o puntaje medio, producida por un grupo de examinados. Las puntuaciones de los examinados se disponen entonces por encima y por debajo de la mediana para crear una llamada curva normal (de ahí el término norma-referenciada), también llamada curva de campana dada su forma. La curva toma esta forma porque la gran mayoría de las puntuaciones de los examinados caen bajo el área más grande de la curva, ligeramente por encima y ligeramente por debajo de la puntuación media, creando la forma de campana.

Las pruebas referenciadas a normas están diseñadas para comparar a los examinados con la norma y entre sí. Por lo tanto, la difusión de las puntuaciones a lo largo de una curva normal permite clasificar fácilmente las puntuaciones de los examinados como promedio, por encima de la media o por debajo de la media en relación con el grupo. Por esta razón, los resultados de las pruebas referenciadas a normas se reportan en percentiles, no porcentajes, ya que los percentiles indican una puntuación del tomador de la prueba en relación con el resto del grupo. Por ejemplo, una puntuación en el percentil 95 indica que el examinador se desempeñó mejor que el 95% de los demás examinados que tomaron la misma prueba, no que el examinador respondió correctamente al 95% de las preguntas. De hecho, una puntuación de percentil no dice nada sobre cuántas preguntas respondió un examinador correcta o incorrectamente, o sobre el dominio del examinador de alguna área particular de conocimiento o habilidad, sino solo cómo se comparó el examinador con el resto del grupo.

Las pruebas referenciadas a normas son útiles para tomar decisiones basadas en comparaciones grupales. El propósito principal del SAT es permitir a los usuarios de exámenes, incluidos estudiantes, consejeros de orientación y oficiales de admisiones universitarias, hacer comparaciones entre los examinados de una variedad de escuelas secundarias para determinar qué estudiantes tienen más probabilidades de tener éxito en ciertas universidades. El SAT, por diseño, no está alineado con ningún plan de estudios en particular, ya que debe ser relevante para los examinados de una amplia gama de programas y escuelas en todo Estados Unidos.

El propósito principal de una prueba de nivel, por otro lado, es determinar dónde en un programa específico los estudiantes deben comenzar sus cursos. Los programas que siguen planes de estudio basados en el desarrollo, como matemáticas, idiomas extranjeros y escritura, pueden depender de algún tipo de prueba de ubicación para los estudiantes entrantes. A diferencia de las pruebas relevantes a nivel nacional como el SAT, las pruebas de colocación deben estar estrechamente vinculadas con el plan de estudios del programa específico para el que fueron diseñadas. Las pruebas alineadas con un programa o plan de estudios en particular caen dentro de la categoría de pruebas referenciadas a criterios.

Las pruebas referenciadas a criterios son útiles cuando los examinados necesitan demostrar dominio de conocimientos específicos, habilidades o habilidades. El examen de manejo mencionado anteriormente sirve como un buen ejemplo de una prueba referenciada por criterios, ya que los examinados tienen que demostrar un conocimiento suficiente de las reglas de la carretera para no crear un peligro para otros conductores o peatones. El desempeño de un examinador, o puntaje, en relación con otros examinados es irrelevante. Si un examinador se desempeña mejor que el 95% de los demás examinados pero todos no respetaron las reglas de circulación, a nadie se le otorga licencia de conducir. De igual manera, si todos estudian y practican para la prueba y todos se desempeñan bien, todos reciben licencias.

El propósito de una prueba de nivel de escritura es determinar qué curso dentro de un programa específico se adapta mejor a las fortalezas y debilidades de escritura de un estudiante. Para que una prueba de nivel sea útil, debe estar alineada con las ofertas de cursos de un programa. La mejor manera de lograr esta alineación necesaria es a través del desarrollo de herramientas de colocación diseñadas localmente, o herramientas adaptadas al entorno local.

En muchos casos, las pruebas de ubicación local implican que los estudiantes envíen muestras de escritura que luego son evaluadas por miembros de la facultad familiarizados con las opciones de cursos locales. Se podría pedir a los estudiantes que creen sus muestras de escritura en el sitio, en respuesta a tareas de escritura diseñadas por la facultad, o se les puede requerir que envíen carteras que muestren una variedad de muestras de escritura. Más recientemente, varios programas están experimentando con la autocolocación dirigida, un tipo de proceso de autoevaluación donde los estudiantes responden a preguntas destinadas a elevar la conciencia de sus propias fortalezas y debilidades en la escritura. Luego, los estudiantes pueden seleccionar un curso en función de sus autoevaluaciones, o los programas pueden combinar las respuestas de autoevaluación de los estudiantes con sus muestras de escritura para tomar decisiones de ubicación. Entonces, hay al menos dos razones para rechazar los puntajes del SAT como sustituto de las pruebas de ubicación. Una es que la validez de una prueba depende de su uso previsto, y dado que el SAT no fue diseñado como prueba de nivel, carece de validez para este propósito. La segunda razón es que el SAT es una prueba referenciada a normas no alineadas con un plan de estudios en particular, mientras que una prueba de nivel de escritura universitaria es una prueba referenciada a criterios con resultados vinculados a contenido específico del curso.
Mucha gente, especialmente la facultad de escritura universitaria, interpreta el

La decisión de College Board de minimizar el papel de la prueba de ensayo SAT como admisión de que era una mala medida de la capacidad de escritura. De acuerdo con Les Perelman, profesor retirado del MIT y crítico abierto de la prueba de ensayo SAT desde sus inicios, dar a los examinados solo 25 minutos para leer, reflexionar y responder inteligentemente a un tema por escrito es una tarea “absurda”. (Consulte el capítulo de Chris Anson y Les Perelman en este libro para obtener más información sobre la validez de las pruebas de escritura estandarizadas).

Si bien es popular criticar a aquellos en la industria de las pruebas por crear pruebas malas o inválidas, una prueba no es inherentemente buena o mala, válida o inválida. Juzgar la validez de una prueba va más allá de consideraciones de formato y contenido. Incluso una tarea de escritura de 25 minutos puede tener validez para ciertos usos. Y una prueba que tenga el formato y la cobertura de contenido deseados sólo es válida cuando se utiliza para la finalidad para la que fue creada. Tan pronto como se utiliza una prueba para un propósito adicional, se pone en duda su validez. Así, en lugar de culpar al College Board por no diseñar el ensayo del SAT siguiendo el modelo de una prueba de nivel con referencia a criterios, los expertos en evaluación de redacción deben culpar a quienes realizan múltiples tareas en las puntuaciones del SAT, abusando de ellas para fines para los que no estaban destinados. Quizás la decisión del College Board de degradar el componente de ensayo SAT evitará que se sigan utilizando sus pruebas irresponsables.

Lectura adicional

Para una descripción breve y accesible de los conceptos básicos en la evaluación educativa, consulte “Pensando en las pruebas y pruebas: una breve cartilla en la alfabetización de evaluación” de Gerald W. Bracey. Para una mirada más profunda a las pruebas académicas y cómo los educadores miden el conocimiento de los estudiantes, consulte los Estándares para Pruebas Educativas y Psicológicas, desarrollados conjuntamente por la American Educational Research Association, American Psychological Association y National Council on Measurement in Education. El Consejo Nacional de Profesores de Inglés y Administradores de Programas de Escritura también abordan conjuntamente temas específicos de contextos de educación postsecundaria en su “Libro Blanco sobre la Evaluación de la Escritura en Colegios y Universidades”. Por último, Les Perelman ha sido muy abierto con sus críticas al SAT, como se ejemplifica en la pieza de Joanna Weiss “El hombre que mató al ensayo del SAT” (The Boston Globe) y “Interview with Les Perelman” de Karyn Hollis (Kairos: A Journal of Rhetoric, Technology, and Pedagogy).

Palabras clave

pruebas referenciadas a criterios, pruebas referenciadas a normas, pruebas de colocación, SAT, uso y mal uso de las pruebas, validez, evaluación por escrito

Autor Bio

Kristen di Gennaro es profesora asistente y directora de composición en la Universidad Pace de la ciudad de Nueva York, donde también imparte cursos de licenciatura en escritura. Se especializa en la evaluación de la escritura y pedagogía con un enfoque particular en escritores de segunda lengua. Su investigación ha aparecido en numerosas revistas académicas.