5: Alfabetización Informacional en Entornos Digitales - Procesos de Mediación de Constructos, Modelado

Capítulo 5. Alfabetización informacional en entornos digitales: mediación de constructos, modelado de constructos y procesos de validación

Irvin R. Katz

Servicio de Pruebas Educativas

Norbert Elliot

Instituto Tecnológico de Nueva Jersey

La alfabetización informacional (IL) es una habilidad del siglo XXI que con mayor frecuencia se conceptualiza y mide a través de prácticas de evaluación del siglo XX. Diseñado por la Asociación de Bibliotecas Universitarias y de Investigación (ACRL) en 1999 y aprobado por su junta en 2000, los Estándares de Competencia de Alfabetización Informacional para la Educación Superior (Estándares IL) es una declaración final de siècle. Un constructo atrapado entre el mundo basado en la impresión del siglo XX y las redes digitales del 21 st, IL se enmarca como una habilidad que, una vez dominada, permitirá a quienes lo posean poner fin a la marea de la “calidad incierta y cantidad en expansión de información” que seguramente “planteará grandes retos para la sociedad” (ACRL, 2000, p. 2). Quienes tengan esta habilidad podrán localizar, evaluar y utilizar la información de manera efectiva para clasificar la “abundancia de información” que “no creará en sí misma una ciudadanía más informada” (p. 2). Con el advenimiento de la Web 2.0 a lo largo de los 13 años intermedios —sus redes sociales, comunidades virtuales, blogs, wikis, podcasts, folksonomies y mashups—, los Estándares IL parecen como si hubieran sido elegidos por Gutenberg.

En respuesta, en 2013 la ACRL fletó un grupo de trabajo para iniciar el proceso de actualización de los Estándares IL. Al señalar los límites del “enfoque basado en competencias y habilidades”, la revisión promete un “enfoque conceptual” que proporciona no solo una lista detallada de habilidades sino, más bien, “un conjunto de habilidades arquetípicas de núcleo que servirán bien a los estudiantes en un entorno de información en continuo cambio” (Jacobson y Gibson, 2013, p. 1). El nuevo Marco para la Alfabetización Informacional para la Educación Superior (Framework for IL) (ACRL, 2015) avanza seis conceptos de umbral, perspectivas transformadoras discutidas por Barry Maid y Barbara J. D'Angelo (Capítulo 2, esta colección). Definido como “un espectro de habilidades, prácticas y hábitos de la mente que extiende y profundiza el aprendizaje a través del compromiso con el ecosistema de información” (p. 1), IL se adelanta a medida que se avanzan estos conceptos de umbral: La autoridad es construida y contextual; la información se crea a través de actos intencionales; la información tiene valor; la investigación es un proceso de indagación; la beca es conversacional y la búsqueda es estratégica. La clave del Marco para la IL en su forma actual es el reconocimiento de que la IL es una experiencia contextualizada y compleja en la que las dimensiones cognitiva, afectiva y social del buscador tienen roles distintos.

El énfasis en las habilidades cognitivas subyacentes a medida que se identifican, estudian y utilizan en entornos digitales es el tema de este capítulo. Para identificar prácticas conceptuales y de validación importantes asociadas al constructo de IL, en este capítulo nos centramos en nuestra experiencia con iShills ™, una evaluación digital que utiliza tareas en tiempo real basadas en escenarios para medir un constructo IL definido.

i S mata: Alfabetización informacional en un entorno digital

En 2002, Educational Testing Service (ETS) reconoció que los entornos digitales hechos públicos desde principios de la década de 1990 presentaban una oportunidad única para la entrega de exámenes (ETS, 2002). En lugar de simplemente digitalizar el formato de prueba de burbuja y folleto que se había utilizado desde su constitución en 1947, los investigadores de ETS reconocieron que las tecnologías emergentes de la información y la comunicación tenían el potencial de nuevas formas de evaluación. En entornos digitales, podrían presentarse ítems que requerían una serie de acciones, no simplemente la identificación de una sola respuesta correcta. Si un estudiante fuera a ser examinado sobre la capacidad de acceder a la información, ese estudiante podría ser requerido para promulgar un proceso de toma de decisiones dentro de contextos retóricos sensibles al objetivo, género y audiencia. El estudiante podría ser colocado en un contexto, como empleado, por ejemplo, sentado ante una computadora en una empresa ficticia llamada Restauración Demolición en la que se había hecho una solicitud de un cliente para encontrar paneles de vidrieras en buenas condiciones. Ante una selección de bases de datos a partir de las cuales se puede extraer información, las búsquedas cada vez más precisas podrían arrojar exactamente los resultados que necesita el cliente (Figura 5.1) .Al realizar una simulación de recuperación de información dentro de las bases de datos, el candidato demuestra la capacidad de búsqueda y luego selecciona la información para satisfacer la solicitud del cliente.

Figura 5.1. Demolición de Restauración: tarea de evaluación de iSkills. © 2015, Servicio de Pruebas Educativas Todos los derechos reservados. Usado con Permiso.

En un entorno basado en impresión, el candidato seleccionaría una sola respuesta correcta de una lista; en este entorno digital, el candidato selecciona la base de datos apropiada de una lista de alternativas, escribe términos de búsqueda, revisa los resultados y puede probar una estrategia de búsqueda alternativa, y luego selecciona las respuestas de los resultados que responden a la consulta del cliente, mientras que la máquina registra la selección de la base de datos, los términos de búsqueda, el número y las características de las búsquedas potencialmente múltiples realizadas, y la relevancia e idoneidad de los resultados revisados y seleccionados. Combinando proceso y producto, el sistema resultante, iShills, representa un tipo de evaluación de próxima generación en la que las aplicaciones de la vida real rastrean el proceso de aprendizaje tal como ocurre en los entornos digitales (Tucker, 2009) que existen dentro de las ecologías de fuentes de información interactuantes identificadas por Kathleen Blake Yancey (Capítulo 4, esta colección). Desde el diseño de tareas hasta la entrega de resultados, los entornos digitales proporcionan una nueva forma de pensar sobre los programas de evaluación a gran escala.

Para los responsables de la selección de instrumentos de evaluación en sitios institucionales específicos, las respuestas a tres preguntas serán útiles cuando la evaluación de IL ocurra en entornos digitales:

1. ¿El constructo de IL en sí está mediado por los entornos digitales en los que se evalúa?

2. ¿Cómo se podría modelar el constructo de IL en entornos de evaluación digital?

3. ¿Qué nos dicen las teorías actuales de validación sobre cómo podrían usarse las evaluaciones institucionales para ayudar a los estudiantes a alfabetizar más información?

Construir Mediación en Entornos Digitales

Para fines de exposición, es útil comenzar por regresar a la definición de un constructo de 1955 propuesta por el equipo psicométrico y filósofo de Lee J. Cronbach y Paul E. Meehl (1955): “Un constructo es algún atributo postulado de las personas, que se supone que se refleja en el rendimiento de las pruebas” (p. 283). En términos generales, todos los constructos son mediados, es decir, siguiendo el origen latino medieval de la palabra, el constructo se divide en el medio, con parte postulada (o dirigida) y parte realizada (y medida). Visto de esta manera, todos los ambientes median constructos, y el alcance de la mediación depende del punto de vista. Para usar un ejemplo bien conocido, la escritura media en el conocimiento, como Walter Ong (1982) demostró de manera famosa en su estudio de la oralidad y la alfabetización. La escritura reestructura la conciencia, propuso audazmente, y la respaldó llamando a la mente distinciones entre el pensamiento de base oral y las prácticas basadas en la alfabetización: Las culturas orales son empáticas, afirmó, mientras que la escritura establece objetividad. Una lista de tales dualismos, su psicodinámica de la oralidad ilustra que todos los constructos existen en dominios que están mediados por, y se reflejan en, el rendimiento. Para Ong, la mediación del lenguaje por escritura era de suma importancia; para sus críticos (Scribner & Cole, 1981), no se pudieron fundamentar los efectos cognitivos generalizados de la tecnología de la alfabetización.

A mediados de la década de 1990, estaba quedando claro que el mundo digital —un nuevo entorno— estaba emergiendo como el último de una serie de cambios contextuales que habían comenzado hace 5 mil 300 años con la escritura en las tablillas de arcilla de Uruk (Woods, 2010). Si la tecnología era el lenguaje visible creado por stylus o pixel, toda mediación, según Jay David Bolter y Richard Grusin (1996), es remediación (p. 346). Como teoría de los medios, la remediación es un concepto que nos permite investigar la promesa de la representación digital: la forma en que los entornos digitales importan y transforman otros medios en el espacio digital; las formas en que estos entornos sugieren la realidad misma con la imagen, el sonido y la tecnología háptica; y las formas que permiten participantes para reformar la realidad a medida que participan sincrónicamente en los eventos. Tan poderosos son estos entornos digitales hoy en día que es difícil imaginar un contexto en el que un usuario pueda evitar la mediación al involucrar el constructo IL. La pregunta se convierte así en una de agencia: ¿Cómo está mediado el constructo IL?

Aquí es útil la parábola de la hormiga de Herbert A. Simon. En Las ciencias de lo artificial (1996), Simón ofreció la siguiente narrativa y su interpretación:

Observamos a una hormiga abrirse camino laborioso a través de una playa moldeada por el viento y las olas. Se mueve hacia adelante, se inclina hacia la derecha para facilitar su ascenso por una duna empinada, se desvía alrededor de un guijarro, se detiene por un momento para intercambiar información con un compatriota. Así hace su tejido, deteniendo camino de regreso a su casa. (pág. 51)

Al llegar a un acuerdo con el viaje de la hormiga, nos preguntamos por la serie irregular, compleja de pasos trazados y retraídos y nos damos cuenta de que el deambular se debe a los obstáculos encontrados de guijarros y caminos. Simón ofrece una hipótesis: “Una hormiga, vista como un sistema de comportamiento, es bastante simple. La aparente complejidad de su comportamiento a lo largo del tiempo es en gran parte un reflejo de la complejidad del entorno en el que se encuentra” (p. 52).

En el caso que nos ocupa, imaginemos que la parábola de hormigas de Simon trata sobre el constructo IL y cómo se revela a través del comportamiento. Vamos a estrechar el constructo a la variable de acceso a la información a medida que el empleado de Restauración Demolición lo involucra. Siguiendo a Simón, los aparentes comportamientos elementalistas (burbuja y cuadernillo) o complejos (respuesta construida) provienen no de diferentes constructos sino de la complejidad de los entornos en los que se evalúa el constructo. Como tal, las muestras impresas y digitalmente del constructo utilizado en una evaluación dada reflejan una playa diferente y, por lo tanto, conducen a un comportamiento diferente. Efectivamente, cada uno mide una construcción diferente —el constructo medido que requiere, digamos, su propio círculo de comportamiento más pequeño— aunque los constructos ciertamente pueden estar relacionados, aunque solo sea porque derivan del mismo dominio subyacente.

Entonces, para responder a la primera pregunta, ¿el constructo de IL está mediado en entornos de evaluación digital? —ofrecemos la siguiente respuesta: Los constructos medidos están efectivamente mediados por la forma en que los diseñadores de evaluación muestrean el constructo. Como tal, dependiendo de cómo los diseñadores de evaluación vean la escena de acción digital, puede haber diferencias en lo que se está midiendo.

Modelado de construcciones en entornos digitales

El concepto de mediación es extremadamente útil para permitirnos reflexionar sobre el impacto de los entornos digitales en los constructos. Sin embargo, ese concepto por sí solo es insuficiente si vamos a examinar la evaluación del aprendizaje en entornos digitales. Se requiere un concepto adicional: modelado.

Susan E. Embretson (1983) reconoció que el impacto de la perspectiva de procesamiento de información descrita por Simon condujo a un cambio de “explicar las relaciones antecedentes/consecuentes a explicar el desempeño de los sistemas y subsistemas de los procesos subyacentes”. “Como cambio de paradigma”, continuó, “la visión del procesamiento de la información conlleva cambios no sólo en las preguntas que se formulan sino también en el tipo de datos que se consideran relevantes” (p. 179). Debido a que el modelado de constructos era, de hecho, el equivalente de la construcción teórica, Embretson propuso que un modelo de constructo sonoro debe dar cuenta del desempeño individual, permitir la comparación de modelos alterativos, la cuantificación del rendimiento de los constructos en el modelo y proporcionar información sobre las diferencias individuales en el desempeño. En el estudio de la escritura, un campo familiar para los lectores de este volumen, el trabajo de modelaje más significativo ha sido el de John R. Hayes (2012) quien ha estado modelando el constructo de escritura durante más de tres décadas (Hayes & Flower, 1980). La delineación de los procesos cognitivos —el control de la tarea por parte del escritor, los procesos de escritura, el entorno de composición y el nivel de recursos— ha transformado nuestro concepto de escritura. Por el trabajo de Hayes y sus colegas, ahora sabemos que la escritura no es una serie de demostraciones ejecutadas mecánicamente del conocimiento de las convenciones sino, más bien, un proceso socio-cognitivo complejo.

Si bien el concepto de mediación es uno de escena (donde ocurre IL), el concepto de modelación es uno de agencia (cómo se modela el constructo). Si bien el entorno digital de iShills involucra guijarros en una nueva playa, las diferencias en el rendimiento que vemos se deben a diferencias en la forma en que el constructo es muestreado por iShills. En última instancia, la construcción dirigida —el acceso a la información, por ejemplo— es, sin embargo, idéntica a la de la comunicación impresa, en la medida en que tanto las evaluaciones digitales como impresas pretenden evaluar el IL. Incluso si las intenciones de los evaluadores son evaluar IL, las diferencias en el desempeño son artefactos del entorno de evaluación y pueden resultar en diferentes constructos medidos.

Aquí está la clave: el entorno de evaluación de iSkills introduce diferencias de desempeño no triviales dentro de la tarea de respuesta construida (Bennett, 1993). Saber evitar los guijarros y navegar por los caminos es esencial para el desempeño del estudiante y, a su vez, para la valoración de una institución del nivel de IL de ese candidato. El hecho de que dos evaluaciones sean etiquetadas como “alfabetización informacional” por sus respectivos desarrolladores no significa que el constructo mediado de IL (el constructo medido) sea el mismo y, por lo tanto, pueda modelarse de manera diferente.

Dos ejemplos son para llevar esta discusión teórica a su aplicación práctica.

La comparación de dos pruebas, la prueba de evaluación estandarizada de habilidades de alfabetización informacional (SAILS) basada en impresión (O'Connor, Radcliff, & Gedeon, 2002) y la ISkills de base digital (Katz, 2007b), demuestra la distinción entre representación de constructos en entornos impresos y digitales. (Aunque SAILS ahora se entrega exclusivamente en línea, la prueba mantiene una organización y formato similares a los que se entregaban en papel). Con base en una estrategia de identificación de la respuesta correcta, un ítem de SAILS pide al candidato, por ejemplo, identificar la mejor fuente de información sobre un evento que tuvo lugar hace dos días al pedirle al candidato que llene la burbuja junto al término “periódico”. Al identificar la respuesta, el candidato internaliza una respuesta correcta mediante un proceso analítico de exclusión de respuestas incorrectas. La respuesta, distanciada y no situada, es ejecutada por una sola acción de identificación. En contraste, en el entorno digital de iSkills se examina al estudiante sobre la capacidad de acceder a experiencias de información, tanto en un contexto realista simulado como en un entorno de respuesta construido robusto. La tarea comienza con solo una descripción de la necesidad del cliente y una pantalla de búsqueda vacía. A medida que el estudiante selecciona bases de datos, pulsaciones de teclas términos de búsqueda y revisa los resultados en potencialmente múltiples ciclos de búsqueda y revisión, ese estudiante involucra un aspecto de la construcción IL en proceso continuo de mediación (el enfoque original) y re-mediación (el enfoque original reestructurado por el construido tarea de respuesta). Inmerso, el estudiante adopta la persona de un empleado de Restauración Demolición (Figura 5.1), una realidad creada digitalmente.

En esencia, la experiencia IL es transformada por ese ambiente creado. Tanto el elemento SAILS como la tarea de respuesta construida iSkills tocan la variable IL de acceso a la información, pero de maneras claramente diferentes. De hecho, la distinción entre entornos impresos y digitales también se lleva a cabo en la función de puntuación de pruebas: SAILS solo permite una respuesta correcta; iSkills produce una puntuación de competencia basada en niveles de habilidad que abarcan tanto la eficacia del proceso como la identificación correcta de las respuestas.

El contraste de dos evaluaciones, la evaluación de IL basada en impresión en el Instituto de Tecnología de Nueva Jersey (NJIT, 2012; Scharf, Elliot, Huey, Briller, & Joshi, 2007) e iShills (Katz, 2007b), demuestra la distinción entre la evaluación de constructos en entornos impresos y digitales. En 2005, investigadores de NJIT realizaron un estudio de la relación entre un modelo de escritura informado por Hayes y un modelo de IL informado por ACRL, ya que ambos constructos fueron representados en una muestra de 100 portafolios de estudiantes de grado superior matriculados en cursos de humanidades. Similar al proyecto curricular reportado por Beth Bensen, Hong Wu, Denise Woetzel y Ghazala Hashmi (Capítulo 19, esta colección), la investigación fue el resultado de la colaboración entre profesores de inglés y bibliotecarios. La puntuación general en el modelo de escritura se correlacionó con la puntuación general en el modelo IL a 0.50 (p < 0.01), evidencia de que los dos modelos estaban relacionados. Con base en este sistema de evaluación basado en la impresión, los investigadores de NJIT y ETS colaboraron para investigar la relación entre los puntajes holísticos de la cartera (diseñados para capturar habilidades tanto de escritura como de IL) y los puntajes de iSkills de estudiantes matriculados en cursos de humanidades (Katz, Elliot, et al., 2008). Después de controlar la capacidad general de los estudiantes medida por los puntajes del SAT, el análisis reveló correlaciones cercanas a cero entre los puntajes de cartera y los puntajes de iSkills de estudiantes de primer año, así como de estudiantes de Al momento del estudio, concluimos que los constructos estaban relacionados pero distintos. En el entorno impreso de las carteras, se había pedido a los estudiantes que leyeran novelas, buscaran en bases de datos artículos revisados por pares e integraran esos artículos para desarrollar diversas interpretaciones de elementos dentro de las novelas. Una de las tareas de respuesta construidas digitalmente de iSkills había pedido a los estudiantes que compararan los anuncios de los sitios web de proveedores competidores resumiendo la información en una tabla, o se les había pedido a los estudiantes que presentaran los resultados de un evento deportivo en una hoja de cálculo para aclarar la clasificación y decidir la necesidad de playoffs. De la tarea a la puntuación, las dos valoraciones no podrían haber sido más diferentes. Aunque el dominio de constructo diana de IL fue el mismo, estuvo mediado por las respectivas evaluaciones, resultando en diferentes constructos medidos.

A partir de estos dos estudios, nuestra respuesta a la segunda pregunta: ¿cómo se modela el constructo de IL en entornos de evaluación digital? —es el siguiente: Si bien la identificación del constructo de IL, visto como un sistema de comportamiento, se puede hacer en términos sencillos, la complejidad observada del comportamiento de los estudiantes a medida que se desempeñan en entornos impresos y digitales es un reflejo de la complejidad del entorno en la evaluación. Si bien las variables centrales, los atributos postulados de Cronbach y MEEHL, existen en el dominio más amplio, su representación en el entorno digital de la construcción medida de sistemas de evaluación como iShills es única. El grado en que el constructo está mediado digitalmente depende de la medida en que la evaluación aproveche, en términos de Bolter y Grusin, la entrega de otros medios, la simulación realista y la participación en esa realidad creada. Y, si bien el constructo objetivo (el dominio de constructo pretendido) se comparte entre entornos, en entornos mediados digitalmente puede haber diferencias en exactamente lo que se está midiendo, como demostró el estudio NJIT.

Si bien esa respuesta algo larga es conceptualmente útil, el personal de evaluación institucional y sus colegas de instrucción que están decidiendo cómo evaluar IL deben considerar estrategias prácticas para proporcionar una imagen más clara del constructo subyacente y su representación en la prueba en cuestión. A través de la validación, el proceso de recolección de pruebas para la interpretación y el uso de una evaluación, las instituciones pueden comenzar a realizar dichas evaluaciones.

Como ahora demostraremos, tales evaluaciones son tan matizadas como lo es la representación del constructo en formas únicas de evaluación. A través de la validación, los interesados en la evaluación pueden tomar decisiones importantes que conduzcan a reclamos sobre el IL de sus estudiantes. Pasamos ahora a presentar teorías de validación y cómo pueden apoyar los esfuerzos de evaluación institucional para ayudar a los estudiantes a ser más alfabetizados en información.

Validación de constructos en entornos digitales

Michael T. Kane (2013) propuso un Argumento de Interpretación/Uso (IUA) como la forma más actual de validación. Al presentar su caso a favor de un sistema probatorio de recolección de pruebas de validez, trató con cierto detalle el concepto de validez de constructo. Rastreando la idea de representación de constructo ofrecida por Cronbach y Meehl (1955), Kane identifica tres legados de su modelo: las interpretaciones de puntaje de prueba no pueden tomarse como evidentes; la validación es un proceso que depende de afirmaciones hechas en un marco interpretativo definido; y la indagación crítica es el resultado apropiado de la validación.

La aplicación de los conceptos de representación y validación de Kane al estudio de IL en entornos digitales se muestra en la Figura 5.2.

Figura 5.2. Alfabetización informacional: Un modelo de validación.

El círculo grande representa el dominio constructo —el atributo postulado del conocimiento desarrollado, destinado a reflejarse en el desempeño de las pruebas— de IL. Este círculo, la construcción dirigida, representa el alcance completo de IL: los conocimientos y habilidades no directamente observables en la mente de un estudiante que impulsan el desempeño observable en cualquier tarea relacionada con IL, ya sean actividades del mundo real o tareas de evaluación. Aquí encontramos el trabajo de todos los que han intentado definir este constructo completo de IL. Dentro de este círculo existe el concepto inicial de IL que se encuentra en los Estándares IL, así como el Marco para IL. Aquí, también, destacan interpretaciones institucionales particulares de IL, como la establecida en NJIT, con su énfasis en los rasgos puntuados en evaluaciones de cartera: citación; evidencia de investigación independiente; idoneidad; e integración (Scharf et al., 2007). En el círculo grande también encontramos todas las formas de evaluación impresa y digital, las que han sido examinadas, las que están surgiendo y las que se pueden imaginar. Dicho de otra manera, todos los conceptos de IL que se ofrecen en este libro encajan en el círculo grande.

El círculo más pequeño representa una sola muestra del constructo IL ya que se refleja en un entorno digital. Es decir, el círculo más pequeño representa la construcción medida, aquellos elementos de conocimiento y habilidad del rango de IL medibles mediante una evaluación digital. Tenga en cuenta que el círculo más pequeño se dibuja del dominio más grande; aunque nos gustaría que el constructo medido fuera un subconjunto perfecto, la realidad es que el constructo evaluado también podría incluir conocimientos y habilidades no descritas en el dominio más grande. En el caso de iShills, la muestra de constructo incluye las cinco variables de IL que impulsan la prueba: acceder, resumir e integrar información de una variedad de fuentes digitales; definir un problema de información o formular una declaración de investigación; comunicar información a una audiencia particular o en una diferente medio; crear, generar o adaptar información para expresar y sustentar un punto; y evaluar la utilidad y suficiencia de la información para un propósito específico (adaptado de ETS, 2002).

La institución anfitriona representa el sitio específico en el que se realiza la evaluación. Es ahí donde el constructo toma sentido para los usuarios de la evaluación. Como demostraremos, este contexto cambia el marco de validez del diseñador de la evaluación al del usuario de la evaluación.

Los investigadores institucionales que quieran medir y guiar la mejora de las habilidades de IL de los estudiantes deben crear sus propias IUA que guíen las decisiones sobre planes de muestreo, uso de puntajes y cambios curriculares necesarios. Sin embargo, debido a que el uso de puntajes para un sistema como iSKILS —o cualquier prueba, para el caso— no es simplemente un voto ascendente o negativo respecto a la validez, Kane (2013) ofrece un proceso de validación atento a fuentes de evidencia que guían la interpretación y el uso de la puntuación. Hemos ilustrado estas cinco fuentes a la derecha de la Figura 5.2:

1. Las inferencias de puntuación nos llevan de los rendimientos observados en una prueba a una puntuación observada. Estas inferencias incluyen evidencia sobre la idoneidad de los criterios de puntuación y los principios para combinar puntajes. Estas inferencias proporcionan evidencia de que las puntuaciones de las pruebas reflejan el desempeño de las pruebas Esta inferencia podría no ser tan obvia como podría parecer inicialmente, como ilustramos a continuación.

2. Las inferencias de generalización nos llevan de la muestra observada de rendimientos (como se refleja en la puntuación de la prueba) a afirmaciones sobre el desempeño esperado en la muestra de constructo (por ejemplo, que la puntuación de la prueba refleja el rendimiento esperado no solo en el IL digital actual tareas de evaluación, pero en tareas de evaluación de IL digitales similares).

3. Las inferencias de extrapolación extienden la interpretación al dominio de constructo completo, y probablemente se encuentran entre las suposiciones más comunes hechas sobre los resultados de las pruebas, que reflejan la capacidad real del mundo real en el dominio de interés.

4. Las inferencias de consecuencias extienden la interpretación al entorno de evaluación más amplio, fortaleciendo así la IUA. (Por supuesto, las consecuencias no deseadas que amenazan la validez deben ser consideradas y, cuando sea posible, evitarlas).

5. Las inferencias basadas en la teoría extienden aún más la interpretación, en relaciones hipotéticas entre el dominio de constructo y otras áreas de interés.

Kane propuso estas cinco categorías de evidencia como una forma de validar la interpretación y uso de los puntajes de las pruebas. Proponemos que los instructores y administradores puedan utilizar estas categorías para diseñar un programa de investigación que arroje información sobre las habilidades de IL de sus alumnos. Como mostramos en los siguientes ejemplos, la extensión no es difícil de hacer.

Las inferencias de puntuación se refieren conceptualmente a la idea de que los resultados de las pruebas reflejan el desempeño de los estudiantes en la prueba Si bien, tradicionalmente, la evidencia para esta inferencia incluye cuestiones técnicas como los procedimientos de puntuación, en un contexto de acreditación un factor clave es la motivación: ¿Los estudiantes están haciendo todo lo posible en una evaluación que podría no tener consecuencias directas para ellos? Y, si no lo son, ¿qué tan significativas son las puntuaciones en sí mismas? Debido a que los estudiantes más motivados se desempeñan mejor en tales pruebas (Liu, Bridgeman, & Adler, 2012), un tipo de evidencia para una motivación suficiente es investigar la recepción de una prueba por parte de los estudiantes. En el Cuadro 5.1 se presenta una encuesta de retroalimentación (N = 1823) recopilada por ETS durante los primeros ensayos de campo de ISkills. Como indican las respuestas, los estudiantes dieron la prueba su mejor esfuerzo, la encontraron innovadora y desafiante, y se dieron cuenta de que el éxito requería habilidades de pensamiento técnico y crítico. Sin embargo, el software, el entorno digital, presentó problemas que pueden haber resultado en la interferencia con la medición de constructos. El uso de dicha información permite una representación más completa del significado de las propias puntuaciones.

La evidencia para inferencias de generalización incluiría información sobre el desempeño de los estudiantes en iSkills en relación con el nivel de desempeño de la prueba que se espera que se considere “alfabetizado en información”. Un estudio a gran escala (N = 1442) de 14 tareas que cubren las cinco variables de la Figura 5.2 nos dice mucho sobre el desempeño de los estudiantes en iShills.

Cuadro 5.1. Encuesta de retroalimentación de iShills: Porcentaje de respuestas

La Figura 5.3 muestra la distribución de los puntajes de 1442 estudiantes universitarios y estudiantes de último año de secundaria. La puntuación media en esta muestra fue de 260, con una desviación estándar de 72; las puntuaciones se distribuyeron aproximadamente normalmente en el rango de puntaje posible de 0-500. Aproximadamente el 50% de los estudiantes alcanzaron un nivel de alfabetización fundamental en TIC que se espera de ingresar a estudiantes de primer año universitario. (Ver Tannenbaum & Katz, 2008, para detalles sobre la definición y establecimiento del nivel fundacional.) Las inferencias de generalización se apoyan porque la distribución de los puntajes es consistente con lo que se espera en la distribución de IL. Si bien muchos bibliotecarios no se sorprenderían de este número, que solo la mitad de los estudiantes “aprobaron” el examen sugiere que los llamados nativos digitales no son uniformemente competentes en el uso efectivo de la tecnología (ver Katz, 2007a, para más descripciones de fortalezas y debilidades de estos examinados). Al mismo tiempo, este porcentaje es superior al observado en investigaciones previas (e.g., 27-40% en versiones anteriores de la evaluación; Tannenbaum & Katz, 2008). Si bien no podemos atribuir definitivamente una causa de este aumento en las tasas de aprobación entre los examinados de iSkills, esperaríamos que el aumento se deba a una mayor atención a las habilidades de alfabetización de IL y TIC por parte de las agencias de acreditación, así como por los colegios y universidades que colocan estas habilidades en la educación general currículo, como la obra de Alison S. Gregory y Betty L. McCall (Capítulo 18, esta colección) y Lori Baker y Pam Gladis (Capítulo 16, esta colección).

Figura 5.3. Tasa de aprobación de iSkills, de abril de 2011 a marzo de 2012 (N = 1442).

Sin embargo, las inferencias de generalización no necesitan basarse solo en planes de muestreo a gran escala o estadísticas inferenciales, como reveló un estudio de 88 estudiantes universitarios que respondieron a tareas de evaluación de iShills y a tareas “naturalistas” más abiertas (Snow & Katz, 2009). En ese estudio, el análisis de las entrevistas de estudiantes reveló el proceso de respuesta utilizado para responder tanto a las pruebas estandarizadas como a las tareas desarrolladas localmente en el aula Al aprender más sobre el proceso de respuesta de los estudiantes, los instructores pueden diseñar un plan de estudios que permita el éxito en ambos tipos de pruebas.

Las inferencias de extrapolación incluirían observaciones de las relaciones entre el desempeño en ISkills y los rendimientos en un dominio relacionado. Como se señaló anteriormente, el estudio de cartera NJIT (Scharf et al., 2007) documentó la relación entre los puntajes de escritura y los puntajes IL. Sin embargo, los puntajes de escritura se correlacionaron más fuertemente con los puntajes relacionados con el plan de estudios (grado actual del curso y GPA general) que los puntajes La inferencia de extrapolación de estas medidas de criterio permitió a los instructores darse cuenta de que el IL aún no estaba completamente integrado en el plan de estudios y diseñar una forma para que los bibliotecarios ayudaran a aumentar la intensidad de los cursos en esa área. Un estudio relacionado (Katz, Haras, & Blaszczynski, 2010) encontró que ISkills predijo calificaciones en un curso de escritura empresarial, demostrando el tipo de conexión entre IL y habilidades empresariales exploradas por Dale Cyphert y Stanley P. Lyle (Capítulo 3, esta colección). Así, las inferencias de extrapolación se convierten en una parte significativa del proceso de validación, ya que el IL se convierte en un constructo habilitador que sugiere una expansión general del currículo

Derivado del uso de ISkills en NJIT y el impacto de la evaluación en la institución y la evaluación misma, la identificación de inferencias consecuentes fortalecen la IUA (American Educational Research Association, American Psychological Association, & National Council on Measurement en Educación, 2014; Haertel, 2013). Para NJIT, nuestros estudios contrastando el constructo IL medido a través de la impresión (Scharf et al., 2007) y medido a través de un entorno digital (Katz, Elliot, et al., 2008) revelaron deficiencias en la visión de las instituciones sobre el constructo IL. En consecuencia, la evaluación iSkills se hizo parte del conjunto de evaluaciones NJIT, una decisión que reforzó fuertemente un marco de alfabetización informacional en todo el currículo que los bibliotecarios habían estado construyendo desde 2009. Esta integración tuvo dos consecuencias: el IL de base digital se convirtió en parte del plan de estudios básico para el aprendizaje de los estudiantes adoptado en NJIT; e iShills sirvió como un componente clave de evaluación de la exitosa re-acreditación de la institución 2012 por parte de la Comisión de Educación Superior de los Estados del Medio (NJIT, 2012). Para reforzar la motivación de los estudiantes en las evaluaciones, la institución está examinando ahora cómo los Certificados de Logro (premios por niveles de rendimiento predefinidos en iSKILS) podrían proporcionar una motivación adicional para que los estudiantes hagan su mejor esfuerzo. Debido a que mejorar la motivación fortalece el argumento de validez (Liu et al., 2012), los estudios de casos de instituciones como NJIT transformaron el ambiente de la evaluación misma en ETS y llevaron a la obtención de certificados otorgados por niveles de alfabetización en TIC (ETS, 2014).

Las inferencias basadas en la teoría también son de gran importancia para los instructores y administradores, ya que ayudan a hacer explícita la conexión entre el dominio constructo y las estrategias de cambio curricular. En el caso que nos ocupa, una teoría del IL postula el marco subyacente que impulsó a la hormiguita de Simon, así como a nuestros alumnos, de ciertas maneras al encontrarse, respectivamente, con guijarros y tareas de respuesta construidas.

Un ejemplo impulsa a casa la importancia de la construcción de teorías. Para investigar la naturaleza de IL, medida por iShills, investigadores de ETS (Katz, Attali, & Rijmen, 2008) utilizaron el análisis factorial para identificar patrones en un conjunto de ítems y establecer qué combinaciones de ítems tienden a estar altamente correlacionadas. En el caso de iShills, había dos modelos ideales primarios a considerar. Primero, un modelo de siete factores organizó los ítems en los grupos correspondientes a las subhabilidades IL postuladas (definir, acceder, evaluar, administrar, integrar, crear y comunicar; ver Katz, 2007b). La evaluación de iSkills se diseñó originalmente con estas siete habilidades, correspondiendo cada tarea (y los ítems dentro de una tarea) a una de las habilidades. Este modelo postula que un estudiante podría hacer bien en, digamos, encontrar tareas de información (acceder) pero hacerlo mal en tareas que requieren adaptar materiales a una audiencia (comunicarse). En segundo lugar, el modelo de un factor consideró que todos los ítems de la evaluación iShills juntos miden un constructo único e integrado de IL: Los estudiantes son fuertes o débiles en IL en general, con todos los ítems en la prueba altamente correlacionados (por ejemplo, el alto rendimiento en un tipo de ítem implica alto rendimiento en todo tipo de artículos). Tanto los análisis factoriales exploratorios como los confirmatorios sugieren que el IL, medido por iShills, consiste en un solo factor (Katz, Attali, et al., 2008). Es decir, con base en datos de una muestra de más de 600 examinados, los análisis factoriales exploratorios sugirieron que todo el conjunto de tareas de iSkills mide un constructo único e integrado: los estudiantes podrían tener mayor o menor IL, pero no hubo evidencia de que las siete áreas de habilidades de IL fueran distintas entre sí. De manera similar, en los análisis factoriales confirmatorios, el modelo ideal de un factor se ajusta mucho mejor a los datos que el modelo ideal de siete factores.

¿Qué significa esta investigación para la instrucción? Interpretativamente, parece que la IL es una habilidad integrada: mejorar la IL es una cuestión de instrucción holística e integral, en lugar de una capacitación poco sistemática en habilidades de componentes. IL parece ser un concepto de umbral verdaderamente significativo (Towsend, Brunetti, & Hofer, 2011). Tal perspectiva integrada sobre IL podría reflejar una visión más fuerte y sofisticada de la información en general o una visión más débil y simplista. Por supuesto, la instrucción no puede pasar por alto las diversas actividades que conforman la habilidad IL, como se describe en documentos como el Marco para IL o las formas particulares en que los instructores de humanidades de NJIT enseñan y evalúan el constructo. Sin embargo, centrarse solo en esas habilidades fundamentales podría no ser el camino más rápido (o mejor) hacia IL. En cambio, un enfoque equilibrado que señale la utilidad de actitudes más sofisticadas hacia la IL podría ayudar a los estudiantes a reconocer el valor en, digamos, tratar de encontrar descriptores alternativos para la información (lo que, a su vez, debería conducir a mejores resultados de búsqueda).

La evidencia de que IL, medida por iShills, es un constructo unificado impacta cómo se debe administrar esa evaluación. Los investigadores institucionales deben explicar inferencias teóricas sobre IL que postulan características de los estudiantes y sus experiencias que conducen a un IL más fuerte o más débil. ¿Los alumnos que completan un determinado conjunto de cursos, comparados con los que no lo hacen, son más alfabetizados en información? ¿Los estudiantes de transferencia ingresan con habilidades de IL más débiles, lo que los lleva a luchar en los programas en comparación con los estudiantes que, desde el primer año, se benefician del plan de estudios básico de la universidad en IL? ¿Qué carreras tienden a tener más estudiantes alfabetizados en información, y es esa una función de los estudiantes que tienden a entrar en esa especialidad o una función de los cursos en esa especialidad? Estos son solo ejemplos de inferencias basadas en teoría que podrían investigarse utilizando un plan de muestreo adecuado en la administración de evaluaciones de IL como iShills. Vinculan directamente los resultados de las evaluaciones con los planes de mejora institucional.

Volviendo a la Figura 5.2, observamos que las flechas indican que el argumento de interpretación/uso, y la evidencia asociada, deben ser utilizados por instructores y administradores institucionales para ayudarlos a reconsiderar y redefinir, según sea necesario, el dominio constructo en sí y los elementos del mismo que son más relevantes para sus alumnos admitidos. Sin ese bucle de retroalimentación, la información recopilada sólo dará como resultado informes concluidos y trabajos publicados; con ello, los interesados podrán trabajar para asegurar que los resultados de la evaluación se utilicen para mejorar el aprendizaje.

Y así concluimos respondiendo a nuestra tercera pregunta: ¿Qué nos dicen las teorías actuales de validación sobre cómo podrían utilizarse las evaluaciones institucionales para ayudar a los estudiantes a obtener más conocimientos de información? Teorías actuales como la IUA revelan la importancia vital de un programa de investigación cuidadosamente planificado, basado en la institución, cuando se están examinando constructos complejos. En el campo de los estudios de escritura, tales llamados a la contextualización han sido bien desarrollados y pueden servir como base para la investigación de IL (Condon, 2013; Huot, 1996; White, Elliot, & Peckham, 2015). De manera similar, cada una de las fuentes de evidencia identificadas por Kane sugiere distintos programas de investigación enfocados en áreas de validación. La investigación en estas áreas proporciona el nivel de detalle necesario para identificar formas de ayudar a los estudiantes a mejorar su desempeño en IL.

No obstante, es un error concluir con triunfalismo porque queda mucho por hacer. Por valiosa que sea, la perspectiva de la IUA es la de un diseñador de evaluación, no un usuario de evaluación. Para aquellos actores de la institución de acogida que se muestran en la Figura 5.2, por ejemplo, la motivación es de enorme importancia. Si bien el diseñador de evaluación se preocupará justificadamente por cuestiones técnicas como los procedimientos de puntuación, es de suma importancia asegurarse de que los estudiantes estén dispuestos a participar en la muestra de construcción de iSkills. En efecto, cultivar la motivación de los estudiantes es un aspecto de la evaluación sobre el cual los actores institucionales tienen una gran influencia. Como Mariëlle Leijten, Luuk Van Waes, Karen Schriver y John R. Hayes (2014) han observado del modelo de escritura, sin embargo, los educadores no han aprendido adecuadamente a combinar la motivación con los procesos cognitivos en nuestros modelos de construcción tanto en entornos de comunicación académica como laboral. Si seguimos las recomendaciones del Consejo Nacional de Investigaciones (2012) y atendemos el amplio espectro de dominios cognitivos, intrapersonales e interpersonales —como lo ha propuesto el Marco para la IL en su énfasis en las dimensiones cognitivas, afectivas y sociales— nos damos cuenta de que debemos continuar ampliando nuestra investigación sobre la mediación de constructos IL y su dominio. Y, al hacerlo, también debemos seguir conceptualizando la perspectiva de la IUA en términos de todos aquellos que serán influenciados por su uso: juntas asesoras, administración, personal docente e instructivo, padres de familia, estudiantes, y público. Dependiendo de la audiencia, la IUA para una evaluación puede tener que ser reformada para que tenga sentido. Cuando se agrega perspectiva, nos damos cuenta de que apenas estamos empezando a entender nuestras parábolas.

Referencias

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Estándares para pruebas educativas y psicológicas. Washington, DC: Asociación Americana de Investigación Educativa.

Asociación de Bibliotecas Universitarias y de Investigación (2000). Estándares de competencia de alfabetización informacional para la educación superior. Chicago, IL: Asociación Americana de Bibliotecas.

Asociación de Colegios y Bibliotecas de Investigación (2015). Marco de alfabetización informacional para la educación superior. Chicago, IL: Asociación Americana de Bibliotecas.

Baker, L., & Gladis, P. (2016). Avanzar mirando hacia atrás: Elaboración de un marco para la alfabetización informacional sostenible e institucional. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.

Bennett, R. E. (1993). Sobre los significados de la respuesta construida. En R. E. Bennett & W. C. Ward (Eds.), Construcción vs. elección en la medición cognitiva: Problemas en la respuesta construida, pruebas de desempeño y evaluación de carteras (pp. 1-27). Hillsdale, NJ: Erlbaum.

Bensen, B., Woetzel, D., Wu, H., & Hashmi, G. (2016). Impactar la alfabetización informacional a través de la alineación, recursos y evaluación. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.

Bolter, J. D., & Grusin, R. (1996). Remediación. Configuraciones, 4, 133-358.

Condon, W. (2013). Evaluación a gran escala, medidas desarrolladas localmente y puntuación automatizada de ensayos: ¿Pesca de arenques rojos? Evaluación de la Escritura, 18, 100-108.

Cronbach, L. J., & Meehl, P. E. (1955). Validez de constructo en pruebas psicológicas. Boletín Psicológico, 52, 281-302.

Cyphert, D., & Lyle, S. P. (2016). Expectativas del empleador de alfabetización informacional: Identificar la brecha de habilidades. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.

Servicio de Pruebas Educativas (2002). Transformación digital: Un marco para la alfabetización en TIC. Princeton, NJ: Autor. Recuperado de www.ets.org/media/tests/infor... /ictreport.pdf

Servicio de Pruebas Educativas (2014). ISKills™ Certificados de logro. Recuperado a partir de www.ets.org/iskills/scores_re... s/certificados

Embretson, S. E. (1983). Validez de constructo: Representación de constructo versus lapso nomotético. Boletín Psicológico, 93, 179-197.

Gregory, A. S., & McCall, B. L. (2016). Construyendo investigadores críticos y escritores de manera incremental: Asociaciones vitales entre profesores y bibliotecarios. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.

Haertel, E. (2013). ¿Cómo se supone que las pruebas mejoran la escolaridad? Medición: Investigación y perspectivas interdisciplinares, 11, 1-18,

Hayes, J. R. (2012). Modelado y remodelación de la escritura. Comunicación escrita, 29, 369-388.

Hayes, J. R., & Flower, L. S. (1980). Identificar la organización de los procesos de escritura. En L. W. Gregg & E. R. Steinberg (Eds.), Procesos cognitivos en la escritura (pp. 3-30). Hillsdale, NJ: Erlbaum.

Huot, B. (1996). Hacia una nueva teoría de la evaluación de la escritura. Colegio Composición y Comunicación, 47, 549-566.

Jacobson, T., & Gibson, C. (2013). Normas de competencia de alfabetización informacional ACRL para el grupo de trabajo de educación superior. Recuperado a partir de http://connect.ala.org/node/205100

Kane, M. T. (2013). Validar la interpretación y usos de los puntajes de las pruebas. Revista de Medición Educativa, 50, 1-73.

Katz, I. R. (2007a). La investigación de ETS encuentra que los estudiantes universitarios se quedan cortos en demostrar alfabetización en TIC: Consejo Nacional de Políticas para crear estándares nacionales. Colegio y Bibliotecas de Investigación Noticias, 68, 35-37. También disponible en: http://crln.acrl.org/content/68/1/35.full.pdf

Katz, I. R. (2007b). Prueba de alfabetización informacional en entornos digitales: evaluación iShills de ETS. Tecnologías de la Información y Bibliotecas, 26, 3-12.

Katz, I. R., Attali, Y., & Rijmen, F. (2008, abril). Evaluación ISkills™ de ETS: Medición de la alfabetización en tecnología de la información y la comunicación. Ponencia presentada en la reunión de la Sociedad de Psicología Industrial/Organizacional, San Francisco, CA.

Katz, I. R., Elliot, N., Attali, Y., Scharf, D., Poderes, D., Huey, H.,... Briller, V. (2008). La evaluación de la alfabetización informacional: Un estudio de caso (Informe de Investigación RR-08-03). Princeton, NJ: Servicio de Pruebas Educativas.

Katz, I. R., Haras, C. M., & Blaszczynski, C. (2010). ¿La redacción empresarial requiere alfabetización informacional? Comunicación Empresarial Trimestral, 73, 135-149.

Leijten, M., Van Waes L., Schriver, K., & Hayes, J.R. (2014). Escribir en el lugar de trabajo: Construyendo documentos utilizando múltiples fuentes digitales. Revista de Investigación en Escritura, 5, 285-337.

Liu, O. L., Bridgeman, B., & Adler, R. M. (2012). Medición de resultados en la educación superior: La motivación importa. Investigador Educativo, 41, 352-362.

Sirvienta, B., & D'Angelo, B. J. (2016). Conceptos de umbral: Integrar y aplicar la alfabetización informacional y la instrucción escrita. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.

Consejo Nacional de Investigaciones (2012). Educación para la vida y el trabajo: Desarrollar conocimientos y habilidades transferibles en el siglo XXI. Washington, DC: Prensa de Academias Nacionales.

Instituto Tecnológico de Nueva Jersey (2012). Una universidad de investigación en ciencia y tecnología para el siglo XXI: Informe final. Recuperado de www.njit.edu/middlestates/doc... inalReport.pdf

O'Connor, L. G., Radcliff, C. J., & Gedeon, J. A. (2002). Aplicar el diseño de sistemas y la teoría de respuesta al ítem al problema de medir las habilidades de alfabetización informacional. Colegio y Bibliotecas de Investigación, 63, 528-543.

Ong, Walter. (1982). Oralidad y alfabetización: La tecnologización de la palabra. Londres, Reino Unido: Methuen.

Scharf, D., Elliot, N., Huey, H., Briller, V., & Joshi, K. (2007). Evaluación directa de la alfabetización informacional mediante portafolios de escritura. Revista de Biblioteconomía Académica, 33, 462-477.

Scribner, S., & Cole, M. (1981). La psicología de la alfabetización. Cambridge, MA: Prensa de la Universidad de Harvard.

Simon, H. A. (1996). Las ciencias de lo artificial (3ra. ed.). Cambridge, MA: Prensa MIT.

Snow, E., & Katz, I. R. (2009). Mediante entrevistas cognitivas para validar un argumento interpretativo para la evaluación ETS ™. Comunicaciones en Alfabetización Informacional, 3, 99-127.

Tannenbaum, R. J., & Katz, I. R. (2008). Establecer estándares en las evaluaciones principales y avanzadas iShills™ (Memorándum de Investigación RM-08-04). Princeton, NJ: Servicio de Pruebas Educativas. Disponible en línea en: http://www.ets.org/Media/Research/pdf/RM-08-04.pdf

Townsend, L., Brunetti, K., & Hofer, A. R. (2011). Conceptos de umbral y alfabetización informacional. portal: Las bibliotecas y la Academia, 11, 853-869.

Tucker, B. (2009). La próxima generación de pruebas. Liderazgo Educativo, 67, 48-53.

White, E. M., Elliot, N., & Peckham, I. (2015). Muy parecido a una ballena: La valoración de los programas de escritura. Logan, UT: Prensa de la Universidad Estatal de Utah.

Woods, C. (2010). Lenguaje visible. Chicago, IL: Prensa de la Universidad de Chicago.

Yancey, K. B. (2016). Crear y explorar nuevos mundos: Web 2.0, alfabetización informacional y las formas que conocemos. En B. J. D'Angelo, S. Jamieson, B. Maid, & J. R. Walker (Eds.), Alfabetización informacional: Investigación y colaboración entre disciplinas. Fort Collins, CO: Centro de intercambio de información WAC y University Press of Colorado.