Figura 19. La forma en que recibimos la información del mundo se llama sensación mientras que nuestra interpretación de esa información se llama percepción. [Imagen: Laurens van Lieshou]
Si bien ha sido tradicional estudiar los diversos sentidos de forma independiente, la mayoría de las veces, la percepción opera en el contexto de la información suministrada por múltiples modalidades sensoriales al mismo tiempo. Por ejemplo, imagínese si fue testigo de una colisión automovilística. Se podría describir el estímulo generado por este evento considerando cada uno de los sentidos de forma independiente; es decir, como un conjunto de estímulos unimodales. Tus ojos serían estimulados con patrones de energía luminosa rebotando en los autos involucrados. Tus oídos serían estimulados con patrones de energía acústica que emanan de la colisión. Tu nariz podría incluso ser estimulada por el olor a goma o gasolina ardientes. No obstante, toda esta información sería relevante para lo mismo: tu percepción de la colisión automovilística. En efecto, a menos que alguien te pida explícitamente que describas tu percepción en términos unimodales, lo más probable es que experimentes el evento como un paquete unificado de sensaciones desde múltiples sentidos. En otras palabras, tu percepción sería multimodal. La cuestión es si las diversas fuentes de información involucradas en este estímulo multimodal son procesadas por separado por el sistema perceptual o no.
Durante las últimas décadas, la investigación perceptual ha señalado la importancia de la percepción multimodal: los efectos sobre la percepción de eventos y objetos en el mundo que se observan cuando hay información de más de una modalidad sensorial. La mayor parte de esta investigación indica que, en algún momento del procesamiento perceptual, se integra la información de las diversas modalidades sensoriales. Es decir, la información se combina y se trata como una representación unitaria del mundo.
Efectos conductuales de la percepción multimodal
Aunque los neurocientíficos tienden a estudiar interacciones muy simples entre neuronas, el hecho de que hayan encontrado tantas áreas transmodales de la corteza parece insinuar que la forma en que experimentamos el mundo es fundamentalmente multimodal. Nuestras intuiciones sobre la percepción son consistentes con esto; no parece que nuestra percepción de los eventos esté limitada a la percepción de cada modalidad sensorial de forma independiente. Más bien, percibimos un mundo unificado, independientemente de la modalidad sensorial a través de la cual lo percibamos.
Probablemente requerirá muchos más años de investigación antes de que los neurocientíficos descubran todos los detalles de la maquinaria neuronal involucrada en esta experiencia unificada. Mientras tanto, los psicólogos experimentales han contribuido a nuestra comprensión de la percepción multimodal a través de investigaciones de los efectos conductuales asociados a la misma. Estos efectos se agrupan en dos clases amplias. La primera clase, los fenómenos multimodales, se refiere a la unión de entradas de múltiples modalidades sensoriales y los efectos de esta unión en la percepción. La segunda clase —fenómenos transmodales — se refiere a la influencia de una modalidad sensorial en la percepción de otra (Spence, Senkowski, & Roder, 2009).
Fenómenos Multimodales
Discurso Audiovisual
Los fenómenos multimodales se refieren a estímulos que generan información simultánea (o casi simultánea) en más de una modalidad sensorial. Como se discutió anteriormente, el discurso es un ejemplo clásico de este tipo de estímulos. Cuando un individuo habla, genera ondas sonoras que llevan información significativa. Si el perceptor también está mirando al hablante, entonces ese perceptor también tiene acceso a patrones visuales que llevan información significativa. Por supuesto, como sabe cualquiera que alguna vez haya intentado lipread, hay límites en lo informativo que es la información visual del habla.
Aun así, el patrón visual del habla por sí solo es suficiente para una percepción del habla muy robusta. La mayoría de las personas asumen que las personas sordas son mucho mejores en la lipreading que las personas con audición normal. Puede ser una sorpresa saber, sin embargo, que algunos individuos con audición normal también son notablemente buenos para la reproducción de la boca (a veces llamado “lectura del habla”). De hecho, existe una amplia gama de capacidad de lectura del habla tanto en poblaciones sordas como auditivas normales (Andersson, Lyxell, Rönnberg, & Spens, 2001). Sin embargo, las razones de esta amplia gama de desempeño no son bien entendidas (Auer & Bernstein, 2007; Bernstein, 2006; Bernstein, Auer, & Tucker, 2001; Mohammed et al., 2005).
¿Cómo interactúa la información visual sobre el habla con la información auditiva sobre el habla? Una de las primeras investigaciones de esta cuestión examinó la exactitud de reconocer las palabras habladas presentadas en un contexto ruidoso, al igual que en el ejemplo anterior sobre hablar en una fiesta abarrotada. Para estudiar este fenómeno experimentalmente, se presentó a los participantes algún ruido irrelevante (“ruido blanco” —que suena como una radio sintonizada entre estaciones). Incrustadas en el ruido blanco estaban las palabras habladas, y la tarea de los participantes era identificar las palabras. Hubo dos condiciones: una en la que solo se presentó el componente auditivo de las palabras (la condición “auditivo-solo”), y una en ambos componentes auditivo y visual (la condición “audiovisual”). Los niveles de ruido también fueron variados, de manera que en algunas pruebas, el ruido era muy fuerte en relación con el volumen de las palabras, y en otros ensayos, el ruido era muy suave en relación con las palabras. Sumby y Pollack (1954) encontraron que la precisión en la identificación de las palabras habladas era mucho mayor para la condición audiovisual que en la condición de auditorio solo. Además, el patrón de resultados fue consistente con el Principio de Efectividad Inversa: La ventaja obtenida por la presentación audiovisual fue mayor cuando el rendimiento de la condición de auditorio solo fue menor (es decir, cuando el ruido era más alto). A estos niveles de ruido, la ventaja audiovisual fue considerable: Se estimó que permitir que el participante viera al orador equivalía a bajar el volumen del ruido a más de la mitad. Claramente, la ventaja audiovisual puede tener efectos dramáticos sobre el comportamiento.
Otro fenómeno que utiliza el habla audiovisual es una ilusión muy famosa llamada el “efecto McGurk” (que lleva el nombre de uno de sus descubridores). En la formulación clásica de la ilusión, se graba una película de un hablante diciendo las sílabas “gaga”. Otra película está hecha del mismo orador diciendo las sílabas “baba”. Entonces, la porción auditiva de la película “baba” es doblada a la porción visual de la película “gaga”. Este estímulo combinado se presenta a los participantes, a quienes se les pide que informen lo que dijo el orador en la película. McGurk y MacDonald (1976) informaron que 98 por ciento de sus participantes reportaron haber escuchado la sílaba “dada” —que no estaba ni en los componentes visuales ni auditivos del estímulo. Estos resultados indican que cuando se integra la información visual y auditiva sobre el habla, puede tener profundos efectos en la percepción.
Elemento Interactivo
Mira este video para ver un ejemplo del efecto McGurk.
