7.3: Construyendo encuestas

Objetivos de aprendizaje

1. Describir los procesos cognitivos involucrados en responder a un ítem de encuesta.
2. Explica qué es un efecto de contexto y da algunos ejemplos.
3. Crear un cuestionario de encuesta simple basado en principios de redacción y organización efectiva de artículos.

El corazón de cualquier proyecto de investigación de encuestas es la propia encuesta. Si bien es fácil pensar en preguntas interesantes para hacerle a la gente, construir una buena encuesta no es nada fácil. El problema es que las respuestas que dan las personas pueden verse influenciadas de manera no intencionada por la redacción de los ítems, el orden de los ítems, las opciones de respuesta proporcionadas y muchos otros factores. En el mejor de los casos, estas influencias agregan ruido a los datos. En el peor de los casos, resultan en sesgos sistemáticos y resultados engañosos. En esta sección, por lo tanto, consideramos algunos principios para construir encuestas para minimizar estos efectos no deseados y así maximizar la confiabilidad y validez de las respuestas de los encuestados.

La respuesta a encuestas como proceso psicológico

Antes de mirar principios específicos de construcción de encuestas, ayudará a considerar la respuesta a encuestas como un proceso psicológico.

Un modelo cognitivo

La figura\(\PageIndex{1}\) presenta un modelo de los procesos cognitivos en los que las personas participan al responder a un ítem de encuesta (Sudman, Bradburn, & Schwarz, 1996) ^[1]. Los encuestados deben interpretar la pregunta, recuperar información relevante de la memoria, formar un juicio tentativo, convertir el juicio tentativo en una de las opciones de respuesta proporcionadas (por ejemplo, una calificación en una escala de 1 a 7) y finalmente editar su respuesta según sea necesario.

Figura\(\PageIndex{1}\): Modelo de los procesos cognitivos involucrados en la respuesta a un ítem de encuesta

Consideremos, por ejemplo, el siguiente ítem del cuestionario:

¿Cuántas bebidas alcohólicas consumes en un día típico?

• _____ mucho más que el promedio
• _____ algo más que el promedio
• _____ promedio
• _____ algo menos que el promedio
• _____ mucho menos que el promedio

Si bien este ítem al principio parece sencillo, plantea varias dificultades para los encuestados. En primer lugar, deben interpretar la pregunta. Por ejemplo, deben decidir si las “bebidas alcohólicas” incluyen cerveza y vino (a diferencia de solo licor fuerte) y si un “día típico” es un día típico entre semana, día típico de fin de semana, o ambos. A pesar de que Chang y Krosnick (2003) ^[2] encontraron que preguntar por el comportamiento “típico” ha demostrado ser más válido que preguntar por el comportamiento “pasado”, su estudio comparó la “semana típica” con la “semana pasada” y puede ser diferente al considerar días típicos entre semana o días de fin de semana) . Una vez que los encuestados han interpretado la pregunta, deben recuperar información relevante de la memoria para responderla. Pero, ¿qué información deberían recuperar y cómo deberían ir para recuperarla? Podrían pensar vagamente en algunas ocasiones recientes en las que bebieron alcohol, podrían tratar cuidadosamente de recordar y contar el número de bebidas alcohólicas que consumieron la semana pasada, o podrían recuperar algunas creencias existentes que tienen sobre sí mismos (por ejemplo, “no soy muy bebedor”). Entonces deben usar esta información para llegar a un juicio tentativo sobre cuántas bebidas alcohólicas consumen en un día típico. Por ejemplo, este cálculo mental podría significar dividir el número de bebidas alcohólicas que consumieron la semana pasada por siete para llegar a un número promedio por día. Entonces deben formatear esta respuesta tentativa en términos de las opciones de respuesta realmente proporcionadas. En este caso, las opciones plantean problemas adicionales de interpretación. Por ejemplo, ¿qué significa “promedio” y qué contaría como “algo más” que la media? Por último, deben decidir si quieren reportar la respuesta que se les ha ocurrido o si quieren editarla de alguna manera. Por ejemplo, si creen que beben mucho más que el promedio, tal vez no quieran reportarlo por miedo a verse mal a los ojos del investigador, así que en su lugar, pueden optar por seleccionar la opción de respuesta “algo más que la media”.

Desde esta perspectiva, lo que al principio parece ser una simple cuestión de preguntar a la gente cuánto bebe (y recibir una respuesta directa de ellos) resulta ser mucho más complejo.

Efectos del contexto en las respuestas a encuestas

Una vez más, esta complejidad puede conducir a influencias no deseadas en las respuestas de los encuestados. Estos suelen denominarse efectos de contexto porque no están relacionados con el contenido del ítem sino con el contexto en el que aparece el ítem (Schwarz & Strack, 1990) ^[3]. Por ejemplo, hay un efecto de orden de artículos cuando el orden en que se presentan los artículos afecta las respuestas de las personas. Un elemento puede cambiar la forma en que los participantes interpretan un ítem posterior o cambiar la información que recuperan para responder a elementos posteriores. Por ejemplo, el investigador Fritz Strack y sus colegas preguntaron a los estudiantes universitarios sobre su satisfacción general con la vida y su frecuencia de datación (Strack, Martin, & Schwarz, 1988) ^[4]. Cuando el ítem de satisfacción con la vida llegó primero, la correlación entre los dos fue de sólo −.12, lo que sugiere que las dos variables solo están débilmente relacionadas. Pero cuando el ítem de frecuencia de datación vino primero, la correlación entre los dos fue +.66, lo que sugiere que quienes salen más tienen una fuerte tendencia a estar más satisfechos con sus vidas. Informar la frecuencia de datación primero hizo que esa información fuera más accesible en la memoria para que fueran más propensos a basar su calificación de satisfacción con la vida en ella.

Las opciones de respuesta proporcionadas también pueden tener efectos no deseados en las respuestas de las personas (Schwarz, 1999) ^[5]. Por ejemplo, cuando se pregunta a las personas con qué frecuencia están “realmente irritadas” y se les dan opciones de respuesta que van desde “menos de una vez al año” hasta “más de una vez al mes”, tienden a pensar en irritaciones mayores y reportan estar irritadas con poca frecuencia. Pero cuando se les dan opciones de respuesta que van desde “menos de una vez al día” hasta “varias veces al mes”, tienden a pensar en irritaciones menores y reportan estar irritados con frecuencia. La gente también tiende a asumir que las opciones de respuesta media representan lo que es normal o típico. Entonces, si se consideran normales o típicos, tienden a elegir opciones de respuesta media. Por ejemplo, es probable que las personas reporten viendo más televisión cuando las opciones de respuesta están centradas en una opción media de 4 horas que cuando están centradas en una opción media de 2 horas. Para mitigar los efectos del pedido, rote las preguntas y los elementos de respuesta cuando no haya un orden natural. El contrapeso o aleatorización del orden de presentación de las preguntas en las encuestas en línea son buenas prácticas para las preguntas de la encuesta y pueden reducir los efectos del orden de respuesta que muestran que entre los votantes indecisos, el primer candidato que figura en una boleta recibe un impulso de 2.5% simplemente en virtud de ser listado primero ^[6]!

Redacción de artículos de encuestas

Tipos de artículos

Los ítems del cuestionario pueden ser de tipo abierto o cerrado. Los elementos abiertos simplemente hacen una pregunta y permiten a los participantes responder de la manera que elijan. Los siguientes son ejemplos de ítems del cuestionario de composición abierta.

• “¿Qué es lo más importante para enseñar a los niños a prepararlos para la vida?”
• “Por favor, describa un momento en el que fue discriminado por su edad”.
• “¿Hay algo más de lo que nos gustaría decirnos?”

Los ítems abiertos son útiles cuando los investigadores no saben cómo pueden responder los participantes o cuándo quieren evitar influir en sus respuestas. Los ítems abiertos son de naturaleza más cualitativa, por lo que tienden a usarse cuando los investigadores tienen preguntas de investigación más vagamente definidas, a menudo en las primeras etapas de un proyecto de investigación. Los elementos abiertos son relativamente fáciles de escribir porque no hay opciones de respuesta de las que preocuparse. Sin embargo, toman más tiempo y esfuerzo por parte de los participantes, y son más difíciles para el investigador analizar z e porque las respuestas deben transcribirse, codificarse y someterse a algún tipo de análisis cualitativo, como el análisis de contenido. Otra desventaja es que es más probable que los encuestados se salten los ítems abiertos porque tardan más en responder. Es mejor usar preguntas abiertas cuando la respuesta es insegura o para cantidades que puedan convertirse fácilmente a categorías más adelante en el análisis.

Los artículos cerrados hacen una pregunta y proporcionan un conjunto de opciones de respuesta para que los participantes elijan. El ítem de alcohol que acabamos de mencionar es un ejemplo, como son los siguientes:

¿Qué edad tienes?

• _____ Menores de 18
• _____ 18 al 34
• _____ 35 al 49
• _____ 50 al 70
• _____ Mayores de 70

En una escala de 0 (sin dolor en absoluto) a 10 (el peor dolor jamás experimentado), ¿en cuánto dolor tienes ahora mismo?

¿Alguna vez en tu vida adulta has estado deprimido por un periodo de 2 semanas o más? Sí No

Los ítems cerrados se utilizan cuando los investigadores tienen una buena idea de las diferentes respuestas que pueden hacer los participantes. Son de naturaleza más cuantitativa, por lo que también se utilizan cuando los investigadores están interesados en una variable o constructo bien definido como el nivel de concordancia de los participantes con alguna afirmación, percepciones de riesgo o frecuencia de un comportamiento en particular. Los artículos cerrados son más difíciles de escribir porque deben incluir un conjunto apropiado de opciones de respuesta. Sin embargo, son relativamente rápidos y fáciles de completar para los participantes. También son mucho más fáciles de analizar para los investigadores porque las respuestas se pueden convertir fácilmente a números e ingresarlas en una hoja de cálculo. Por estas razones, los artículos cerrados son mucho más comunes.

Todos los ítems cerrados incluyen un conjunto de opciones de respuesta entre las cuales un participante debe elegir. Para variables categóricas como sexo, raza o preferencia de partido político, las categorías suelen ser listadas y los participantes eligen la (o las) a las que pertenecen. Para las variables cuantitativas, normalmente se proporciona una escala de calificación. Una escala de calificación es un conjunto ordenado de respuestas entre las que los participantes deben elegir. La figura\(\PageIndex{2}\) muestra varios ejemplos. El número de opciones de respuesta en una escala de calificación típica varía de tres a 11, aunque probablemente cinco y siete son las más comunes. Las escalas de cinco puntos son las mejores para escalas unipolares donde solo se prueba un constructo, como la frecuencia (Nunca, Raramente, A veces, A menudo, Siempre). Las escalas de siete puntos son las mejores para las escalas bipolares donde hay un espectro dicotómico, como el gusto (Me gusta mucho, Me gusta algo, Me gusta un poco, Ni me gusta ni me disgusta, No me gusta un poco, Me gusta mucho). Para preguntas bipolares, es útil ofrecer una pregunta anterior que las ramifique en un área de la báscula; si se pregunta acerca de que le guste el helado, primero pregunte “¿Generalmente le gusta o no le gusta el helado?” Una vez que el encuestado elija el gusto o la aversión, afínelo ofreciéndole opciones relevantes a partir de la escala de siete puntos. La ramificación mejora tanto la confiabilidad como la validez (Krosnick & Berent, 1993) ^[7]. Aunque a menudo se ven escalas con etiquetas numéricas, lo mejor es presentar solo etiquetas verbales a los encuestados pero convertirlas a valores numéricos en los análisis. Evite etiquetas parciales o etiquetas de longitud o demasiado específicas. En algunos casos, las etiquetas verbales pueden complementarse con (o incluso reemplazarse por) gráficas significativas. La última escala de calificación que se muestra en la Figura 7.3 es una escala visual-analógica, en la que los participantes hacen una marca en algún lugar a lo largo de la línea horizontal para indicar la magnitud de su respuesta.

Figura\(\PageIndex{2}\): Ejemplo de escalas de calificación para ítems de cuestionario cerrados

¿Qué es una báscula Likert?

Al leer sobre la investigación psicológica, es probable que te encuentres con el término escala Likert. Aunque este término a veces se usa para referirse a casi cualquier escala de calificación (por ejemplo, una escala de satisfacción con la vida de 0 a 10), tiene un significado mucho más preciso.

En la década de 1930, el investigador Rensis Likert (pronunciado Lick-ert) creó un nuevo enfoque para medir las actitudes de las personas (Likert, 1932) ^[8]. Implica presentar a las personas varias declaraciones, incluidas declaraciones favorables y desfavorables, sobre alguna persona, grupo o idea. Luego, los encuestados expresan su acuerdo o desacuerdo con cada afirmación en una escala de 5 puntos: Totalmente de acuerdo, De acuerdo , ni de acuerdo ni en desacuerdo, en desacuerdo, Totalmente en desacuerdo. Los números se asignan a cada respuesta y luego se suman en todos los elementos para producir una puntuación que representa la actitud hacia la persona, grupo o idea. Para los elementos que se formulan en una dirección opuesta (por ejemplo, declaraciones redactadas negativamente en lugar de declaraciones redactadas positivamente), se usa codificación inversa para que la puntuación numérica de las declaraciones también se ejecute en la dirección opuesta. Todo el conjunto de artículos llegó a llamarse escala Likert.

Por lo tanto, a menos que estés midiendo la actitud de las personas hacia algo evaluando su nivel de acuerdo con varias afirmaciones al respecto, lo mejor es evitar llamarlo una escala Likert. Probablemente solo estés usando una “escala de calificación”.

Escribir artículos efectivos

Ahora podemos considerar algunos principios de redacción de ítems del cuestionario que minimizan los efectos de contexto no deseados y maximizan la confiabilidad y validez de las respuestas de los participantes. El modelo BRUSO (Peterson, 2000) proporciona una guía aproximada para la redacción de ítems del cuestionario ^[9]. Un acrónimo, BRUSO significa “breve”, “relevante”, “inequívoco”, “específico” y “objetivo”. Los ítems efectivos del cuestionario son breves y al grano. Evitan palabras largas, demasiado técnicas o innecesarias. Esta brevedad los hace más fáciles de entender para los encuestados y más rápidos para que los completen. Los ítems efectivos del cuestionario también son relevantes para la pregunta de investigación. Si la orientación sexual, el estado civil o los ingresos de un encuestado no son relevantes, entonces probablemente no deberían incluirse elementos en ellos. Nuevamente, esto hace que el cuestionario sea más rápido de completar, pero también evita molestar a los encuestados con lo que con razón percibirán como preguntas irrelevantes o incluso “entrometidas”. Los ítems efectivos del cuestionario también son inequívocos; se pueden interpretar de una sola manera. Parte del problema con el ítem de alcohol presentado anteriormente en esta sección es que diferentes encuestados podrían tener diferentes ideas sobre lo que constituye “una bebida alcohólica” o “un día típico”. Los ítems efectivos del cuestionario también son específicos para que sea claro para los encuestados de cuál debe ser su respuesta y claro para los investigadores de qué se trata. Un problema común aquí son los artículos cerrados que son “de doble cañón”. Preguntan por dos temas conceptualmente separados pero solo permiten una respuesta. Por ejemplo, “Por favor califica hasta qué punto te has estado sintiendo ansioso y deprimido”. Este ítem probablemente debería dividirse en dos artículos separados: uno sobre la ansiedad y otro sobre la depresión. Por último, los ítems efectivos del cuestionario son objetivos en el sentido de que no revelan las opiniones propias del investigador ni llevan a los participantes a responder de una manera particular. En la tabla se\(\PageIndex{1}\) muestran algunos ejemplos de ítems de cuestionario pobres y efectivos basados en los criterios BRUSO. La mejor manera de saber cómo las personas interpretan la redacción de la pregunta es realizar una prueba piloto y pedirle a algunas personas que expliquen cómo interpretaron la pregunta.

Tabla\(\PageIndex{1}\): Modelo BRUSO de escritura efectiva de ítems del cuestionario, más ejemplos

Criterio	Pobre	Eficaz
B—Breve	“¿Eres ahora o alguna vez has sido poseedor de un arma de fuego?”	“¿Alguna vez has tenido un arma?”
R—Relevante	“¿Cuál es tu orientación sexual?”	No incluya este ítem a menos que sea claramente relevante para la investigación.
U — Sin ambigüedades	“¿Eres una persona arma de fuego?”	“¿Actualmente tienes un arma?”
S- Específico	“¿Cuánto has leído sobre la nueva medida de control de armas y el impuesto a las ventas?”	“¿Cuánto has leído sobre el nuevo impuesto a las ventas?”
O — Objetivo	“¿Cuánto apoya la nueva medida de control de armas?”	“¿Cuál es su opinión de la nueva medida de control de armas?”

Para los ítems cerrados, también es importante crear una escala de respuesta adecuada. Para las variables categóricas, las categorías presentadas deben ser generalmente mutuamente excluyentes y exhaustivas. Las categorías mutuamente excluyentes no se superponen. Para un ítem religioso, por ejemplo, las categorías de cristiano y católico no son mutuamente excluyentes sino protestantes y católicos son mutuamente excluyentes. Las categorías exhaustivas cubren todas las respuestas posibles. Aunque protestantes y católicos son mutuamente excluyentes, no son exhaustivos porque hay muchas otras categorías religiosas que un encuestado podría seleccionar: Judía , hindú, budista, y así sucesivamente. En muchos casos, no es factible incluir todas las categorías posibles, en cuyo caso una categoría Otra, con un espacio para que el encuestado llene una respuesta más específica, es una buena solución. Si los encuestados pudieran pertenecer a más de una categoría (por ejemplo, raza), se les debería instruir para que elijan todas las categorías que correspondan.

Para las escalas de calificación, cinco o siete opciones de respuesta generalmente permiten tanta precisión como son capaces los encuestados. Sin embargo, las escalas numéricas con más opciones a veces pueden ser apropiadas. Para dimensiones como el atractivo, el dolor y la probabilidad, una escala de 0 a 10 será familiar para muchos encuestados y fácil de usar para ellos. Independientemente del número de opciones de respuesta, las más extremas generalmente deben ser “equilibradas” alrededor de un punto medio neutral o modal. Un ejemplo de una escala de calificación desequilibrada que mide la probabilidad percibida podría verse así:

Improbable | Algo probable | Probable | Muy probable | Extremadamente probable

Una versión equilibrada podría verse así:

Extremadamente improbable | Algo improbable | Tan probable como no | Algo probable | Extremadamente probable

Obsérvese, sin embargo, que no se tiene que incluir una opción de respuesta media o neutra. Los investigadores a veces optan por dejarlo fuera porque quieren alentar a los encuestados a pensar más profundamente en su respuesta y no simplemente elegir la opción intermedia por defecto. Sin embargo, incluir alternativas medias en dimensiones bipolares se puede utilizar para permitir que las personas elijan una opción que no sea ninguna de las dos.

“Pregunta” recuperada de http://imgs.xkcd.com/comics/question.png (CC-BY-NC 2.5)

Formateo de la Encuesta

Escribir elementos efectivos es solo una parte de la construcción de una encuesta. Por un lado, toda encuesta debe tener una introducción escrita o hablada que cumpla dos funciones básicas (Peterson, 2000) ^[10]. Una es alentar a los encuestados a participar en la encuesta. En muchos tipos de investigación, dicho estímulo no es necesario ya sea porque los participantes no saben que están en un estudio (como en la observación naturalista) o porque forman parte de un fondo de materias y ya han demostrado su disposición a participar inscribiéndose y presentándose al estudio. La investigación de encuestas generalmente atrapa a los encuestados por sorpresa cuando contestan su teléfono, van a su buzón o revisan su correo electrónico, y el investigador debe hacer un buen caso de por qué deben estar de acuerdo en participar. Por lo tanto, la introducción debe explicar brevemente el propósito de la encuesta y su importancia, proporcionar información sobre el patrocinador de la encuesta (las encuestas universitarias tienden a generar mayores tasas de respuesta), reconocer la importancia de la participación del encuestado y describir cualquier incentivo para participando.

La segunda función de la introducción es establecer el consentimiento informado. Recuerda que esto implica describir a los encuestados todo lo que pueda afectar su decisión de participar. Esto incluye los temas cubiertos por la encuesta, la cantidad de tiempo que es probable que tome, la opción del encuestado de retirarse en cualquier momento, cuestiones de confidencialidad, etc. Los formularios de consentimiento escrito no siempre se utilizan en la investigación de encuestas (cuando la investigación es de mínimo riesgo y la finalización del instrumento de encuesta a menudo es aceptada por el IRB como evidencia de consentimiento para participar), por lo que es importante que esta parte de la introducción esté bien documentada y presentada de manera clara y en su totalidad a cada encuestado.

A la introducción le seguirán los ítems sustantivos del cuestionario. Pero primero, es importante presentar instrucciones claras para completar el cuestionario, incluyendo ejemplos de cómo usar cualquier escala de respuesta inusual. Recuerde que la introducción es el punto en el que los encuestados suelen estar más interesados y menos fatigados, por lo que es una buena práctica comenzar con los ítems más importantes para fines de la investigación y proceder a ítems menos importantes. Los ítems también deben agruparse por tema o por tipo. Por ejemplo, los ítems que utilizan la misma escala de calificación (por ejemplo, una escala de acuerdo de 5 puntos) deben agruparse si es posible para que las cosas sean más rápidas y fáciles para los encuestados. Los ítems demográficos suelen presentarse en último lugar porque son menos interesantes para los participantes pero también son fáciles de responder en caso de que los encuestados se hayan cansado o aburrido. Por supuesto, cualquier encuesta debe terminar con una expresión de agradecimiento al encuestado.

Referencias

1. Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Pensar en las respuestas: La aplicación de los procesos cognitivos a la metodología de encuestas. San Francisco, CA: Jossey-Bass.
2. Chang, L., & Krosnick, J.A. (2003). Medición de la frecuencia de comportamientos regulares: Comparando la 'semana típica' con la 'semana pasada'. Metodología Sociológica, 33, 55-80.
3. Schwarz, N., & Strack, F. (1990). Efectos de contexto en encuestas de actitud: Aplicación de la teoría cognitiva a la investigación social. En W. Stroebe & M. Hewstone (Eds.), Revista europea de psicología social (Vol. 2, pp. 31—50). Chichester, Reino Unido: Wiley.
4. Strack, F., Martin, L. L., & Schwarz, N. (1988). Cebado y comunicación: Los determinantes sociales del uso de la información en juicios de satisfacción con la vida. Revista Europea de Psicología Social, 18, 429—442.
5. Schwarz, N. (1999). Autoinformes: Cómo las preguntas dan forma a las respuestas. Psicólogo Americano, 54, 93—105.
6. Miller, J.M. & Krosnick, J.A. (1998). El impacto del orden del nombre de los candidatos en los resultados electorales. Opinión Pública Trimestral, 62 (3), 291-330.
7. Krosnick, J.A. & Berent, M.K. (1993). Comparaciones de identificación de partidos y preferencias políticas: El impacto del formato de pregunta de encuesta. Revista Americana de Ciencias Políticas, 27 (3), 941-964.
8. Likert, R. (1932). Una técnica para la medición de actitudes. Archivos de Psicología,140, 1—55.
9. Peterson, R. A. (2000). Construyendo cuestionarios efectivos. Thousand Oaks, CA: Salvia.
10. Peterson, R. A. (2000). Construyendo cuestionarios efectivos. Thousand Oaks, CA: Salvia.