14.5: Confiabilidad en la investigación discreta

Objetivos de aprendizaje

• Definir estabilidad y describir estrategias para superar problemas de estabilidad
• Definir reproducibilidad y describir estrategias para superar problemas de reproducibilidad
• Definir precisión y describir estrategias para superar problemas de precisión

Esta última sección de este capítulo investiga algunas particularidades relacionadas con la confiabilidad en proyectos de investigación discretos que ameritan nuestra atención. Estas particularidades tienen que ver con cómo y por quién ocurre la codificación de los datos. Los problemas de estabilidad, reproducibilidad y precisión hablan de problemas y oportunidades únicos con el establecimiento de confiabilidad en proyectos de investigación discretos (Krippendorff, 2009). ^[1]

La estabilidad se refiere a la medida en que los resultados de la codificación varían a través de diferentes períodos de tiempo. Si la estabilidad es un problema, se revelará cuando la misma persona codifique el mismo contenido en diferentes momentos y se le ocurran resultados diferentes. Se dice que la codificación es estable cuando el mismo contenido ha sido codificado varias veces por la misma persona con el mismo resultado cada vez. Si descubres problemas de inestabilidad en tus procedimientos de codificación, es posible que tus reglas de codificación sean ambiguas y necesiten ser aclaradas. Las ambigüedades en el propio texto también podrían contribuir a problemas de estabilidad. Si bien no puede alterar sus fuentes de datos textuales originales, el simple hecho de ser consciente de posibles ambigüedades en los datos a medida que codifica puede ayudar a reducir la probabilidad de problemas con la estabilidad. También es posible que los problemas de estabilidad puedan resultar de un simple error de codificación, como escribir inadvertidamente un 1 en lugar de un 10 en su hoja de códigos.

La reproducibilidad, también conocida como confiabilidad entre evaluadores (Lombard, Snyder-Duch, & Campanella Bracken, 2010), ^[2] es la medida en que sus procedimientos de codificación darán como resultado los mismos resultados cuando el mismo texto sea codificado por diferentes personas. Cubrimos este problema en el Capítulo 9 cuando hablamos de confiabilidad de las medidas cuantitativas. Las diferencias cognitivas entre los individuos que codifican datos pueden dar lugar a problemas de reproducibilidad, al igual que las instrucciones de codificación ambiguas. Los errores de codificación aleatoria también pueden causar problemas.

Una forma de superar los problemas de reproducibilidad es tener codificadores codificados juntos. Mientras trabajaba como asistente de investigación de posgrado, un colega participó en un proyecto de análisis de contenido en el que cuatro individuos compartieron la responsabilidad de codificar datos. Para reducir el potencial de problemas de reproducibilidad con su codificación, realizaron la codificación al mismo tiempo en la misma sala, para que pudieran consultarse cuando se encontraran con problemas o tuvieran dudas sobre lo que estaban codificando. Resolver esas ambigüedades juntos significó que crecieron para tener una comprensión compartida de cómo codificar varios bits de datos.

Por último, la precisión se refiere a la medida en que sus procedimientos de codificación corresponden a algún estándar preexistente. Por ejemplo, tal vez te interese la accesibilidad de folletos y folletos informativos a clientes de una clínica de salud pública o estudiantes de tu universidad. Podrías obtener una muestra de los documentos entregados a tu población objetivo y código usando tu propio esquema, tal vez mirando el nivel de lectura, el atractivo y la organización. Para garantizar la precisión de su codificación, puede consultar el Índice de Comunicación Clara de los Centros para el Control de Enfermedades, una medida estándar de la claridad de un producto escrito. ^[3]

Este ejemplo presume que ya se ha establecido una estrategia de codificación estándar para cualquier texto que estés analizando. Puede que no sea el caso de que se hayan establecido estándares oficiales, pero leer la literatura anterior para conocer la sabiduría colectiva sobre la codificación en su área particular es un tiempo bien empleado. Beca enfocada en datos similares o procedimientos de codificación sin duda te ayudará a aclarar y mejorar tus propios procedimientos de codificación.

Principales conclusiones

• La estabilidad puede convertirse en un problema en un proyecto de investigación discreto cuando los resultados de la codificación por una misma persona varían en diferentes períodos de tiempo.
• La reproducibilidad tiene que ver con que los resultados de múltiples codificadores sean los mismos para un mismo texto.
• La precisión se refiere a la medida en que los procedimientos de codificación corresponden a algún estándar preexistente.

Glosario

• Precisión: la medida en que los procedimientos de codificación corresponden a algún estándar preexistente
• Reproducibilidad: la medida en que los procedimientos de codificación de uno darán como resultado los mismos resultados cuando el mismo texto es codificado por diferentes personas
• Estabilidad: la medida en que los resultados de la codificación varían a través de diferentes períodos de tiempo

Atribuciones de imagen

Namru-6-malaria de dominio público de la Marina de los Estados Unidos

---

1. Krippendorff, K. (2009). Probando la confiabilidad de los datos de análisis de contenido: Qué implica y por qué. En K. Krippendorff & M. A. Bock (Eds.), El lector de análisis de contenido (pp. 350—357). Thousand Oaks, CA: Salvia.
   
2. Lombard, M., Snyder-Duch, J., & Campanella Bracken, C. (2004). Recursos prácticos para evaluar y reportar la confiabilidad de los intercodificadores en proyectos de investigación de análisis de contenido. Recuperado de astro.temple.edu/~lombard/reliability
   
3. Para obtener más información sobre el Índice de Comunicación Clara, visite el sitio web https://www.cdc.gov/ccindex/tool/how-to-use.html.