Una evaluación completa y adecuada de la validez debe incluir enfoques tanto teóricos como empíricos. Como se muestra en la Figura 7.4, se trata de un proceso elaborado de varios pasos que debe tomar en cuenta los diferentes tipos de confiabilidad y validez de la escala.
Figura 7.4. Un enfoque integrado para la validación de mediciones
El enfoque integrado se inicia en el ámbito teórico. El primer paso es conceptualizar los constructos de interés. Esto incluye definir cada constructo e identificar sus dominios y/o dimensiones constituyentes. A continuación, seleccionamos (o creamos) elementos o indicadores para cada constructo con base en nuestra conceptualización de estos constructos, como se describe en el procedimiento de escalado en el Capítulo 5. Una revisión de la literatura también puede ser útil en la selección de indicadores. Cada elemento se vuelve a redactar de manera uniforme utilizando texto simple y fácil de entender. Siguiendo este paso, se puede emplear un panel de jueces expertos (académicos con experiencia en métodos de investigación y/o un conjunto representativo de encuestados objetivo) para examinar cada indicador y realizar un análisis Q-sort. En este análisis, a cada juez se le da una lista de todos los constructos con sus definiciones conceptuales y una pila de fichas que enumeran cada indicador para cada una de las medidas de constructo (un indicador por ficha). Luego se pide a los jueces que lean independientemente cada ficha, examinen la claridad, legibilidad y significado semántico de ese ítem, y lo clasifiquen con el constructo donde parece tener más sentido, con base en las definiciones de constructo proporcionadas. La confiabilidad entre evaluadores se evalúa para examinar la medida en que los jueces coincidieron con sus clasificaciones. Los elementos ambiguos que fueron constantemente omitidos por muchos jueces pueden ser reexaminados, reformulados o retirados. Se seleccionan los mejores ítems (digamos 10-15) para cada constructo para su posterior análisis. Cada uno de los ítems seleccionados es reexaminado por los jueces para determinar su validez facial y su validez de contenido. Si no se logra un conjunto adecuado de ítems en esta etapa, es posible que haya que crear nuevos ítems con base en la definición conceptual del constructo pretendido. Pueden ser necesarias dos o tres rondas de clasificación Q para llegar a un acuerdo razonable entre los jueces sobre un conjunto de ítems que mejor represente los constructos de interés.
A continuación, el procedimiento de validación pasa al ámbito empírico. Se crea un instrumento de investigación que comprende todos los elementos de constructo refinados, y se administra a un grupo de prueba piloto de encuestados representativos de la población objetivo. Los datos recolectados se tabulan y se someten a análisis correlacional o análisis factorial exploratorio utilizando un programa de software como SAS o SPSS para la evaluación de la validez convergente y discriminante. Los ítems que no cumplan con las normas esperadas de carga factorial (cargas del mismo factor superiores a 0.60 y cargas de factor cruzado menores a 0.30) deben bajarse en esta etapa. Las escalas restantes se evalúan para determinar su confiabilidad usando una medida de consistencia interna como Cronbach alfa. La dimensionalidad de la escala también se puede verificar en esta etapa, dependiendo de si los constructos objetivo fueron conceptualizados como unidimensionales o multidimensionales. A continuación, evaluar la capacidad predictiva de cada constructo dentro de una red nomológica teóricamente especificada de constructo mediante análisis de regresión o modelado de ecuaciones estructurales. Si las medidas de constructo satisfacen la mayoría o todos los requisitos de confiabilidad y validez descritos en este capítulo, podemos estar seguros de que nuestras medidas operacionalizadas son razonablemente adecuadas y precisas.
El enfoque integrado para la validación de mediciones que aquí se discute es bastante exigente de tiempo y esfuerzo de los investigadores. Sin embargo, este elaborado proceso multietapa es necesario para garantizar que las escalas de medición utilizadas en nuestra investigación cumplan con las normas esperadas de la investigación científica. Debido a que las inferencias obtenidas con escalas defectuosas o comprometidas no tienen sentido, la validación y medición de la escala sigue siendo una de las fases más importantes e involucradas de la investigación empírica.
