10.3: Muestreo en investigación cuantitativa

Objetivos de aprendizaje

• Describir en qué se diferencia el muestreo probabilístico del muestreo
• Definir generalizabilidad y describir cómo se logra en muestras probabilísticas
• Identificar los distintos tipos de muestras probabilísticas y describir por qué un investigador puede usar un tipo sobre otro

Los investigadores cuantitativos suelen estar interesados en hacer generalizaciones sobre grupos más grandes que sus muestras de estudio; buscan explicaciones causales nomotéticas. Si bien ciertamente hay casos en los que los investigadores cuantitativos dependen de muestras no probabilísticas (por ejemplo, cuando hacen investigación exploratoria), los investigadores cuantitativos tienden a confiar en técnicas de muestreo probabilístico. Las metas y técnicas asociadas a las muestras de probabilidad difieren de las de las muestras no probabilísticas. Exploraremos esos objetivos y técnicas únicas en esta sección.

Muestreo de probabilidad

A diferencia del muestreo no probabilístico, el muestreo probabilístico se refiere a técnicas de muestreo para las cuales se conoce la probabilidad de que una persona sea seleccionada del marco Podrías preguntarte por qué deberíamos preocuparnos por la probabilidad de que un participante potencial sea seleccionado para la muestra del investigador. La razón es que, en la mayoría de los casos, los investigadores que utilizan técnicas de muestreo probabilístico buscan identificar una muestra representativa a partir de la cual recolectar datos. Una muestra representativa es aquella que se asemeja a la población de la que se extrajo en todas las formas que son importantes para la investigación que se realiza. Si, por ejemplo, deseas poder decir algo sobre las diferencias entre hombres y mujeres al final de tu estudio, es mejor que te asegures de que tu muestra no contenga solo mujeres. Eso es un poco de simplificación excesiva, pero el punto con representatividad es que si tu población varía de alguna manera que es importante para tu estudio, tu muestra debe contener el mismo tipo de variación.

La obtención de una muestra representativa es importante en el muestreo probabilístico debido a la generalizabilidad. De hecho, la generalizabilidad es quizás la característica clave que distingue las muestras de probabilidad de las muestras no probabilísticas. La generalizabilidad se refiere a la idea de que los resultados de un estudio nos dirán algo sobre un grupo mayor que la muestra a partir de la cual se generaron los hallazgos. Para lograr la generalización, un principio fundamental del muestreo probabilístico es que todos los elementos del marco de muestreo del investigador tienen las mismas posibilidades de ser seleccionados para su inclusión en el estudio. En la investigación, este es el principio de la selección aleatoria. Los investigadores utilizan el generador de números aleatorios de una computadora para determinar a quién del marco de muestreo se recluta en la muestra.

Usar selección aleatoria no significa que tu muestra sea perfecta. Ninguna muestra es perfecta. La única manera de llegar con un resultado perfecto sería incluir a todos los integrantes de la población en tu muestra, lo que vence todo el punto de muestreo. Generalizar de una muestra a una población siempre contiene algún grado de error. Esto se conoce como error de muestreo, un cálculo estadístico de la diferencia entre los resultados de una muestra y los parámetros reales de una población.

La generalización es un concepto bastante fácil de entender. Imagina que un profesor iba a tomar una muestra de individuos en tu clase para ver si el material es demasiado duro o demasiado fácil. El profesor, sin embargo, solo muestreó individuos cuyas calificaciones superaron el 90% en la clase. ¿Esa sería una muestra representativa de todos los alumnos de la clase? Ese sería un caso de error de muestreo, un desajuste entre los resultados de la muestra y los verdaderos sentimientos de la clase general. Es decir, los resultados del estudio del profesor no se generalizan a la población general de la clase.

Dando esto un paso más allá, imagina que tu profesor está realizando un estudio sobre el consumo excesivo de alcohol entre estudiantes universitarios. El profesor utiliza los estudiantes universitarios de tu escuela como marco de muestreo. Aunque ese profesor utilizara el muestreo probabilístico, quizá tu escuela difiera de otras escuelas de manera importante. Hay escuelas que son “escuelas de fiesta” donde el consumo excesivo de alcohol puede ser más aceptado socialmente, “escuelas de cercanías” en las que hay poca vida nocturna, y así sucesivamente. Si tu profesora planea generalizar sus resultados a todos los universitarios, tendrá que argumentar que su marco de muestreo (estudiantes universitarios de tu escuela) es representativo de la población (todos los estudiantes universitarios de pregrado).

Tipos de muestras probabilísticas

Hay una variedad de muestras probabilísticas que los investigadores pueden usar. Estos incluyen muestras aleatorias simples, muestras sistemáticas, muestras estratificadas y muestras de conglomerados. Vamos a construir sobre el ejemplo anterior. Imagínese que nos preocupaba el consumo excesivo de alcohol y elegimos la población objetivo de los miembros de la fraternidad. ¿Cómo se podría hacer para obtener una muestra probabilística de miembros de la fraternidad que sea representativa de la población general?

Las muestras aleatorias simples son el tipo más básico de muestra probabilística. Una muestra aleatoria simple requiere un marco de muestreo real, una lista real de cada persona en el marco de muestreo. Es probable que tu escuela tenga una lista de todos los miembros de la fraternidad en el campus, ya que la vida griega está sujeta a supervisión universitaria. Podrías usar esto como tu marco de muestreo. Usando la lista de la universidad, numerarías cada miembro de la fraternidad, o elemento, secuencialmente y luego seleccionarías aleatoriamente los elementos de los que recopilarás datos.

La verdadera aleatoriedad es difícil de lograr, y se necesitan cálculos computacionales complejos para hacerlo. Aunque crees que puedes seleccionar cosas al azar, la aleatoriedad generada por humanos es en realidad bastante predecible, ya que cae en patrones llamados heurísticos. Para seleccionar elementos verdaderamente al azar, los investigadores deben confiar en la ayuda generada por computadora. Muchos sitios web gratuitos tienen buenos generadores de números pseudo-aleatorios. Un buen ejemplo es el sitio web Random.org, que contiene un generador de números aleatorios que también puede aleatorizar listas de participantes. En ocasiones, los investigadores utilizan una tabla de números que se han generado aleatoriamente. Existen varias fuentes posibles para obtener una tabla de números aleatorios. Algunos libros de texto de estadísticas y métodos de investigación ofrecen tablas como apéndices al texto.

Como habrás adivinado, dibujar una simple muestra aleatoria puede ser bastante tedioso. Las técnicas de muestreo sistemático son algo menos tediosas pero ofrecen los beneficios de una muestra aleatoria. Al igual que con las muestras aleatorias simples, debes poseer una lista de todos en tu marco de muestreo. Una vez que hayas hecho eso, para dibujar una muestra sistemática, simplemente seleccionarías cada késimo elemento de tu lista. Pero, ¿qué es k, y en qué parte de la lista de elementos poblacionales se inicia el proceso de selección? k es su intervalo de selección o la distancia entre los elementos que seleccione para su inclusión en su estudio. Para comenzar el proceso de selección, deberás averiguar cuántos elementos deseas incluir en tu muestra. Digamos que quieres entrevistar a 25 miembros de la fraternidad en tu campus, y hay 100 hombres en el campus que son miembros de fraternidades. En este caso, su intervalo de selección, o k, es 4. Para llegar a 4, simplemente divida el número total de elementos poblacionales por el tamaño de muestra deseado. Este proceso se representa en la Figura 10.2.

Figura 10.2 Fórmula para determinar el intervalo de selección para la muestra sistemática

^[1]

Para determinar en qué parte de tu lista de elementos poblacionales comenzar a seleccionar los nombres de los 25 hombres a los que entrevistarás, selecciona un número entre 1 y k, y comienza ahí. Si seleccionamos 3 como nuestro punto de partida, comenzaríamos seleccionando al tercer miembro de la fraternidad en la lista y luego seleccionaremos cada cuarto miembro de allí. Esto podría ser más fácil de entender si puedes verlo visualmente. En el cuadro 10.2 se enumeran los nombres de nuestros hipotéticos 100 miembros de la fraternidad en el campus. Verás que el tercer nombre de la lista ha sido seleccionado para su inclusión en nuestro estudio hipotético, como lo ha hecho cada cuarto nombre después de eso. Se han seleccionado un total de 25 nombres.

Cuadro 10.2 Muestra sistemática de 25 miembros de la fraternidad

Número	Nombre	¿Incluir en estudio?		Número	Nombre	¿Incluir en estudio?
1	Jacob			51	Blake	Sí
2	Ethan			52	Oliver
3	Michael	Sí		53	Cole
4	Jayden			54	Carlos
5	William			55	Jaden	Sí
6	Alexander			56	Jesús
7	Noé	Sí		57	Alex
8	Daniel			58	Aiden
9	Aiden			59	Eric	Sí
10	Anthony			60	Hayden
11	Josué	Sí		61	Brian
12	Mason			62	Max
13	Christopher			63	Jaxon	Sí
14	Andrew			64	Brian
15	David	Sí		65	Mathew
16	Logan			66	Elías
17	James			67	Joseph	Sí
18	Gabriel			68	Benjamín
19	Ryan	Sí		69	Samuel
20	Jackson			70	John
21	Nathan			71	Jonathan	Sí
22	Christian			72	Liam
23	Dylan	Sí		73	Landon
24	Caleb			74	Tyler
25	Lucas			75	Evan	Sí
26	Gavin			76	Nicholas
27	Isaac	Sí		77	Braden
28	Lucas			78	Angel
29	Brandon			79	Jack
30	Isaías			80	Jordania
31	Owen	Sí		81	Carter
32	Conner			82	Justin
33	José			83	Jeremías	Sí
34	Julian			84	Robert
35	Aarón	Sí		85	Adrian
36	Wyatt			86	Kevin
37	Hunter			87	Cameron	Sí
38	Zachary			88	Thomas
39	Charles	Sí		89	Austin
40	Eli			90	Chase
41	Henry			91	Sebastian	Sí
42	Jason			92	Levi
43	Xavier	Sí		93	Ian
44	Colton			94	Dominic
45	Juan			95	Cooper	Sí
46	Josías			96	Luis
47	Ayden	Sí		97	Carson
48	Adam			98	Nathaniel
49	Brody			99	Tristán	Sí
50	Diego			100	Parker
En caso de que te estés preguntando cómo se me ocurrieron 100 nombres únicos para esta mesa, te contaré un pequeño secreto: las listas de nombres populares de bebés pueden ser grandes recursos para los investigadores. Utilicé la lista de los 100 mejores nombres para niños con base en las estadísticas de la Administración del Seguro Social para esta tabla. A menudo uso listas de nombres de bebés para idear seudónimos para temas de investigación de campo y participantes de entrevistas. Ver Educación Familiar. (n.d.). Nombre laboratorio. Recuperado de baby-names.familyeducation.com/popular-names/boys.

Hay un caso claro en el que no se debe emplear el muestreo sistemático. Si su marco de muestreo tiene algún patrón, podría introducir inadvertidamente sesgo en su muestra usando una estrategia de muestreo sistémico. (El sesgo se discutirá con más profundidad en la siguiente sección.) Esto a veces se le conoce como el problema de la periodicidad. Periodicidad se refiere a la tendencia de que un patrón ocurra a intervalos regulares. Digamos, por ejemplo, que querías observar el consumo excesivo de alcohol en el campus todos los días de la semana. Quizás necesite que sus observaciones se completen dentro de los 28 días y desee realizar cuatro observaciones en días elegidos al azar. En el cuadro 10.3 se muestra una lista de los elementos poblacionales para este ejemplo. Para determinar qué días realizaremos nuestras observaciones, tendremos que determinar nuestro intervalo de selección. Como recordará de los párrafos anteriores, para hacerlo debemos dividir el tamaño de nuestra población, en este caso 28 días, por nuestro tamaño muestral deseado, en este caso 4 días. Esta fórmula nos lleva a un intervalo de selección de 7. Si seleccionamos al azar 2 como nuestro punto de partida y seleccionamos cada séptimo día después de eso, terminaremos con un total de 4 días en los que realizar nuestras observaciones. Verás cómo funciona eso en la siguiente tabla.

Cuadro 10.3 Muestra sistemática de días de observación

Día #	Día	Beber	¿Observar?		Día #	Día	Beber	¿Observar?
1	Lunes	Bajo			15	Lunes	Bajo
2	martes	Bajo	Sí		16	martes	Bajo	Sí
3	Miércoles	Bajo			17	Miércoles	Bajo
4	jueves	Alto			18	jueves	Alto
5	Viernes	Alto			19	Viernes	Alto
6	Sábado	Alto			20	Sábado	Alto
7	domingo	Bajo			21	domingo	Bajo
8	Lunes	Bajo			22	Lunes	Bajo
9	martes	Bajo	Sí		23	martes	Bajo	Sí
10	Miércoles	Bajo			24	Miércoles	Bajo
11	jueves	Alto			25	jueves	Alto
12	Viernes	Alto			26	Viernes	Alto
13	Sábado	Alto			27	Sábado	Alto
14	domingo	Bajo			28	domingo	Bajo

¿Observa algún problema con nuestra selección de días de observación en la Tabla 1? Al parecer, sólo estaremos observando los martes. Además, los martes pueden no ser un día ideal para observar el comportamiento de consumo excesivo de alcohol. A menos que los patrones de consumo de alcohol hayan cambiado significativamente desde que estaba en mi programa de licenciatura, asumiría que es más probable que el consumo excesivo de alcohol ocurra durante el fin de semana.

En casos como este, donde el marco de muestreo es cíclico, sería mejor utilizar una técnica de muestreo estratificado. En el muestreo estratificado, un investigador dividirá la población de estudio en subgrupos relevantes y luego extraerá una muestra de cada subgrupo. En este ejemplo, podríamos desear dividir primero nuestro marco de muestreo en dos listas: días de fin de semana y días de semana. Una vez que tenemos nuestras dos listas, podemos aplicar técnicas simples de muestreo aleatorio o sistemático a cada subgrupo.

El muestreo estratificado es una buena técnica para usar cuando, como en nuestro ejemplo, un subgrupo de interés constituye una proporción relativamente pequeña de la muestra general. En nuestro ejemplo de un estudio sobre el consumo excesivo de alcohol, queremos incluir los días de semana y los fines de semana en nuestra muestra, pero debido a que los fines de semana representan menos de un tercio de una semana entera, existe la posibilidad de que una simple estrategia aleatoria o sistemática no produzca suficientes días de observación de fin de semana. Como se puede imaginar, el muestreo estratificado es aún más útil en los casos en que un subgrupo constituye una proporción aún menor del marco de muestreo, por ejemplo, si queremos estar seguros de incluir en nuestro estudio a estudiantes que están en el quinto año de su programa de pregrado pero este subgrupo constituye solo un pequeño porcentaje de la población de estudiantes universitarios. Existe la posibilidad de que la estrategia simple de muestreo aleatorio o sistemático no produzca ningún estudiante de quinto año, pero al usar un muestreo estratificado, podríamos asegurar que nuestra muestra contenga la proporción de estudiantes de quinto año que refleja la población más grande.

En este caso, el año de clase (por ejemplo, primer año, segundo año, junior, senior y quinto año) es nuestro estrato, o la característica por la que se divide la muestra. Al utilizar el muestreo estratificado, a menudo nos preocupa qué tan bien refleja nuestra muestra a la población. Una muestra con demasiados estudiantes de primer año puede sesgar nuestros resultados en una dirección porque tal vez beben más (o menos) que los estudiantes en otros años de clase. El uso de muestras estratificadas nos permite asegurarnos de que nuestra muestra tenga la misma proporción de personas de cada año de clase que la población general de la escuela.

Hasta este punto en nuestra discusión de muestras probabilísticas, hemos asumido que los investigadores podrán acceder a una lista de elementos poblacionales para crear un marco de muestreo. Esto, como se podría imaginar, no siempre es así. Digamos, por ejemplo, que deseas realizar un estudio de consumo excesivo de alcohol entre los miembros de la fraternidad en cada programa de pregrado en tu estado. Imagínese intentar crear una lista de cada miembro de la fraternidad en el estado. Incluso si pudieras encontrar una manera de generar dicha lista, intentar hacerlo podría no ser el uso más práctico de tu tiempo o recursos. Cuando este es el caso, los investigadores recurren al muestreo por conglomerados. El muestreo de conglomerados ocurre cuando un investigador comienza por grupos de muestreo (o conglomerados) de elementos poblacionales y luego selecciona elementos de dentro de esos grupos.

Trabajemos a través de cómo podríamos usar el muestreo por conglomerados en nuestro estudio sobre el consumo excesivo de alcohol. Si bien crear una lista de todos los miembros de la fraternidad en tu estado sería casi imposible, podrías crear fácilmente una lista de todas las universidades de pregrado en tu estado. Así, podrías dibujar una muestra aleatoria de universidades de pregrado (tu clúster) y luego dibujar otra muestra aleatoria de elementos (en este caso, miembros de la fraternidad) de dentro de la universidad de pregrado que seleccionaste inicialmente. El muestreo por conglomerados funciona por etapas. En este ejemplo, muestreamos en dos etapas: (1) colegios de pregrado y (2) miembros de la fraternidad en las universidades de pregrado que seleccionamos. No obstante, podríamos agregar otra etapa si tuviera sentido hacerlo. Podríamos seleccionar aleatoriamente (1) universidades de pregrado (2) fraternidades específicas en cada escuela y (3) miembros individuales de la fraternidad. Como habrás adivinado, el muestreo en múltiples etapas sí introduce la posibilidad de un mayor error (cada etapa está sujeta a su propio error de muestreo), pero sin embargo es un método altamente eficiente.

Jessica Holt y Wayne Gillespie (2008) ^[2] utilizaron el muestreo por conglomerados en su estudio de las experiencias de los estudiantes con la violencia en las relaciones íntimas. Específicamente, los investigadores seleccionaron aleatoriamente 14 clases en su campus y luego sacaron una submuestra aleatoria de estudiantes de esas clases. Pero probablemente sepas por tu experiencia con las clases universitarias que no todas las clases son del mismo tamaño. Entonces, si Holt y Gillespie simplemente hubieran seleccionado al azar 14 clases y luego haber seleccionado el mismo número de estudiantes de cada clase para completar su encuesta, entonces los estudiantes en la más pequeña de esas clases habrían tenido una mayor probabilidad de ser seleccionados para el estudio que los estudiantes de las clases más grandes. Tenga en cuenta que con el muestreo aleatorio el objetivo es asegurarse de que cada elemento tenga las mismas posibilidades de ser seleccionado. Cuando los clústeres son de diferentes tamaños, como en el ejemplo de las clases universitarias de muestreo, los investigadores suelen utilizar un método llamado probabilidad proporcional al tamaño (PPS). Esto quiere decir que toman en cuenta que sus clusters son de diferentes tamaños. Lo hacen dando a los clusters diferentes posibilidades de ser seleccionados en función de su tamaño para que cada elemento dentro de esos racimos termine teniendo las mismas posibilidades de ser seleccionado.

Para resumir, las muestras probabilísticas permiten a un investigador sacar conclusiones sobre grupos más grandes. Las muestras de probabilidad requieren un marco de muestreo a partir del cual se pueden seleccionar elementos, generalmente seres humanos, al azar de una lista. El uso de selección aleatoria reduce el error y sesgo presentes en muestras no probabilísticas revisadas en la sección anterior, aunque siempre quedará algún error. Al depender de una tabla o generador de números aleatorios, los investigadores pueden afirmar con mayor precisión que su muestra representa la población de la que se extrajo. Esta fuerza es común a todos los enfoques de muestreo probabilístico resumidos en el Cuadro 10.4.

Tabla 10.4 Tipos de muestras probabilísticas

Tipo de muestra	Descripción
Sencillo aleatorio	Investigador selecciona aleatoriamente elementos del marco de muestreo.
Sistemático	El investigador selecciona cada k th elemento del marco de muestreo.
Estratificado	El investigador crea subgrupos y luego selecciona aleatoriamente elementos de cada subgrupo.
Cluster	El investigador selecciona aleatoriamente los grupos y luego selecciona aleatoriamente elementos de los grupos seleccionados.

Al determinar qué enfoque de muestreo probabilístico tiene más sentido para tu proyecto, ayuda a conocer más sobre tu población. Una muestra aleatoria simple y una muestra sistemática son relativamente similares a llevar a cabo. Ambos requieren una lista de todos los elementos en su marco de muestreo. El muestreo sistemático es un poco más fácil ya que no requiere usar un generador de números aleatorios, sino que se usa un intervalo de muestreo que es fácil de calcular a mano.

La relativa simplicidad de ambos enfoques está contrapesada por su falta de sensibilidad a las características de su población. Las muestras estratificadas pueden explicar mejor la periodicidad al crear estratos que reducen o eliminan los efectos de la periodicidad. Las muestras estratificadas también aseguran que se incluyan subgrupos más pequeños en su muestra, lo que hace que su muestra sea más representativa de la población general. Si bien estos beneficios son importantes, la creación de estratos para este propósito requiere conocer información sobre su población antes de comenzar el proceso de muestreo. En nuestro ejemplo de consumo excesivo de alcohol, necesitaríamos saber cuántos estudiantes hay en cada año de clase para asegurarnos de que nuestra muestra contenga las mismas proporciones. Habríamos de saber que, por ejemplo, los estudiantes de quinto año constituyen el 5% de la población estudiantil para asegurarnos de que el 5% de nuestra muestra esté compuesta por estudiantes de quinto año. Si se desconocen los verdaderos parámetros poblacionales, el muestreo estratificado se vuelve significativamente más desafiante.

Común a cada uno de los enfoques previos de muestreo probabilístico es la necesidad de usar una lista real de todos los elementos en su marco de muestreo. El muestreo de conglomerados es diferente. Permite a un investigador realizar muestreo probabilístico en casos para los que no se dispone de una lista de elementos o pragmática para crear. El muestreo de conglomerados también es útil para hacer afirmaciones sobre una población mayor, en nuestro ejemplo, todos los miembros de la fraternidad dentro de un estado. Sin embargo, debido a que el muestreo ocurre en múltiples etapas del proceso, en nuestro ejemplo a nivel universitario y estudiantil, el error de muestreo aumenta. Para muchos investigadores, esta debilidad se ve superada por los beneficios del muestreo por conglomerados.

Claves para llevar

• En el muestreo probabilístico, el objetivo es identificar una muestra que se asemeje a la población de la que se extrajo.
• Hay varios tipos de muestras probabilísticas, incluyendo muestras aleatorias simples, muestras sistemáticas, muestras estratificadas y muestras de conglomerados.
• Las muestras de probabilidad generalmente requieren una lista real de elementos en su marco de muestreo, aunque el muestreo por conglomerados se puede realizar sin uno.

Glosario

• Muestreo por conglomerados: un enfoque de muestreo que comienza por grupos de muestreo (o conglomerados) de elementos poblacionales y luego selecciona elementos de dentro de esos grupos
• Generalizabilidad: la idea de que los resultados de un estudio nos dirán algo sobre un grupo mayor que la muestra a partir de la cual se generaron los hallazgos
• Periodicidad- la tendencia de un patrón a ocurrir a intervalos regulares
• Probabilidad proporcional al tamaño- en el muestreo de conglomerados, dando a los clústeres diferentes posibilidades de ser seleccionados en función de su tamaño para que cada elemento dentro de esos clústeres tenga las mismas posibilidades de ser seleccionados
• Muestreo probabilístico: enfoques de muestreo para los cuales se conoce la probabilidad de una persona de ser seleccionada del marco de muestreo
• Selección aleatoria- usando números generados aleatoriamente para determinar quién del marco de muestreo es reclutado en la muestra
• Muestra representativa- una muestra que se asemeja a la población de la que se extrajo en todas las formas que son importantes para la investigación que se realiza
• Error de muestreo: un cálculo estadístico de la diferencia entre los resultados de una muestra y los parámetros reales de una población
• Muestreo aleatorio simple: seleccionar elementos de una lista usando números generados aleatoriamente
• Estratos- la característica por la que se divide la muestra
• Muestreo estratificado: dividir la población de estudio en subgrupos relevantes y luego extraer una muestra de cada subgrupo
• Muestreo sistemático: seleccionar cada k-ésimo elemento de una lista

Atribuciones de imagen

multitud hombres mujeres por DaswortgeWand CC-0

rodar los dados por 955169 CC-0

---

1. Figura 10.2 copiada de Blackstone, A. (2012) Principios de indagación sociológica: métodos cualitativos y cuantitativos. Fundación Saylor. Recuperado de: https://saylordotorg.github.io/text_...ative-methods/ Compartido bajo licencia CC-BY-NC-SA 3.0 (https://creativecommons.org/licenses/by-nc-sa/3.0/)
   
2. Holt, J. L., & Gillespie, W. (2008). Transmisión intergeneracional de violencia, egoísmo amenazado y reciprocidad: Una prueba de múltiples factores psicosociales que afectan la violencia de pareja íntima. American Journal of Criminal Justice, 33, 252—266.