4.7: Comparación de escenarios

En esta sección se presenta una estrategia para determinar si los resultados de la simulación proporcionan evidencia de que un escenario es mejor que otro. A menudo, un escenario representa las operaciones actuales del sistema para un sistema existente o un diseño de línea base para un sistema propuesto. Se proponen mejoras en las operaciones actuales o en un diseño de línea base. Se utilizan resultados de simulación para ver si estas mejoras son significativas o no. Además, puede ser necesario comparar una mejora propuesta con otra. Esta es una parte importante del paso 3 Identificar las Causas Raíz y Evaluar Escenarios Iniciales así como del paso 4 Revisar y Ampliar Trabajo Anterior del proceso del proyecto de simulación.

A menudo, se hacen comparaciones por pares. Este será el alcance de nuestra discusión. Law (2007) proporciona un resumen de los métodos para clasificar y seleccionar a los mejores de entre todos los escenarios que se consideran.

El trabajo de comparar el escenario A con el escenario B es un esfuerzo para encontrar evidencia de que el escenario A es mejor que el escenario B. Esta evidencia se encuentra primero examinando observaciones de medidas de desempeño para ver si se pueden ver diferencias operacionalmente significativas o diferencias inesperadas. Si se observan tales diferencias, se realiza un análisis estadístico adecuado para confirmarlas. Confirmar medias para determinar que las diferencias no se deben a la variación aleatoria en el experimento de simulación.

Muchas veces un escenario es mejor con respecto a una medida de desempeño y la misma o peor con respecto a otras. Evaluar tales compensaciones entre escenarios es parte del arte de la simulación.

Cada una de las formas de comparar escenarios se discutirá en el contexto del experimento de simulación relativo a las dos estaciones en un modelo en serie. Este experimento se presenta en la Tabla 4-2. La principal medida de desempeño de interés será el tiempo de entrega de la entidad.

4.7.1 Comparación por examen

Siguen algunas formas de comparar dos escenarios mediante el examen de las observaciones de las medidas de desempeño.

1. Por ejemplo, la gráfica del número en el búfer de la estación de trabajo A para el escenario para la máquina actual en uso en la estación de trabajo A se muestra en la Figura 4-3. Esto podría compararse con la gráfica de la misma cantidad para el escenario donde se usa la nueva máquina en la estación de trabajo A. Si esta última gráfica mostrara consistentemente menos entidades en el búfer, entonces habría evidencia de que usar la nueva máquina en la estación de trabajo A es una mejora: menos WIP.

   La representación gráfica de las observaciones de tiempo de entrega no suele realizarse ya que el tiempo de entrega no es una variable de estado y no tiene un valor en cada momento en el tiempo de simulación.

2. Por ejemplo, se pueden comparar histogramas de tiempo de entrega. Si el histograma para la nueva máquina en la estación de trabajo Un escenario muestra claramente un mayor porcentaje de entidades que requieren menos tiempo en la línea en comparación con el escenario actual de la máquina, entonces habría evidencia de que el uso de la nueva máquina en la estación de trabajo A reduce el tiempo de ciclo.
3. Por ejemplo, el tiempo promedio para el escenario de máquina actual es de 62.7 segundos y para el escenario de máquina nueva es de 58.5 segundos. Estos valores son para todas las réplicas del experimento. Así, la nueva máquina reduce el tiempo de ciclo en aproximadamente 6%, lo que es operacionalmente significativo.
4. Por ejemplo, el rango de promedio de tiempo de ciclo sobre las réplicas del experimento para el escenario actual de la máquina es (52.5, 71.7) y para el escenario de máquina nueva es (48.8, 68.9). Los rangos se superponen y, por lo tanto, no proporcionan evidencia de que la nueva máquina reduzca el tiempo de ciclo frente a la máquina existente en la

4.7.2 Comparación por Análisis Estadístico

En esta sección se analiza el uso de intervalos de confianza para confirmar que las diferencias percibidas en los resultados de simulación para dos escenarios no se deben solo a la variación aleatoria en el experimento.

Tenga en cuenta que el diseño del experimento asegura que los escenarios comparten flujos de números aleatorios en común. Así, los escenarios no son estadísticamente independientes. Además, se realiza el mismo número de repeticiones para cada escenario. Por lo tanto, es necesario y útil un enfoque que compare los resultados de la simulación replicado por replicado. Este enfoque se llama el método emparejado-t. ¹

En el Cuadro 4-7 se proporciona la organización para apoyar el método de t emparejado. Cada fila corresponde a una réplica. La diferencia entre los valores de medida del desempeño para cada réplica se muestra en la cuarta columna. Estas diferencias son observaciones independientes. Se calcula un intervalo de\(\ 1-\alpha\) confianza para la media poblacional de la diferencia en la cuarta columna. Si este intervalo de confianza no contiene cero, se concluirá que existe una diferencia estadísticamente significativa entre los escenarios con confianza\(\ 1-\alpha\). Este intervalo de confianza se construye e interpreta utilizando el mismo razonamiento que se dio en la sección 4.6.2.

Para ilustrar, la Tabla 4-8 compara, en función del tiempo de entrega de la entidad, el uso de la nueva máquina en la estación de trabajo A frente a la máquina actual utilizando el método emparejado-t. Se construye un intervalo de confianza del 99% para la diferencia media: (3.7, 4.7) con 99% de confianza. Así, con una confianza del 99%, la nueva máquina en la estación de trabajo A reduce el tiempo medio de ciclo en el rango (3.7, 4.7) segundos.

También es útil examinar los datos del Cuadro 4-8 sobre una base réplica por réplica. Observe que en todas las réplicas, el tiempo de ciclo fue menor utilizando la nueva máquina en la estación de trabajo A. Sin embargo, cabe señalar que todavía es muy posible que en cualquier periodo particular de 40 horas, las dos estaciones en una línea en serie funcionarían mejor con respecto al tiempo de ciclo usando la máquina actual en estación de trabajo A en lugar de la nueva máquina. Los resultados de la simulación muestran que en promedio durante muchos periodos de 40 horas la línea se desempeñará mejor con respecto al tiempo de ciclo utilizando la nueva máquina en la estación de trabajo A.

Cuadro 4-7: Formato del método de T emparejado
Replicar	Escenario A	Escenario B	Diferencia (Escenario A — Escenario B)
1
2
3
4
. . .
n
Promedio
Std. Dev.
\(\ 1-\alpha \text { C. I.}\) Límite Inferior
\(\ 1-\alpha \text { C. I.}\) Límite superior

---

¹ Ley (2007) proporciona una discusión más profunda de la comparación de alternativas usando intervalos de confianza, incluyendo la generación de intervalos de confianza cuando no se utilizan números aleatorios comunes.

---

Cuadro 4-8: Comparación de Escenarios Usando el Método de T Pareada\(\ (1-\alpha=99 \%)\)
Replicar	Máquina Actual	Máquina Nueva	Diferencia (Actual — Nuevo)
1	61.1	57.3	3.8
2	66.0	62.2	3.9
3	60.6	57.6	3.0
4	52.5	48.8	3.7
5	58.3	55.0	3.3
6	63.4	59.3	4.0
7	59.7	55.0	4.8
8	63.9	59.2	4.7
9	62.7	58.5	4.2
10	61.1	56.7	4.4
11	60.7	56.6	4.1
12	65.2	59.8	5.4
13	64.7	58.3	6.4
14	63.6	59.5	4.1
15	67.3	63.5	3.8
16	61.7	57.2	4.5
17	71.7	68.9	2.8
18	63.3	59.0	4.3
19	62.3	58.1	4.2
20	64.6	59.9	4.7
Promedio	62.7	58.5	4.2
Std. Dev.	3.82	3.8	0.8
99% C. I. Límite Inferior	60.9	56.7	3.7
Límite superior del 99% C.I.	64.5	60.3	4.7

4.7.2.1 Una palabra de precaución sobre la comparación de escenarios

Al comparar escenarios, se pueden construir muchos intervalos de confianza. Para cada par de escenarios, se pueden comparar varias medidas de desempeño. Muchos escenarios también pueden ser probados.

Surge la pregunta en cuanto al\(\ \alpha\) nivel resultante para todos los intervalos de confianza juntos,\(\ \alpha_{overall}\). Este\(\ \alpha_{overall}\) nivel es la probabilidad de que todos los intervalos de confianza cubran simultáneamente la diferencia real de valor entre los escenarios del parámetro o característica del sistema que cada estima.

Se\(\ \alpha_{overall}\) calcula un límite inferior usando la desigualdad Bonferroni donde se realizan un total de k intervalos de confianza:

\ begin {align} P (\ text {todos los intervalos de confianza cubren el valor real}) >=1-\ sum_ {j} ^ {k}\ alpha_ {j}\ tag {4-5} ta\ end {align}

y así:

\ begin {align}\ alpha_ {\ text {general}}\ leq\ suma_ {j=1} ^ {k}\ alpha_ {j}\ tag {4-6}\ end {align}

Supongamos que comparamos dos escenarios usando dos medidas de desempeño con\(\ \alpha\) = 0.05. Se calcula un intervalo de confianza de la diferencia entre los escenarios para cada medida del desempeño. El límite inferior sobre la probabilidad de que ambos intervalos de confianza cubran la diferencia real en las medidas de desempeño viene dado por la ecuación 4-5:\(\ \alpha_{overall}\) <= 0.05 + 0.05 = 0.10.

Considera comparar dos escenarios con 10 medidas de desempeño respectivas. Cada intervalo de confianza se calcula usando\(\ \alpha\) = 0.05. Entonces la probabilidad de que todos los intervalos de confianza cubran la diferencia real en las medidas de desempeño podría ser tan baja como 0.05*10 = 0.50. Ese es el\(\ \alpha\) error asociado a todo nuestro trabajo sería 0.5. Así, al hacer muchas comparaciones, es necesario un pequeño valor de\(\ \alpha_{j}\) para cada intervalo de confianza. Por ejemplo, con all\(\ \alpha_{j}\) = 0.01, el\(\ \alpha\) error general asociado a diez comparaciones es 0.1, que es aceptablemente bajo.

Desafortunadamente si se utilizan un gran número de medidas de desempeño o se comparan muchos escenarios, siempre\(\ \alpha_{\text {overall }}\) será grande. Por lo tanto, es probable que para al menos un intervalo de confianza no se cubra la verdadera diferencia entre los valores de la medida del desempeño. Por lo que no se detectará una diferencia entre dos escenarios.