4.2: Verificación y Validación

En esta sección se analiza la verificación y validación de modelos de simulación. La verificación y validación, descritas por primera vez en el principio 6 del capítulo 1, tienen que ver con construir un alto nivel de confianza entre los miembros de un equipo de proyecto que el modelo pueda cumplir son objetivos. La verificación y validación son una parte importante del proceso de simulación, particularmente con respecto al aumento de la credibilidad del modelo entre gerentes y expertos en sistemas.

La verificación tiene que ver con desarrollar la confianza de que la implementación informática de un modelo está de acuerdo con el modelo conceptual como se discute en el capítulo 1. En otros trabajos, la implementación informática del modelo concuerda con las especificaciones dadas en el modelo conceptual. La verificación incluye depurar la implementación informática del modelo.

La validación tiene que ver con desarrollar la confianza de que el modelo conceptual y el modelo implementado representan el sistema real con suficiente precisión para apoyar la toma de decisiones sobre temas del proyecto y cumplir con los objetivos de la solución. En otros trabajos, la implementación computacional del modelo y el modelo conceptual representan fielmente el sistema real.

Según lo descrito por muchos autores (Balci, 1994; Balci, 1996; Banks, Carson, Nelson y Nicol, 2009; Carson, 2002; Law, 2007; Sargent, 2009), la verificación y validación requieren reunir evidencia de que el modelo y su implementación informática representan con precisión el sistema en estudio con respecto a temas de proyectos y objetivos de solución. La verificación y validación son una cuestión de grado. A medida que se obtienen más evidencias, mayor es el grado de confianza de que se verifica el modelo y aumenta su validez. Sin embargo, hay que recordar que la confianza absoluta (100%) no se puede lograr. Siempre habrá alguna duda sobre si un modelo es verificado y validado.

Cómo obtener evidencia de verificación y validación y qué evidencia obtener es específica de cada caso y requiere conocimiento del problema y objetivos de solución. Algunas estrategias de aplicación general se discuten e ilustran en las siguientes secciones. Los estudios de aplicación, a partir del capítulo 6, proporcionan ejemplos adicionales. Los problemas de aplicación en los mismos capítulos dan a los estudiantes la oportunidad de practicar la verificación y validación.

Las estrategias de verificación y validación se presentan por separado para mayor claridad de discusión. Sin embargo, en la práctica, las tareas de verificación y validación a menudo se entremezclan con poco esfuerzo para distinguir la verificación de la validación. El enfoque tanto de la verificación como de la validación es generar confianza en que el modelo puede ser utilizado para cumplir con los objetivos del proyecto.

Un requisito previo para un experimento de simulación adecuado es verificar y validar el modelo.

A lo largo de este capítulo, incluyendo la discusión de verificación y validación, las ilustraciones y ejemplos harán uso de un modelo de dos estaciones en una serie con un gran buffer entre las estaciones así como el ejemplo industrial presentado en la sección 1.2. En la Figura 4-1 se muestra un diagrama del primero. Una pieza ingresa al sistema, espera en el búfer de la estación de trabajo A hasta que la máquina en esta estación de trabajo esté disponible. Después del procesamiento en la estación de trabajo A, una pieza se mueve a la estación de trabajo B donde espera en el búfer hasta que la máquina de estación de trabajo B esté disponible Después del procesamiento en la estación de trabajo B, una pieza sale del sistema. Tenga en cuenta que debido a que es grande, el búfer entre las estaciones no se modela.

Figura 4-1: Ejemplo de dos estaciones de trabajo en secuencia, repetidas

4.2.1 Procedimientos de Verificación

Se siguen algunas técnicas de aplicación general para buscar evidencia de verificación.

1. Por ejemplo, en las dos estaciones de trabajo en un modelo de serie, se debe mantener la siguiente ecuación de “saldo de entidad”:

   Número de entidades que ingresan al sistema =

   el número de entidades que salen del sistema + el número de entidades que aún están en el sistema al final de la simulación

   Esta última cantidad consiste en el número de entidades en cada búfer de estación de trabajo (A y B) más el número de entidades que se procesan en las estaciones de trabajo A y B. Si la igualdad de saldo de entidades no es cierta, es probable que haya un error en el modelo que debe ser encontrado y corregido.

   El número de entidades que ingresan al sistema consiste en el número de entidades inicialmente ahí al inicio de la simulación más el número de entidades que llegan durante la simulación.

   Por ejemplo, para una simulación de las dos estaciones de trabajo en un modelo en serie, llegaron 14359 entidades al modelo de las cuales 6 estaban ahí inicialmente. Había 14357 entidades que partieron y dos entidades en el sistema al término de la simulación. Una de las dos entidades estaba en la operación de la estación de trabajo A y la otra en la operación de la estación de trabajo B.

2. Los pasos del proceso en el modelo implementado en la versión informática del modelo y el modelo conceptual deben corresponder y cualquier diferencia debe ser corregida o justificada.

   Los pasos del proceso en las dos estaciones de trabajo en un modelo en serie son los siguientes:

   1. Llegar al sistema.
   2. Ingrese al búfer de entrada de la estación de trabajo
   3. Ser transformado por la operación de la estación de trabajo A.
   4. Moverse e ingresar al búfer de entrada de la estación de trabajo B.
   5. Ser transformado por la operación de la estación de trabajo B.
   6. Salida del sistema.
3. La implementación del modelo debe incluir la comprobación requerida para asegurar que los valores de los parámetros de entrada se ingresan y utilizan correctamente.

   Por ejemplo, en la aplicación industrial discutida en la sección 1.2, el volumen de demanda de los clientes es input. El volumen de producto enviado es de salida. Se incluye suficiente información en los informes generados por el modelo para determinar fácilmente si todo el volumen de entrada se envía o está en espera de envío al final de la simulación.

4. El tiempo entre llegadas se especifica como parte del modelo. El número promedio de llegadas se puede calcular dado el tiempo de finalización de la simulación. Además, el número de llegadas durante la ejecución de simulación suele ser reportado automáticamente. Estas dos cantidades se pueden comparar para asegurar que las entidades se están creando como se pretendía.

   Por ejemplo, supongamos que el modelo de las dos estaciones en una serie se simuló por 40 horas con un tiempo promedio entre llegadas de 10 segundos. El número esperado de llegadas sería de 14400 (= 40 horas/10 segundos). Supongamos que se realizaron 20 simulaciones independientes y el número de llegadas osciló entre 14128 y 14722. Dado que este rango incluye 14400, se obtendrían pruebas de verificación. Cómo hacer las simulaciones independientes se discute en la sección 4.3 y siguientes.

   Alternativamente, podría calcularse un intervalo de confianza para el verdadero número medio de llegadas. Si este intervalo de confianza incluye el número esperado de llegadas se obtiene evidencia de verificación. En el mismo ejemplo, el intervalo de confianza del 95% para el número medio de llegadas es de 14319 a 14457. Nuevamente, se obtienen pruebas de verificación.

5. Se debe incorporar una comprobación suficiente en el modelo de simulación para asegurar que todas las decisiones lógicas se toman correctamente, es decir, toda la lógica condicional se implementa correctamente.

   Por ejemplo, en el problema industrial discutido en la sección 1.2, cada producto podría enviarse desde uno de un conjunto específico de puntos de carga. Los reportes de salida mostraron el volumen de envíos por producto y combinación de punto de carga. Por lo tanto, se podía ver fácilmente si un producto se enviaba desde el punto de carga equivocado.

6. Verificar que cualquier programa informático complejo se implementó como se pretendía puede ser difícil. Implementar el modelo más pequeño posible ayuda a simplificar la tarea de verificación, y quizás lo más importante, da como resultado un modelo en ejecución en relativamente poco tiempo. Verificar una capacidad agregada a un modelo ya verificado es relativamente sencillo.

   Por ejemplo, el modelo del problema industrial presentado en la sección 1.2, se ha desarrollado a lo largo de varios años con nuevas capacidades agregadas para apoyar el abordaje de nuevos problemas y objetivos de solución.

7. Cada individuo implementa una porción asignada del modelo, o submodelo. Cada individuo presenta la implementación a todos los demás miembros del equipo. El equipo en su conjunto debe estar de acuerdo en que la implementación representa fielmente el modelo conceptual.

   Por ejemplo, una estrategia es construir e implementar un modelo inicial lo más rápido posible a partir de las especificaciones en el modelo conceptual. Si el modelo conceptual es incompleto, se hacen suposiciones para completar la construcción e implementación del modelo. Los supuestos pueden ser brutos o inexactos. Todo el equipo revisa el modelo inicial, especialmente los supuestos, y lo compara con el modelo conceptual. Los supuestos se corrigen según sea necesario. Esto puede requerir que los miembros del equipo recopilen información adicional sobre cómo funcionan ciertos aspectos del sistema en estudio.

8. Los constructores de modelos implementan los constructos de modelado estándar disponibles en un lenguaje de simulación. Proporcionan una estructura estándar para la construcción de modelos y ayudan a proteger contra errores de construcción de modelos, como la especificación inconsistente o incompleta de construcciones de modelado.
9. Se debe sacar suficiente información de la simulación para verificar que los diferentes componentes del sistema están operando consistentemente entre sí en el modelo.

   Por ejemplo, en el problema industrial de la sección 1.2, se reportan tanto la utilización de cada punto de carga como las estadísticas resumidas relativas al tiempo de carga de cada producto. Si los puntos de carga asignados a un producto tienen una alta utilización, el tiempo promedio de carga del producto debe ser relativamente largo.

10. La implementación de un modelo solo puede verificarse con respecto al conjunto particular de valores de parámetros del modelo probados. Cada nuevo conjunto de valores de parámetros requiere una nueva verificación. Sin embargo, después de que se hayan probado muchos conjuntos de valores de parámetros, se obtiene la confianza de que la implementación es correcta para todos los conjuntos de valores de parámetros en el mismo rango.

    Por ejemplo, para el problema industrial de la sección 1.2, la información de verificación se examina cuidadosamente después de cada experimento de simulación.

4.2.2 Procedimientos de validación

Se siguen algunas técnicas de aplicación general para buscar evidencia de validación.

1. Se trata de una reformulación del principio 11 del capítulo 1. Por ejemplo, el número medio de unidades ocupadas de un recurso puede calcularse fácilmente como se explica en el capítulo 6.

   En las dos estaciones de trabajo en un modelo en serie, supongamos que el tiempo de operación en la segunda estación de trabajo es de 8.5 segundos constante y el tiempo medio entre llegadas es de 10 segundos. El porcentaje de tiempo ocupado para la estación de trabajo B es igual a 8.5/10 segundos o 85%. La simulación de la estación de trabajo proporciona datos a partir de los cuales estimar el porcentaje de tiempo ocupado. El rango de utilización de la estación de trabajo B en múltiples simulaciones independientes es de 83% a 87%. También se podría calcular un intervalo de confianza para la utilización de la media verdadera. El intervalo de confianza del 95% es de 84.4 a 85.4. Así, se obtiene evidencia de validación.

2. Revisar todas las implicaciones de decisiones complejas utilizando información voluminosa en un medio estático, como un informe, o incluso en un depurador interactivo, es difícil y posiblemente abrumador. La animación sirve para condensar y simplificar la visualización de dicha información.

   Considera la siguiente ilustración. A principios de la década de 1980, una compañía de simulación en particular estaba desarrollando su primer producto animador comercial. Una vez concluida la implementación y las pruebas, el equipo de desarrollo solicitó a un consultor de aplicaciones un modelo industrial para animar. El consultor suministró un modelo que incluía un complejo sistema de control para un robot.

   Los desarrolladores completaron la animación y la presentaron al consultor. La respuesta de la consultora fue que debe haber algo mal con el nuevo software de animación ya que el robot no pudo participar en la secuencia de comportamiento mostrada.

   Por más que lo intenten, el equipo de desarrollo no pudo encontrar ningún error de software en el animador. Para ayudarlos, el equipo pidió al consultor que simulara el modelo, imprimiendo toda la información sobre el comportamiento del robot. El error no se encontró en el animador, sino en el modelo. ¡El patrón de comportamiento no permitido ocurrió en la simulación!

   Esto no es una crítica al consultor. Más bien señala lo fácil que fue ver un comportamiento no válido en una animación aunque era inviable detectarlo a través de un cuidadoso examen del modelo y la información de salida.

3. Los expertos en sistemas deben revisar el modelo, los valores de los parámetros y los resultados de simulación para verificar la coherencia con los diseños y expectativas Los informes de los resultados de la simulación deben presentarse en un formato que sea comprensible para los expertos del sistema sin mayor explicación por parte de los modeladores. La animación puede ayudar a responder preguntas como: ¿Cómo se representó el sistema en el modelo? Las inconsistencias y expectativas insatisfechas deben resolverse como evidencia de un modelo inválido o un comportamiento inesperado, pero válido, del sistema.

   Por ejemplo, el proceso de desarrollo para el modelo industrial discutido en la sección 1.2 fue el siguiente. Se desarrolló un primer modelo de corte lo más rápido posible después del inicio del proyecto. Durante el desarrollo de este modelo quedó claro que algunos componentes del sistema no habían sido identificados o tenían especificaciones incompletas que es que el primer borrador del modelo conceptual estaba incompleto. Los modeladores hicieron suposiciones burdas sobre cómo operaban estos componentes. El primer modelo de corte fue revisado por todo el equipo del proyecto, incluidos expertos en sistemas y gerentes. Con base en esta revisión, se asignaron tareas para completar el modelo conceptual. Cuando se completaron estas tareas, se actualizó el modelo conceptual y el modelo implementado se revisó en consecuencia.

4. Como se discutió en el capítulo 3, puede haber una falta de datos disponibles para estimar los retrasos de tiempo u otras cantidades necesarias en un modelo. Esto es común cuando el modelo de simulación se está utilizando para ayudar en el diseño de un nuevo sistema. Para tales cantidades, es fundamental realizar un análisis de sensibilidad. Esto implica ejecutar el modelo con una variedad de valores de cada cantidad estimada y observar el efecto en las medidas de desempeño. Deben identificarse las cantidades estimadas que afectan en gran medida el rendimiento del sistema. Puede ser necesario realizar más estudios para obtener una estimación más precisa de su valor.

   Por ejemplo, había pocos datos relativos a los tiempos de envío, el tiempo entre el momento en que un producto salió de la planta y el momento en que llegó a un cliente, para el modelo industrial discutido en la sección 1.2. Se creía que estos tiempos estaban directamente relacionados con algunas de las medidas clave de desempeño estimadas por el modelo. Así, se pensó que era prudente refinarlos con el tiempo. Inicialmente, los tiempos de envío se especificaron como distribuidos triangularmente con estimaciones de los tiempos mínimos, máximos y modales para todos los productos en general suministrados por expertos en logística. Posteriormente se dispuso de datos adicionales para que se dispusieran tiempos de envío para cada grupo de productos. Aún más tarde, se realizó un análisis de datos en el sistema de información corporativa para proporcionar tiempos de envío específicos del producto. El modelo de simulación se modificó para permitir el uso de cualquiera de las tres opciones de tiempo de envío para cualquier producto.

5. La simulación puede generar un informe específico del modelo de las acciones paso a paso realizadas durante una ejecución en un formato que puede ser leído por expertos y gerentes del sistema. Un examen cuidadoso de dicho informe, aunque tedioso, puede ayudar a asegurar que los pasos del proceso incluidos en el modelo de simulación estén completos e interactúen correctamente entre sí.

   Por ejemplo, los patrocinadores de una simulación de gestión de inventario industrial requirieron tal rastreo para asegurar que el modelo capturara correctamente la respuesta del sistema real a ciertas perturbaciones. El rastro fue cuidadosamente examinado por los patrocinadores y otros expertos del sistema para ganar confianza en que el modelo era válido.

6. Las mismas medidas de desempeño calculadas en el modelo pueden estimarse a partir de los datos recopilados de un sistema existente. Las estadísticas resumidas, como el promedio, calculadas a partir de los valores de las medidas de desempeño pueden compararse por inspección con estadísticas resumidas calculadas a partir de los datos recopilados de un sistema existente. Si no se observan diferencias operacionalmente significativas, entonces se obtiene evidencia de validación.

   Law (2007) discute la dificultad de utilizar pruebas estadísticas para comparar los valores de las medidas de desempeño y los datos del mundo real, así como hacer algunas recomendaciones al respecto.

   Por ejemplo, en el modelo industrial de la sección 1.2, los expertos en sistemas creyeron que los vagones ferroviarios vacíos pasaban de 6 a 7 días en la planta. Los resultados de la simulación estimaron que los vagones vacíos pasaron un promedio de 6.6 días en la planta. Así, se obtuvo evidencia de validación.