5.7: Resumen

Este capítulo extendió los resultados de la cadena de Markov de estado finito del Capítulo 3 al caso de los espacios estatales contables-infinitos. También proporcionó un excelente ejemplo de cómo los procesos de renovación pueden ser utilizados para entender otros tipos de procesos. En la Sección 5.1, se utilizaron las variables aleatorias de primer paso-tiempo para construir procesos de renovación con renovaciones en transiciones sucesivas a un estado determinado. Estos procesos de renovación se utilizaron para rederivar las propiedades básicas de las cadenas de Markov utilizando la teoría de la renovación en oposición al enfoque algebraico de PerronFrobenius del Capítulo 3. El resultado central de esto fue el Teorema 5.1.4, el cual demostró que, para una cadena irreducible, los estados son positivo-recurrentes si y sólo si las ecuaciones de estado estacionario, (5.18), tienen una solución. También si\ ref {5.18} tiene una solución, es positiva y única. También se demostró que estas probabilidades de estado estacionario son, con probabilidad 1, promedios de tiempo para trayectorias de muestreo, y que, para una cadena ergódica, son probabilidades limitantes independientemente del estado inicial.

Se encontró que las principales complicaciones que resultan de los espacios estatales contables son, primero, diferentes tipos de comportamiento transitorio, y segundo, la posibilidad de estados nulos recurrentes. Para las cadenas de Markov de estado finito, un estado es transitorio sólo si puede llegar a algún otro estado del que no pueda regresar. Para cadenas contablemente infinitas, también existe el caso, como en la Figura 5.2 para\(p>1 / 2\), donde el estado simplemente se aleja, para no volver nunca. La recurrencia nula es una situación limitante donde el estado se aleja y regresa con probabilidad 1, pero con un tiempo esperado infinito. No hay mucha importancia de ingeniería para la recurrencia nula; es altamente sensible a los detalles de modelado en todo el conjunto infinito de estados. Por lo general, se usan cadenas contablemente infinitas para simplificar los modelos; por ejemplo, si un buffer es muy grande y no esperamos que se desborde, asumimos que es infinito. Descubrir, entonces, que la cadena es transitoria o nula recurrente simplemente significa que la suposición de modelado no es muy buena.

A continuación estudiamos las cadenas de Markov al nacer y la reversibilidad. Las cadenas de parto y muerte son ampliamente utilizadas en la teoría de colas como aproximaciones de tiempo de muestra para sistemas con llegadas de Poisson y varias generalizaciones de tiempos de servicio distribuidos exponencialmente. La ecuación\ ref {5.28} da sus probabilidades de estado estacionario si son positivo-recurrentes, y muestra las condiciones bajo las cuales son positivo-recurrentes. Demostramos que estas cadenas son reversibles si son positivasurrentes.

Los teoremas 5.3.2 y 5.3.3 proporcionan una manera sencilla de encontrar la distribución en estado estacionario de cadenas reversibles y también de cadenas donde el comportamiento de la cadena hacia atrás podría ser hipotético o deducido. Se utilizó la reversibilidad para demostrar que las cadenas M/M/1 y M/M de Markov satisfacen el teorema de Burke para el tiempo muestreado, es decir, que el proceso de salida es Bernoulli, y que el estado en cualquier momento es independiente de las salidas anteriores a ese momento.

Los procesos de ramificación se introdujeron en la Sección 5.5 como modelo para estudiar el crecimiento de diversos tipos de elementos que se reproducen. En general, para estos modelos (suponiendo\(p_{0}>0\)), hay un estado de captura y todos los demás estados son transitorios. La Figura 5.7 mostró cómo encontrar la probabilidad de que el estado de captura sea ingresado por la enésima generación, y también la probabilidad de que se ingrese eventualmente. Si el número esperado de descendencia de un elemento es como máximo 1, entonces la población muere con probabilidad 1, y de lo contrario, la población muere con alguna probabilidad dada q, y crece sin límite con probabilidad\(1-q\).

Luego se utilizó la cola por turnos como un ejemplo más complejo de cómo usar el proceso hacia atrás para deducir la distribución en estado estacionario de una cadena de Markov bastante complicada; esto también nos dio una visión adicional del comportamiento de los sistemas de colas y nos permitió demostrar que, en el límite de compartición de procesadores, el la distribución del número de clientes es la misma que en una cola M/M/1

Para leer más sobre las cadenas de Markov con espacios de estado contables-infinitos, véase [8], [16], o [22]. Feller [8] es particularmente completo, pero Ross [16] y Wolff [22] son algo más accesibles. Harris, [12] es la referencia estándar en procesos de ramificación y Kelly, [13] es la referencia estándar sobre reversibilidad. El material sobre sistemas round-robin es de [24] y se generaliza allí.