16.6: Distribuciones Estacionarias y Limitantes de Cadenas Discretas de Tiempo

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\( \newcommand{\cl}{\text{cl}} \)

En esta sección, estudiamos algunas de las partes más profundas e interesantes de la teoría de las cadenas de Markov en el tiempo discreto, involucrando dos ideas diferentes pero complementarias: distribuciones estacionarias y distribuciones limitantes. La teoría de los procesos de renovación juega un papel crítico.

Teoría Básica

Como es habitual, nuestro punto de partida es una cadena de Markov discreto-tiempo (homogénea en el tiempo)\( \bs{X} = (X_0, X_1, X_2, \ldots) \) con espacio de estado (contable)\( S \) y matriz de probabilidad de transición\( P \). En el fondo, por supuesto, es un espacio de probabilidad\( (\Omega, \mathscr{F}, \P) \) por lo que\( \Omega \) es el espacio de muestra,\( \mathscr{F} \) el\( \sigma \) -álgebra de eventos, y\( \P \) la medida de probabilidad en\( (\Omega, \mathscr{F}) \). Para\( n \in \N \), let\( \mathscr{F}_n = \sigma\{X_0, X_1, \ldots, X_n\} \), el\( \sigma \) -álgebra de eventos determinados por la cadena hasta el tiempo\( n \), así que esa\( \mathfrak{F} = \{\mathscr{F}_0, \mathscr{F}_1, \ldots\}\) es la filtración natural asociada a\( \bs{X} \).

El proceso de renovación integrada

Dejar\( y \in S \) y\( n \in \N_+ \). Denotaremos el número de visitas a\( y \) durante las primeras unidades de tiempo\( n \) positivo por\[ N_{y,n} = \sum_{i=1}^n \bs{1}(X_i = y) \] Tenga en cuenta que\( N_{y,n} \to N_y \) como\( n \to \infty \), donde\[ N_y = \sum_{i=1}^\infty \bs{1}(X_i = y) \] está el número total de visitas a\( y \) en momentos positivos, una de las variables aleatorias importantes que estudiamos en la sección sobre fugacidad y recurrencia. Porque\( n \in \N_+ \), denotamos el tiempo de la visita\( n \) th a\( y \) por\[ \tau_{y,n} = \min\{k \in \N_+: N_{y,k} = n\} \] donde como de costumbre, definimos\( \min(\emptyset) = \infty \). Tenga en cuenta que\( \tau_{y,1} \) es el momento de la primera visita a\( y \), que denotamos simplemente por\(\tau_y \) en el apartado sobre fugacidad y recurrencia. Los tiempos de las visitas a\( y \) son tiempos de parada para\( \bs{X} \). Es decir,\( \{\tau_{y,n} = k\} \in \mathscr{F}_k \) para\( n \in \N_+ \) y\( k \in \N \). Recordemos también la definición de la probabilidad de golpeo para indicar\( y \) inicio en estado\( x \):\[ H(x, y) = \P\left(\tau_y \lt \infty \mid X_0 = x\right), \quad (x, y) \in S^2 \]

Supongamos que\( x, \, y \in S \), y eso\( y \) es recurrente y\( X_0 = x \).

1. Si\( x = y \), entonces las visitas sucesivas para\( y \) conformar un proceso de renovación.
2. Si\( x \ne y \) pero\( x \to y \), entonces las visitas sucesivas para\( y \) formar un proceso de renovación retrasada.

Prueba

Déjalo\( \tau_{y,0} = 0 \) por conveniencia.

1. Dado\( X_0 = y \), la secuencia\( \left(\tau_{y,1}, \tau_{y,2}, \ldots\right) \) es la secuencia de tiempos de llegada de un proceso de renovación. Cada vez que la cadena llega al estado\( y \), el proceso comienza de nuevo, independientemente del pasado, por la propiedad de Markov. Así, los tiempos de interllegada\( \tau_{y,n+1} - \tau_{y,n} \) para\( n \in \N \) son condicionalmente independientes, y se distribuyen de manera idéntica, dado\( X_0 = y \).
2. Si\( x \ne y \) pero\( x \to y \), entonces dado\( X_0 = x \), la secuencia\( \left(\tau_{y,1}, \tau_{y,2}, \ldots\right) \) es la secuencia de tiempos de llegada de un proceso de renovación retrasada. Por el mismo argumento que en (a), los tiempos de interllegada\( \tau_{y,n+1} - \tau_{y,n} \) para\( n \in \N \) son condicionalmente independientes, dados\( X_0 = x \), y todos menos\( \tau_{y,1} \) tienen la misma distribución.

Como se señala en la prueba,\( \left(\tau_{y,1}, \tau_{y,2}, \ldots\right) \) es la secuencia de tiempos de llegada y\( \left(N_{y,1}, N_{y,2}, \ldots\right) \) es la secuencia asociada de variables de conteo para el proceso de renovación incrustado asociado al estado recurrente\( y \). La función de renovación correspondiente, dada\( X_0 = x \), es la función\( n \mapsto G_n(x, y) \) donde\[ G_n(x, y) = \E\left(N_{y,n} \mid X_0 = x\right) = \sum_{k=1}^n P^k(x, y), \quad n \in \N \] Así\( G_n(x, y) \) es el número esperado de visitas a\( y \) en las primeras unidades de tiempo\( n \) positivas, comenzando en estado\( x \). Obsérvese que\( G_n(x, y) \to G(x, y) \) como\( n \to \infty \) donde\( G \) está la matriz potencial que estudiamos anteriormente. Esta matriz da el número total esperado de visitas para indicar\( y \in S \), en momentos positivos, comenzando en estado\( x \in S \):\[ G(x, y) = \E\left(N_y \mid X_0 = x\right) = \sum_{k=1}^\infty P^k(x, y) \]

Comportamiento limitante

Los teoremas de límite de la teoría de la renovación ahora pueden ser utilizados para explorar el comportamiento limitante de la cadena de Markov. Vamos a\( \mu(y) = \E(\tau_y \mid X_0 = y) \) denotar el tiempo medio de retorno al estado\( y \), comenzando en\( y \). En los siguientes resultados, puede darse el caso que\( \mu(y) = \infty \), en cuyo caso interpretamos\( 1 / \mu(y) \) como 0.

Si\( x, \, y \in S \) y\( y \) es recurrente entonces\[ \P\left( \frac{1}{n} N_{n,y} \to \frac{1}{\mu(y)} \text{ as } n \to \infty \biggm| X_0 = x \right) = H(x, y) \]

Prueba

Este resultado se desprende de la fuerte ley de grandes números para los procesos de renovación.

Tenga en cuenta que\( \frac{1}{n} N_{y,n} = \frac{1}{n} \sum_{k=1}^n \bs{1}(X_k = y) \) es el número promedio de visitas a\( y \) en las primeras unidades de tiempo\( n \) positivo.

Si\( x, \, y \in S \) y\( y \) es recurrente entonces\[ \frac{1}{n} G_n(x, y) = \frac{1}{n} \sum_{k=1}^n P^k(x, y) \to \frac{H(x, y)}{\mu(y)} \text{ as } n \to \infty \]

Prueba

Este resultado se desprende del teorema de renovación elemental para los procesos de renovación.

Destacar que\( \frac{1}{n} G_n(x, y) = \frac{1}{n} \sum_{k=1}^n P^k(x, y) \) es el promedio esperado de visitas a\( y \) durante las primeras unidades de tiempo\( n \) positivo, a partir de las\( x \).

Si\( x, \, y \in S \) y\( y \) es recurrente y aperiódico entonces\[ P^n(x, y) \to \frac{H(x, y)}{\mu(y)} \text{ as } n \to \infty \]

Prueba

Este resultado se desprende del teorema de renovación para los procesos de renovación.

Obsérvese que\( H(y, y) = 1 \) por la definición misma de un estado recurrente. Así, cuando\( x = y \), la ley de números grandes arriba da convergencia con probabilidad 1, y los límites de la teoría de renovación primero y segundo anteriores son simplemente\( 1 / \mu(y) \). Por el contrario, ya conocemos el comportamiento limitante correspondiente cuando\( y \) es transitorio.

Si\(x, \, y \in S \) y\( y \) es transitorio entonces

1. \( \P\left(\frac{1}{n} N_{y,n} \to 0 \text{ as } n \to \infty \mid X_0 = x\right) = 1 \)
2. \( \frac{1}{n} G_n(x, y) = \frac{1}{n} \sum_{k=1}^n P^k(x, y) \to 0 \text{ as } n \to \infty \)
3. \( P^n(x, y) \to 0 \)como\( n \to \infty \)

Prueba

1. Tenga en cuenta que\(0 \le \frac{1}{n} N_{y,n} \le \frac{1}{n} N_y\). Pero si\( y \) es transitorio,\( \P(N_y \lt \infty \mid X_0 = x) = 1 \) y de ahí\( \P\left(\frac{1}{n} N_y \to 0 \text{ as } n \to \infty \mid X_0 = x\right) = 1 \) así el resultado se desprende del teorema squeeze para los límites.
2. De igual manera, tenga en cuenta que\[0 \le \frac{1}{n} \sum_{k=1}^n P^k(x, y) \le \frac{1}{n} \sum_{k=1}^\infty P^k(x, y)\] Si\( y \) es transitorio,\( G(x, y) = \sum_{k=1}^\infty P^k(x, y) \lt \infty \) y por lo tanto\( \frac{1}{n} G(x, y) \to 0 \) como\( n \to \infty \). Nuevamente el resultado se desprende del teorema de squeeze para los límites.
3. Una vez más, si\( y \) es transitorio,\( G(x, y) = \sum_{k=1}^\infty P^k(x, y) \lt \infty \) y por lo tanto\( P^n(x, y) \to 0 \) como\( n \to \infty \).

Por otro lado, si\( y \) es transitorio entonces\( \P(\tau_y = \infty \mid X_0 = y) \gt 0 \) por la definición misma de una fugacidad. Así\( \mu(y) = \infty \), y así los resultados en las partes b) y c) concuerdan con los resultados correspondientes anteriores para un estado recurrente. Aquí hay un resumen.

Para\( x, \, y \in S \),\[ \frac{1}{n} G_n(x, y) = \frac{1}{n} \sum_{k=1}^n P^k(x, y) \to \frac{H(x, y)}{\mu(y)} \text{ as } n \to \infty \] Si\( y \) es transitorio o si\( y \) es recurrente y aperiódico,\[ P^n(x, y) \to \frac{H(x, y)} {\mu(y)} \text{ as } n \to \infty \]

Recurrencia positiva y nula

Claramente existe una dicotomía fundamental en cuanto al comportamiento limitante de la cadena, dependiendo de si el tiempo medio de retorno a un estado dado es finito o infinito. Así, la siguiente definición es natural.

Vamos\( x \in S \).

1. \( x \)El estado es positivo recurrente si\( \mu(x) \lt \infty \).
2. Si\( x \) es recurrente pero\( \mu(x) = \infty \) entonces el estado\( x \) es nulo recurrente.

Implícito en la definición es el siguiente resultado simple:

Si\( x \in S \) es recurrente positivo, entonces\( x \) es recurrente.

Prueba

Recordemos que si\( \E(\tau_x \mid X_0 = x) \lt \infty \) entonces\( \P(\tau_x \lt \infty \mid X_0 = x) = 1 \).

Por otro lado, es posible tener\( \P(\tau_x \lt \infty \mid X_0 = x) = 1 \), por lo que eso\( x \) es recurrente, y también\( \E(\tau_x \mid X_0 = x) = \infty \), por lo que\( x \) es nulo recurrente. En pocas palabras, una variable aleatoria puede ser finita con probabilidad 1, pero puede tener un valor esperado infinito. Un ejemplo clásico es la distribución de Pareto con parámetro shape\( a \in (0, 1) \).

Al igual que la recurrencia/transitoriedad y el período, la propiedad de recurrencia nula/positiva es una propiedad de clase.

Si\( x \) es positivo recurrente y\( x \to y \) luego\( y \) es positivo recurrente.

Prueba

Supongamos que\( x \) es positivo recurrente y\( x \to y \). Recordemos que\( y \) es recurrente y\( y \to x \). De ahí que existan\( i, \, j \in \N_+ \) tales que\( P^i(x, y) \gt 0 \) y\( P^j(y, x) \gt 0 \). Así para cada\( k \in \N_+ \),\( P^{i+j+k}(y, y) \ge P^j(y, x) P^k(x, x) P^i(x, y) \). Promediando sobre\( k \) de 1 a\( n \) da\[ \frac{G_n(y, y)}{n } - \frac{G_{i+j}(y, y)}{n} \ge P^j(y, x) \frac{G_n(x, x)}{n} P^i(x, y)\] Dejar\( n \to \infty \) y usar el límite de teoría renwal anterior da\[ \frac{1}{\mu(y)} \ge P^j(y, x) \frac{1}{\mu(x)} P^i(x, y) \gt 0 \] Por lo tanto\( \mu(y) \lt \infty \) y así también\( y \) es positivo recurrente.

Así, los términos recurrente positivo y recurrente nulo pueden aplicarse a clases de equivalencia (bajo la relación de equivalencia a y desde), así como a estados individuales. Cuando la cadena es irreducible, los términos se pueden aplicar a la cadena como un todo.

Recordemos que un conjunto no vacío de estados\( A \) está cerrado si\( x \in A \) e\( x \to y \) implica\( y \in A \). Aquí hay algunos resultados simples para un conjunto finito y cerrado de estados.

Si\( A \subseteq S \) es finito y cerrado, entonces\( A \) contiene un estado recurrente positivo.

Prueba

Arregle un estado\( x \in A \) y tenga en cuenta que\( P^k(x, A) = \sum_{y \in A} P^k(x, y) = 1 \) por cada\( k \in \N_+ \) puesto\( A \) está cerrado. Promedio sobre\( k \) de 1 a\( n \) da\[ \sum_{y \in A} \frac{G_n(x, y)}{n} = 1 \] por cada\( n \in \N_+ \). Obsérvese que el cambio en el orden de suma está justificado ya que ambas sumas son finitas. Supongamos ahora que todos los estados en\( A \) son transitorios o nulos recurrentes. Dejar\( n \to \infty \) entrar la ecuación mostrada da la contradicción\( 0 = 1 \). Nuevamente, el intercambio de suma y límite se justifica por el hecho de que\( A \) es finito.

Si\( A \subseteq S \) es finito y cerrado, entonces no\( A \) contiene estados recurrentes nulos.

Prueba

Vamos\( x \in A \). Tenga en cuenta que\( [x] \subseteq A \) ya\( A \) está cerrado. Supongamos que eso\( x \) es recurrente. Tenga en cuenta que también\( [x] \) es cerrado y finito y por lo tanto debe tener un estado recurrente positivo por el resultado anterior. De ahí que la clase de equivalencia\( [x] \) sea recurrente positiva y así lo es\( x \).

Si\( A \subseteq S \) es finito e irreducible, entonces\( A \) es una clase de equivalencia recurrente positiva.

Prueba

Ya sabemos que\( A \) es una clase de equivalencia recurrente, a partir de nuestro estudio de fugacidad y recurrencia. Del teorema anterior,\( A \) es recurrente positivo.

En particular, una cadena de Markov con un espacio de estado finito no puede tener estados recurrentes nulos; cada estado debe ser transitorio o recurrente positivo.

Comportamiento limitante, revisitado

Volviendo al comportamiento limitante, supongamos que la cadena\( \bs{X} \) es irreducible, de manera que o bien todos los estados son transitorios, todos los estados son nulos recurrentes, o todos los estados son recurrentes positivos. Del teorema del límite básico anterior, si la cadena es transitoria o si la cadena es recurrente y aperiódica, entonces\[ P^n(x, y) \to \frac{1}{\mu(y)} \text{ as } n \to \infty \text{ for every } x \in S \] Note en particular que el límite es independiente del estado inicial\( x \). Por supuesto en el caso transitorio y en el caso nulo recurrente y aperiódico, el límite es 0. Sólo en el caso positivo recurrente, aperiódico es el límite positivo, lo que motiva nuestra siguiente definición.

Se dice\( \bs{X} \) que una cadena de Markov que es irreducible, positiva recurrente y aperiódica, es ergódica.

En el caso ergódico, como veremos,\( X_n \) tiene una distribución limitante ya\( n \to \infty \) que es independiente de la distribución inicial.

El comportamiento cuando la cadena es periódica con periodo\( d \in \{2, 3, \ldots\} \) es un poco más complicado, pero podemos entender este comportamiento considerando la cadena\( d \) -step\( \bs{X}_d = (X_0, X_d, X_{2 d}, \ldots) \) que tiene matriz de transición\( P^d \). Esencialmente, esto nos permite comerciar con periodicidad (una forma de complejidad) por reducibilidad (otra forma de complejidad). Específicamente, recordemos que la cadena\( d \) -step es aperiódica pero tiene clases de\( d \) equivalencia\( (A_0, A_1, \ldots, A_{d-1}) \); y estas son las clases cíclicas de la cadena original\( \bs{X} \).

Figura\(\PageIndex{1}\): Las clases cíclicas de una cadena con periodo\( d \)

El tiempo medio de retorno al estado\( x \) para la cadena\( d \) -step\( \bs{X}_d \) es\( \mu_d(x) = \mu(x) / d \).

Prueba

Tenga en cuenta que cada paso para la cadena\( d \) -step corresponde a\( d \) los pasos de la cadena original.

Vamos\( i, \, j, \, k \in \{0, 1, \ldots, d - 1\} \),

1. \( P^{n d + k}(x, y) \to d / \mu(y) \)como\( n \to \infty \) si\( x \in A_i \) y\( y \in A_j \) y\( j = (i + k) \mod d \).
2. \( P^{n d + k}(x, y) \to 0 \)como\( n \to \infty \) en todos los demás casos.

Prueba

Estos resultados se derivan del teorema anterior y del comportamiento cíclico de la cadena.

Si\( y \in S \) es nulo recurrente o transitorio entonces independientemente del periodo de\( y \),\( P^n(x, y) \to 0 \) como\( n \to \infty \) para cada\( x \in S \).

Distribuciones invariantes

Nuestro siguiente objetivo es ver cómo el comportamiento limitante se relaciona con distribuciones invariantes. Supongamos que\( f \) es una función de densidad de probabilidad en el espacio de estado\( S \). Recordemos que\( f \) es invariante para\( P \) (y para la cadena\( \bs{X} \)) si\( f P = f \). De ello se deduce inmediatamente que\( f P^n = f \) para cada\( n \in \N \). Por lo tanto, si\( X_0 \) tiene función de densidad de probabilidad\( f \) entonces también lo hace\( X_n \) para cada uno\( n \in \N \), y por lo tanto\( \bs{X} \) es una secuencia de variables aleatorias distribuidas idénticamente. Un poco más en general, supongamos que\( g: S \to [0, \infty) \) es invariante para\( P \), y vamos\( C = \sum_{x \in S} g(x) \). Si\( 0 \lt C \lt \infty \) entonces\( f \) se define por\( f(x) = g(x) / C \) for\( x \in S \) es una función de densidad de probabilidad invariante.

Supongamos que\( g: S \to [0, \infty) \) es invariante para\( P \) y satisface\( \sum_{x \in S} g(x) \lt \infty \). Entonces\[ g(y) = \frac{1}{\mu(y)} \sum_{x \in S} g(x) H(x, y), \quad y \in S \]

Prueba

Recordemos de nuevo que\( g P^k = g \) para cada\( k \in \N \) puesto\( g \) es invariante para\( P \). Promediando más\( k \) de 1 a\( n \) da\( g G_ n / n = g \) por cada uno\( n \in \N_+ \). Explícitamente,\[ \sum_{x \in S} g(x) \frac{G_n(x, y)}{n} = g(y), \quad y \in S \] Dejar\( n \to \infty \) y usar el teorema de límite anterior da el resultado. El teorema de convergencia dominada justifica intercambiar el límite con la suma, ya que los términos son positivos,\( \frac{1}{n}G_n(x, y) \le 1 \), y\( \sum_{x \in S} g(x) \lt \infty \).

Tenga en cuenta que si\( y \) es transitorio o nulo recurrente, entonces\( g(y) = 0 \). Así, una función invariante con suma finita, y en particular una función de densidad de probabilidad invariante, debe concentrarse en los estados recurrentes positivos.

Supongamos ahora que la cadena\( \bs{X} \) es irreducible. Si\( \bs{X} \) es transitorio o recurrente nulo, entonces a partir del resultado anterior, las únicas funciones no negativas que son invariantes para\( P \) son las funciones que satisfacen\( \sum_{x \in S} g(x) = \infty \) y la función que es idéntica 0:\( g = \bs{0} \). En particular, la cadena no tiene una distribución invariante. Por otro lado, si la cadena es positiva recurrente, entonces\( H(x, y) = 1 \) para todos\( x, \, y \in S \). Así, a partir del resultado anterior, la única función de densidad de probabilidad invariante posible es la función\( f \) dada por\( f(x) = 1 / \mu(x) \) for\( x \in S \). Cualquier otra función no negativa\( g \) que sea invariante para\( P \) y tenga suma finita, es un múltiplo de\( f \) (y de hecho el múltiplo es la suma de los valores). Nuestro siguiente objetivo es mostrar que\( f \) realmente es una función de densidad de probabilidad invariante.

Si\( \bs{X} \) es una cadena recurrente positiva irreducible, entonces la función\( f \) dada por\( f(x) = 1 / \mu(x) \) for\( x \in S \) es una función de densidad de probabilidad invariante para\( \bs{X} \).

Prueba

Dejar\( f(x) = 1 / \mu(x) \)\( x \in S \), y dejar\( A \) ser un subconjunto finito de\( S \). Entonces\( \sum_{y \in A} \frac{1}{n} G_n(x, y) \le 1 \) para cada\( x \in S \). Dejar\( n \to \infty \) usar el límite básico anterior da\( \sum_{y \in A} f(y) \le 1 \). El intercambio de límite y suma se justifica ya que\( A \) es finito. Como esto es cierto para cada finito\( A \subseteq S \), se deduce que\( C \le 1 \) donde\( C = \sum_{y \in S} f(y) \). Obsérvese también que\( C \gt 0 \) ya que la cadena es positiva recurrente. Siguiente nota que\[ \sum_{y \in A} \frac{1}{n} G_n(x, y) P(y, z) \le \frac{1}{n} G_{n+1}(x, z) \] para cada\( x, \, z \in S \). Dejar\( n \to \infty \) dar\( \sum_{y \in A} f(y) P(y, z) \le f(z) \) por cada\( z \in S \). Entonces se deduce que\( \sum_{y \in S} f(y) P(y, z) \le f(z) \) para cada\( z \in S \). Supongamos que la estricta desigualdad se sostiene para algunos para algunos\( z \in S \). Entonces\[ \sum_{z \in S} \sum_{y \in S} f(y) P(y, z) \lt \sum_{z \in S} f(z) \] Intercambiar el orden de suma a la izquierda en la desigualdad mostrada produce la contradicción\( C \lt C \). Así\( f \) es invariante para\( P \). Por lo tanto,\( f / C \) es una función de densidad de probabilidad invariante. Por el resultado de singularidad señalado anteriormente, se deduce\( f / C = f \) que para que de hecho\( C = 1 \).

En resumen, una cadena irreducible, positiva recurrente de Markov\( \bs{X} \) tiene una función de densidad de probabilidad invariable única\( f \) dada por\( f(x) = 1 / \mu(x) \) for\( x \in S \). También ahora tenemos una prueba de recurrencia positiva. Una cadena irreducible de Markov\( \bs{X} \) es recurrente positiva si y sólo si existe una función positiva\( g \) sobre la\( S \) que es invariante para\( P \) y satisface\( \sum_{x \in S} g(x) \lt \infty \) (y luego, por supuesto,\( g \) normalizarla daría\( f \)).

Consideremos ahora una cadena general de Markov\( \bs{X} \) en\( S \). Si no\( \bs{X} \) tiene estados recurrentes positivos, entonces como se señaló anteriormente, no hay distribuciones invariantes. Así, supongamos que\( \bs{X} \) tiene una colección de clases de equivalencia recurrente positiva\( (A_i: i \in I) \) donde\( I \) es un conjunto de índices no vacíos y contables. La cadena restringida a\( A_i \) es irreducible y recurrente positiva para cada uno\( i \in I \), y por lo tanto tiene una función\( f_i \) de densidad de probabilidad invariante única\( A_i \) dada por\[ f_i(x) = \frac{1}{\mu(x)}, \quad x \in A_i \] Nos extendemos\( f_i \) a\( S \) definiendo\( f_i(x) = 0 \) para\( x \notin A_i \), así que\( f_i \) es una función de densidad de probabilidad en\( S \). Todas las funciones de densidad de probabilidad invariante para\( \bs{X} \) son mezclas de estas funciones:

\( f \)es una función de densidad de probabilidad invariante para\( \bs{X} \) if y solo si\( f \) tiene la forma\[ f(x) = \sum_{i \in I} p_i f_i(x), \quad x \in S \] donde\( (p_i: i \in I) \) es una función de densidad de probabilidad en el conjunto de índices\( I \). Es decir,\( f(x) = p_i f_i(x) \) para\( i \in I \) y\( x \in A_i \), y de\( f(x) = 0 \) otra manera.

Prueba

Vamos\( A = \bigcup_{i \in I} A_i \), el conjunto de estados recurrentes positivos. Supongamos que\( f \) tiene la forma dada en el teorema. Ya que\( f(x) = 0 \) para\( x \notin A \) nosotros tenemos\[(f P)(y) = \sum_{x \in S} f(x) P(x, y) = \sum_{i \in I} \sum_{x \in A_i} p_i f_i(x) P(x, y)\] Supongamos que\( y \in A_j \) para algunos\( j \in I \). Ya que\( P(x, y) = 0 \) si\( x \in A_i \) y\( i \ne j \), la última suma se vuelve\[(f P)(y) = p_j \sum_{x \in A_j} f_j(x) P(x, y) = p_j f_j(y) = f(y)\] porque\( f_j \) es invariante para el\( P \) restringido a\( A_j \). Si\( y \notin A \) entonces\( P(x, y) = 0 \) para\( x \in A \) así se convierte la suma anterior\( (f P)(y) = 0 = f(y) \). De ahí\( f \) que sea invariante. Además,\[\sum_{x \in S} f(x) = \sum_{i \in I} \sum_{x \in A_i} f(x) = \sum_{i \in I} p_i \sum_{x \in A_i} f_i(x) = \sum_{i \in I} p_i = 1\] también lo\( f \) es un PDF en\( S \). Por el contrario, supongamos que\( f \) es un PDF invariante para\( \bs{X} \). Sabemos que\( f \) se concentra en los estados recurrentes positivos, así que\( f(x) = 0 \) para\( x \notin A\). Por\( i \in I \) y\( y \in A_i \)\[\sum_{x \in A_i} f(x) P(x, y) = \sum_{x \in S} f(x) P(x, y) = f(y)\] desde\( f \) es invariante para\( P \) y desde, como se señaló antes,\( f(x) P(x, y) = 0 \) si\( x \notin A_i \). De ello se deduce que\( f \) restringido a\( A_i \) es invariante para la cadena restringida a\( A_i \) para cada uno\( i \in I \). Dejemos\( p_i = \sum_{x \in A_i} f(x) \), la constante normalizadora para\( f \) restringida a\( A_i \). Por singularidad, la restricción de\( f / p_i \) a\( A_i \) debe ser\( f_i \), así lo\( f \) ha hecho la forma dada en el teorema.

Medidas invariantes

Supongamos que eso\( \bs{X} \) es irreducible. En esta sección nos interesan las funciones generales\( g: S \to [0, \infty) \) que son invariantes para\( \bs{X} \), así que eso\( g P = g \). Una función\( g: S \to [0, \infty) \) define una medida\( \nu \) positiva\( S \) por la regla simple por\[ \nu(A) = \sum_{x \in A} g(x), \quad A \subseteq S \] lo que en este sentido, nos interesan las medidas positivas invariantes para\( \bs{X} \) que puedan no ser medidas de probabilidad. Técnicamente,\( g \) es la función de densidad de\( \nu \) con respecto a contar la medida\( \# \) en\( S \).

De nuestro trabajo anterior, Conocemos la situación si\( \bs{X} \) es positiva recurrente. En este caso, existe una función de densidad de probabilidad invariante única\( f \) que es positiva en\( S \), y todas las demás funciones invariantes no negativas\( g \) son múltiplos no negativos de\( f \). En particular, ya sea\( g = \bs{0} \), la función cero en\( S \), o\( g \) es positiva\( S \) y satisface\( \sum_{x \in S} g(x) \lt \infty \).

Podemos generalizar a cadenas que son simplemente recurrentes, ya sea nulas o positivas. Mostraremos que existe una función invariante positiva que es única, hasta la multiplicación por constantes positivas. Para configurar la notación, recordemos que\( \tau_x = \min\{k \in \N_+: X_k = x\} \) es el primer tiempo positivo que la cadena está en estado\( x \in S \). En particular, si la cadena comienza en\( x \) entonces\( \tau_x \) es el momento del primer regreso a\( x \). Para\( x \in S \) definimos la función\( \gamma_x \) por\[ \gamma_x(y) = \E\left(\sum_{n=0}^{\tau_x - 1} \bs{1}(X_n = y) \biggm| X_0 = x\right), \quad y \in S \] lo que\( \gamma_x(y) \) es el número esperado de visitas a\( y \) antes del primer regreso a\( x \), comenzando en\( x \). Aquí está el resultado de la existencia.

Supongamos que eso\( \bs X \) es recurrente. Para\( x \in S \),

1. \( \gamma_x(x) = 1 \)
2. \( \gamma_x \)es invariante para\( \bs X \)
3. \( \gamma_x(y) \in (0, \infty) \)para\( y \in S \).

Prueba

1. Por definición, dado\( X_0 = x \), tenemos más\( X_0 = x \) que\( X_n \ne x \) para\( n \in \{1, \ldots, \tau_x - 1\} \). De ahí\( \gamma_x(x) = 1 \).
2. Dado que la cadena es recurrente, con probabilidad 1 tenemos\( \tau_x \lt \infty \) y\( X_{\tau_x} = x \). De ahí para\( y \in S \),\[ \gamma_x(y) = \E\left(\sum_{n=0}^{\tau_x - 1} \bs{1}(X_n = y) \biggm| X_0 = x\right) = \E\left(\sum_{n=1}^{\tau_x} \bs{1}(X_n = y) \biggm| X_0 = x\right) \] (Tenga en cuenta que si\( x = y \) entonces con probabilidad 1, el\( n = 0 \) término en la primera suma y el\( n = \tau_x \) término en la segunda suma son 1 y los términos restantes son 0. Si\( x \ne y \), el\( n = 0 \) término en la primera suma y el\( n = \tau_x \) término en la segunda suma son 0 con probabilidad 1, entonces nuevamente las dos sumas son iguales.) De ahí a\[ \gamma_x(y) = \E\left(\sum_{n=1}^\infty \bs{1}(X_n = y, \tau_x \ge n) \biggm| X_0 = x\right) = \sum_{n=1}^\infty \P(X_n = y, \tau_x \ge n \mid X_0 = x) \] continuación particionamos los valores de\( X_{n-1} \) en la suma para obtener\ begin {align*}\ gamma_x (y) & =\ sum_ {n=1} ^\ infty\ sum_ {z\ in S}\ P (x_n = y, X_ {n-1} = z,\ tau_x\ ge n\ mid X_0 = x)\\ & =\ sum_ {n=1} ^\ infty\ suma_ {z\ en S}\ P (x_n = y\ mediados de X_ {n-1} = z,\ tau_x\ ge n, X_0 = x)\ P (X_ {n-1} = z,\ tau_x\ ge n\ mid X_0 = x)\ end {align*} Pero\( \{X_0 = x, \tau_x \ge n\} \in \mathscr{F}_{n-1} \) (es decir, los eventos dependen sólo de\( (X_0, \ldots, X_{n-1})) \). De ahí que por la propiedad de Markov, el primer factor en la última ecuación mostrada es simplemente\( \P(X_n = y \mid X_{n-1} = z) = P(z, y) \). Sustituyendo y reindexando la suma da\ begin {align*}\ gamma_x (y) & =\ sum_ {n=1} ^\ infty\ sum_ {z\ in S} P (z, y)\ P (X_ {n-1} = z,\ tau_x\ ge n\ mid X_0 = x) =\ sum_ {z\ in S} P (z, y)\ E\ izquierda (\ suma_ {n=1} ^ {\ tau_x}\ bs {1} (X_ {n-1} = z)\ bigm| X_0 = x\ derecha)\\ & =\ suma_ {z\ en S} P (z, y)\ E\ izquierda (\ suma_ {m=0} ^ {\ tau_x - 1}\ bs {1} (x_m = z)\ bigm| X_0 = x\ derecha) =\ suma_ {z\ en S} P (z, y)\ gamma_x (z) =\ gamma_x P (y)\ final {alinear*}
3. Por la invarianza en la parte (b),\( \gamma_x = \gamma_x P^n \) para cada\( n \in \N \). Vamos\(y \in S \). Dado que la cadena es irreducible, existe\( j \in \N \) tal que\( P^j(x, y) \gt 0 \). \[ \gamma_x(y) = \gamma_x P^j(y) \ge \gamma_x(x) P^j(x, y) = P^j(x, y) \gt 0 \ \]De ahí de igual manera, existe\( k \in \N \) tal que\( P^k(y, x) \gt 0 \). De ahí\[ 1 = \gamma_x(x) = \gamma_xP^k(x) \ge \gamma_x(y) P^k(y, x) \] y por lo tanto\( \gamma_x(y) \le 1 / P^k(y, x) \lt \infty \).

El siguiente es el resultado de la singularidad.

Supongamos nuevamente que\( \bs X \) es recurrente y eso\( g: S \to [0, \infty) \) es invariante para\( \bs X \). Para fijo\( x \in S \),\[ g(y) = g(x) \gamma_x(y), \quad y \in S \]

Prueba

Dejar\( S_x = S - \{x\} \) y dejar\( y \in S \). Ya que\( g \) es invariante,\[ g(y) = g P(y) = \sum_{z \in S} g(z) P(z, y) = \sum_{z \in S_x} g(z) P(z, y) + g(x) P(x, y) \] Tenga en cuenta que el último término es\( g(x) \P(X_1 = y, \tau_x \ge 1 \mid X_0 = x) \). Repitiendo el argumento para\( g(z) \) en la suma anterior da\[ g(y) = \sum_{z \in S_x} \sum_{w \in S_x} g(w) P(w, z)P(z, y) + g(x) \sum_{z \in S_x} P(x, z) P(z, y) + g(x) P(x, y) \] Los dos últimos términos son\[ g(x) \left[\P(X_2 = y, \tau_x \ge 2 \mid X_0 = x) + \P(X_1 = y, \tau_x \ge 1 \mid X_0 = x)\right] \] Continuar de esta manera demuestra que para cada uno\( n \in \N_+ \),\[ g(y) \ge g(x) \sum_{k=1}^n \P(X_k = y, \tau_x \ge k \mid X_0 = x) \] Dejando\( n \to \infty \) luego muestra eso\( g(y) \ge g(x) \gamma_x(y) \). A continuación, tenga en cuenta que la función\(h = g - g(x) \gamma_x \) es invariante, ya que es una diferencia de dos funciones invariantes, y como se acaba de mostrar, es no negativa. También,\( h(x) = g(x) - g(x) \gamma_x(x) = 0 \). Vamos\( y \in S \). Dado que la cadena es irreducible, existe\( j \in \N \) tal que\( P^j(y, x) \gt 0 \). De ahí\[ 0 = h(x) = hP^j(x) \ge h(y) P^j(y, x) \ge 0 \] ya\( P^j(y, x) \gt 0 \) que se deduce que\( h(y) = 0 \).

Así, supongamos que\( \bs{X} \) es nulo recurrente. Entonces existe una función invariante\( g \) que es positiva\( S \) y satisface\( \sum_{x \in S} g(x) = \infty \). Cada otra función invariante no negativa es un múltiplo no negativo de\( g \). En particular, ya sea\( g = \bs{0} \), la función cero en\( S \), o\( g \) es positiva\( S \) y satisface\( \sum_{x \in S} g(x) = \infty \). La sección sobre cadenas de confiabilidad da un ejemplo de la función invariante para una cadena recurrente nula.

La situación se complica cuando\( \bs{X} \) es transitoria. En este caso, pueden existir o no funciones invariantes no negativas que no sean idénticamente 0. Cuando existen, pueden no ser únicos (hasta la multiplicación por constantes no negativas). Pero todavía sabemos que no hay funciones de densidad de probabilidad invariantes, así que si\( g \) es una función no negativa que es invariante para\( \bs{X} \) entonces ya sea\( g = \bs{0} \) o\( \sum_{x \in S} g(x) = \infty \). La sección sobre caminatas aleatorias en gráficas proporciona muchos ejemplos de cadenas transitorias con funciones invariantes no triviales. En particular, el paseo aleatorio no simétrico\( \Z \) tiene un espacio bidimensional de funciones invariantes.

Ejemplos y Aplicaciones

Cadenas Finitas

Consideremos nuevamente la cadena general de dos estados\( S = \{0, 1\} \) con la matriz de probabilidad de transición dada a continuación, donde\( p \in (0, 1) \) y\( q \in (0, 1) \) son parámetros. \[ P = \left[ \begin{matrix} 1 - p & p \\ q & 1 - q \end{matrix} \right] \]

1. Encuentra la distribución invariante.
2. Encuentra el tiempo medio de retorno a cada estado.
3. Encontrar\( \lim_{n \to \infty} P^n \) sin tener que ir a la molestia de diagonalizar\( P \), como hicimos en la introducción a las cadenas discretas de tiempo.

Contestar

1. \( f = \left(\frac{q}{p + q}, \frac{p}{p + q} \right) \)
2. \( \mu = \left( \frac{p + q}{q}, \frac{p + q}{p} \right) \)
3. \( P^n \to \frac{1}{p + q} \left[ \begin{matrix} q & p \\ q & p \end{matrix} \right] \)como\( n \to \infty \).

Considere una cadena de Markov con espacio de estado\( S = \{a, b, c, d\} \) y matriz de transición\( P \) que se da a continuación:\[ P = \left[ \begin{matrix} \frac{1}{3} & \frac{2}{3} & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} \end{matrix} \right] \]

1. Dibuja el diagrama de estado.
2. Determinar las clases equivalentes y clasificar cada una como transitoria o recurrente positiva.
3. Encuentra todas las funciones de densidad de probabilidad invariantes.
4. Encuentra el tiempo medio de retorno a cada estado.
5. Encuentra\( \lim_{n \to \infty} P^n \).

Contestar

1. Gráfica estatal

   

2. \( \{a, b\} \)recurrente;\( \{c\} \) recurrente;\( \{d\} \) transitorio.
3. \( f = \left( \frac{3}{5} p, \frac{2}{5} p, 1 - p, 0 \right) \),\( 0 \le p \le 1 \)
4. \( \mu = \left(\frac{5}{3}, \frac{5}{2}, 1, \infty \right) \)
5. \( P^n \to \left[ \begin{matrix} \frac{3}{5} & \frac{2}{5} & 0 & 0 \\ \frac{3}{5} & \frac{2}{5} & 0 & 0 \\ 0 & 0 & 1 & 0 \\ \frac{2}{5} & \frac{4}{15} & \frac{1}{3} & 0 \end{matrix} \right] \)como\( n \to \infty \)

Considere una cadena de Markov con espacio de estado\( S = \{1, 2, 3, 4, 5, 6\} \) y matriz de transición\( P \) que se da a continuación:\[ P = \left[ \begin{matrix} 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 \\ \frac{1}{4} & 0 & \frac{1}{2} & 0 & \frac{1}{4} & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & \frac{1}{3} & 0 & \frac{2}{3} & 0 \\ 0 & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & 0 & \frac{1}{4} \end{matrix} \right] \]

1. Dibuje la gráfica del estado.
2. Encuentra las clases de equivalencia y clasifica cada una como transitoria o recurrente positiva.
3. Encuentra todas las funciones de densidad de probabilidad invariantes.
4. Encuentra el tiempo medio de retorno a cada estado.
5. Encuentra\( \lim_{n \to \infty} P^n \).

Contestar

1. Gráfica estatal

   

2. \( \{1, 3, 5\} \)recurrente;\( \{2, 6\} \) transitorio;\( \{4\} \) recurrente.
3. \( f = \left(\frac{2}{19}p, 0, \frac{8}{19} p, 1 - p, \frac{9}{19}p, 0\right), \quad 0 \le p \le 1 \)
4. \( \mu = \left(\frac{19}{2}, \infty, \frac{19}{8}, 1, \frac{19}{8}, \infty\right) \)
5. \( P^n \to \left[ \begin{matrix} \frac{2}{19} & 0 & \frac{8}{19} & 0 & \frac{9}{19} & 0 \\ \frac{1}{19} & 0 & \frac{4}{19} & \frac{1}{2} & \frac{9}{38} & 0 \\ \frac{2}{19} & 0 & \frac{8}{19} & 0 & \frac{9}{19} & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ \frac{2}{19} & 0 & \frac{8}{19} & 0 & \frac{9}{19} & 0 \\ \frac{1}{19} & 0 & \frac{4}{19} & \frac{1}{2} & \frac{9}{38} & 0 \\ \end{matrix} \right] \)como\( n \to \infty \).

Considere una cadena de Markov con espacio de estado\( S = \{1, 2, 3, 4, 5, 6\} \) y matriz de transición\( P \) que se da a continuación:\[ P = \left[ \begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 & 0 & 0 & 0 \\ \frac{1}{4} & \frac{3}{4} & 0 & 0 & 0 & 0 \\ \frac{1}{4} & 0 & \frac{1}{2} & \frac{1}{4} & 0 & 0 \\ \frac{1}{4} & 0 & \frac{1}{4} & \frac{1}{4} & 0 & \frac{1}{4} \\ 0 & 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\ 0 & 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \end{matrix} \right] \]

1. Dibuje la gráfica del estado.
2. Encuentra las clases de equivalencia y clasifica cada una como transitoria o recurrente positiva.
3. Encuentra todas las funciones de densidad de probabilidad invariantes.
4. Encuentra el tiempo medio de retorno a cada estado.
5. Encuentra\( \lim_{n \to \infty} P^n \).

Contestar

1. Gráfica estatal

   

2. \( \{1, 2\} \)recurrente;\( \{3, 4\} \) transitorio;\( \{5, 6\} \) recurrente.
3. \( f = \left(\frac{1}{3} p, \frac{2}{3} p, 0, 0, \frac{1}{2}(1 - p), \frac{1}{2}(1 - p) \right), \quad 0 \le p \le 1 \)
4. \( \mu = \left(3, \frac{3}{2}, \infty, \infty, 2, 2 \right) \)
5. \( P^n \to \left[ \begin{matrix} \frac{1}{3} & \frac{2}{3} & 0 & 0 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0 & 0 & 0 & 0 \\ \frac{4}{15} & \frac{8}{15} & 0 & 0 & 0 & 0 \\ \frac{1}{5} & \frac{2}{5} & 0 & 0 & \frac{1}{5} & \frac{1}{5} \\ 0 & 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\ 0 & 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \end{matrix} \right] \)como\( n \to \infty \)

Considere la cadena de Markov con espacio de estado\( S = \{1, 2, 3, 4, 5, 6, 7\} \) y matriz de transición\( P \) que se da a continuación:

\[ P = \left[ \begin{matrix} 0 & 0 & \frac{1}{2} & \frac{1}{4} & \frac{1}{4} & 0 & 0 \\ 0 & 0 & \frac{1}{3} & 0 & \frac{2}{3} & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & \frac{1}{3} & \frac{2}{3} \\ 0 & 0 & 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & \frac{3}{4} & \frac{1}{4} \\ \frac{1}{2} & \frac{1}{2} & 0 & 0 & 0 & 0 & 0 \\ \frac{1}{4} & \frac{3}{4} & 0 & 0 & 0 & 0 & 0 \end{matrix} \right] \]

1. Esbozar el dígrafo estatal, y mostrar que la cadena es irreducible con el periodo 3.
2. Identificar las clases cíclicas.
3. Encuentra la función de densidad de probabilidad invariante.
4. Encuentra el tiempo medio de retorno a cada estado.
5. Encuentra\( \lim_{n \to \infty} P^{3 n} \).
6. Encuentra\( \lim_{n \to \infty} P^{3 n + 1} \).
7. Encuentra\( \lim_{n \to \infty} P^{3 n + 2} \).

Contestar

1. Gráfica estatal

   

2. Clases cíclicas:\( \{1, 2\} \),\( \{3, 4, 5\} \),\( \{6, 7\} \)
3. \( f = \frac{1}{1785}(232, 363, 237, 58, 300, 333, 262) \)
4. \( \mu = 1785 \left( \frac{1}{232}, \frac{1}{363}, \frac{1}{237}, \frac{1}{58}, \frac{1}{300} \frac{1}{333}, \frac{1}{262} \right) \)
5. \( P^{3 n} \to \frac{1}{585} \left[ \begin{matrix} 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ \end{matrix} \right] \)como\( n \to \infty \)
6. \( P^{3 n + 1} \to \frac{1}{585} \left[ \begin{matrix} 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \end{matrix} \right] \)como\( n \to \infty \)
7. \( P^{3 n + 2} \to \frac{1}{585} \left[ \begin{matrix} 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 0 & 0 & 0 & 0 & 0 & 333 & 262 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 232 & 363 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \\ 0 & 0 & 237 & 58 & 300 & 0 & 0 \end{matrix} \right] \)como\( n \to \infty \)

Modelos Especiales

Lea la discusión de distribuciones invariantes y distribuciones limitantes en las cadenas de Ehrenfest.

Lea la discusión sobre distribuciones invariantes y distribuciones limitantes en la cadena Bernoulli-Laplace.

Lea la discusión sobre la recurrencia positiva y las distribuciones invariantes para las cadenas de confiabilidad.

Lea la discusión sobre la recurrencia positiva y las distribuciones limitantes para la cadena de nacimiento y muerte.

Lea la discusión sobre la recurrencia positiva y para las cadenas de colas.

Lea la discusión de recurrencia positiva y distribuciones limitantes para las caminatas aleatorias en gráficas.