Saltar al contenido principal
LibreTexts Español

16.18: Distribuciones Estacionarias y Encaladoras de Cadenas de Tiempo Continuas

  • Page ID
    151994
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)\(\newcommand{\cl}{\text{cl}}\)

    En esta sección, estudiamos el comportamiento limitante de las cadenas de Markov en el tiempo continuo centrándonos en dos ideas interrelacionadas: distribuciones invariantes (o estacionarias) y distribuciones limitantes. De alguna manera, el comportamiento limitante de las cadenas de tiempo continuas es más sencillo que el comportamiento limitante de las cadenas de tiempo discretas, en parte porque las complicaciones causadas por la periodicidad en el caso de tiempo discreto no ocurren en el caso de tiempo continuo. Sin embargo, como veremos, el comportamiento limitante de una cadena de tiempo continua está estrechamente relacionado con el comportamiento limitante de la cadena de salto de tiempo discreto incrustada.

    Revisar

    Una vez más, nuestro punto de partida es una cadena de Markov tiempo-homogénea, continuo-temporal\( \bs{X} = \{X_t: t \in [0, \infty)\} \) definida en un espacio de probabilidad subyacente\( (\Omega, \mathscr{F}, \P) \) y con espacio de estado discreto\( (S, \mathscr{S}) \). Por definición, esto significa que\( S \) es contable con la topología discreta, por lo que\( \mathscr{S} \) es la\( \sigma \) -álgebra de todos los subconjuntos de\( S \).

    Repasemos lo que tenemos hasta el momento. Suponemos que la cadena Markov\( \bs{X} \) es regular. Entre otras cosas, esto significa que la estructura básica de\( \bs{X} \) está determinada por los tiempos de transición\( \bs{\tau} = (\tau_0, \tau_1, \tau_2, \ldots) \) y la cadena de salto\( \bs{Y} = (Y_0, Y_1, Y_2, \ldots) \). Primero,\( \tau_0 = 0 \) y\( \tau_1 = \tau = \inf\{t \gt 0: X_t \ne X_0\} \). Las propiedades tiempo-homogéneas y Markov implican que la distribución de\( \tau \) dado\( X_0 = x \) es exponencial con parámetro\( \lambda(x) \in [0, \infty) \). Parte de la regularidad es que\( \bs{X} \) es correcto continuo para que no haya estados instantáneos donde\( \lambda(x) = \infty \), lo que significaría\( \P(\tau = 0 \mid X_0 = x) = 1 \). Por otro lado,\( \lambda(x) \in (0, \infty) \) significa que\( x \) es un estado estable para que\( \tau \) tenga una distribución exponencial adecuada dada\( X_0 = x \), con\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \). Por último,\( \lambda(x) = 0 \) significa que\( x \) es un estado absorbente para que\( \P(\tau = \infty \mid X_0 = x) = 1 \). Los tiempos de transición restantes se definen recursivamente:\( \tau_{n+1} = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\} \) si\( \tau_n \lt \infty \) y\( \tau_{n+1} = \infty \) si\( \tau_n = \infty \). Otro componente de la regularidad es que con probabilidad 1,\( \tau_n \to \infty \) como\( n \to \infty \), descartando el evento de explosión de infinitamente muchos saltos en tiempo finito. La cadena de salto\( \bs{Y} \) se forma por muestreo\( \bs{X} \) en los tiempos de transición (hasta que la cadena sea succionada a un estado absorbente, si eso sucede). Es decir, con\( M = \sup\{n: \tau_n \lt \infty\} \) y para\( n \in \N \), definimos\( Y_n = X_{\tau_n} \) si\( n \le M \) y\( Y_n = X_{\tau_M} \) si\( n \gt M \). Entonces\( \bs{Y} \) es una cadena de Markov de tiempo discreto con matriz de transición de un solo paso\( Q \) dada\( Q(x, y) = \P(X_\tau = y \mid X_0 = x) \) si\( (x, y) \in S^2 \) con\( x \) estable y\( Q(x, x) = 1 \) si\( x \in S \) es absorbente.

    La matriz de transición\( P_t \) en el momento\( t \in [0, \infty) \) viene dada por\( P_t(x, y) = \P(X_t = y \mid X_0 = x) \) for\( (x, y) \in S^2 \). Las propiedades homogéneas en el tiempo y Markov implican que la colección de matrices de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \) satisface las ecuaciones de Chapman-Kolmogorov\( P_s P_t = P_{s+t} \) para\( s, \, t \in [0, \infty) \), y por lo tanto es un semigrupo. de matrices de transición El semigrupo de transición\( \bs{P} \) y el inicial distribución de\( X_0 \) determinar todas las distribuciones finito-dimensionales de\( \bs{X} \). Dado que no hay estados instantáneos,\( P \) es estándar lo que significa que\( P_t \to I \) como\( t \downarrow 0 \) (como matrices, y así puntualmente). La relación fundamental entre\( \bs{P} \) por un lado,\( \lambda \) y\( Q \) por el otro, es\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2 \] A partir de esto, se deduce que la función matricial\( t \mapsto P_t \) es diferenciable (nuevamente, puntual) y satisface la ecuación hacia atrás de Kolmogorov\( \frac{d}{dt} P_t = G P_t \), donde el matriz generadora infinitesimal\( G \) está dada por\( G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y) \) for\( (x, y) \in S^2 \). Si imponemos la suposición más fuerte de que\( \bs{P} \) es uniforme, lo que significa que\( P_t \to I \)\( t \downarrow 0 \) como operadores en\( \mathscr{B} \) (así con respecto a la norma suprema), entonces la ecuación hacia atrás así como la ecuación delantera compañera de Kolmogorov se\( \frac{d}{dt} P_t = = P_t G \) mantienen como operadores en\( \mathscr{B} \). Además, tenemos la representación exponencial matricial\( P_t = e^{t G} \) para\( t \in [0, \infty) \). La suposición uniforme es equivalente a que la función de parámetro exponencial esté delimitada.

    Por último, para\( \alpha \in [0, \infty) \), la matriz\( \alpha \) potencial\( U_\alpha \) de\( \bs{X} \) es\( U_\alpha = \int_0^\infty e^{-\alpha t} P_t \, dt \). El resolvent\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) es la transformación de Laplace\( \bs{P} \) y por lo tanto da la misma información que\( \bs{P} \). Desde este punto de vista, las propiedades homogéneas en el tiempo y Markov conducen a la ecuación resolvent\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \) para\( \alpha, \, \beta \in (0, \infty) \) con\( \alpha \le \beta \). Para\( \alpha \in (0, \infty) \), la matriz de\( \alpha \) potencial está relacionada con el generador por la ecuación fundamental\( \alpha U_\alpha = I + G U_\alpha \). Si\( \bs{P} \) es uniforme, entonces esta ecuación, así como el compañero se\( \alpha U_\alpha = I + U_\alpha G \) mantienen como operadores en\( \mathscr{B} \), lo que lleva a\( U_\alpha = (\alpha I - G)^{-1} \).

    Teoría Básica

    Relaciones y Clasificación

    Iniciamos nuestra discusión con las relaciones entre los estados y las clasificaciones de los estados. Estas son las mismas que estudiamos para cadenas de tiempo discretas en nuestro estudio de recurrencia y fugacidad, aplicadas aquí a la cadena de salto\( \bs{Y} \). Pero como veremos, las relaciones y clasificaciones también tienen sentido para la cadena\( \bs{X} \) de tiempo continua. La discusión se complica ligeramente cuando hay estados absorbentes. Sólo cuando\( \bs{X} \) está en un estado absorbente no podemos interpretar los valores de\( \bs{Y} \) como los valores de\( \bs{X} \) en los tiempos de transición (porque por supuesto, no hay transiciones cuando\( \bs{X} \) está en un estado absorbente). Pero\( x \in S \) está absorbiendo para la cadena de tiempo continuo\( \bs{X} \) si y sólo si\( x \) está absorbiendo para la cadena de salto\( \bs{Y} \), por lo que esta trivial excepción se maneja fácilmente.

    Para\( y \in S \) let\( \rho_y = \inf\{n \in \N_+: Y_n = y\} \), el tiempo de bateo (discreto) a\( y \) para la cadena de salto\( \bs{Y} \), donde como de costumbre,\( \inf(\emptyset) = \infty \). Es decir,\( \rho_y \) es el primer tiempo positivo (discreto) que\( \bs{Y} \) en estado\( y \). El tiempo aleatorio análogo para la cadena de tiempo continuo\( \bs{X} \) es\(\tau_{\rho_y} \), donde naturalmente tomamos\( \tau_\infty = \infty \). Esta es la primera vez que\( \bs{X} \) se encuentra en estado\( y \), sin contar el posible periodo inicial en\( y \). Específicamente, supongamos\( X_0 = x \). Si\( x \ne y \) entonces\( \tau_{\rho_y} = \inf\{t \gt 0: X_t = y\} \). Si\( x = y \) entonces\( \tau_{\rho_y} = \inf\{t \gt \tau_1: X_t = y\} \).

    Define la matriz de golpeo\( H \) por\[ H(x, y) = \P(\rho_y \lt \infty \mid Y_0 = x), \quad (x, y) \in S^2 \] Entonces\(H(x, y) = \P\left(\tau_{\rho_y} \lt \infty \mid X_0 = x\right)\) excepto cuando\( x \) está absorbiendo y\( y = x \).

    Entonces, para la cadena de tiempo continua, si\( x \in S \) es estable entonces\( H(x, x) \) es la probabilidad de que, comenzando en\( x \), la cadena\( \bs{X} \) vuelva a\( x \) después de su periodo inicial en\( x \). Si\( x, \, y \in S \) son distintos, entonces\( H(x, y) \) es simplemente la probabilidad de que\( \bs{X} \), comenzando en\( x \), finalmente llegue\( y \). De ello se deduce que la relación básica entre los estados tiene sentido tanto para la cadena de tiempo continuo\( \bs{X} \) como para su cadena de salto\( \bs{Y} \).

    Definir la relación\( \to \) en\( S^2 \) por\( x \to y \) si\( x = y \) o\( H(x, y) \gt 0 \).

    Las derivaciones a la relación\( \to \) son reflexivas por definición:\( x \to x \) para cada uno\( x \in S \). De nuestro estudio previo de las cadenas de tiempo discretas, sabemos que también es transitivo: si\( x \to y \) y\( y \to z \) entonces\( x \to z \) para\( x, \, y, \, z \in S \). También sabemos que\( x \to y \) si y sólo si hay una ruta dirigida en la gráfica de estado de\( x \) a\( y \), si y sólo si\( Q^n(x, y) \gt 0 \) para algunos\( n \in \N \). Para las matrices de transición de tiempo continuo, tenemos un resultado más fuerte que a su vez hace un caso más fuerte para el que los leads a la relación es fundamental\( \bs{X} \).

    Supongamos\( (x, y) \in S^2 \).

    1. Si\( x \to y \) entonces\( P_t(x, y) \gt 0 \) para todos\( t \in (0, \infty) \).
    2. Si\( x \not \to y \) entonces\( P_t(x, y) = 0 \) para todos\( t \in (0, \infty) \).
    Prueba

    Este resultado se demuestra en la sección sobre matrices de transición y generadores.

    Este resultado se conoce como la dicotomía Lévy, y lleva el nombre de Paul Lévy. Recordemos un par de otras definiciones:

    Supongamos que\( A \) es un subconjunto no vacío de\( S \).

    1. \( A \)está cerrado si\( x \in A \) e\( x \to y \) implica\( y \in A \).
    2. \( A \)es irreducible si\( A \) está cerrado y no tiene un subconjunto cerrado adecuado.

    Si\( S \) es irreducible, también decimos que la cadena\( \bs{X} \) en sí es irreducible.

    Si\( A \) es un subconjunto no vacío de\( S \), entonces\( \cl(A) = \{y \in S: x \to y \text{ for some } x \in A\} \) es el conjunto cerrado más pequeño que contiene\( A \), y se llama el cierre de\( A \).

    Supongamos que\( A \subseteq S \) está cerrado. Entonces

    1. \( P^A_t \), la restricción de\( P_t \) a\( A \times A\), es una matriz de probabilidad de transición\( A \) para cada\( t \in [0, \infty) \).
    2. \( \bs{X} \)restringido a\( A \) es una cadena de Markov de tiempo continuo con semigrupo de transición\( \bs{P}^A = \left\{P^A_t: t \in [0, \infty)\right\} \).
    Prueba
    1. Si\( x \in A \) y\( y \notin A \), entonces\( x \) no lleva a\( y \) que así en particular\( P_t(x, y) = 0 \). De ello se deduce que\( \sum_{y \in A} P_t(x, y) = 1 \) para\( x \in A \) así\( P^A_t \) es una matriz de probabilidad de transición.
    2. Esto se desprende de (a). Si la cadena comienza en\( A \), entonces la cadena permanece adentro\( A \) para siempre, y por supuesto, la propiedad de Markov aún se mantiene.

    Definir la relación\( \leftrightarrow \) en\( S \) por\( x \leftrightarrow y \) si\( x \to y \) y\( y \to x \) para\( (x, y) \in S^2 \).

    La relación de ida y de origen\( \leftrightarrow \) define una relación de equivalencia\( S \) y, por lo tanto,\( S \) se divide en clases de equivalencia mutuamente disjuntas. Recordemos de nuestro estudio de cadenas de tiempo discretas que un conjunto cerrado no es necesariamente una clase de equivalencia, ni es una clase de equivalencia necesariamente cerrada. Sin embargo, un conjunto irreducible es una clase de equivalencia, pero una clase de equivalencia puede no ser irreducible. La importancia de la relación\( \leftrightarrow \) se deriva del hecho de que muchas propiedades importantes de las cadenas de Markov (en tiempo discreto o continuo) resultan ser propiedades de clase, compartidas por todos los estados en una clase de equivalencia. La siguiente definición es fundamental, y una vez más, tiene sentido ya sea para la cadena de tiempo continuo\( \bs{X} \) o para su cadena de salto\( \bs{Y} \).

    Vamos\( x \in S \).

    1. El estado\( x \) es transitorio si\( H(x, x) \lt 1 \)
    2. Estado\( x \) es recurrente si\( H(x, x) = 1 \).

    Recordemos de nuestro estudio de las cadenas de tiempo discretas que si\( x \) es recurrente y\( x \to y \) luego\( y \) es recurrente y\( y \to x \). Así, la recurrencia y la transitoriedad son propiedades de clase, compartidas por todos los estados en una clase de equivalencia.

    Tiempo pasado en un estado

    For\( x \in S \), vamos a\( N_x \) denotar el número de visitas a estado\( x \) por la cadena de salto\( \bs{Y} \), y vamos a\( T_x \) denotar el tiempo total pasado en estado\( x \) por la cadena de tiempo continua\( \bs{X} \). Así,\[ N_x = \sum_{n=0}^\infty \bs{1}(Y_n = x), \quad T_x = \int_0^\infty \bs{1}(X_t = x) \, dt \] los valores esperados\( R(x, y) = \E(N_y \mid Y_0 = x) \) y\( U(x, y) = \E(T_y \mid X_0 = x) \) para\( (x, y) \in S^2 \) definir las matrices potenciales de\( \bs{Y} \) y\( \bs{X} \), respectivamente. A partir de nuestro estudio previo de las cadenas discretas de tiempo, conocemos la distribución y media de\( N_y \) dado\( Y_0 = x \) en términos de la matriz de aciertos\( H \). Los siguientes dos resultados dan una revisión:

    Supongamos que\( x, \, y \in S \) son distintos. Entonces

    1. \(\P(N_y = n \mid Y_0 = y) = H^{n-1}(y, y)[1 - H(y, y)]\)para\( n \in \N_+ \)
    2. \( \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y) \)y\( \P(N_y = n \mid Y_0 = x) = H(x, y) H^{n-1}(y, y) [1 - H(y, y)] \) para\( n \in \N_+ \)

    Tomemos casos. Primero supongamos que eso\( y \) es recurrente. En la parte (a),\( \P(N_y = n \mid Y_0 = y) = 0 \) para todos\( n \in \N_+ \), y consecuentemente\( \P(N_y = \infty \mid Y_0 = y) = 1 \). En la parte b),\( \P(N_y = n \mid Y_0 = x) = 0 \) para\( n \in \N_+ \), y consecuentemente\( \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y) \) mientras\( \P(N_y = \infty \mid Y_0 = x) = H(x, y) \). Supongamos siguiente que\( y \) es transitorio. La parte (a) especifica una distribución geométrica apropiada\( \N_+ \) mientras que en la parte (b), la probabilidad\( 1 - H(x, y) \) se asigna a 0 y la probabilidad restante\( H(x, y) \) se distribuye geométricamente\( \N_+ \) como en (a). En ambos casos,\( N_y \) es finito con probabilidad 1. A continuación consideramos el valor esperado, es decir, el potencial (discreto). Para exponer los resultados de manera sucinta utilizaremos la convención de que\( a / 0 = \infty \) si\( a \gt 0 \) y\( 0 / 0 = 0 \).

    Supongamos de nuevo que\( x, \, y \in S \) son distintos. Entonces

    1. \( R(y, y) = 1 \big/ [1 - H(y, y)] \)
    2. \( R(x, y) = H(x, y) \big/ [1 - H(y, y)] \)

    Tomemos de nuevo los casos. Si\( y \in S \) es recurrente entonces\( R(y, y) = \infty \), y para\( x \in S \) con\( x \ne y \), ya sea\( R(x, y) = \infty \) si\( x \to y \) o\( R(x, y) = 0 \) si\( x \not \to y \). Si\( y \in S \) es transitorio,\( R(y, y) \) es finito, como es\( R(x, y) \) para cada uno\( x \in S \) con\( x \ne y \). Además, existe una especie de relación inversa entre el potencial y las probabilidades de golpeo.

    Naturalmente, nuestro siguiente objetivo es encontrar resultados análogos para la cadena de tiempo continua\( \bs{X} \). Para la distribución de\( T_y \) lo mejor es utilizar la función de distribución correcta.

    Supongamos que\( x, \, y \in S \) son distintos. Entonces para\( t \in [0, \infty) \)

    1. \( \P(T_y \gt t \mid X_0 = y) = \exp\left\{-\lambda(y) [1 - H(y, y)] t\right\} \)
    2. \(\P(T_y \gt t \mid X_0 = x) = H(x, y) \exp\{-\lambda(y) [1 - H(y, y)] t\}\)
    Prueba

    El comprobante es por condicionamiento\( N_y \).

    1. Primero, si\( H(y, y) = 1 \) (así que eso\( y \) es recurrente), entonces o bien\( y \) está absorbiendo con\( \P(\tau_1 = \infty \mid X_0 = y) = 1 \) o\( y \) es estable y recurrente, así que eso\( \P(N_y = \infty \mid X_0 = y) = 1 \). En el segundo caso, comenzando en estado\( y \),\( T_y \) es la suma de infinitamente muchas variables independientes, cada una con la distribución exponencial con parámetro\( \lambda(y) \in (0, \infty) \). En ambos casos,\( \P(T_y = \infty \mid X_0 = y) = 1 \) y así\( \P(T_y \gt t \mid X_0 = y) = 1 \) para cada uno\( t \in [0, \infty) \). Entonces supongamos que\( H(y, y) \lt 1 \) así eso\( y \) es transitorio. Entonces\[ \P(T_y \gt t \mid X_0 = y) = \sum_{n=1}^\infty \P(T_y \gt t \mid X_0 = y, N_y = n) \P(N_y = n \mid X_0 = y) \] Given\( N_y = n \),\( T_y \) es la suma de variables\( n \) independientes, teniendo cada una la distribución exponencial con parámetro\( \lambda(y) \). Así lo\( T_y \) tiene la distribución gamma con parámetros\( n \) y\( \lambda(y) \) y por lo tanto\[ \P(T_y \gt t \mid X_0 = y, N_y = n) = \sum_{k=0}^{n-1} e^{-\lambda(y) t} \frac{[\lambda(y) t]^k}{k!} \] A partir del resultado anterior,\( \P(N_y = n \mid X_0 = y) = \P(N_y = n \mid Y_0 = y) = H^{n-1}(y, y) [1 - H(y, y)] \). Sustituimos, cambiamos el orden de suma, usamos series geométricas y luego series exponenciales:\ begin {align*}\ P (T_y\ gt t\ mid X_0 = y) & =\ sum_ {n=1} ^\ infty\ left (\ sum_ {k=0} ^ {n-1} e^ {-\ lambda (y) t}\ frac {[^lambda (y) t] k} {k!} \ derecha) H^ {n-1} (y, y) [1 - H (y, y)]\\ & = e^ {-\ lambda (y) t} [1 - H (y, y)]\ suma_ {k=0} ^\ infty\ frac {[\ lambda (y) t] ^k} {k!} \ sum_ {n=k+1} ^\ infty H^ {n-1} (y, y)\\ & = e^ {-\ lambda (y) t}\ sum_ {k=0} ^\ infty\ frac {[\ lambda (y) t] ^k} {k!} H^k (y, y) = e^ {-\ lambda (y) t}\ exp [\ lambda (y) H (y, y) t]\ end {align*} Simplificando da el resultado.
    2. La prueba es similar. Si es\( H(y, y) = 1 \) así eso\( y \) es recurrente, entonces comenzando en estado\( x \), ya sea\( T_y = 0\) si\( N_y = 0 \), que ocurre con probabilidad\( 1 - H(x, y) \) o\( T_y = \infty \) si\( N_y = \infty \), que ocurre con probabilidad\( H(x, y) \). Si es\( H(y, y) \lt 1 \) así que eso\( y \) es transitorio, entonces el resultado se desprende del condicionamiento encendido\( N_y \) como en (a), excepto eso\( \P(T_y = 0 \mid X_0 = x) = \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y)\).

    Tomemos los casos como antes. Supongamos primero que\( y \) es recurrente. En la parte (a),\( \P(T_y \gt t \mid X_0 = y) = 1 \) para todos\( t \in [0, \infty) \) y por lo tanto\( \P(T_y = \infty \mid X_0 = y) = 1 \). En la parte b),\( \P(T_y \gt t \mid X_0 = x) = H(x, y) \) por cada\( t \in [0, \infty) \) y consecuentemente\( \P(T_y = 0 \mid X_0 = x) = 1 - H(x, y) \) mientras\( \P(T_y = \infty \mid X_0 = x) = H(x, y) \). Supongamos siguiente que\( y \) es transitorio. A partir de la parte (a), la distribución de\( T_y \) dado\( X_0 = y \) es exponencial con parámetro\( \lambda(y) [1 - H(y, y)] \). En la parte (b), la distribución asigna probabilidad\(1 - H(x, y) \) a 0 mientras que la probabilidad restante\( H(x, y) \) se distribuye exponencialmente sobre\( (0, \infty) \) como en (a). Tomando el valor esperado, obtenemos una relación muy agradable entre la matriz potencial\( U \) de la cadena de tiempo continua\( \bs{X} \) y la matriz potencial\( R \) de la cadena de salto de tiempo discreto\( \bs{Y} \):

    Para cada\( (x, y) \in S^2 \),\[ U(x, y) = \frac{R(x, y)}{\lambda(y)} \]

    Prueba

    Si\( y \) es recurrente, entonces\( U(x, y) = R(x, y) \) y el valor común es 0 si\( H(x, y) = 0 \) o\( \infty \) si\( H(x, y) = 1 \). Entonces supongamos que eso\( y \) es transitorio. Podemos calcular el valor esperado de\( T_y \) integrando la función de distribución correcta en el teorema anterior. En caso\( x = y \), tenemos\[ U(y, y) = \int_0^\infty \exp\{-\lambda(y)[1 - H(y, y)]t\} \, dt = \frac{1}{\lambda(y)[1 - H(y, y)]} = \frac{R(y, y)}{\lambda(y)}\] En el caso de que\( x \) y\( y \) sean distintos,\[ U(x, y) = \int_0^\infty H(x, y)\exp\{-\lambda(y)[1 - H(y, y)]t\} \, dt = \frac{H(x, y)}{\lambda(y)[1 - H(y, y)]} = \frac{R(x, y)}{\lambda(y)} \]

    En particular,\( y \in S \) es transitorio si y solo si\( R(x, y) \lt \infty \) por cada\( x \in S \), si y solo si\( U(x, y) \lt \infty \) por cada\( x \in S \). Por otro lado,\( y \) es recurrente si y solo\( R(x, y) = U(x, y) = \infty \) si\( x \to y \) y\( R(x, y) = U(x, y) = 0 \) si\( x \not \to y \).

    Recurrencia nula y positiva

    A diferencia de la fugacidad y recurrencia, las definiciones de recurrencia nula y positiva de un estado\( x \in S \) son diferentes para la cadena de tiempo continuo\( \bs{X} \) y su cadena de salto\( \bs{Y} \). Esto se debe a que estas definiciones dependen del tiempo de bateo esperado para\( x \), a partir de\( x \), y no solo de la finitud de este tiempo de bateo. Para\( x \in S \), let\( \nu(x) = \E(\rho_x \mid Y_0 = x) \), el tiempo de retorno esperado (discreto) para\( x \) comenzar en\( x \). Recordemos que\( x \) es recurrente positivo para\( \bs{Y} \) si\( \nu(x) \lt \infty \) y\( x \) es nulo recurrente si\( x \) es recurrente pero no positivo recurrente, de modo que\( H(x, x) = 1 \) pero\( \nu(x) = \infty \). Las definiciones son similares para\( \bs{X} \), pero usando el tiempo de golpeo continuo\( \tau_{\rho_x} \).

    Para\( x \in S \), vamos\( \mu(x) = 0 \) si\( x \) está absorbiendo y\( \mu(x) = \E\left(\tau_{\rho_x} \mid X_0 = x\right) \) si\( x \) es estable. Entonces si\( x \) es estable,\( \mu(x) \) es el tiempo de retorno esperado para\( x \) comenzar en\( x \) (después del periodo inicial en\( x \)).

    1. Estado\( x \) es recurrente positivo para\( \bs{X} \) si\( \mu(x) \lt \infty \).
    2. Estado\( x \) es nulo recurrente para\( \bs{X} \) si\( x \) recurrente pero no positivo recurrente, por lo que\( H(x, x) = 1 \) pero\( \mu(x) = \infty \).

    Un estado\( x \in S \) puede ser recurrente positivo para\( \bs{X} \) pero recurrente nulo para su cadena de salto\( \bs{Y} \) o puede ser nulo recurrente para\( \bs{X} \) pero recurrente positivo para\( \bs{Y} \). Pero al igual que la fugacidad y la recurrencia, la recurrencia positiva y nula son propiedades de clase, compartidas por todos los estados en una clase de equivalencia bajo la relación de equivalencia hacia y desde\( \leftrightarrow \).

    Funciones invariantes

    Nuestra siguiente discusión se refiere a funciones que son invariantes para la matriz\( Q \) de transición de la cadena de salto\( \bs{Y} \) y funciones que son invariantes para el semigrupo\( \bs{P} = \{P_t: t \in [0, \infty)\} \) de transición de la cadena de tiempo continua\( \bs{X} \). Tanto para las cadenas de tiempo discreto como para las continuas, existe una estrecha relación entre las funciones invariantes y el comportamiento limitante en el tiempo.

    Primero recordemos las definiciones. Una función\( f: S \to [0, \infty) \) es invariante para\( Q \) (o para la cadena\( \bs{Y} \)) si\( f Q = f \). Entonces se deduce que\( f Q^n = f \) para cada\( n \in \N \). En tiempo continuo debemos asumir la invarianza en cada momento. Es decir, una función\( f: S \to [0, \infty) \) es invariante para\( \bs{P} \) (o para la cadena\( \bs{X} \)) si es\( f P_t = f \) para todos\( t \in [0, \infty) \). Nuestro interés está en las funciones no negativas, porque podemos pensar en una función como la función de densidad, con respecto a la medida de conteo, de una medida positiva en\( S \). Estamos particularmente interesados en el caso especial que\( f \) es una función de densidad de probabilidad, así que eso\( \sum_{x \in S} f(x) = 1 \). Si\( Y_0 \) tiene una función de densidad de probabilidad\( f \) que es invariante para\( Q \), entonces\( Y_n \) tiene función de densidad de probabilidad\( f \) para todos\( n \in \N \) y por lo tanto\( \bs{Y} \) es estacionaria. Del mismo modo, si\( X_0 \) tiene una función de densidad de probabilidad\( f \) que es invariante para\( \bs{P} \) entonces\( X_t \) tiene función de densidad de probabilidad\( f \) para cada\( t \in [0, \infty) \) y una vez más, la cadena\( \bs{X} \) es estacionaria.

    Nuestro primer resultado muestra que existe una correspondencia uno a uno entre las funciones invariantes para\( Q \) y las funciones cero para el generador\( G \).

    Supongamos\( f: S \to [0, \infty) \). Entonces\( f G = 0 \) si y solo si\( (\lambda f) Q = \lambda f \), entonces eso\( \lambda f \) es invariante para\( Q \).

    Prueba

    Esto es una consecuencia simple de la definición del generador:\[ f G(y) = \sum_{x \in S} f(x) G(x, y) = -\lambda(y) f(y) + \sum_{x \in S} f(x) \lambda(x) Q(x, y), \quad y \in S \] o en forma funcional,\( f G = - \lambda f + (\lambda f) Q \)

    Si nuestra cadena no\( \bs{X} \) tiene estados absorbentes, entonces\( f: S \to [0, \infty) \) es invariante para\( Q \) si y solo si\( (f / \lambda ) G = 0 \).

    Supongamos que\( f: S \to [0, \infty) \). Entonces\( f \) es invariante por\( \bs{P} \) si y solo si\( f G = 0 \).

    Prueba 1

    Supongamos que\( \lambda \) está acotado, para que el semigrupo de transición\( \bs{P} \) sea uniforme. Entonces\( P_t = e^{t G} \) para\( t \in [0, \infty) \). Entonces si\( f: S \to [0, \infty) \) entonces\[ f P_t = f (e^{t G}) = f \sum_{n=0}^\infty \frac{t^n}{n!} G^n = f + \sum_{n=1}^\infty \frac{t^n}{n!} f G^n \]\( f \) Since no es negativo,\( f P_t = f \) si y solo si\( f G = 0 \) (en cuyo caso\( f G^n = 0 \) para cada uno\( n \in \N_+ \)).

    Prueba 2

    Supongamos que\( f P_t = f \) para\( t \in [0, \infty) \). Entonces\( \frac{d}{dt} (f P_t) = 0 \) para\( t \in [0, \infty) \). Pero usando la ecuación hacia atrás de Kolmogorov,\( \frac{d}{dt} (f P_t) = f \frac{d}{dt} P_t = f G P_t = 0 \). Dejando\( t = 0 \) que concluyamos eso\( f G = 0 \). Por el contrario, si\( f G = 0 \) entonces\( \frac{d}{dt} (f P_t) = f \frac{d}{dt} P_t = f G P_t = 0 \) por\( t \in [0, \infty) \). De ello se deduce que\( f P_t \) es constante en\( t \in [0, \infty) \). Ya que\( f P_0 = f \) se deduce que\( f P_t = f \) para todos\( t \in [0, \infty) \).

    Así que juntando los dos resultados principales vemos que\( f \) es invariante para la cadena de tiempo continua\( \bs{X} \) si y solo si\( \lambda f \) es invariante para la cadena de salto\( \bs{Y} \). Nuestro siguiente resultado muestra cómo las funciones que son invariantes para\( \bs{X} \) se relacionan con el resolvent\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \). Para apreciar el resultado, recordemos que para\( \alpha \in (0, \infty) \) la matriz\( \alpha U_\alpha \) es una matriz de probabilidad, y de hecho\( \alpha U_\alpha(x, \cdot) \) es la función de densidad de probabilidad condicional de\( X_T \)\( X_0 = x \), dado, donde\( T \) es independiente\( \bs{X} \) y tiene la distribución exponencial con parámetro\( \alpha \). Así\( \alpha U_\alpha \) es una matriz de transición tal como lo\( P_t \) es una matriz de transición, pero correspondiente al tiempo aleatorio distribuido exponencialmente\( T \) con parámetro\( \alpha \in (0, \infty) \) en lugar del tiempo determinista\( t \in [0, \infty) \).

    Supongamos que\( f: S \to [0, \infty) \). Si\( f G = 0 \) entonces\( f (\alpha U_\alpha) = f\) por\( \alpha \in (0, \infty) \). Por el contrario si\( f (\alpha U_\alpha) = f \) para\( \alpha \in (0, \infty) \) entonces\( f G = 0 \).

    Prueba

    Recordemos eso\( I + G U_\alpha = \alpha U_\alpha \) para\( \alpha \in (0, \infty) \). De ahí si\( f G = 0 \) entonces\[ f (\alpha U_\alpha) = f + f G U_\alpha = f \] Por el contrario, supongamos que\( f (\alpha U_\alpha) = f \). Entonces\[ f G U_\alpha = \int_0^\infty e^{-\alpha t} f G P_t dt = 0 \], en función de\( \alpha \in (0, \infty) \), la integral en el lado derecho es la transformada de Laplace de la función de tiempo\( t \mapsto f G P_t \). De ahí que debemos tener\( f G P_t = 0 \) para\( t \in (0, \infty) \), y dejando\( t \downarrow 0 \) da\( f G = 0 \).

    Entonces extender nuestro resumen,\( f: S \to [0, \infty) \) es invariante para el semigrupo de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \) si y solo si\( \lambda f \) es invariante para matrices de transición de salto\( \{Q^n: n \in \N\} \) si y solo\( f G = 0 \) si y solo si\( f \) es invariante para la colección de matrices de probabilidad\( \{\alpha U_\alpha: \alpha \in (0, \infty)\} \). A partir de nuestro conocimiento de la teoría de las cadenas de tiempo discretas, ahora tenemos el siguiente resultado fundamental:

    Supongamos que eso\( \bs{X} \) es irreducible y recurrente.

    1. Existe\( g: S \to (0, \infty) \) que es invariante para\( \bs{X} \).
    2. Si\( f \) es invariante para\( \bs{X} \), entonces\(f = c g \) para alguna constante\( c \in [0, \infty) \).
    Prueba

    El resultado es trivial si\( S \) consiste en un solo estado, necesariamente absorbente. De lo contrario, no hay estados absorbentes, ya que\( \bs{X} \) es irreducible y así\( \lambda(x) \gt 0 \) para\( x \in S \). Del resultado anterior,\( f \) es invariante para\( \bs{X} \) si y solo si\( \lambda f \) es invariante para\( \bs{Y} \). Pero también\( \bs{Y} \) es irreducible y recurrente, así que sabemos que existe una función estrictamente positiva que es invariante para\( \bs{Y} \), y toda otra función que sea invariante para\( \bs{Y} \) es un múltiplo no negativo de ésta. De ahí que lo mismo sea cierto para\( \bs{X} \).

    Las funciones invariantes tienen una interpretación agradable en términos de tiempos de ocupación, una interpretación que es paralela al caso discreto. El potencial da el tiempo total esperado en un estado, comenzando en otro estado, pero aquí hay que considerar el tiempo esperado en un estado durante un ciclo que inicia y termina en otro estado.

    Para\( x \in S \), defina la función\( \gamma_x \) por\[ \gamma_x(y) = \E\left(\int_0^{\tau_{\rho_x}} \bs{1}(X_s = y) \, ds \biggm| X_0 = x\right), \quad y \in S \] lo que\( \gamma_x(y) \) es el tiempo de ocupación esperado en estado\( y \) antes del primer retorno a\( x \), comenzando en\( x \).

    Supongamos otra vez que eso\( \bs{X} \) es irreducible y recurrente. Para\( x \in S \),

    1. \( \gamma_x: S \to (0, \infty) \)
    2. \( \gamma_x \)es invariante para\( \bs X \)
    3. \( \gamma_x(x) = 1 / \lambda(x) \)
    4. \(\mu(x) = \sum_{y \in S} \gamma_x(y)\)
    Prueba

    Como suele ser el caso, la prueba se basa en resultados que ya tenemos para la cadena de salto incrustada. Para\( x \in S \), defina\[ \delta_x(y) = \E\left(\sum_{n=0}^{\rho_x - 1} \bs{1}(Y_n = y) \biggm| Y_0 = x\right), \quad y \in S \] así que ese\( \delta_x(y) \) es el número esperado de visitas a\( y \) antes del primer regreso a\( x \), comenzando en\( x \), para la cadena de salto\( \bs Y = (Y_0, Y_1, \ldots) \). Ya que\( \bs X \) es irreducible y recurrente, así es\( \bs Y \). De nuestros resultados en el caso discreto sabemos que

    1. \( \delta_x: S \to (0, \infty) \)
    2. \( \delta_x \)es invariante para\( \bs Y \)
    3. \( \delta_x(x) = 1 \)

    De nuestros resultados anteriores, se deduce que la función\( y \mapsto \delta_x(y) / \lambda(y) \) satisface las propiedades (a), (b) y (c) en el teorema. Pero cada visita a\( y \) por la cadena de salto\( \bs Y \) ha esperado longitud\( 1 / \lambda(y) \) para la cadena de tiempo continuo\( \bs X \). De ello se deduce que\( \gamma_x(y) = \delta_x(y) / \lambda(y) \) para\( x, \, y \in S \). Por definición,\( \gamma_x(y) \) es el tiempo de ocupación esperado en\( y \) antes del primer regreso a\( x \), comenzando en\( x \). De ahí que sumar sobre\( y \in S \) da el tiempo de retorno esperado a\( x \), a partir de\( x \), por lo que (d) se mantiene.

    Así que ahora tenemos algunos conocimientos adicionales sobre la recurrencia positiva y nula para la cadena de tiempo continua\( \bs{X} \) y la cadena de salto asociada\( \bs{Y} \). Supongamos nuevamente que las cadenas son irreducibles y recurrentes. Hay\( g: S \to (0, \infty) \) que es invariante para\( \bs{Y} \), y luego\( g / \lambda \) es invariante para\( \bs{X} \). Las funciones invariantes son únicas hasta la multiplicación por constantes positivas. La cadena de salto\( \bs{Y} \) es recurrente positiva si y solo si\( \sum_{x \in S} g(x) \lt \infty\) mientras que la cadena de tiempo continua\( \bs{X} \) es positiva recurrente si y solo si\( \sum_{x \in S} g(x) \big/ \lambda(x) \lt \infty \). Obsérvese que si\( \lambda \) está acotado (lo que equivale a que el semigrupo de transición\( \bs{P} \) sea uniforme), entonces\( \bs{X} \) es positivo recurrente si y sólo si\( \bs{Y} \) es recurrente positivo.

    Supongamos otra vez que eso\( \bs{X} \) es irreducible y recurrente.

    1. Si\( \bs{X} \) es nulo recurrente entonces\( \bs{X} \) no tiene una función de densidad de probabilidad invariante.
    2. Si\( \bs{X} \) es recurrente positivo, entonces\( \bs{X} \) tiene una función de densidad de probabilidad invariante única, positiva.
    Prueba

    Del resultado anterior, existe\( g: S \to (0, \infty) \) que es invariante para\( \bs{X} \), y cualquier otra función invariante es un múltiplo no negativo de esta. La función\( f \) dada por\[ f(y) = \frac{g(y)}{\sum_{x \in S} g(x)}, \quad y \in S \] está definida de manera única (es decir, sin cambios si reemplazamos\( g \) por\( c g \) where\( c \gt 0 \)).

    1. Si\( \sum_{x \in S} g(x) = \infty \) entonces\( f(y) = 0 \) por cada\( y \in S \).
    2. Si\( \sum_{x \in S} g(x) \lt \infty \) entonces\( f(y) \gt 0 \) por cada\( y \in S \) y\( \sum_{y \in S} f(y) = 1 \).

    Comportamiento limitante

    Nuestra siguiente discusión se centra en el comportamiento limitante del semigrupo de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Nuestro primer resultado es un simple corolario del resultado anterior para potenciales.

    Si\( y \in S \) es transitorio, entonces\( P_t(x, y) \to 0 \) como\( t \to \infty \) para cada\( x \in S \).

    Prueba

    Esto se desprende del resultado anterior. Si\( y \in S \) es transitorio, entonces para cualquiera\( x \in S \),\[ U(x, y) = \int_0^\infty P_t(x, y) \, dt \lt \infty \] y así debemos tener\( P_t(x, y) \to 0 \) como\( t \to \infty \).

    Por lo que debemos dirigir nuestra atención a los estados recurrentes. El conjunto de estados recurrentes se divide en clases equivalentes bajo\( \leftrightarrow \), y cada una de estas clases es irreducible. De ahí que podamos asumir sin pérdida de generalidad que nuestra cadena de tiempo continua\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es irreducible y recurrente. Para evitar trivialidades, también asumiremos que\( S \) tiene al menos dos estados. Así, no hay estados absorbentes y así\( \lambda(x) \gt 0 \) para\( x \in S \). Aquí está el resultado principal.

    Supongamos que eso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es irreducible y recurrente. Entonces\(f(y) = \lim_{t \to \infty} P_t(x, y)\) existe para cada uno\( y \in S \), independientemente de\( x \in S \). La función\( f \) es invariante para\( \bs{X} \) y\[ f(y) = \frac{\gamma_x(y)}{\mu(x)}, \quad y \in S \]

    1. Si\( \bs{X} \) es nulo recurrente entonces\( f(y) = 0 \) para todos\( y \in S \).
    2. Si\( \bs{X} \) es positivo recurrente entonces\( f(y) \gt 0 \) para todos\( y \in S \) y\( \sum_{y \in S} f(y) = 1 \).
    Bosquejo de prueba

    La idea básica es que\[ \lim_{t \to \infty} P_t(x, y) = \lim_{t \to \infty} \frac{1}{t} \int_0^t P_s(x, y) ds \] La expresión a la derecha es la proporción limitante del tiempo empleado en\( y \in S \), comenzando en\( x \in S \). Esta proporción es\( \gamma_x(y) \big/ \mu(x) \), por lo que los resultados se derivan del teorema anterior.

    La función limitante se\( f \) puede calcular de varias maneras. Primero encontramos una función\( g: S \to (0, \infty) \) que es invariante para\( \bs{X} \). Podemos hacer esto resolviendo

    • \( g P_t = g \)para\( t \in (0, \infty) \)
    • \( g G = 0 \)
    • \( g (\alpha U_\alpha) = g \)para\( \alpha \in (0, \infty) \)
    • \( h Q = h \)y luego\( g = h / \lambda \)

    La función\( g \) es única hasta la multiplicación por constantes positivas. Si\( \sum_{x \in S} g(x) \lt \infty \), entonces estamos en el caso recurrente positivo y así\( f \) es simplemente\( g \) normalizado:\[ f(y) = \frac{g(y)}{\sum_{x \in S} g(x)}, \quad y \in S \]

    El siguiente resultado se conoce como el teorema ergódico para las cadenas de Markov de tiempo continuo. También se puede considerar como una ley fuerte de grandes números para las cadenas de Markov de tiempo continuo.

    Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es irreducible y recurrente positivo, con función de densidad de probabilidad (única) invariante\( f \). Si\( h: S \to \R \) entonces\[ \frac{1}{t} \int_0^t h(X_s) ds \to \sum_{x \in S} f(x) h(x) \text{ as } t \to \infty \] con probabilidad 1, suponiendo que la suma de la derecha converge absolutamente.

    Notas

    Primero, let\( x, \, y \in S \) and let\( h = \bs{1}_y \), la función indicadora de\( y \). Entonces dado\( X_0 = x \),\( \frac{1}{t} \int_0^t h(X_s) ds \) es el tiempo de ocupación promedio en estado\( y \), comenzando en estado\( x \), a lo largo del intervalo de tiempo\( [0, t] \). En valor esperado, esto es a\( \frac{1}{t} \int_0^t P_s(x, y) ds \) lo que sabemos converge\( f(y) \) como\( t \to \infty \), independientemente de\( x \). Entonces en este caso especial, el teorema ergódico afirma que la convergencia es con probabilidad 1 también. Una función general\( h: S \to \R \) es una combinación lineal de las funciones indicadoras de los puntos en\( S \), por lo que el teorema ergódico es plausible.

    Tenga en cuenta que no se hacen suposiciones sobre\( X_0 \), por lo que el límite es independiente del estado inicial. A estas alturas, esto no debería ser ninguna sorpresa. Después de un largo periodo de tiempo, la cadena de Markov\( \bs{X} \) se olvida del estado inicial. Tenga en cuenta también que\( \sum_{x \in S} f(x) h(x) \) es el valor esperado de\( h \), pensado como una variable aleatoria\( S \) con medida de probabilidad definida por\( f \). Por otro lado,\( \frac{1}{t} \int_0^t h(X_s) ds \) es el promedio de la función de tiempo\( s \mapsto h(X_s) \) en el intervalo\( [0, t] \). Entonces el teorema ergódico establece que el promedio de tiempo limitante a la izquierda es el mismo que el promedio espacial de la derecha.

    Aplicaciones y ejercicios

    La cadena de dos estados

    La cadena de dos estados de tiempo continuo ha sido estudiada en las últimas secciones. El siguiente resultado junta las piezas y completa el cuadro.

    Considere la cadena de Markov\( \bs{X} = \{X_t: t \in [0, \infty)\} \) en tiempo continuo\( S = \{0, 1\} \) con tasa\( a \in (0, \infty) \) de transición de 0 a 1 y tasa\( b \in (0, \infty) \) de transición de 1 a 0. Dar a cada uno de los siguientes

    1. La matriz de transición\( Q^n \) para\( \bs{Y} \) at\( n \in \N \).
    2. El generador infinitesimal\( G \).
    3. La matriz de transición\( P_t \) para\( \bs{X} \) at\( t \in [0, \infty) \).
    4. La función de densidad de probabilidad invariante para\( \bs{Y} \).
    5. La función de densidad de probabilidad invariante para\( \bs{X} \).
    6. El comportamiento limitante de\( Q^n \) as\( n \to \infty \).
    7. El comportamiento limitante de\( P_t \) as\( t \to \infty \).
    Contestar

    Obsérvese que dado que las tasas de transición\( a \) y\( b \) son positivas, la cadena es irreducible.

    1. Primero,\( Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right] \) y luego para\( n \in \N \),\( Q^n = Q \) si\( n \) es impar y\( Q^n = I \) si\( n \) es par.
    2. \( G = \left[\begin{matrix} -a & a \\ b & -b \end{matrix} \right] \).
    3. \( P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right]\)para\( t \in [0, \infty) \).
    4. \( f_d = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} \end{matrix}\right] \)
    5. \( f_c = \left[\begin{matrix} \frac{b}{a + b} & \frac{a}{a + b} \end{matrix} \right]\)
    6. Como en (a),\( Q^{2 n} = I \) y\( Q^{2 n + 1} = Q \) para\( n \in \N \). Entonces hay dos límites subsecuenciales. La cadena de salto\( \bs{Y} \) es periódica con el periodo 2.
    7. \( P_t \to \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] \)como\( t \to \infty \). Cada fila es\( f_c \).

    Ejercicios Computacionales

    También se ha estudiado la siguiente cadena de tiempo continua en las tres secciones anteriores.

    Considere la cadena de Markov\( S = \{0, 1, 2\} \) con\( \bs{X} = \{X_t: t \in [0, \infty)\} \) función de parámetro exponencial\( \lambda = (4, 1, 3) \) y matriz de transición de salto\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

    1. Recordemos la matriz generadora\( G \).
    2. Encuentra la función de densidad de probabilidad invariante\( f_d \) para\( \bs{Y} \) resolviendo\( f_d Q = f_d \).
    3. Encuentra la función de densidad de probabilidad invariante\( f_c \) para\( \bs{X} \) resolviendo\( f_c G = 0 \).
    4. Verificar que\( \lambda f_c \) sea un múltiplo de\( f_d \).
    5. Describir el comportamiento limitante de\( Q^n \) as\( n \to \infty \).
    6. Describir el comportamiento limitante de\( P_t \) as\( t \to \infty \).
    7. Verificar el resultado en (f) recordando la matriz de transición\( P_t \) para\( \bs{X} \) at\( t \in [0, \infty) \).
    Contestar
    1. \( G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right] \)
    2. \( f_d = \frac{1}{14} \left[\begin{matrix} 6 & 5 & 3 \end{matrix} \right] \)
    3. \( f_c = \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \end{matrix} \right] \)
    4. \( \lambda f_c = \frac{1}{15} \left[\begin{matrix} 12 & 10 & 6\end{matrix} \right] = \frac{28}{15} f_d\)
    5. \( Q^n \to \frac{1}{14} \left[\begin{matrix} 6 & 5 & 3 \\ 6 & 5 & 3 \\ 6 & 5 & 3 \end{matrix} \right] \)como\( n \to \infty \)
    6. \( P_t \to \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \\ 3 & 10 & 2 \\ 3 & 10 & 2 \end{matrix}\right] \)como\( t \to \infty \)
    7. \( P_t = \frac{1}{15} \left[\begin{matrix} 3 + 12 e^{-5 t} & 10 - 10 e^{-3 t} & 2 - 12 e^{-5 t} + 10 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 + 5 e^{-3 t} & 2 + 3 e^{-5t} - 5 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 - 10 e^{-3 t} & 2 + 3 e^{-5 t} + 10 e^{-3 t} \end{matrix}\right] \)para\( t \in [0, \infty) \)

    Modelos Especiales

    Lea la discusión de distribuciones estacionarias y limitantes para cadenas subordinadas al proceso de Poisson.

    Lea la discusión sobre distribuciones estacionarias y limitantes para cadenas de nacimiento-muerte en tiempo continuo.

    Lea la discusión sobre la clasificación y distribución limitante para cadenas de colas de tiempo continuo.


    This page titled 16.18: Distribuciones Estacionarias y Encaladoras de Cadenas de Tiempo Continuas is shared under a CC BY 2.0 license and was authored, remixed, and/or curated by Kyle Siegrist (Random Services) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.