16.17: Matrices Potenciales

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

Prelimnarios

Esta es la tercera de las secciones introductorias sobre las cadenas de Markov en el tiempo continuo. Entonces nuestro punto de partida es una cadena de Markov homogénea en el tiempo\( \bs{X} = \{X_t: t \in [0, \infty)\} \) definida en un espacio de probabilidad subyacente\( (\Omega, \mathscr{F}, \P) \) y con espacio de estado discreto\( (S, \mathscr{S}) \). Por lo tanto,\( S \) es contable y\( \mathscr{S} \) es el conjunto de potencias de\( S \), por lo que cada subconjunto de\( S \) es medible, como lo es cada función desde otro\( S \) espacio medible. Además,\( S \) se le da la topología discreta para que también\( \mathscr{S} \) pueda pensarse como el\( \sigma \) álgebra de Borel. Cada función desde\( S \) otro espacio topológico es continua. La medida de conteo\( \# \) es la medida natural sobre\( (S, \mathscr{S}) \), por lo que en el contexto de la introducción general, las integrales sobre\( S \) son simplemente sumas. Además, los kernels on se\( S \) pueden considerar como matrices, con filas y sumas indexadas por\( S \), por lo que las operaciones del kernel izquierdo y derecho son generalizaciones de multiplicación matricial. Como antes, vamos a\( \mathscr{B} \) denotar la colección de funciones acotadas\( f: S \to \R \). Con las definiciones puntuales habituales de suma y multiplicación escalar,\( \mathscr{B} \) es un espacio vectorial. La norma suprema en\( \mathscr{B} \) es dada por Por\[ \|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B} \] supuesto, si\( S \) es finito,\( \mathscr{B} \) es el conjunto de todas las funciones de valor real en\( S \), y\( \|f\| = \max\{\left|f(x)\right|: x \in S\}\) para\(f \in \mathscr{B} \). El espacio de tiempo es\( ([0, \infty), \mathscr{T}) \) donde como de costumbre,\( \mathscr{T} \) es el\( \sigma \) álgebra de Borel sobre\( [0, \infty) \) correspondiente a la topología euclidiana estándar. La medida de Lebesgue es la medida natural en\( ([0, \infty), \mathscr{T}) \).

En nuestro primer punto de vista, estudiamos\( \bs{X} \) en términos de cuándo y cómo cambia el estado. Para revisar brevemente, vamos\( \tau = \inf\{t \in (0, \infty): X_t \ne X_0\} \). Suponiendo que eso\( \bs{X} \) es correcto continuo, la propiedad Markov de\( \bs{X} \) implica la propiedad sin memoria de\( \tau \), y por lo tanto la distribución de\( \tau \) dado\( X_0 = x \) es exponencial con parámetro\( \lambda(x) \in [0, \infty) \) para cada uno\( x \in S \). El supuesto de continuidad correcta descarta la posibilidad patológica de eso\( \lambda(x) = \infty \), lo que significaría que\( x \) es un estado instantáneo por lo que eso\( \P(\tau = 0 \mid X_0 = x) = 1 \). Por otro lado, si\( \lambda(x) \in (0, \infty) \) entonces\( x \) es un estado estable, así que eso\( \tau \) tiene una distribución exponencial adecuada dada\( X_0 = x \) con\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \). Por último, si\( \lambda(x) = 0 \) entonces\( x \) es un estado absorbente, así que eso\( \P(\tau = \infty \mid X_0 = x) = 1 \). A continuación definimos una secuencia de tiempos de parada: Primero\( \tau_0 = 0 \) y\( \tau_1 = \tau\). Recursivamente, si\( \tau_n \lt \infty \) entonces\( \tau_n = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\} \), mientras que si\( \tau_n = \infty \) entonces\( \tau_{n+1} = \infty \). Con\( M = \sup\{n \in \N: \tau_n \lt \infty\} \) definimos\( Y_n = X_{\tau_n} \) si\( n \in \N \) con\( n \le M \) y\( Y_n = Y_M \) si\( n \in \N \) con\( n \gt M \). La secuencia\( \bs{Y} = (Y_0, Y_1, \ldots) \) es una cadena de Markov en tiempo discreto\( S \) con matriz de transición de un solo paso\( Q \) dada por\(Q(x, y) = \P(X_\tau = y \mid X_0 = x)\) si\( x, \, y \in S \) con\( x \) estable, y\( Q(x, x) = 1\) si\( x \in S \) es absorbente. Suponiendo que eso\( \bs{X} \) es regular, lo que significa que al\( \tau_n \to \infty \) igual que\( n \to \infty \) con la probabilidad 1 (descartando el evento de explosión de infinitamente muchas transiciones en tiempo finito), la estructura de\( \bs{X} \) está completamente determinada por la secuencia de tiempos de parada \( \bs{\tau} = (\tau_0, \tau_1, \ldots) \)y la cadena de salto de tiempo discreto incrustada\( \bs{Y} = (Y_0, Y_1, \ldots) \). Analíticamente, la distribución\( \bs{X} \) está determinada por la función de parámetro exponencial\( \lambda \) y la matriz de transición de un solo paso\( Q \) de la cadena de salto.

En nuestro segundo punto de vista, estudiamos\( \bs{X} \) en términos de la colección de matrices de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \), donde para\( t \in [0, \infty) \),\[ P_t(x, y) = \P(X_t = y \mid X_0 = x), \quad (x, y) \in S^2 \] El Markov y las propiedades homogéneas en el tiempo implican las ecuaciones de Chapman-Kolmogorov\( P_s P_t = P_{s+t} \) para\( s, \, t \in [0, \infty) \), por lo que\( \bs{P} \) es una semigrupo de matrices de transición. El semigrupo\( \bs{P} \), junto con la distribución inicial de\( X_0 \), determina completamente la distribución de\( \bs{X} \). Para una cadena regular de Markov\( \bs{X} \), la ecuación integral fundamental que conecta los dos puntos de vista es la\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2 \] que se obtiene condicionando sobre\( \tau \) y\( X_\tau \). Luego se deduce que la función de matriz\( t \mapsto P_t \) es diferenciable, con la derivada satisfaciendo la ecuación hacia atrás de Kolmogorov\( P_t^\prime = G P_t \) donde la matriz\( G \) generadora viene dada por\[ G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y), \quad (x, y) \in S^2 \] Si la función de parámetro exponencial\( \lambda \) está delimitada, entonces el semigrupo de transición\( \bs{P} \) es uniforme, lo que lleva a resultados más fuertes. El generador\( G \) es un operador acotado encendido\( \mathscr{B} \), la ecuación hacia atrás se mantiene así como una ecuación complementaria hacia adelante\( P_t^\prime = P_t G \), como operadores\( \mathscr{B} \) encendidos (así con respecto a la norma suprema en lugar de solo puntual). Finalmente, podemos representar la matriz de transición como exponencial:\( P_t = e^{t G} \) for\( t \in [0, \infty) \).

En esta sección, se estudia la cadena de Markov\( \bs{X} \) en términos de una familia de matrices conocidas como matrices potenciales. Este es el menos intuitivo de los tres puntos de vista, pero analíticamente uno de los mejores enfoques. Esencialmente, las matrices potenciales son transformadas de las matrices de transición.

Teoría Básica

Asumimos nuevamente que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena regular de Markov\( S \) con semigrupo de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Nuestra primera discusión es muy paralela a la teoría general, a excepción de las simplificaciones causadas por el espacio de estado discreto.

Definiciones y Propiedades

Para\( \alpha \in [0, \infty) \), la matriz\( \alpha \) -potencial\( U_\alpha \) de\( \bs{X} \) se define de la siguiente manera:\[ U_\alpha(x, y) = \int_0^\infty e^{-\alpha t} P_t(x, y) \, dt, \quad (x, y) \in S^2 \]

1. El caso especial\( U = U_0 \) es simplemente la matriz potencial de\( \bs{X} \).
2. Porque\( (x. y) \in S^2 \),\( U(x, y) \) es la cantidad esperada de tiempo que\( \bs{X} \) pasa en\( y \), a partir de\( x \).
3. La familia de matrices\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) se conoce como el reolvent de\( \bs{X} \).

Prueba

Ya que\( t \mapsto P_t(x, y) \) es continuo, tiene\( U_\alpha(x, y) \) sentido para\( (x, y) \in S^2 \). La interpretación de\( U(x, y) \) implica un intercambio de integrales:\[ U(x, y) = \int_0^\infty P_t(x, y) \, dt = \int_0^\infty \E[\bs{1}(X_t = y) \mid X_0 = x] \, dt = \E\left( \int_0^\infty \bs{1}(X_t = y) \, dt \biggm| X_0 = x\right) \] La integral interior es la medida Lebesgue de\( \{t \in [0, \infty): X_t = y\} \).

Es muy posible que\( U(x, y) = \infty \) para algunos\( (x, y) \in S^2 \), y saber cuándo es así sea de considerable interés. Si\( f: S \to \R \) y\( \alpha \ge 0 \), luego dando la operación correcta en sus muchas formas,\ begin {align*} U_\ alpha f (x) & =\ sum_ {y\ in S} U_\ alpha (x, y) f (y) =\ int_0^\ infty e^ {-\ alpha t} P_t f (x)\, dt\ & =\ int_0^\ infty e^ {-\ alfa t}\ suma_ {y\ en S} P_t (x, y) f (y) =\ int_0^\ infty e^ {-\ alfa t}\ E [f (x_t)\ mediados X_0 = x]\, dt,\ quad x\ in S\ end {align*} asumiendo, como siempre, que las sumas e integrales tienen sentido. Este será el caso en particular si\( f \) es no negativo (aunque\( \infty \) es un valor posible), o como veremos ahora, si\( f \in \mathscr{B} \) y\( \alpha \gt 0 \).

Si\( \alpha \gt 0 \), entonces\( U_\alpha(x, S) = \frac{1}{\alpha} \) para todos\( x \in S \).

Prueba

Para\( x \in S \),\[ U_\alpha(x, S) = \int_0^\infty e^{-\alpha t} P_t(x, S) \, dt = \int_0^\infty e^{-\alpha t} dt = \frac{1}{\alpha} \]

De ello se deduce que para\( \alpha \in (0, \infty) \), el operador potencial correcto\( U_\alpha \) es un operador lineal acotado\( \mathscr{B} \) con\( \|U_\alpha\| = \frac{1}{\alpha} \). También se deduce que\( \alpha U_\alpha \) es una matriz de probabilidad. Esta matriz tiene una interpretación agradable.

Si\( \alpha \gt 0 \) entonces\( \alpha U_\alpha (x, \cdot) \) es la función de densidad de probabilidad condicional de\( X_T \) dado\( X_0 = x \), donde\( T \) es independiente de\( \bs{X} \) y tiene la distribución exponencial on\( [0, \infty) \) con parámetro\( \alpha \).

Prueba

Supongamos que\( (x, y) \in S^2 \). El tiempo aleatorio\( T \) tiene PDF\( f(t) = \alpha e^{-\alpha t} \) para\( t \in [0, \infty) \). De ahí, condicionar\( T \) a da\[ \P(X_T = y \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} \P(X_T = y \mid T = t, X_0 = x) \, dt \] Pero por la regla de sustitución y la asunción de independencia,\[ \P(X_T = y \mid T = t, X_0 = x) = \P(X_t = y \mid T = t, X_0 = x) = \P(X_t = y \mid X_0 = x) = P_t(x, y) \] Sustitución da\[ \P(X_T = y \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} P_t(x, y) \, dt = \alpha U_\alpha(x, y)\]

Así\( \alpha U_\alpha \) es una matriz de probabilidad de transición, así como lo\( P_t \) es una matriz de probabilidad de transición, pero correspondiente al tiempo aleatorio\( T \) (con\( \alpha \in (0, \infty) \) como parámetro), en lugar del tiempo determinista\( t \in [0, \infty) \). La matriz potencial también se puede interpretar en términos económicos. Supongamos que recibimos dinero a una tasa de una unidad por unidad de tiempo siempre que el proceso\( \bs{X} \) se encuentre en un estado determinado\( y \in S \). Entonces\( U(x, y) \) es la cantidad total esperada de dinero que recibimos, comenzando en estado\( x \in S \). Pero el dinero que recibimos más tarde es de menor valor para nosotros ahora que el dinero que recibiremos antes. Específicamente, supongamos que una unidad monetaria a la vez\( t \in [0, \infty) \) tiene un valor presente de\( e^{-\alpha t} \) dónde\( \alpha \in (0, \infty) \) está el factor de inflación o factor de descuento. Entonces\( U_\alpha(x, y) \) es el monto total, esperado, descontado que recibimos, a partir de\( x \in S \). Un poco más en general, supongamos que\( f \in \mathscr{B} \) y esa\( f(y) \) es la recompensa (o costo, dependiendo del signo) por unidad de tiempo que recibimos cuando el proceso está en estado\( y \in S \). Entonces\( U_\alpha f(x) \) es la recompensa esperada, total, descontada, comenzando en estado\( x \in S \).

\( \alpha U_\alpha \to I \)como\( \alpha \to \infty \).

Prueba

Obsérvese primero que con un cambio de variables\( s = \alpha t \),\[ \alpha U_\alpha = \int_0^\infty \alpha e^{-\alpha t} P_t \, dt = \int_0^\infty e^{-s} P_{s/\alpha} \, ds \] Pero para\( s \in [0, \infty) \),\( s / \alpha \to 0 \) y por lo tanto\( P_{s/\alpha} \to I \) como\( \alpha \to \infty \). El resultado se desprende entonces del teorema de convergencia dominada.

Si\( f: S \to [0, \infty) \), luego dando la operación potencial izquierda en sus diversas formas,\ begin {align*} f U_\ alpha (y) & =\ sum_ {x\ in S} f (x) U_\ alpha (x, y) =\ int_0^\ infty e^ {-\ alpha t} f P_t (y)\, dt\\ & =\ int_0^\ infty e^ {-\ alfa t}\ izquierda [\ suma_ {x\ en S} f (x) P_t (x, y)\ derecha] dt =\ int_0^\ infty e^ {-\ alfa t}\ left [\ sum_ {x\ in S} f (x)\ P (x_t = y)\ right] dt,\ quad y\ in S\ end {align*} En particular, supongamos que\( \alpha \gt 0 \) y esa\( f \) es la función de densidad de probabilidad de\( X_0 \). Entonces\( f P_t \) es la función de densidad de probabilidad de\( X_t \) for\( t \in [0, \infty) \), y por lo tanto del último resultado,\( \alpha f U_\alpha \) es la función de densidad de probabilidad de\( X_T \), donde de nuevo,\( T \) es independiente de\( \bs{X} \) y tiene la distribución exponencial on\( [0, \infty) \) con parámetro \( \alpha \). La familia de núcleos potenciales da la misma información que la familia de núcleos de transición.

El resolvent determina\(\bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) completamente la familia de núcleos de transición\( \bs{P} = \{P_t: t \in (0, \infty)\} \).

Prueba

Tenga en cuenta que para\( (x, y) \in S^2 \), la función\( \alpha \mapsto U_\alpha(x, y) \) on\( (0, \infty) \) es la transformada de Laplace de la función\( t \mapsto P_t(x, y) \) on\( [0, \infty) \). La transformación de Laplace de una función continua determina la función de manera única.

Aunque no son tan intuitivas desde el punto de vista de probabilidad, las matrices potenciales son de alguna manera más agradables que las matrices de transición debido a la suavidad adicional. En particular, el resolvent\( \{U_\alpha: \alpha \in [0, \infty)\} \), junto con la distribución inicial, determinan completamente las distribuciones dimensionales finitas de la cadena de Markov\( \bs{X} \). Las matrices potenciales se trasladan con las matrices de transición y entre sí.

Supongamos que\( \alpha, \, \beta, \, t \in [0, \infty) \). Entonces

1. \( P_t U_\alpha = U_\alpha P_t = \int_0^\infty e^{-\alpha s} P_{s+t} ds\)
2. \( U_\alpha U_\beta = U_\beta U_\alpha = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} ds \, dt \)

Prueba

Los intercambios de multiplicación matricial e integrales a continuación son intercambios de sumas e integrales, y se justifican ya que los integrandos subyacentes no son negativos. La otra herramienta utilizada es la propiedad semigrupo de\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Es posible que desee escribir las pruebas explícitamente para convencerse

1. Primero,\[ U_\alpha P_t = \left(\int_0^\infty e^{-\alpha s} P_s \, ds\right) P_t = \int_0^\infty e^{-\alpha s} P_s P_t \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} \, ds \] Similarmente\[ P_t U_\alpha = P_t \int_0^\infty e^{-\alpha s} P_s \, ds = \int_0^\infty e^{-\alpha s} P_t P_s \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} \, ds\]
2. Primero\[U_\alpha U_\beta = \left(\int_0^\infty e^{-\alpha s} P_s \, ds \right) \left(\int_0^\infty e^{-\beta t} P_t \, dt \right) = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_s P_t \, ds \, dt = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} \, ds \, dt\] La otra dirección es similar.

Las ecuaciones anteriores son ecuaciones matriciales, y así se mantienen puntualmente. Las mismas identidades se mantienen para los operadores correctos en el espacio\( \mathscr{B} \) bajo la restricción adicional que\( \alpha \gt 0 \) y\( \beta \gt 0 \). La ecuación fundamental que relaciona los núcleos potenciales, conocida como la ecuación resolvent, se da en el siguiente teorema:

Si\( \alpha, \, \beta \in [0, \infty) \) con\( \alpha \le \beta \) entonces\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \).

Prueba

Si\( \alpha = \beta \) la ecuación es trivial, asumamos\( \alpha \lt \beta \). Del resultado anterior,\[ U_\alpha U_\beta = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s + t} \, dt \, ds \] La transformación\( u = s + t, \, v = s \) mapea\( [0, \infty)^2 \) uno a uno en\( \{(u, v) \in [0, \infty)^2: u \ge v\} \). La transformación inversa es\( s = v, \, t = u - v \) con jacobiano\( -1 \). De ahí tenemos\ begin {align*} U_\ alpha U_\ beta & =\ int_0^\ infty\ int_0^u e^ {-\ alpha v} e^ {-\ beta (u - v)} P_u\, dv\, du =\ int_0^\ infty\ left (\ int_0^u e^ {(\ beta -\ alpha) v} dv\ derecha) e^ {-\ beta u} P_u\, du\\ & =\ frac {1} {\ beta -\ alfa}\ int_0^\ infty\ izquierda [e^ {(\ beta -\ alfa) u} - 1\ derecha] e^ {-\ beta u} P_u du\\ & =\ frac {1} {\ beta -\ alfa}\ izquierda (\ int_0^\ infty e^ {-\ alpha u} P_u\, du -\ int_0^\ infty e^ {-\ beta u} P_u\, du\ derecha) =\ frac {1} {\ beta -\ alfa}\ izquierda (U_\ alfa - U_\ beta\ right)\ end {align*} Simplificando da el resultado. Tenga en cuenta que\( U_\beta \) es finito desde entonces\( \beta \gt 0 \), por lo que no tenemos que preocuparnos por la temida forma indeterminada\( \infty - \infty \).

La ecuación anterior es una ecuación matricial, y así se mantiene puntual. La misma identidad se mantiene para los operadores potenciales adecuados en el espacio\( \mathscr{B} \), bajo la restricción adicional que\( \alpha \gt 0 \).

Conexiones con el Generador

Una vez más, supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena regular de Markov\( S \) con semigrupo de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \), generador infinitesimal\( G \), resolvent\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \)\( \lambda \), función de parámetro exponencial y matriz de transición de un solo paso\( Q \) para la cadena de salto. Hay conexiones fundamentales entre el potencial\( U_\alpha \) y la matriz generadora\( G \), y por lo tanto entre\( U_\alpha \) y la función\( \lambda \) y la matriz\( Q \).

Si\( \alpha \in (0, \infty) \) entonces\( I + G U_\alpha = \alpha U_\alpha \). En términos de\( \lambda \) y\( Q \),\[ U_\alpha(x, y) = \frac{1}{\alpha + \lambda(x)} I(x, y) + \frac{\lambda(x)}{\alpha + \lambda(x)} Q U_\alpha(x, y), \quad (x, y) \in S^2 \]

Prueba 1

Primero,\[ G U_\alpha = G \int_0^\infty e^{-\alpha t} P_t \, dt = \int_0^\infty e^{-\alpha t} G P_t \, dt = \int_0^\infty e^{-\alpha t} P_t^\prime \, dt \]\( G \) Pasar por el integrando se justifica ya que\( G P_t(x, y) \) es una suma con sólo un término negativo para\( (x, y) \in S^2 \). La segunda identidad en la ecuación mostrada se desprende de la ecuación hacia atrás. Integrando por partes luego da\[ G U_\alpha = e^{-\alpha t} P_t \biggm|_0^\infty + \int_0^\infty \alpha e^{-\alpha t} P_t \, dt = -I + \alpha U_\alpha \]

Prueba 2

Esta prueba utiliza la ecuación integral fundamental que relaciona\( \bs{P} \)\( \lambda \),, así\( Q \) como la definición\( U_\alpha \) e intercambios de integrales. El intercambio se justifica ya que el integrando no es negativo. Entonces para\( \alpha \in [0, \infty) \) y\( (x, y) \in S^2 \),\ comenzar {alinear*} U_\ alpha (x, y) & =\ int_0^\ infty e^ {-\ alpha t} P_t (x, y)\, dt\\ & =\ int_0^\ infty e^ {-\ alpha t}\ left [e^ {-\ lambda (x) t} I (x, y) +\ lambda (x) e^ {-\ lambda (x) t}\ int_0^t e^ {\ lambda (x) r} Q P_r (x, y)\, dr\ derecha] dt\\ & = I (x, y)\ int_0^\ infty e^ {- [\ alfa +\ lambda (x)] t} dt +\ lambda (x)\ int_0^\ infty\ int_0^t e^ {- [\ alpha +\ lambda (x)] t} e^ {\ lambda (x) r} Q P_r (x, y)\, dr\, dt\ & =\ frac {1} {\ alfa +\ lambda (x)} I (x, y) +\ lambda (x)\ int_0^\ infty\ int_r^\ infty e^ {- [\ alfa +\ lambda (x)] t} e^ {\ lambda (x) r} Q P_r (x, y)\, dt\, dr\ & =\ frac {1} {\ alfa +\ lambda (x)} I (x, y) +\ frac {\ lambda (x)} {\ alfa +\ lambda (x)}\ int_0^\ infty e^ {- [\ alfa +\ lambda (x)] r} e^ {\ lambda (x) r} QP_r (x, y)\, dr\\ & =\ frac {1} {alfa\ +\ lambda (x)} I (x, y) +\ frac {\ lambda (x)} {\ alfa +\ lambda (x)}\ int_0^\ infty e^ {-\ alpha r} Q P_r (x, y)\, dr =\ frac {1} {\ alfa +\ lambda (x)} I (x, y) +\ frac {\ lambda (x)} {\ alfa +\ lambda (x)} Q U_\ alfa (x, y)\ final {alinear*}

Prueba 3

Recordemos que\( \alpha U_\alpha(x, y) = \P(X_T = y \mid X_0 = x) \) donde\( T \) es independiente\( \bs{X} \) y tiene la distribución exponencial con parámetro\( \alpha \). Esta prueba funciona condicionando sobre si\( T \lt \tau_1 \) o\( T \ge \tau_1 \):\[\alpha U_\alpha(x, y) = \P(X_T = y \mid X_0 = x, T \lt \tau_1) \P(T \lt \tau_1 \mid X_0 = x) + \P(X_T = y \mid X_0 = x, T \ge \tau_1) \P(T \ge \tau_1 \mid X_0 = x)\] Pero\( X_0 = x \) e\( T \lt \tau_1 \) implicarlo\( X_T = x \) así\( \P(X_T = y \mid X_0 = x, T \lt \tau_1) = I(x, y) \). Y por una propiedad básica de variables exponenciales independientes que hemos visto muchas veces antes,\[ \P(T \lt \tau_1 \mid X_0 = x) = \frac{\alpha}{\alpha + \lambda(x)} \] Siguiente, para el primer factor en el segundo término de la ecuación mostrada, condicionamos en\( X_{\tau_1} \):\[ \P(X_T = y \mid X_0 = x, T \ge \tau_1) = \sum_{z \in S} \P(X_T = y \mid X_0 = x, X_{\tau_1} = z, T \ge \tau_1) \P(X_{\tau_1} = z \mid X_0 = x, T \ge \tau_1) \] Pero por la fuerte propiedad de Markov, dada\( X_{\tau_1} = z \), podemos reiniciar el reloj a la vez \( \tau_1 \)en estado\( z \). Además, por la propiedad sin memoria y la independencia, la distribución de\( T - \tau_1 \) dado\( T \ge \tau_1 \) es la misma que la distribución de\( T \), principalmente exponencial con parámetro\( \alpha \). De ello se deduce que\[ \P(X_T = y \mid X_0 = x, X_{\tau_1} = z, T \ge \tau_1) = \P(X_T = y \mid X_0 = z) = \alpha U_\alpha(z, y) \] también,\( X_{\tau_1} \) es independiente de\( \tau_1 \) y\( T \) así\[\P(X_{\tau_1} = z \mid X_0 = x, T \ge \tau_1) = Q(x, z)\] finalmente utilizando la propiedad básica de las distribuciones exponenciales de nuevo,\[ \P(T \ge \tau_1 \mid X_0 = x) = \frac{\lambda(x)}{\alpha + \lambda(x)} \] poniendo todas las piezas juntas tenemos\[ \alpha U_\alpha(x, y) = \frac{\alpha}{\alpha + \lambda(x)} I(x, y) = \frac{\lambda(x)}{\alpha + \lambda(x)} \sum_{z \in S} Q(x, z) \alpha U_\alpha(z, y) = \frac{\alpha}{\alpha + \lambda(x)} I(x, y) + \frac{\lambda(x)}{\alpha + \lambda(x)} Q \alpha U_\alpha (x, y) \]

Como antes, podemos obtener resultados más fuertes si asumimos que\( \lambda \) está acotado, o equivalentemente, el semigrupo de transición\( \bs{P} \) es uniforme.

Supongamos que\( \lambda \) está acotado y\( \alpha \in (0, \infty) \). Luego como operadores en\( \mathscr{B} \) (y por lo tanto también como matrices),

1. \( I + G U_\alpha = \alpha U_\alpha \)
2. \( I + U_\alpha G = \alpha U_\alpha \)

Prueba

Ya que\( \lambda \) está acotado,\( G \) es un operador acotado en\( \mathscr{B} \). La prueba de (a) procede entonces como antes. Para (b) sabemos por las ecuaciones hacia adelante y hacia atrás que\( G P_t = P_t G \) para\( t \in [0, \infty) \) y por lo tanto\( G U_\alpha = U_\alpha G \) para\( \alpha \in (0, \infty) \).

Como matrices, la ecuación en (a) se mantiene con más generalidad que la ecuación en (b), tanto como la ecuación hacia atrás de Kolmogorov se sostiene con más generalidad que la ecuación hacia adelante. Tenga en cuenta que\[ U_\alpha G(x, y) = \sum_{z \in S} U_\alpha(x, z) G(z, y) = -\lambda(y) U_\alpha(x, y) + \sum_{z \in S} U_\alpha(x, z) \lambda(z) Q(z, y), \quad (x, y) \in S^2 \] Si\( \lambda \) es ilimitado, no está claro que la segunda suma sea finita.

Supongamos que\( \lambda \) está acotado y\( \alpha \in (0, \infty) \). Luego como operadores en\( \mathscr{B} \) (y por lo tanto también como matrices),

1. \( U_\alpha = (\alpha I - G)^{-1}\)
2. \( G = \alpha I - U_\alpha^{-1}\)

Prueba

1. Esto se deduce inmediatamente del resultado anterior, ya que\( U_\alpha (\alpha I - G) = I \) y\( (\alpha I - G) U_\alpha = I \)
2. Esto se desprende de (a):\(\alpha I - G = U_\alpha^{-1} \)\( G = \alpha I - U_\alpha^{-1} \)

Por lo que el operador potencial\( U_\alpha \) y el generador\( G \) tienen una relación inversa sencilla y elegante. Por supuesto, estos resultados se mantienen en particular si\( S \) es finito, de modo que todas las diversas matrices realmente son matrices en el sentido elemental.

Ejemplos y ejercicios

La cadena de dos estados

\( \bs{X} = \{X_t: t \in [0, \infty)\} \)Sea la cadena Markov en el conjunto de estados\( S = \{0, 1\} \), con tasa de transición\( a \in [0, \infty) \) de 0 a 1 y tasa\( b \in [0, \infty) \) de transición de 1 a 0. Para evitar el caso trivial con ambos estados absorbiendo, vamos a suponer que\( a + b \gt 0 \). Los dos primeros resultados a continuación son una revisión de las dos secciones anteriores.

La matriz del generador\( G \) es\[ G = \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

La matriz de transición en el momento\( t \in [0, \infty) \) es\[ P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right], \quad t \in [0, \infty) \]

Ahora podemos encontrar la matriz potencial de dos maneras.

Para\( \alpha \in (0, \infty) \), mostrar que la matriz potencial\( U_\alpha \) es\[ U_\alpha = \frac{1}{\alpha (a + b)} \left[\begin{matrix} b & a \\ b & a \end{matrix}\right] - \frac{1}{(\alpha + a + b)(a + b)} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

1. De la definición.
2. De la relación\( U_\alpha = (\alpha I - G)^{-1} \).

Ejercicios Computacionales

Considere la cadena de Markov\( S = \{0, 1, 2\} \) con\( \bs{X} = \{X_t: t \in [0, \infty)\} \) función de parámetro exponencial\( \lambda = (4, 1, 3) \) y matriz de transición de salto\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Dibuja la gráfica estatal y clasifica los estados.
2. Encuentra la matriz generadora\( G \).
3. Encuentre la matriz potencial\( U_\alpha \) para\( \alpha \in (0, \infty) \).

Responder

1. El conjunto de bordes es\( E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\} \). Todos los estados son estables.
2. La matriz del generador es\[ G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right] \]
3. Para\( \alpha \in (0, \infty) \),\[ U_\alpha = (\alpha I - G)^{-1} = \frac{1}{15 \alpha + 8 \alpha^2 + \alpha^3} \left[\begin{matrix} 3 + 4 \alpha + \alpha^2 & 10 + 2 \alpha & 2 + 2 \alpha \\ 3 + \alpha & 10 + 7 \alpha + \alpha^2 & 2 \\ 3 + \alpha & 10 + 2 \alpha & 2 + 5 \alpha + \alpha^2\end{matrix}\right] \]

Modelos Especiales

Lea la discusión de matrices potenciales para cadenas subordinadas al proceso de Poisson.