Saltar al contenido principal

# 16.16: Matrices de Transición y Generadores de Cadenas de Tiempo Continuas

$$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$$

$$\newcommand{\id}{\mathrm{id}}$$ $$\newcommand{\Span}{\mathrm{span}}$$

( \newcommand{\kernel}{\mathrm{null}\,}\) $$\newcommand{\range}{\mathrm{range}\,}$$

$$\newcommand{\RealPart}{\mathrm{Re}}$$ $$\newcommand{\ImaginaryPart}{\mathrm{Im}}$$

$$\newcommand{\Argument}{\mathrm{Arg}}$$ $$\newcommand{\norm}[1]{\| #1 \|}$$

$$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$$

$$\newcommand{\Span}{\mathrm{span}}$$

$$\newcommand{\id}{\mathrm{id}}$$

$$\newcommand{\Span}{\mathrm{span}}$$

$$\newcommand{\kernel}{\mathrm{null}\,}$$

$$\newcommand{\range}{\mathrm{range}\,}$$

$$\newcommand{\RealPart}{\mathrm{Re}}$$

$$\newcommand{\ImaginaryPart}{\mathrm{Im}}$$

$$\newcommand{\Argument}{\mathrm{Arg}}$$

$$\newcommand{\norm}[1]{\| #1 \|}$$

$$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$$

$$\newcommand{\Span}{\mathrm{span}}$$ $$\newcommand{\AA}{\unicode[.8,0]{x212B}}$$

$$\newcommand{\vectorA}[1]{\vec{#1}} % arrow$$

$$\newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow$$

$$\newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vectorC}[1]{\textbf{#1}}$$

$$\newcommand{\vectorD}[1]{\overrightarrow{#1}}$$

$$\newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}}$$

$$\newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}}$$

$$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$$

$$\newcommand{\avec}{\mathbf a}$$ $$\newcommand{\bvec}{\mathbf b}$$ $$\newcommand{\cvec}{\mathbf c}$$ $$\newcommand{\dvec}{\mathbf d}$$ $$\newcommand{\dtil}{\widetilde{\mathbf d}}$$ $$\newcommand{\evec}{\mathbf e}$$ $$\newcommand{\fvec}{\mathbf f}$$ $$\newcommand{\nvec}{\mathbf n}$$ $$\newcommand{\pvec}{\mathbf p}$$ $$\newcommand{\qvec}{\mathbf q}$$ $$\newcommand{\svec}{\mathbf s}$$ $$\newcommand{\tvec}{\mathbf t}$$ $$\newcommand{\uvec}{\mathbf u}$$ $$\newcommand{\vvec}{\mathbf v}$$ $$\newcommand{\wvec}{\mathbf w}$$ $$\newcommand{\xvec}{\mathbf x}$$ $$\newcommand{\yvec}{\mathbf y}$$ $$\newcommand{\zvec}{\mathbf z}$$ $$\newcommand{\rvec}{\mathbf r}$$ $$\newcommand{\mvec}{\mathbf m}$$ $$\newcommand{\zerovec}{\mathbf 0}$$ $$\newcommand{\onevec}{\mathbf 1}$$ $$\newcommand{\real}{\mathbb R}$$ $$\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}$$ $$\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}$$ $$\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}$$ $$\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}$$ $$\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$$ $$\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$$ $$\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$$ $$\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$$ $$\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}$$ $$\newcommand{\laspan}[1]{\text{Span}\{#1\}}$$ $$\newcommand{\bcal}{\cal B}$$ $$\newcommand{\ccal}{\cal C}$$ $$\newcommand{\scal}{\cal S}$$ $$\newcommand{\wcal}{\cal W}$$ $$\newcommand{\ecal}{\cal E}$$ $$\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}$$ $$\newcommand{\gray}[1]{\color{gray}{#1}}$$ $$\newcommand{\lgray}[1]{\color{lightgray}{#1}}$$ $$\newcommand{\rank}{\operatorname{rank}}$$ $$\newcommand{\row}{\text{Row}}$$ $$\newcommand{\col}{\text{Col}}$$ $$\renewcommand{\row}{\text{Row}}$$ $$\newcommand{\nul}{\text{Nul}}$$ $$\newcommand{\var}{\text{Var}}$$ $$\newcommand{\corr}{\text{corr}}$$ $$\newcommand{\len}[1]{\left|#1\right|}$$ $$\newcommand{\bbar}{\overline{\bvec}}$$ $$\newcommand{\bhat}{\widehat{\bvec}}$$ $$\newcommand{\bperp}{\bvec^\perp}$$ $$\newcommand{\xhat}{\widehat{\xvec}}$$ $$\newcommand{\vhat}{\widehat{\vvec}}$$ $$\newcommand{\uhat}{\widehat{\uvec}}$$ $$\newcommand{\what}{\widehat{\wvec}}$$ $$\newcommand{\Sighat}{\widehat{\Sigma}}$$ $$\newcommand{\lt}{<}$$ $$\newcommand{\gt}{>}$$ $$\newcommand{\amp}{&}$$ $$\definecolor{fillinmathshade}{gray}{0.9}$$
$$\newcommand{\P}{\mathbb{P}}$$$$\newcommand{\E}{\mathbb{E}}$$$$\newcommand{\R}{\mathbb{R}}$$$$\newcommand{\N}{\mathbb{N}}$$$$\newcommand{\Z}{\mathbb{Z}}$$$$\newcommand{\bs}{\boldsymbol}$$$$\newcommand{\var}{\text{var}}$$

## 16. Matrices de Transición y Generadores de Cadenas de Tiempo Continuas

### Preliminares

Esta es la segunda de las tres secciones introductorias sobre las cadenas de Markov en el tiempo continuo. Así, supongamos que$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ es una cadena de Markov de tiempo continuo definida en un espacio de probabilidad subyacente$$(\Omega, \mathscr{F}, \P)$$ y con espacio de estado$$(S, \mathscr{S})$$. Por el significado mismo de la cadena de Markov, el conjunto de estados$$S$$ es contable y el$$\sigma$$ -álgebra$$\mathscr{S}$$ es la colección de todos los subconjuntos de$$S$$. Así que cada subconjunto de$$S$$ es medible,$$S$$ al igual que cada función desde otro espacio medible. Recordemos que también$$\mathscr{S}$$ es el$$\sigma$$ álgebra de Borel correspondiente a la topología discreta en$$S$$. Con esta topología, cada función de$$S$$ a otro espacio topológico es continua. La medida de conteo$$\#$$ es la medida natural sobre$$(S, \mathscr{S})$$, por lo que en el contexto de la introducción general, las integrales sobre$$S$$ son simplemente sumas. Además, los kernels on se$$S$$ pueden considerar como matrices, con filas y sumas indexadas por$$S$$. Las operaciones del kernel izquierdo y derecho son generalizaciones de multiplicación matricial.

Un espacio de funciones sobre$$S$$ juega un papel importante. Dejar$$\mathscr{B}$$ denotar la colección de funciones acotadas$$f: S \to \R$$. Con las definiciones puntuales habituales de suma y multiplicación escalar,$$\mathscr{B}$$ es un espacio vectorial. La norma suprema en$$\mathscr{B}$$ es dada por Por$\|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B}$ supuesto, si$$S$$ es finito,$$\mathscr{B}$$ es el conjunto de todas las funciones de valor real en$$S$$, y$$\|f\| = \max\{\left|f(x)\right|: x \in S\}$$ para$$f \in \mathscr{B}$$.

En la última sección, estudiamos$$\bs{X}$$ en términos de cuándo y cómo cambia el estado. Para revisar brevemente, vamos$$\tau = \inf\{t \in (0, \infty): X_t \ne X_0\}$$. Suponiendo que eso$$\bs{X}$$ es correcto continuo, la propiedad Markov de$$\bs{X}$$ implica la propiedad sin memoria de$$\tau$$, y por lo tanto la distribución de$$\tau$$ dado$$X_0 = x$$ es exponencial con parámetro$$\lambda(x) \in [0, \infty)$$ para cada uno$$x \in S$$. El supuesto de continuidad correcta descarta la posibilidad patológica de eso$$\lambda(x) = \infty$$, lo que significaría que$$x$$ es un estado instantáneo por lo que eso$$\P(\tau = 0 \mid X_0 = x) = 1$$. Por otro lado, si$$\lambda(x) \in (0, \infty)$$ entonces$$x$$ es un estado estable, así que eso$$\tau$$ tiene una distribución exponencial adecuada dada$$X_0 = x$$ con$$\P(0 \lt \tau \lt \infty \mid X_0 = x) = 1$$. Por último, si$$\lambda(x) = 0$$ entonces$$x$$ es un estado absorbente, así que eso$$\P(\tau = \infty \mid X_0 = x) = 1$$. A continuación definimos una secuencia de tiempos de parada: Primero$$\tau_0 = 0$$ y$$\tau_1 = \tau$$. Recursivamente, si$$\tau_n \lt \infty$$ entonces$$\tau_n = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\}$$, mientras que si$$\tau_n = \infty$$ entonces$$\tau_{n+1} = \infty$$. Con$$M = \sup\{n \in \N: \tau_n \lt \infty\}$$ definimos$$Y_n = X_{\tau_n}$$ si$$n \in \N$$ con$$n \le M$$ y$$Y_n = Y_M$$ si$$n \in \N$$ con$$n \gt M$$. La secuencia$$\bs{Y} = (Y_0, Y_1, \ldots)$$ es una cadena de Markov en tiempo discreto$$S$$ con matriz de transición de un solo paso$$Q$$ dada por$$Q(x, y) = \P(X_\tau = y \mid X_0 = x)$$ si$$x, \, y \in S$$ con$$x$$ estable, y$$Q(x, x) = 1$$ si$$x \in S$$ es absorbente. Suponiendo que eso$$\bs{X}$$ es regular, lo que significa que al$$\tau_n \to \infty$$ igual que$$n \to \infty$$ con la probabilidad 1 (descartando el evento de explosión de infinitamente muchas transiciones en tiempo finito), la estructura de$$\bs{X}$$ está completamente determinada por la secuencia de tiempos de parada $$\bs{\tau} = (\tau_0, \tau_1, \ldots)$$y la cadena de salto de tiempo discreto$$\bs{Y} = (Y_0, Y_1, \ldots)$$. Analíticamente, la distribución$$\bs{X}$$ está determinada por la función de parámetro exponencial$$\lambda$$ y la matriz de transición de un solo paso$$Q$$ de la cadena de salto.

En esta sección, estudiamos la cadena de Markov$$\bs{X}$$ en términos de las matrices de transición en tiempo continuo y una matriz fundamentalmente importante conocida como el generador. Naturalmente, las conexiones entre los dos puntos de vista son particularmente interesantes.

### El Semigrupo de Transición

La primera parte de nuestra discusión es muy similar al tratamiento de un proceso general de Markov, a excepción de las simplificaciones provocadas por el espacio estatal discreto. Suponemos que$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ es una cadena de Markov encendida$$S$$.

La matriz$$P_t$$ de probabilidad de transición de$$\bs{X}$$ correspondiente a$$t \in [0, \infty)$$ es$P_t(x, y) = \P(X_t = y \mid X_0 = x), \quad (x, y) \in S^2$ En particular,$$P_0 = I$$, la matriz de identidad en$$S$$

Prueba

El mapeo$$y \mapsto P_t(x, y)$$ es el PDF de$$X_t$$ dado$$X_0 = x$$. De ahí$$P_t$$ que sea una matriz de probabilidad. Es decir,$$P_t(x, y) \ge 0$$ para$$(x, y) \in S^2$$ y$$\sum_{y \in S} P_t(x, y) = 1$$ para$$x \in S$$. Trivialmente,$$P_0 = I$$ por definición.

Obsérvese que ya que estamos asumiendo que la cadena de Markov es homogénea,$P_t(x, y) = \P(X_{s + t} = y \mid X_s = x), \quad (x, y) \in S^2$ para cada uno$$s, \, t \in [0, \infty)$$. La ecuación de Chapman-Kolmogorov dada a continuación es esencialmente otra reexpresión de la propiedad de Markov. La ecuación lleva el nombre de Andrei Kolmogorov y Sydney Chapman,

Supongamos que$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ es la colección de matrices de transición para la cadena$$\bs{X}$$. Entonces$$P_s P_t = P_{s+t}$$ para$$s, \, t \in [0, \infty)$$. De manera explícita,$P_{s+t}(x, z) = \sum_{y \in S} P_s(x, y) P_t(y, z), \quad x, \, z \in S$

Prueba

Acondicionamos$$X_s$$. $P_{s+t}(x, z) = \P(X_{s + t} = z \mid X_0 = x) = \sum_{y \in S} \P(X_{s+t} = z \mid X_s = y, X_0 = x) \P(X_s = y \mid X_0 = x)$Pero por el Markov y el tiempo propiedades homogéneas, Por$\P(X_{s+t} = z \mid X_s = y, X_0 = x) = \P(X_{s+t} = z \mid X_s = y) = P_t(y, z)$ supuesto por definición,$$\P(X_s = y \mid X_0 = x) = P_s(x, y)$$. Así que la primera ecuación mostrada arriba se convierte en$P_{s+t}(x, y) = \sum_{y \in S} P_s(x, y) P_t(y, z) = P_s P_t(x, z)$

Reafirmada en otra forma de jerga, la colección$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ es un semigrupo de matrices de probabilidad. El semigrupo de matrices de transición$$\bs{P}$$, junto con la distribución inicial, determinan las distribuciones finito-dimensionales de$$\bs{X}$$.

Supongamos que$$X_0$$ tiene función de densidad de probabilidad$$f$$. Si$$(t_1, t_2, \ldots, t_n) \in [0, \infty)^n$$ es una secuencia de tiempo con$$0 \lt t_1 \lt \cdots \lt t_n$$ y$$(x_0, x_1, \ldots, x_n) \in S^{n+1}$$ es una secuencia de estado, entonces$\P\left(X_0 = x_0, X_{t_1} = x_1, \ldots X_{t_n} = x_n\right) = f(x_0) P_{t_1}(x_0, x_1) P_{t_2 - t_1}(x_1, x_2) \cdots P_{t_n - t_{n-1}}(x_{n-1}, x_n)$

Prueba

Para simplificar la notación, nos limitaremos a dar los casos$$n = 1$$ y$$n = 2$$, que captan la esencia de la prueba. Primero supongamos$$x, \, y \in S$$ y$$t \in [0, \infty)$$. Entonces$\P(X_0 = x, X_t = y) = \P(X_0 = x) \P(X_t = y \mid X_0 = x) = f(x) P_t(x, y)$ Siguiente supongamos que$$x, \, y, \, z \in S$$ y$$s, \, t \in [0, \infty)$$ con$$s \lt t$$. Entonces$\P(X_0 = x, X_s = y, X_t = z) = \P(X_t = z \mid X_0 = x, X_s = y) \P(X_0 = x, X_s = y)$ Pero por el Markov y el tiempo propiedades homogéneas,$$\P(X_t = z \mid X_0 = x, X_s = y) = P_{t - s}(y, z)$$. Por el$$n = 1$$ caso,$$\P(X_0 = x, X_s = y) = f(x) P_s(x, y)$$. De ahí$\P(X_0 = x, X_s = y, X_t = z) = f(x) P_s(x, y) P_{t-s}(y, z)$

Al igual que con cualquier matriz encendida$$S$$, las matrices de transición definen operaciones izquierda y derecha en funciones que son generalizaciones de multiplicación matricial. Para una matriz de transición, ambas tienen interpretaciones naturales.

Supongamos que$$f: S \to \R$$, y que o bien$$f$$ es no negativo o$$f \in \mathscr{B}$$. Entonces para$$t \in [0, \infty)$$,$P_t f(x) = \sum_{y \in S} P_t(x, y) f(y) = \E[f(X_t) \mid X_0 = x], \quad x \in S$ El mapeo$$f \mapsto P_t f$$ es un operador delimitado, lineal en$$\mathscr{B}$$ y$$\|P_t\| = 1$$.

Prueba

Dado que$$P_t(x, \cdot)$$ es la función de densidad de probabilidad condicional de$$X_t$$ dado$$X_0 = x$$, de ello se deduce que$$P_t f(x) = \E[f(X_t) \mid X_0 = x]$$. La declaración sobre$$f \mapsto P_t f$$ se desprende de resultados generales sobre núcleos de probabilidad.

Si no$$f$$ es negativo y$$S$$ es infinito, entonces es posible eso$$P_t f(x) = \infty$$. En general, la operación izquierda de un núcleo positivo actúa sobre medidas positivas en el espacio estatal. En el ajuste aquí, si$$\mu$$ es una medida positiva (Borel) on$$(S, \mathscr{S})$$, entonces la función$$f: S \to [0, \infty)$$ dada por$$f(x) = \mu\{x\}$$ for$$x \in S$$ es la función de densidad de$$\mu$$ con respecto a contar la medida$$\#$$ en$$(S, \mathscr{S})$$. Esto simplemente significa que$$\mu(A) = \sum_{x \in A} f(x)$$ para$$A \subseteq S$$. Por el contrario$$f: S \to [0, \infty)$$, dado, la función set$$\mu(A) = \sum_{x \in A} f(x)$$ for$$A \subseteq S$$ define una medida positiva en$$(S, \mathscr{S})$$ con$$f$$ como su función de densidad. Entonces, para la operación izquierda de$$P_t$$, es natural considerar solo funciones no negativas.

Si$$f: S \to [0, \infty)$$ entonces$f P_t(y) = \sum_{x \in S} f(x) P_t(x, y), \quad y \in S$ Si$$X_0$$ tiene función de densidad de probabilidad$$f$$ entonces$$X_t$$ tiene función de densidad de probabilidad$$f P_t$$.

Prueba

Si$$X_0$$ tiene PDF$$f$$, entonces condicionamiento da$\P(X_t = y) = \sum_{x \in S} \P(X_t = y \mid X_0 = x) \P(X_0 = x) = \sum_{x \in S} P_t(x, y) f(x) = f P_t(x), \quad y \in S$

Más generalmente, si$$f$$ es la función de densidad de una medida positiva$$\mu$$ en$$(S, \mathscr{S})$$ entonces$$f P_t$$ es la función de densidad de la medida$$\mu P_t$$, definida por$\mu P_t(A) = \sum_{x \in S} \mu\{x\} P_t(x, A) = \sum_{x \in S} f(x) P_t(x, A), \quad A \subseteq S$

Una función$$f : S \to [0, \infty)$$ es invariante para la cadena de Markov$$\bs{X}$$ (o para el semigrupo de transición$$\bs{P}$$) si$$f P_t = f$$ por cada$$t \in [0, \infty)$$.

De ello se deduce que si$$X_0$$ tiene una función de densidad de probabilidad invariante$$f$$, entonces$$X_t$$ tiene función de densidad de probabilidad$$f$$ para cada$$t \in [0, \infty)$$, por lo que$$\bs{X}$$ se distribuye de manera idéntica. Las distribuciones invariantes y limitantes son fundamentalmente importantes para las cadenas de Markov de tiempo continuo.

#### Semigrupos Estándar

Supongamos nuevamente que$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ es una cadena de Markov$$S$$ encendida con semigrupo de transición$$\bs{P} = \{P_t: t \in [0, \infty)\}$$. Una vez más, es necesario imponer$$\bs{X}$$ supuestos de continuidad para descartar comportamientos extraños que de otro modo complicarían enormemente la teoría. En términos del semigrupo de transición$$\bs{P}$$, aquí está el supuesto básico:

El semigrupo de transición$$\bs{P}$$ es estándar si$$P_t(x, x) \to 1$$ como$$t \downarrow 0$$ para cada uno$$x \in S$$.

Dado que$$P_0(x, x) = 1$$ para$$x \in S$$, la suposición estándar es claramente una suposición de continuidad. En realidad implica propiedades de suavidad mucho más fuertes que vamos a construir por etapas.

Si el semigrupo de transición$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ es estándar, entonces la función$$t \mapsto P_t(x, y)$$ es correcta continua para cada uno$$(x, y) \in S^2$$.

Prueba

Primero tenga en cuenta que si$$(x, y) \in S^2$$ con$$x \ne y$$ entonces$$P_h(x, y) \le 1 - P_h(x, x) \to 0$$ como$$h \downarrow 0$$. De ahí$$P_h(x, y) \to I(x, y)$$ como$$h \downarrow 0$$ para todos$$(x, y) \in S^2$$. Supongamos que a continuación eso$$t \in (0, \infty)$$ y$$(x, y) \in S^2$$. Por la propiedad semigrupo,$P_{t+h}(x, y) = P_t P_h(x, y) = \sum_{z \in S} P_t(x, z) P_h(z, y)$ Pero$$P_h(z, y) \to I(z, y)$$ como$$h \downarrow 0$$ así por el teorema de convergencia acotada,$$P_{t+h}(x, y) \to P_t(x, y)$$ como$$h \downarrow 0$$.

Nuestro siguiente resultado conecta uno de los supuestos básicos en la sección sobre tiempos de transición y la cadena incrustada con el supuesto estándar aquí.

Si la cadena de Markov no$$\bs{X}$$ tiene estados instantáneos entonces el semigrupo de transición$$\bs{P}$$ es estándar.

Prueba

Dada$$X_0 = x \in S$$ nota que$$\tau \gt t$$ implica$$X_t = x$$. De ahí$P_t(x, x) = \P(X_t = x \mid X_0 = x) \ge \P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t}$ que Since no$$\bs{X}$$ tenga estados instantáneos,$$0 \le \lambda(x) \lt \infty$$ así$$e^{-\lambda(x) t} \to 1$$ como$$t \downarrow 0$$.

Recordemos que la inexistencia de estados instantáneos es esencialmente equivalente a la correcta continuidad de$$\bs{X}$$. Entonces tenemos el buen resultado de que si$$\bs{X}$$ es correcto continuo, entonces también lo es$$\bs{P}$$. Para el resto de nuestra discusión, asumimos que$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ es una cadena regular de Markov$$S$$ con semigrupo de transición$$\bs{P} = \{P_t: t \in [0, \infty)\}$$, función exponencial$$\lambda$$ y matriz de transición de un solo paso$$Q$$ para la cadena de salto. Nuestro siguiente resultado son las ecuaciones integrales fundamentales relacionadas$$\bs{P}$$,$$\lambda$$, y$$Q$$.

Para$$t \in [0, \infty)$$,$P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2$

Prueba

Si$$x$$ es un estado absorbente, entonces la ecuación se mantiene trivialmente, ya que$$\lambda(x) = 0$$ y$$P_t(x, y) = I(x, y)$$. Entonces supongamos que$$x$$ es un estado estable, y como arriba, vamos$$\tau = \inf\{t \in [0, \infty): X_t \ne X_0\}$$. Dado$$X_0 = x$$,$$\tau$$ tiene una distribución exponencial adecuada con parámetro$$\lambda(x) \in (0, \infty)$$. Tomando casos,$P_t(x, y) = \P(X_t = y \mid X_0 = x) = \P(X_t = y, \tau \gt t \mid X_0 = x) + \P(X_t = y, \tau \le t \mid X_0 = x)$ El primer término a la derecha es 0 si$$y \ne x$$ y es$$\P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t}$$ si$$y = x$$. En definitiva,$\P(X_t = y, \tau \gt t \mid X_0 = x) = I(x, y) e^{-\lambda(x)s}$ Para el segundo término a la derecha en la ecuación mostrada, condicionamos en$$\tau$$ y$$Y_1 = X_\tau$$. Por resultado en la última sección sobre tiempos de transición y la cadena incrustada, el PDF conjunto de$$(\tau, Y_1)$$ at$$s \in [0, \infty)$$ y$$z \in S$$, dado$$X_0 = x$$, es$$\lambda(x) e^{-\lambda(x) s} Q(x, z)$$ (continuo en el tiempo, discreto en el espacio). También, dado$$\tau = s \in [0, t]$$ y$$Y_1 = z \in S$$, podemos usar la fuerte propiedad de Markov para reiniciar el reloj al$$s$$ dar$\P(X_t = y \mid X_0 = x, \tau = s, Y_1 = z) = \P(X_{t-s} = y \mid X_0 = z) = P_{t-s}(z, y)$ Poner las piezas juntas tenemos$\P(X_t = y, \tau \le t \mid X_0 = x) = \int_0^t \lambda(x) e^{-\lambda(x) s} \sum_{z \in S} Q(x, z) P_{t-s}(z, y) \, ds = \int_0^t \lambda(x) e^{-\lambda(x) s} QP_{t - s} (x, y) \, ds$

Ahora podemos mejorar el resultado de continuidad que obtuvimos antes. Primero recordamos los leads a la relación para la cadena de salto$$\bs{Y}$$: Por$$(x, y) \in S^2$$,$$x$$ lleva a$$y$$ si$$Q^n(x, y) \gt 0$$ para algunos$$n \in \N$$. Entonces, por definición,$$x$$ lleva a$$x$$ para cada uno$$x \in S$$, y para$$(x, y) \in S^2$$ con$$x \ne y$$,$$x$$ lleva a$$y$$ si y solo si la cadena de tiempo discreta que comienza en$$x$$ finalmente alcanza$$y$$ con probabilidad positiva.

Para$$(x, y) \in S^2$$,

1. $$t \mapsto P_t(x, y)$$es continuo.
2. Si$$x$$ lleva a$$y$$ entonces$$P_t(x, y) \gt 0$$ para cada$$t \in (0, \infty)$$.
3. Si$$x$$ no lleva a$$y$$ entonces$$P_t(x, y) = 0$$ para cada$$t \in (0, \infty)$$.

Para$$t \in [0, \infty)$$, podemos usar el cambio de variables$$r = t - s$$ en la ecuación integral fundamental para obtener$P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr, \quad (x, y) \in S^2$

Prueba
1. En la ecuación mostrada,$$r \mapsto P_r(x, y)$$ es correcto continuo para cada$$(x, y) \in S^2$$, y por lo tanto por el teorema de convergencia acotada de nuevo, así es$$r \mapsto QP_r(x, y)$$. Dado que el integrando en la ecuación mostrada es acotado y derecho continuo, la integral es una función continua de$$t$$. De ahí$$t \mapsto P_t(x, y)$$ que sea continuo para$$(x, y) \in S^2$$.
2. Para$$x \in S$$, tenga en cuenta que$$P_t(x, x) \ge e^{-\lambda(x) t} \gt 0$$ para$$t \in [0, \infty)$$. Si$$x$$ lleva a$$y$$ y$$x \ne y$$ entonces existe$$n \in \N_+$$ y$$(x_1, x_2, \ldots, x_{n-1}) \in S^{n-1}$$ tal que$$Q(x, x_1) \gt 0, \, \ldots Q(x_{n-1}, y) \gt 0$$. Entonces$P_t(x, y) = \P(X_t = y \mid X_0 = x) \ge \P(Y_1 = x_1, \ldots, Y_{n-1} = x_{n-1}, Y_n = y, \tau_n \le t \lt \tau_{n+1}) \gt 0$
3. Esto queda claro a partir de la definición de la cadena incrustada$$\bs{Y}$$.

Las partes (b) y (c) se conocen como la dicotomía Lévy, llamada así por Paul Lévy. Es posible probar la dicotomía Lévy solo desde la propiedad semiagrupada de$$\bs{P}$$, pero esta prueba es considerablemente más complicada. A la luz de la dicotomía, las derivaciones a la relación claramente tienen sentido tanto para la cadena de tiempo continuo$$\bs{X}$$ como para la cadena incrustada en el tiempo discreto$$\bs{Y}$$.

En esta discusión, asumimos nuevamente que$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ es una cadena regular de Markov$$S$$ con semigrupo de transición$$\bs{P} = \{P_t: t \in [0, \infty)\}$$, función de parámetro exponencial$$\bs{\lambda}$$ y matriz de transición de un solo paso$$Q$$ para la cadena de salto incrustada. La ecuación integral fundamental anterior implica ahora que la matriz de probabilidad de transición$$P_t$$ es diferenciable en$$t$$. El derivado at$$0$$ es particularmente importante.

La función matrix$$t \mapsto P_t$$ tiene una derivada (derecha) en 0:$\frac{P_t - I}{t} \to G \text { as } t \downarrow 0$ donde la matriz generadora infinitesimal$$G$$ viene dada por$$G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y)$$ for$$(x, y) \in S^2$$.

Prueba

Como antes el cambio de variables$$r = t - s$$ en la ecuación integral fundamental da$P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr$ El primer término es claramente diferenciable en$$t$$, y el segundo término también es diferenciable en$$t$$ ya que ahora sabemos que el integrando es una función continua de$$r$$. El resultado se desprende entonces del cálculo estándar.

Tenga en cuenta que$$\lambda(x) Q(x, x) = 0$$ para cada$$x \in S$$, ya que$$\lambda(x) = 0$$$$x$$ es absorbente, mientras que$$Q(x, x) = 0$$ si$$x$$ es estable. Entonces$$G(x, x) = -\lambda(x)$$ para$$x \in S$$, y$$G(x, y) = \lambda(x) Q(x, y)$$ para$$(x, y) \in S^2$$ con$$y \ne x$$. Así, la matriz generadora$$G$$ determina la función de parámetro exponencial$$\lambda$$ y la matriz de transición de salto$$Q$$, y así determina la distribución de la cadena de Markov$$\bs{X}$$.

Dada la matriz generadora$$G$$ de$$\bs{X}$$,

1. $$\lambda(x) = -G(x, x)$$para$$x \in S$$
2. $$Q(x, y) = - G(x, y) \big/ G(x, x)$$si$$x \in S$$ es estable y$$y \in S - \{x\}$$

El generador infinitesimal tiene una agradable interpretación en términos de nuestra discusión en la última sección. Recordemos que cuando la cadena entra por primera vez en un estado estable$$x$$, establecemos temporizadores independientes, distribuidos exponencialmente en (x, y), para cada uno$$y \in S - \{x\}$$. Tenga en cuenta que$$G(x, y)$$ es el parámetro exponencial para el temporizador encendido$$(x, y)$$. Tan pronto como suena una alarma para un particular$$(x, y)$$, la cadena se mueve al estado$$y$$ y el proceso continúa.

La matriz generadora$$G$$ satisface las siguientes propiedades para cada$$x \in S$$:

1. $$G(x, x) \le 0$$
2. $$\sum_{y \in S} G(x, y) = 0$$

La función de matriz$$t \mapsto P_t$$ es diferenciable en$$[0, \infty)$$, y satisface la ecuación hacia atrás de Kolmogorov:$$P^\prime_t = G P_t$$. De manera explícita,$P^\prime_t(x, y) = -\lambda(x) P_t(x, y) + \sum_{z \in S} \lambda(x) Q(x, z) P_t(z, y), \quad (x, y) \in S^2$

Prueba

La prueba es igual que antes, y sigue del cálculo estándar y la ecuación integral$P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr$

La ecuación hacia atrás lleva el nombre de Andrei Kolmogorov. En tiempo continuo, el semigrupo de transición se$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ puede obtener a partir de la matriz$$G$$ generadora única de una manera que recuerda el hecho de que en tiempo discreto, el semigrupo de transición se$$\bs{P} = \{P^n: n \in \N\}$$ puede obtener a partir de la matriz de un solo paso$$P$$. Desde el punto de vista del modelado, a menudo comenzamos con la matriz generadora$$G$$ y luego resolvemos la ecuación hacia atrás, sujeta a la condición inicial$$P_0 = I$$, para obtener el semigrupo de matrices de transición$$\bs{P}$$.

Al igual que con cualquier matriz$$S$$ encendida, la matriz generadora$$G$$ define operaciones izquierda y derecha en funciones que son análogas a la multiplicación de matriz ordinaria. La operación correcta se define para las funciones en$$\mathscr{B}$$.

Si$$f \in \mathscr{B}$$ entonces$$Gf$$ es dado por$G f(x) = -\lambda(x) f(x) + \sum_{y \in S} \lambda(x) Q(x, y) f(y), \quad x \in S$

Prueba

Por definición,$G f(x) = \sum_{y \in S} G(x, y) f(y) = -\lambda(x) f(x) + \sum_{y \in S - \{x\}} \lambda(x) Q(x, y) f(y)$ en el segundo término, podemos sumar sobre todo$$y \in S$$ ya que$$\lambda(x) = 0$$ si$$x$$ es absorbente y$$Q(x, x) = 0$$ si$$x$$ es estable. Tenga en cuenta que$$G f$$ está bien definido ya que$\sum_{y \in S-\{x\}} \lambda(x) Q(x, y) \left|f(x)\right| \le \sum_{y \in S-\{x\}} \lambda(x) Q(x, y) \|f\| = \lambda(x) \|f\|$

Pero tenga en cuenta que no$$G f$$ está en$$\mathscr{B}$$ a menos que$$\lambda \in \mathscr{B}$$. Sin esta suposición adicional,$$G$$ es un operador lineal desde el espacio vectorial$$\mathscr{B}$$ de funciones delimitadas desde$$S$$ hasta$$\R$$ en el espacio vectorial de todas las funciones desde$$S$$ hasta$$\R$$. Volveremos a este punto en nuestra próxima discusión.

#### Semigrupos Uniformes de Transición

Podemos obtener resultados más fuertes para la matriz generadora si imponemos supuestos de continuidad más fuertes sobre$$\bs{P}$$.

El semigrupo de transición$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ es uniforme si$$P_t(x, x) \to 1$$ es$$t \downarrow 0$$ uniforme en$$x \in S$$.

Si$$\bs{P}$$ es uniforme, entonces la función del operador$$t \mapsto P_t$$ es continua en el espacio vectorial$$\mathscr{B}$$.

Prueba

El enunciado significa que para$$f \in \mathscr{B}$$, la función$$t \mapsto P_t f$$ es continua con respecto a la norma suprema sobre$$\mathscr{B}$$.

Como es habitual, queremos mirar esta nueva suposición desde diferentes puntos de vista.

Los siguientes son equivalentes:

1. El semigrupo de transición$$\bs{P}$$ es uniforme.
2. La función de parámetro exponencial$$\lambda$$ está delimitada.
3. La matriz generadora$$G$$ desafienta a un operador lineal acotado encendido$$\mathscr{B}$$.
Prueba

De nuestras observaciones anteriores sabemos que$$\lambda \in \mathscr{B}$$ si y solo si la matriz generadora$$G$$ define un operador lineal acotado en$$\mathscr{B}$$. Entonces solo necesitamos mostrar la equivalencia de (a) y (b). Si$$\lambda \in \mathscr{B}$$ entonces$P_t(x, x) = \P(X_t = x \mid X_0 = x) \ge \P(\tau \gt t \mid X_0 = x) = \exp[-\lambda(x) t] \ge \exp(-\|\lambda\|t)$ El último término converge a 1 de manera$$t \downarrow 0$$ uniforme en$$x$$.

Entonces, cuando se cumplen las condiciones equivalentes, también$$\bs X = \{X_t: t \in [0, \infty)\}$$ se dice que la cadena de Markov es uniforme. Como veremos en una sección posterior, se puede construir una cadena de Markov uniforme y de tiempo continuo a partir de una cadena de Markov de tiempo discreto y un proceso independiente de Poisson. Para un semigrupo de transición uniforme, tenemos un compañero a la ecuación hacia atrás.

Supongamos que$$\bs{P}$$ es un semigrupo de transición uniforme. Entonces$$t \mapsto P_t$$ satisface la ecuación delantera de Kolmogorov$$P^\prime_t = P_t G$$. De manera explícita,$P^\prime_t(x,y) = -\lambda(y) P_t(x, y) + \sum_{z \in S} P_t(x, z) \lambda(z) Q(z, y), \quad (x, y) \in S^2$

La ecuación hacia atrás se mantiene con más generalidad que la ecuación hacia adelante, ya que solo necesitamos que el semigrupo de transición$$\bs{P}$$ sea estándar en lugar de uniforme. Parecería que necesitamos condiciones más fuertes$$\lambda$$ para que se mantenga la ecuación forward, pues de lo contrario ni siquiera es obvio que$$\sum_{z \in S} P_t(x, z) \lambda(z) Q(z, y)$$ es finito para$$(x, y) \in S$$. Por otro lado, la ecuación hacia adelante a veces es más fácil de resolver que la ecuación hacia atrás, y la suposición que$$\lambda$$ se limita se cumple en muchas aplicaciones (y por supuesto se mantiene automáticamente si$$S$$ es finita).

Como corolario simple, las matrices de transición y la matriz generadora se desplazan para un semigrupo uniforme:$$P_t G = G P_t$$ for$$t \in [0, \infty)$$. Las ecuaciones hacia adelante y hacia atrás se parecen formalmente a las ecuaciones diferenciales para la función exponencial. Esto realmente se sostiene con el operador exponencial.

Supongamos nuevamente que$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ es un semigrupo de transición uniforme con generador$$G$$. Entonces$P_t = e^{t G} = \sum_{n=0}^\infty \frac{t^n}{n!} G^n, \quad t \in [0, \infty)$

Prueba

Primero$$e^{t G}$$ está bien definido como un operador lineal acotado on$$\mathscr{B}$$ for$$t \in [0, \infty)$$ (y por lo tanto también simplemente como una matriz), ya que$$G$$ es un operador lineal acotado en$$\mathscr{B}$$. Trivialmente$$e^{0 G} = I$$, y por propiedades básicas de la matriz exponencial,$\frac{d}{dt} e^{t G} = G e^{t G}, \quad t \in (0, \infty)$ Se deduce que$$P_t = e^{t G}$$ para$$t \in [0, \infty)$$.

Podemos caracterizar los generadores de semigrupos de transición uniforme. Solo necesitamos las condiciones mínimas de que las entradas diagonales no sean positivas y las sumas de fila sean 0.

Supongamos que$$G$$ una matriz en$$S$$ con$$\|G\| \lt \infty$$. Entonces$$G$$ es el generador de un semigrupo de transición uniforme$$\bs{P} = \{P_t: t \in [0, \infty)\}$$ si y sólo si por cada$$x \in S$$,

1. $$G(x, x) \le 0$$
2. $$\sum_{y \in S} G(x, y) = 0$$
Prueba

Sabemos por supuesto que si$$G$$ es el generador de un semigrupo de transición, entonces las condiciones (a) y (b) se mantienen. Para lo contrario, podemos usar el resultado anterior. $P_t = e^{t G} = \sum_{n=0}^\infty \frac{t^n}{n!} G^n, \quad t \in [0, \infty)$Que tenga sentido ya que$$G$$ está acotado en norma. Entonces$$P_t(x, y) \ge 0$$ para$$(x, y) \in S^2$$. Por la parte (b),$$\sum_{y \in S} G^n(x, y) = 0$$ para cada$$x \in S$$ y$$n \in \N_+$$, y por lo tanto$$\sum_{y \in S} P_t(x, y) = \sum_{y \in S} I(x, y) = 1$$ para$$x \in S$$. Por último, la propiedad semigrupo es consecuencia de la ley de los exponentes, que se sostiene para el exponencial de una matriz. $P_s P_t = e^{s G} e^{t G} = e^{(s+t) G} = P_{s+t}$

### Ejemplos y ejercicios

$$\bs{X} = \{X_t: t \in [0, \infty)\}$$Sea la cadena Markov en el conjunto de estados$$S = \{0, 1\}$$, con tasa de transición$$a \in [0, \infty)$$ de 0 a 1 y tasa$$b \in [0, \infty)$$ de transición de 1 a 0. Esta cadena biestatal de Markov fue estudiada en la sección anterior. Para evitar el caso trivial con ambos estados absorbiendo, vamos a suponer que$$a + b \gt 0$$.

La matriz del generador es$G = \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right]$

Demostrar que para$$t \in [0, \infty)$$,$P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right]$

1. Al resolver la ecuación hacia atrás de Kolmogorov.
2. Al resolver la ecuación delantera de Kolmogorov.
3. Por computación$$P_t = e^{t G}$$.

Probablemente notó que la ecuación hacia adelante es más fácil de resolver porque hay menos acoplamiento de términos que en la ecuación hacia atrás.

Definir la función de densidad de probabilidad$$f$$ en$$S$$ por$$f(0) = \frac{b}{a + b}$$,$$f(1) = \frac{a}{a + b}$$. Demostrar que

1. $$P_t \to \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right]$$as$$t \to \infty$$, la matriz con$$f$$ en ambas filas.
2. $$f P_t = f$$para todos$$t \in [0, \infty)$$, así que eso$$f$$ es invariante para$$\bs{P}$$.
3. $$f G = 0$$.

#### Ejercicios Computacionales

Considere la cadena de Markov$$S = \{0, 1, 2\}$$ con$$\bs{X} = \{X_t: t \in [0, \infty)\}$$ función de parámetro exponencial$$\lambda = (4, 1, 3)$$ y matriz de transición incrustada$Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right]$

1. Dibuja la gráfica estatal y clasifica los estados.
2. Encuentra la matriz generadora$$G$$.
3. Encuentre la matriz de transición$$P_t$$ para$$t \in [0, \infty)$$.
4. Encuentra$$\lim_{t \to \infty} P_t$$.
Contestar
1. El conjunto de bordes es$$E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\}$$. Todos los estados son estables.
2. La matriz del generador es$G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right]$
3. Para$$t \in [0, \infty)$$,$P_t = \frac{1}{15} \left[\begin{matrix} 3 + 12 e^{-5 t} & 10 - 10 e^{-3 t} & 2 - 12 e^{-5 t} + 10 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 + 5 e^{-3 t} & 2 + 3 e^{-5t} - 5 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 - 10 e^{-3 t} & 2 + 3 e^{-5 t} + 10 e^{-3 t} \end{matrix}\right]$
4. $P_t \to \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \\ 3 & 10 & 2 \\ 3 & 10 & 2 \end{matrix}\right]$