16.20: Cadenas subordinadas al proceso de Poisson
- Page ID
- 151955
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)Teoría Básica
Introducción
Recordemos que el proceso estándar de Poisson con parámetro de tasa\( r \in (0, \infty) \) involucra tres procesos estocásticos interrelacionados. Primero la secuencia de tiempos entre llegadas\(\bs{T} = (T_1, T_2, \ldots) \) es independiente, y cada variable tiene la distribución exponencial con parámetro\( r \). A continuación, la secuencia de tiempos de llegada\( \bs{\tau} = (\tau_0, \tau_1, \ldots) \) es la secuencia de suma parcial asociada a la secuencia interrival\( \bs{T} \):\[ \tau_n = \sum_{i=1}^n T_i, \quad n \in \N \] For\( n \in \N_+ \), el tiempo de llegada\( \tau_n \) tiene la distribución gamma con parámetros\( n \) y\( r \). Finalmente, el proceso de conteo de Poisson\( \bs{N} = \{N_t: t \in [0, \infty)\} \) se define por\[ N_t = \max\{n \in \N: \tau_n \le t\}, \quad t \in [0, \infty) \] lo que\( N_t \) es el número de llegadas en\( (0, t] \) para\( t \in [0, \infty) \). La variable de conteo\( N_t \) tiene la distribución de Poisson con parámetro\( r t \) for\( t \in [0, \infty) \). El proceso de conteo\( \bs{N} \) y el proceso de tiempo de llegada\( \bs{\tau} \) son inversos en el sentido de que\( \tau_n \le t \) si y solo si\( N_t \ge n \) para\( t \in [0, \infty) \) y\( n \in \N \). El proceso de conteo de Poisson puede ser visto como una cadena de Markov en tiempo continuo.
Supongamos que\( X_0 \) toma valores\( \N \) y es independiente de\( \bs{N} \). Definir\( X_t = X_0 + N_t \) para\( t \in [0, \infty) \). Entonces\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo\( \N \) con la función de parámetro exponencial dada por\( \lambda(x) = r \) for\( x \in \N \) y la matriz de transición de salto\( Q \) dada por\( Q(x, x + 1) = 1 \) for\( x \in S \).
Prueba
Esto se desprende directamente de la estructura básica de una cadena de Markov en el tiempo continuo. Dado\( X_t = x \), el tiempo de retención en estado\( x \in \N \) es exponencial con parámetro\( r \), y el siguiente estado es determinísticamente\( x + 1 \). Obsérvese que la adición de la variable\( X_0 \) es solo para permitirnos la libertad de distribuciones iniciales arbitrarias en el espacio estatal, como es rutina con los procesos de Markov.
Tenga en cuenta que el proceso de Poisson, visto como una cadena de Markov, es una cadena de nacimiento pura. Claramente podemos generalizar esta cadena de Markov en tiempo continuo de una manera sencilla al permitir una cadena de salto incrustada general.
Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov con espacio de estado (contable)\( S \), y con parámetro exponencial constante\( \lambda(x) = r \in (0, \infty) \) para\( x \in S \), y matriz de transición de salto\( Q \). Entonces\( \bs{X} \) se dice que está subordinado al proceso de Poisson con parámetro de tasa\( r \).
- \( (\tau_1, \tau_2, \ldots) \)Los tiempos de transición son los tiempos de llegada del proceso de Poisson con tasa\( r \).
- \( (\tau_1, \tau_2 - \tau_1, \ldots) \)Los tiempos de intertransición son los tiempos inter-llegada del proceso de Poisson con tasa\( r \) (independiente, y cada uno con la distribución exponencial con tasa\( r \)).
- \( \bs{N} = \{N_t: t \in [0, \infty)\} \)es el proceso de conteo de Poisson, donde\( N_t \) está el número de transiciones en (0, t] para\( t \in [0, \infty) \).
- El proceso de Poisson y la cadena de salto\( \bs{Y} = (Y_0, Y_1, \ldots) \) son independientes, y\( X_t = Y_{N_t} \) para\( t \in [0, \infty) \).
Prueba
Todos estos resultados se derivan de la estructura básica de una cadena de Markov en el tiempo continuo.
Ya que todos los estados son estables, tenga en cuenta que debemos tener\( Q(x, x) = 0 \) para\( x \in S \). Tenga en cuenta también que para\( x, \, y \in S \) con\( x \ne y \), el parámetro de tasa exponencial para la transición de\( x \) a\( y \) es\( \mu(x, y) = r Q(x, y) \). Por el contrario supongamos que\( \mu: S^2 \to (0, \infty) \) satisface\( \mu(x, x) = 0 \) y\( \sum_{y \in S} \mu(x, y) = r \) para cada uno\( x \in S \). Entonces la cadena de Markov con tasas de transición dadas por\( \mu \) está subordinada al proceso de Poisson con tasa\( r \). Es fácil construir una cadena de Markov subordinada al proceso de Poisson.
Supongamos que\( \bs N = \{N_t: t \in [0, \infty)\} \) es un proceso de conteo de Poisson con tasa\( r \in (0, \infty) \) y que\( \bs Y = \{Y_n: n \in \N\} \) es una cadena de Markov en tiempo discreto\( S \), independiente de\( \bs N \), cuya matriz de transición satisface\( Q(x, x) = 0 \) para cada uno\( x \in S \). Dejemos\( X_t = Y_{N_t} \) para\( t \in [0, \infty) \). Entonces\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo subordinada al proceso de Poisson.
Generador y Matrices de Transición
A continuación encontremos la matriz generadora y el semigrupo de transición. Supongamos nuevamente que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo\( S \) subordinada al proceso de Poisson con tasa\( r \in (0, \infty) \) y con matriz de transición de salto\( Q \). Como es habitual, vamos a\( \bs P = \{P_t: t \in [0, \infty)\} \) denotar el semigrupo de transición y\( G \) el generador infinitesimal.
La matriz generadora\( G \) de\( \bs{X} \) es\( G = r (Q - I) \). Por lo tanto para\( t \in [0, \infty) \)
- La ecuación hacia atrás de Kolmogorov es\( P^\prime_t = r (Q - I) P_t \)
- La ecuación delantera de Kolmogorov es\( P^\prime_t = r P_t (Q - I) \)
Prueba
Esto se desprende directamente de la teoría general ya que\( G(x, x) = -\lambda(x) = -r \) para\( x \in S \) y\( G(x, y) = \lambda(x) Q(x, y) = r Q(x, y) \) para distintos\( x, \, y \in S \).
Hay varias formas de encontrar el semigrupo de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \). La mejor manera es un argumento probabilístico utilizando el proceso subyacente de Poisson.
Para\( t \in [0, \infty) \), la matriz de transición\( P_t \) viene dada por\[ P_t = \sum_{n=0}^\infty e^{-r t} \frac{(r t)^n}{n!} Q^n \]
Prueba del proceso subyacente de Poisson
Dejar\( N_t \) denotar el número de transiciones en\( (0, t] \) for\( t \in [0, \infty) \), así que ese\( \bs{N} = \{N_t: t \in [0, \infty)\} \) es el proceso de conteo de Poisson. Dejar\( \bs{Y} = (Y_0, Y_1, \ldots) \) denotar la cadena de salto, con matriz de transición\( Q \). Entonces\( \bs{N} \) y\( \bs{Y} \) son independientes, y\( X_t = Y_{N_t} \) para\( t \in [0, \infty) \). Acondicionamiento tenemos\ begin {align*} P_t (x, y) & =\ P (x_t = y\ mid X_0 = x) =\ P\ left (Y_ {n_t} = y\ mid Y_0 = x\ right)\\ & =\ sum_ {n=0} ^\ infty\ P\ left (Y_ {n_t} =\ y mid n_t = n, Y_0 = y\ derecha)\ P (n_t = n\ mediados Y_0 = y)\\ & =\ suma_ {n=0} ^\ infty\ P (Y_n = y\ mediados Y_0 = x)\ P (N_t = n) =\ suma_ {n=0} ^\ infty e^ {- r t}\ frac {(r t) ^n} {n!} Q^n (x, y)\ final {alinear*}
Prueba usando la matriz generadora
Tenga en cuenta primero que para\( n \in \N \),\[ G^n = [r (Q - I)]^n = r^n \sum_{k = 0}^n \binom{n}{k}(-1)^{n-k} Q^k \] Por lo tanto\ begin {align*} P_t & = e^ {t G} =\ sum_ {n=0} ^\ infty\ frac {t^n} {n!} g^n =\ suma_ {n=0} ^\ infty\ frac {t^n} {n!} r^n\ suma_ {k=0} ^\ infty\ binom {n} {k} (-1) ^ {n-k} q^k\\ & =\ sum_ {n=0} ^\ infty\ suma_ {k=0} ^n\ frac {(r t) ^n} {k! (n - k)!} (-1) ^ {n-k} q^k =\ suma_ {k=0} ^\ infty\ suma_ {n=k} ^\ infty\ frac {(r t) ^n} {k! (n - k)!} (-1) ^ {n-k} q^k\\ & =\ sum_ {k=0} ^\ infty\ frac {(r t) ^k} {k!} Q^k\ suma_ {n=k} ^\ infty\ frac {1} {(n - k)!} (- r t) ^ {n-k} =\ suma_ {k=0} ^\ infty e^ {-r t}\ frac {(r t) ^k} {k!} Q^k\ final {alinear*}
Matrices Potenciales
A continuación encontremos las matrices potenciales. Al igual que con las matrices de transición, podemos hacer esto de (al menos) dos formas diferentes.
Supongamos nuevamente que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo\( S \) subordinada al proceso de Poisson con tasa\( r \in (0, \infty) \) y con matriz de transición de salto\( Q \). Para\( \alpha \in (0, \infty) \), la matriz potencial\( U_\alpha \) de\( \bs{X} \) es\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]
Prueba a partir de la definición
Usando el resultado anterior,\ begin {align*} U_\ alpha (x, y) & =\ int_0^\ infty e^ {-\ alpha t} P_t (x, y)\, dt =\ int_0^\ infty e^ {-\ alpha t}\ sum_ {n=0} ^\ infty e^ {-r t}\ frac {(r t) ^n} {n!} Q^n (x, y)\, dt\\ & =\ suma_ {n=0} ^\ infty q^n (x, y)\ frac {r^n} {n!} \ int_0^\ infty e^ {- (r +\ alpha) t} t^n dt\ end {align*} El intercambio de suma e integral se justifica ya que los términos son no negativos. Usando el cambio de variables\( s = (r + \alpha) t \) da\[ U_\alpha(x, y) = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n \frac{1}{n!} Q^n(x, y) \int_0^\infty e^{-s t} s^n \, ds \] La última integral es\( n! \).
Prueba usando el generador
Del resultado anterior,\[ \alpha I - G = \alpha I - r (Q - I) = (\alpha + r) I - r Q = (\alpha + r)\left(I - \frac{r}{\alpha + r} Q\right) \] ya que\( \left\| \frac{r}{\alpha + r} Q \right\| = \frac{r}{\alpha + r} \lt 1 \) tenemos\[ (\alpha I - G)^{-1} = \frac{1}{\alpha + r}\left(I - \frac{r}{\alpha + r} Q\right)^{-1} = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]
Recordemos que para\( p \in (0, 1) \), la matriz\( p \) -potencial de la cadena de salto\( \bs{Y} \) es\( R_p = \sum_{n=0}^\infty p^n Q^n \). De ahí que tengamos la siguiente relación agradable entre la matriz potencial de\( \bs{X} \) y la matriz potencial de\( \bs{Y} \):\[ U_\alpha = \frac{1}{\alpha + r} R_{r / (\alpha + r)} \] Siguiente recordar que\( \alpha U_\alpha(x, \cdot) \) es la función de densidad de probabilidad de\( X_T \) dada\( X_0 = x \), donde\( T \) tiene la distribución exponencial con parámetro \( \alpha \)y es independiente de\( \bs{X} \). Por otro lado,\( \alpha U_\alpha(x, \cdot) = (1 - p) R_p(x, \cdot) \) donde\( p = r \big/ (\alpha + r) \). Sabemos por nuestro estudio de potenciales discretos que\( (1 - p) R_p(x, \cdot) \) es la función de densidad de probabilidad de\( Y_M \) donde\( M \) tiene la distribución geométrica en\( \N \) con parámetro\( 1 - p \) y es independiente de\( \bs{Y} \). Pero también\( X_T = Y_{N_T} \). Entonces se deduce que si\( T \) tiene la distribución exponencial con parámetro\( \alpha \),\( \bs{N} = \{N_t: t \in [0, \infty)\} \) es un proceso de Poisson con tasa\( r \), y es independiente de\( T \), entonces\( N_T \) tiene la distribución geométrica\( \N \) con parámetro\( \alpha \big/ (\alpha + r) \). Por supuesto, fácilmente podríamos verificar esto directamente, pero sigue siendo divertido ver tales conexiones.
Comportamiento limitante y distribuciones estacionarias
Una vez más, supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo\( S \) subordinada al proceso de Poisson con tasa\( r \in (0, \infty) \) y con matriz de transición de salto\( Q \). Vamos a\( \bs{Y} = \{Y_n: n \in \N\} \) denotar el proceso de salto. El comportamiento limitante y las distribuciones estacionarias de\( \bs{X} \) están estrechamente relacionadas con las de\( \bs{Y} \).
Supongamos que\( \bs{X} \) (y por lo tanto\( \bs{Y} \)) son irreducibles y recurrentes positivos
- \( g: S \to (0, \infty) \)es invariante para\( \bs{X} \) si y solo si\( g \) es invariante para\( \bs{Y} \).
- \( f \)es una función de densidad de probabilidad invariante para\( \bs{X} \) if y solo si\( f \) es una función de densidad de probabilidad invariante para\( \bs{Y} \).
- \( \bs{X} \)es nulo recurrente si y sólo si\( \bs{Y} \) es nulo recurrente, y en este caso,\( \lim_{n \to \infty} Q^n(x, y) = \lim_{t \to \infty} P_t(x, y) = 0 \) para\( (x, y) \in S^2 \).
- \( \bs{X} \)es recurrente positiva si y sólo si\( \bs{Y} \) es recurrente positiva. Si\( \bs{Y} \) es aperiódica, entonces\( \lim_{n \to \infty} Q^n(x, y) = \lim_{t \to \infty} P_t(x, y) = f(y) \) for\( (x, y) \in S^2 \), donde\( f \) está la función de densidad de probabilidad invariante.
Prueba
Todos estos resultados se derivan de la teoría básica de distribuciones estacionarias y limitantes para cadenas de tiempo continuas, y el hecho de que la función de parámetro exponencial\( \lambda \) es constante.
Reversión de tiempo
Una vez más, supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en tiempo continuo\( S \) subordinada al proceso de Poisson con tasa\( r \in (0, \infty) \) y con matriz de transición de salto\( Q \). Vamos a\( \bs{Y} = \{Y_n: n \in \N\} \) denotar el proceso de salto. Suponemos que\( \bs X \) (y por lo tanto\( \bs Y \)) son irreducibles. La inversión de tiempo de\( \bs X \) está estrechamente relacionada con la de\( \bs Y \).
Supongamos que\( g: S \to (0, \infty) \) es invariante para\( \bs X \). La inversión de tiempo\( \hat{\bs X} \) con respecto a también\( g \) está subordinada al proceso de Poisson con tasa\( r \). La cadena\( \hat{\bs Y} \) de salto de\( \hat{\bs X} \) es la inversión de tiempo (discreta) de\( \bs Y \) con respecto a\( g \).
Prueba
Del resultado anterior, también\( g \) es invariante para\( \bs Y \). A partir de la teoría general de la inversión del tiempo,\( \hat{\bs X} \) tiene la misma función de parámetro exponencial que\( \bs X \) (es decir, la función constante\( r \)) y así también está subordinada al proceso de Poisson con tasa\( r \). Por último, la cadena\( \hat{\bs Y} \) de salto de\( \hat{\bs X} \) es la inversión de\( \bs Y \) con respecto\( r g \) y por lo tanto también con respecto a\( g \).
En particular,\( \bs X \) es reversible con respecto a\( g \) si y sólo si\( \bs Y \) es reversible con respecto a\( g \). Como se señaló anteriormente,\( \bs X \) y\( \bs Y \) son del mismo tipo: ambos transitorios o ambos nulos recurrentes o ambos positivos recurrentes. En el caso recurrente, existe una función invariante positiva que es única hasta la multiplicación por constantes. En este caso, la inversión de\( \bs X \) es única, y es la cadena subordinada al proceso de Poisson con tasa\( r \) cuya cadena de salto es la inversión de\( \bs Y \).
Cadenas Uniformes
En la construcción anterior para una cadena de Markov\( \bs X = \{X_t: t \in [0, \infty)\} \) que está subordinada al proceso de Poisson con kernel de transición de velocidad\( r \) y salto\( Q \), asumimos por supuesto que\( Q(x, x) = 0 \) para cada uno\( x \in S \). Entonces no hay estados absorbentes y la secuencia\( (\tau_1, \tau_2, \ldots) \) de tiempos de llegada del proceso de Poisson son los tiempos de salto de la cadena\( \bs X \). Sin embargo, en nuestra introducción a las cadenas de tiempo continuas, vimos que la construcción general de una cadena que comienza con la función\( \lambda \) y la matriz de transición\( Q \) funciona sin esta suposición\( Q \), aunque cambian los parámetros exponenciales y las probabilidades de transición. Aquí funciona la misma idea.
Supongamos que\( \bs N = \{N_t: t \in [0, \infty)\} \) es un proceso de Poisson de conteo con tasa\( r \in (0, \infty) \) y que\( \bs Y = \{Y_n: n \in \N\} \) es una cadena de Markov de tiempo discreto con matriz de transición\( Q \) en\( S \times S \) satisfacer\( Q(x, x) \lt 1 \) para\( x \in S \). Supongamos también eso\( \bs N \) y\( \bs Y \) son independientes. Definir\( X_t = Y_{N_t} \) para\( t \in [0, \infty) \). Luego\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena continua de Markov con función de parámetro exponencial\( \lambda(x) = r [1 - Q(x, x)] \) para\( x \in S \) y matriz de transición de salto\( \tilde Q \) dada por\[ \tilde Q(x, y) = \frac{Q(x, y)}{1 - Q(x, x)}, \quad (x, y) \in S^2, \, x \ne y \]
Prueba
Esto se desprende del resultado en la introducción.
La cadena de Markov construida anteriormente ya no es una cadena subordinada al proceso de Poisson por nuestra definición anterior, ya que la función de parámetro exponencial no es constante, y los tiempos de transición de ya no\( \bs X \) son los tiempos de llegada del proceso de Poisson. Sin embargo, muchos de los resultados básicos anteriores todavía se aplican.
\( \bs X = \{X_t: t \in [0, \infty)\} \)Sea la cadena de Markov construida en el teorema anterior. Entonces
- Para\( t \in [0, \infty) \), la matriz de transición\( P_t \) viene dada por\[ P_t = \sum_{n=0}^\infty e^{- r t} \frac{(r t)^n}{n!} Q^n \]
- Para\( \alpha \in (0, \infty) \), la matriz\( \alpha \) potencial viene dada por\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]
- La matriz del generador es\( G = r (Q - I) \)
- \( g: S \to (0, \infty) \)es invariante para\( \bs X \) si y solo si\( g \) es invariante para\( \bs Y \).
Prueba
Las pruebas son igual que antes.
Es un hecho notable que cada cadena de Markov de tiempo continuo con parámetros exponenciales acotados puede construirse como en el último teorema, un proceso conocido como uniformización. El nombre proviene del hecho de que en la construcción, los parámetros exponenciales se vuelven constantes, pero a expensas de permitir que la cadena de tiempo discreta incrustada salte de un estado de regreso a ese estado. Para revisar la definición, supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov de tiempo continuo\( S \) con semigrupo de transición\( \bs P = \{P_t: t \in [0, \infty)\} \), función de parámetro exponencial\( \lambda \) y matriz de transición de salto\( Q \). Entonces\( \bs P \) es uniforme si\( P_t(x, x) \to 1 \) tan\( t \downarrow 0 \) uniformemente en\( x \), o equivalentemente si\( \lambda \) está acotado.
Supongamos que\( \lambda: S \to (0, \infty) \) está acotado y que\( Q \) es una matriz de transición en\( S \) con\( Q(x, x) = 0 \) para cada\( x \in S \). Dejar\( r \in (0, \infty) \) ser un límite superior encendido\( \lambda \) y\( \bs N = \{N_t: t \in [0, \infty)\} \) un proceso de conteo de Poisson con tasa\( r \). Definir la matriz\( \hat Q \) de transición\( S \) por\ begin {align*}\ hat Q (x, x) & = 1 -\ frac {\ lambda (x)} {r}\ quad x\ in S\\ hat Q (x, y) & =\ frac {\ lambda (x)} {r} Q (x, y)\ quad (x, y)\ en S^2,\, x\ ne y\ end {align*} y dejar\( \bs Y = \{Y_n: n \in \N\} \) ser una cadena de Markov de tiempo discreto con matriz de transición \( \hat Q \), independiente de\( \bs N \). Definir\( X_t = Y_{N_t} \) para\( t \in [0, \infty) \). Entonces\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov de tiempo continuo con función de parámetro exponencial\( \lambda \) y matriz de transición de salto\( Q \).
Prueba
Tenga en cuenta que\( \hat Q(x, y) \ge 0 \) para todos\( (x, y) \in S^2 \) y\( \sum_{y \in S} \hat Q(x, y) = 1 \) para todos\( x \in S \). Así\( \hat Q \) es una matriz de transición en\( S \). Tenga en cuenta también que\( \hat Q(x, x) \lt 1 \) para cada\( x \in S \). Por construcción,\( \lambda(x) = r[1 - \hat Q(x, x)] \) para\( x \in S \) y\[ Q(x, y) = \frac{\hat Q(x, y)}{1 - \hat Q(x, x)}, \quad (x, y) \in S^2, \, x \ne y \] Así el resultado ahora se desprende del teorema anterior.
Obsérvese en particular que si el espacio de estado\( S \) es finito entonces, por supuesto,\( \lambda \) está limitado por lo que se aplica el teorema anterior. El teorema es útil para simular una cadena de Markov de tiempo continuo, ya que el proceso de Poisson y las cadenas de tiempo discretas son simples de simular. Además, tenemos buenas representaciones para las matrices de transición, matrices potenciales y la matriz generadora.
Supongamos que\( \bs X = \{X_t: t \in [0, \infty\} \) es una cadena de Markov en tiempo continuo\( S \) con función de parámetro exponencial acotada\( \lambda: S \to (0, \infty) \) y matriz de transición de salto\( Q \). Definir\( r \) y\( \hat Q \) como en el último teorema. Entonces
- Para\( t \in [0, \infty) \), la matriz de transición\( P_t \) viene dada por\[ P_t = \sum_{n=0}^\infty e^{- r t} \frac{(r t)^n}{n!} \hat Q^n \]
- Para\( \alpha \in (0, \infty) \), la matriz\( \alpha \) potencial viene dada por\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n \hat Q^n \]
- La matriz del generador es\( G = r (\hat Q - I) \)
- \( g: S \to (0, \infty) \)es invariante para\( \bs X \) si y solo si\( g \) es invariante para\( \hat Q \).
Prueba
Estos resultados se derivan del teorema anterior.
Ejemplos
La cadena de dos estados
En el siguiente ejercicio se aplica el método de uniformización a la cadena de dos estados.
Considere la cadena de Markov\( \bs X = \{X_t: t \in [0, \infty)\} \) en tiempo continuo\( S = \{0, 1\} \) con función de parámetro exponencial\( \lambda = (a, b) \), donde\( a, \, b \in (0, \infty) \). Así, los estados 0 y 1 son estables y la cadena de salto tiene matriz de transición\[ Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right] \] Let\( r = a + b \), un límite superior encendido\( \lambda \). Demostrar que
- \( \hat Q = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] \)
- \( G = \left[\begin{matrix} -a & a \\ b & - b \end{matrix}\right] \)
- \( P_t = \hat Q - \frac{1}{a + b} e^{-(a + b) t} G \)para\( t \in [0, \infty) \)
- \( U_\alpha = \frac{1}{\alpha} \hat Q - \frac{1}{(\alpha + a + b)(a + b)} G \)para\( \alpha \in (0, \infty) \)
Prueba
La forma de\( \hat Q \) se desprende fácilmente de la definición anterior. Tenga en cuenta que las filas de\( \hat Q \) son el PDF invariante. A continuación se deduce que\( \hat Q^n = \hat Q \) para\( n \in \N_+ \). Los resultados para la matriz de transición\( P_t \) y el potencial\( U_\alpha \) luego se derivan fácilmente del teorema anterior.
Aunque antes hemos obtenido todos estos resultados para la cadena de dos estados, la derivación basada en la uniformización es la más fácil.