16.15: Introducción a las cadenas Markov de Tiempo Continuo

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

Esta sección inicia nuestro estudio de los procesos de Markov en tiempo continuo y con espacios estatales discretos. Recordemos que un proceso de Markov con un espacio de estado discreto se llama cadena de Markov, por lo que estamos estudiando cadenas de Markov de tiempo continuo. Será útil si revisas la sección sobre los procesos generales de Markov, al menos brevemente, para familiarizarse con la notación y los conceptos básicos. Además, las cadenas discretas de tiempo juegan un papel fundamental, por lo que necesitarás revisar este tema también.

Estudiaremos las cadenas de Markov en tiempo continuo desde diferentes puntos de vista. Nuestro punto de vista en esta sección, que involucra tiempos de espera y la cadena de tiempo discreta incrustada, es el más intuitivo desde un punto de vista probabilístico, y así es el mejor lugar para comenzar. En la siguiente sección, estudiamos las matrices de probabilidad de transición en tiempo continuo. Este punto de vista es algo menos intuitivo, pero está más cerca de cómo se tratan otros tipos de procesos de Markov. Finalmente, en la tercera sección introductoria se estudia la cadena Markov desde el punto de vista de las matrices potenciales. Este es el enfoque menos intuitivo, pero analíticamente uno de los mejores. Naturalmente, las interconexiones entre los distintos enfoques son particularmente importantes.

Preliminares

Como es habitual, comenzamos con un espacio de probabilidad\( (\Omega, \mathscr{F}, \P) \), de modo que ese\( \Omega \) es el conjunto de resultados,\( \mathscr{F} \) el\( \sigma \) álgebra de eventos y\( \P \) la medida de probabilidad en el espacio muestral\( (\Omega, \mathscr{F}) \). El espacio de tiempo es\( ([0, \infty), \mathscr{T}) \) donde como de costumbre,\( \mathscr{T} \) es el\( \sigma \) álgebra de Borel sobre\( [0, \infty) \) correspondiente a la topología euclidiana estándar. El espacio estatal es\( (S, \mathscr{S}) \) donde\( S \) es contable y\( \mathscr{S} \) es el conjunto de poder de\( S \). Así que cada subconjunto de\( S \) es medible,\( S \) al igual que cada función desde otro espacio medible. Recordemos que también\( \mathscr{S} \) es el\( \sigma \) álgebra de Borel correspondiente a la topología discreta en\( S \). Con esta topología, cada función de\( S \) a otro espacio topológico es continua. La medida de conteo\( \# \) es la medida natural sobre\( (S, \mathscr{S}) \), por lo que en el contexto de la introducción general, las integrales sobre\( S \) son simplemente sumas. Además, los kernels on se\( S \) pueden considerar como matrices, con filas y sumas indexadas por\( S \). Las operaciones del kernel izquierdo y derecho son generalizaciones de multiplicación matricial.

Supongamos ahora que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es proceso estocástico con espacio estatal\( (S, \mathscr{S}) \). Para\( t \in [0, \infty) \), let\( \mathscr{F}^0_t = \sigma\{X_s: s \in [0, t]\} \), así que ese\( \mathscr{F}^0_t \) es el\( \sigma \) -álgebra de eventos definidos por el proceso hasta el tiempo\( t \). La colección de\( \sigma \) álgebras\( \mathfrak{F}^0 = \{\mathscr{F}^0_t: t \in [0, \infty)\} \) es la filtración natural asociada a\( \bs{X} \). Por razones técnicas, muchas veces es necesario tener una filtración\( \mathfrak{F} = \{\mathscr{F}_t: t \in [0, \infty)\} \) que sea ligeramente más fina que la natural,\( \mathscr{F}^0_t \subseteq \mathscr{F}_t \) para que para\( t \in [0, \infty) \) (o en jerga equivalente,\( \bs{X} \) se adapte a\( \mathfrak{F} \)). Consulte la introducción general para obtener más detalles sobre las formas comunes en que se refina la filtración natural. También dejaremos\(\mathscr{G}_t = \sigma\{X_s: s \in [t, \infty)\}\), la\( \sigma \) -álgebra de eventos definidos por el proceso a partir\( t \) de tiempo. Si\( t \) se piensa como el tiempo presente, entonces\( \mathscr{F}_t \) es la colección de eventos en el pasado y\( \mathscr{G}_t \) es la colección de eventos en el futuro.

A menudo es necesario imponer suposiciones sobre la continuidad del proceso\( \bs{X} \) en el tiempo. Recordemos que\( \bs{X} \) es correcto continuo si\( t \mapsto X_t(\omega) \) es correcto continuo\( [0, \infty) \) para cada\( \omega \in \Omega \), y de manera similar\( \bs{X} \) tiene límites izquierdos si\( t \mapsto X_t(\omega) \) tiene límites dejados encendidos\( (0, \infty) \) para cada\( \omega \in \Omega \). Ya que\( S \) tiene la topología discreta, tenga en cuenta que si\( \bs{X} \) es correcto continuo, entonces para cada\( t \in [0, \infty) \) y\( \omega \in \Omega \), existe\( \epsilon \) (dependiendo de\( t \) y\( \omega \)) tal que\( X_{t+s}(\omega) = X_t(\omega) \) para\( s \in [0, \epsilon) \). De igual manera, si\( \bs{X} \) ha dejado límites, entonces para cada\( t \in (0, \infty) \) y\( \omega \in \Omega \) existe\( \delta \) (dependiendo de\( t \) y\( \omega \)) tal que\( X_{t - s}(\omega) \) es constante para\( s \in (0, \delta) \).

La propiedad de Markov

Hay una serie de formas equivalentes de declarar la propiedad de Markov. En el nivel más básico, el inmueble afirma que el pasado y el futuro son condicionalmente independientes, dado el presente.

El proceso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en\( S \) si por cada\( t \in [0, \infty) \),\( A \in \mathscr{F}_t \), y\( B \in \mathscr{G}_t \),\[ \P(A \cap B \mid X_t) = \P(A \mid X_t) \P(B \mid X_t) \]

Otra versión es que la distribución condicional de un estado en el futuro, dado el pasado, es la misma que la distribución condicional que se acaba de dar al estado presente.

El proceso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en\( S \) si por cada\( s, \, t \in [0, \infty) \), y\( x \in S \),\[ \P(X_{s + t} = x \mid \mathscr{F}_s) = \P(X_{s + t} = x \mid X_s) \]

Técnicamente, en las dos últimas definiciones, deberíamos decir que\( \bs{X} \) es un proceso de Markov relativo a la filtración\( \mathfrak{F} \). Pero recordemos que si\( \bs{X} \) satisface la propiedad de Markov en relación con una filtración, entonces satisface la propiedad de Markov en relación con cualquier filtración más grosera, y en particular, relativa a la filtración natural. Para la filtración natural, la propiedad de Markov también se puede afirmar sin referencia explícita a\( \sigma \) -álgebras, aunque a costa de desorden adicional:

El proceso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov sobre\( S \) si y solo si por cada\( n \in \N_+ \), secuencia de tiempo\( (t_1, t_2, \ldots, t_n) \in [0, \infty)^n \) con\( t_1 \lt t_2 \lt \cdots \lt t_n \), y secuencia de estado\( (x_1, x_2, \ldots, x_n) \in S^n \),\[ \P\left(X_{t_n} = x_n \mid X_{t_1} = x_1, X_{t_2} = x_2, \ldots X_{t_{n-1}} = x_{n-1}\right) = \P\left(X_{t_n} = x_n \mid X_{t_{n-1}} = x_{n-1}\right) \]

Como es habitual, también asumimos que nuestra cadena de Markov\( \bs{X} \) es homogénea en el tiempo, de modo que\( \P(X_{s + t} = y \mid X_s = x) = \P(X_t = y \mid X_0 = x) \) para\( s, \, t \in [0, \infty) \) y\( x, \, y \in S \). Entonces, para una cadena homogénea de Markov\( S \), el proceso\( \{X_{s+t}: t \in [0, \infty)\} \) dado\( X_s = x \), es independiente\( \mathscr{F}_s \) y equivalente al proceso\( \{X_t: t \in [0, \infty)\} \) dado\( X_0 = x \), para cada\( s \in [0, \infty) \) y\( x \in S \). Es decir, si la cadena está en estado en un\( x \in S \) momento determinado\( s \in [0, \infty) \), no importa cómo llegó la cadena\( x \); la cadena esencialmente comienza de nuevo en estado\( x \).

La propiedad fuerte de Markov

Los tiempos aleatorios juegan un papel importante en el estudio de las cadenas de Markov en el tiempo continuo. A menudo es necesario permitir que los tiempos aleatorios tomen el valor\( \infty \), por lo que formalmente, un tiempo aleatorio\( \tau \) es una variable aleatoria en el espacio de muestra subyacente\( (\Omega, \mathscr{F}) \) que toma valores\( [0, \infty] \). Recordemos también que un tiempo aleatorio\( \tau \) es un tiempo de parada (también llamado un tiempo de Markov o un tiempo opcional) si\( \{\tau \le t\} \in \mathscr{F}_t \) por cada\( t \in [0, \infty) \). Si\( \tau \) es un tiempo de parada, la\( \sigma \) -álgebra asociada a\( \tau \)\( \mathscr{F}_\tau \) es\[ \mathscr{F}_\tau = \{A \in \mathscr{F}: A \cap \{\tau \le t\} \in \mathscr{F}_t \text{ for all } t \in [0, \infty)\} \] So es la colección de eventos hasta el tiempo\( \tau \) aleatorio de la misma manera que\( \mathscr{F}_t \) es la colección de eventos hasta el tiempo determinista\( t \in [0, \infty) \). Por lo general, queremos que la propiedad de Markov se extienda desde tiempos deterministas hasta tiempos de parada.

El proceso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una fuerte cadena de Markov en\( S \) si por cada tiempo de parada\( \tau \),\(t \in [0, \infty) \), y\( x \in S \),\[ \P(X_{\tau + t} = x \mid \mathscr{F}_\tau) = \P(X_{\tau + t} = x \mid X_\tau) \]

Entonces, para una cadena homogénea de Markov fuerte en\( S \), el proceso\( \{X_{\tau + t}: t \in [0, \infty)\} \) dado\( X_\tau = x \), es independiente\( \mathscr{F}_\tau \) y equivalente al proceso\( \{X_t: t \in [0, \infty)\} \) dado\( X_0 = x \), por cada tiempo de parada\( \tau \) y\( x \in S \). Es decir, si la cadena está en estado\( x \in S \) en un tiempo de parada\( \tau \), entonces la cadena esencialmente comienza de nuevo a las\( x \), independientemente del pasado.

Tiempos de retención y la cadena de salto

Para nuestro primer punto de vista, estudiamos cuándo y cómo\( \bs{X} \) cambia de estado nuestra cadena de Markov. La discusión depende en gran medida de las propiedades de la distribución exponencial, por lo que necesitamos una revisión rápida.

La distribución exponencial

Una variable aleatoria\( \tau \) tiene la distribución exponencial con parámetro de tasa\( r \in (0, \infty) \) si\( \tau \) tiene una distribución continua\( [0, \infty) \) con función de densidad de probabilidad\( f \) dada por\( f(t) = r e^{-r t} \) for\( t \in [0, \infty) \). Equivalentemente, la función de distribución correcta\( F^c \) viene dada por\[ F^c(t) = \P(\tau \gt t) = e^{-r t}, \quad t \in [0, \infty) \] La media de la distribución es\( 1 / r \) y la varianza es\( 1 / r^2 \). La distribución exponencial tiene un increíble número de caracterizaciones. Una de las más importantes es la propiedad sin memoria que establece que una variable aleatoria\( \tau \) con valores en\( [0, \infty) \) tiene una distribución exponencial si y solo si la distribución condicional de\( \tau - s \) dada\( \tau \gt s \) es la misma que la distribución de\( \tau \) sí misma, para cada\( s \in [0, \infty) \). Es fácil ver que la propiedad sin memoria es equivalente a la ley de los exponentes para la función de distribución correcta\( F^c \), es decir,\( F^c(s + t) = F^c(s) F^c(t) \) para\( s, \, t \in [0, \infty) \). Dado que\( F^c \) es correcto continuo, las únicas soluciones son las funciones exponenciales.

Para nuestro estudio de las cadenas de Markov de tiempo continuo, es útil extender la distribución exponencial a dos casos degenerados,\( \tau = 0 \) con probabilidad 1 y\( \tau = \infty \) con probabilidad 1. En cuanto al parámetro, el primer caso corresponde a\( r = \infty \) así que\( F(t) = \P(\tau \gt t) = 0 \) para cada\( t \in [0, \infty) \), y el segundo caso corresponde a\( r = 0 \) así que\( F(t) = \P(\tau \gt t) = 1 \) para cada\( t \in [0, \infty) \). Obsérvese que en ambos casos, la función\( F \) satisface la ley de los exponentes, y así corresponde a una distribución sin memoria en sentido general. En todos los casos, la media de la distribución exponencial con parámetro\( r \in [0, \infty] \) es\( 1 / r \), donde interpretamos\( 1/0 = \infty \) y\( 1/\infty = 0 \).

Tiempos de Retención

La propiedad de Markov implica la propiedad sin memoria para el momento aleatorio cuando un proceso de Markov abandona por primera vez su estado inicial. De ello se deduce que este tiempo aleatorio debe tener una distribución exponencial.

Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov\( S \), y vamos\( \tau = \inf\{t \in [0, \infty): X_t \ne X_0\} \). Para\( x \in S \), la distribución condicional de\( \tau \) dado\( X_0 = x \) es exponencial con parámetro\( \lambda(x) \in [0, \infty] \).

Prueba

Dejar\( x \in S \) y\( s \in [0, \infty) \). Los acontecimientos\( X_0 = x \) e\( \tau \gt s \) implican\( X_s = x \). Por la propiedad de Markov, dada\( X_s = x \), la cadena inicia de nuevo en el tiempo\( s \) en estado\( x \), independiente de\( \{X_0 = x\} \) y\( \{\tau \gt s\} \), ya que ambos eventos están en\( \mathscr{F}_s \). De ahí para\( t \in [0, \infty) \),\[ \P(\tau \gt t + s \mid X_0 = x, \tau \gt s) = \P(\tau \gt t + s \mid X_0 = x, X_s = x, \tau \gt s) = \P(\tau \gt t \mid X_0 = x)\] se deduce que\( \tau \) tiene la propiedad sin memoria, y por lo tanto tiene una distribución exponencial con parámetro\( \lambda(x) \in [0, \infty] \).

Entonces, asociada a la cadena de Markov\( \bs{X} \) on\( S \) se encuentra una función\( \lambda: S \to [0, \infty] \) que da los parámetros exponenciales para los tiempos de retención en los estados. Considerando la distribución exponencial ordinaria, y las dos versiones degeneradas, se nos lleva a la siguiente clasificación de estados:

Supongamos nuevamente que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov\( S \) encendida con función de parámetro exponencial\( \lambda \). Vamos\( x \in S \).

1. Si\( \lambda(x) = 0 \) entonces\( \P(\tau = \infty \mid X_0 = x) = 1 \), y\( x \) se dice que es un estado absorbente.
2. Si\( \lambda(x) \in (0, \infty) \) entonces\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \) y\( x \) se dice que es un estado estable.
3. Si\( \lambda(x) = \infty \) entonces\( \P(\tau = 0 \mid X_0 = x) = 1 \), y\( x \) se dice que es un estado instantáneo.

Como puedes imaginar, un estado instantáneo corresponde a un comportamiento extraño, ya que la cadena que inicia en el estado deja el estado en momentos arbitrariamente cercanos a 0. Si bien es matemáticamente posible, los estados instantáneos no tienen sentido en la mayoría de las aplicaciones, por lo que deben evitarse. Además, la prueba del último resultado tiene algunos agujeros técnicos. Realmente no demostramos que\( \tau \) es un tiempo aleatorio válido, y mucho menos un tiempo de parada. Afortunadamente, uno de nuestros supuestos estándar resuelve estos problemas.

Supongamos de nuevo que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en\( S \). Si el proceso\( \bs{X} \) y la filtración\( \mathfrak{F} \) son correctos continuos, entonces

1. \( \tau \)es un tiempo de parada.
2. \( \bs{X} \)no tiene estados instantáneos.
3. \( \P(X_\tau \ne x \mid X_0 = x) = 1 \)si\( x \in S \) es estable.
4. \( \bs{X} \)es un proceso fuerte de Markov.

Prueba

1. Vamos\( t \in [0, \infty) \). Por continuidad correcta,\[ \{\tau \lt t\} = \{X_s \ne X_0 \text{ for some } s \in (0, t)\} = \{X_s \ne X_0 \text{ for some rational } s \in (0, t)\} \] Pero para\( s \in (0, t) \),\( \{X_s \ne X_0\} \in \mathscr{F}_s \subseteq \mathscr{F}_t \). El último evento en la ecuación mostrada es una unión contable, entonces\( \{\tau \lt t\} \in \mathscr{F}_t \). Dado que\( \mathfrak{F} \) es correcto continuo,\( \tau \) es un tiempo de parada.
2. Supongamos que\( \omega \in \Omega \) y\( X_0(\omega) = x \). Ya que\( \bs{X} \) es correcto continuo, existe\( \epsilon \gt 0 \) tal que\( X_t(\omega) = x \) para\( 0 \le t \lt \epsilon \) y por lo tanto\( \tau(\omega) \ge \epsilon \gt 0 \). Entonces\( \P(\tau \gt 0 \mid X_0 = x) = 1 \).
3. Del mismo modo, supongamos que\( \omega \in \Omega \) y eso\( X_0(\omega) = x \) y\( X_{\tau(\omega)}(\omega) = y \). Ya que\( \bs{X} \) es correcto continuo, existe\( \epsilon \gt 0 \) tal que\( X_t(\omega) = y \) para\( \tau(\omega) \le t \lt \tau(\omega) + \epsilon \). Pero por definición de\( \tau(\omega) \), existe\( t \in (\tau(\omega), \tau(\omega) + \epsilon) \) con\( X_t(\omega) \ne x \). De ahí\( \P(X_\tau \ne x \mid X_0 = x) = 1 \).

En realidad hay una conversación a la parte (b) que establece que si no\( \bs{X} \) tiene estados instantáneos, entonces hay una versión de\( \bs{X} \) eso es correcta continua. A partir de ahora, asumiremos que nuestras cadenas de Markov son correctas continuas con probabilidad 1, y por lo tanto no tienen estados instantáneos. Por otro lado, los estados absorbentes son perfectamente razonables y a menudo ocurren en aplicaciones. Finalmente, si la cadena entra en un estado estable, permanecerá ahí por un tiempo (propio) distribuido exponencialmente, y luego se irá.

La cadena de salto

Sin estados instantáneos, ahora podemos construir una secuencia de tiempos de parada. Básicamente, dejamos\( \tau_n \) denotar la\( n \) ésima vez que la cadena cambia de estado\( n \in \N_+ \), a menos que la cadena haya sido previamente atrapada en un estado absorbente. Aquí está la construcción formal:

Supongamos de nuevo que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en\( S \). Dejar\( \tau_0 = 0 \) y\( \tau_1 = \inf\{t \in [0, \infty): X_t \ne X_0\} \). Recursivamente, supongamos que\( \tau_n \) se define para\( n \in \N_+ \). Si se\( \tau_n = \infty \) deja\( \tau_{n+1} = \infty \). De lo contrario,\[ \tau_{n+1} = \inf\left\{t \in [\tau_n, \infty): X_t \ne X_{\tau_n}\right\} \] vamos Let\( M = \sup\{n \in \N: \tau_n \lt \infty\} \).

En la definición de\( M \), por supuesto,\( \sup(\N) = \infty \), también lo\( M \) está el número de cambios de estado. Si\( M \lt \infty \), la cadena fue succionada en un estado absorbente en el momento\( \tau_M \). Ya que hemos descartado estados instantáneos, la secuencia de tiempos aleatorios en estrictamente aumentando hasta el término (aleatorio)\( M \). Es decir, con probabilidad 1, si\( n \in \N \) y\( \tau_n \lt \infty \) entonces\( \tau_n \lt \tau_{n+1} \). Por supuesto por construcción, si\( \tau_n = \infty \) entonces\( \tau_{n+1} = \infty \). Los incrementos\( \tau_{n+1} - \tau_n \) para\( n \in \N \) con\( n \lt M \) son los tiempos pasados en los estados visitados por\( \bs{X} \). El proceso en los momentos aleatorios cuando el estado cambia forma una cadena incrustada de Markov en el tiempo discreto.

Supongamos de nuevo que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov en\( S \). Dejar\( \{\tau_n: n \in \N\} \) denotar los tiempos de parada y\( M \) el índice aleatorio, como se definió anteriormente. Para\( n \in \N \), vamos\( Y_n = X_{\tau_n} \) si\( n \le M \) y\( Y_n = X_{\tau_M} \) si\( n \gt M \). Entonces\( \bs{Y} = \{Y_n: n \in \N\} \) es una cadena de Markov de tiempo discreto (homogénea) en\( S \), conocida como la cadena de salto de\( \bs{X} \).

Prueba

Para\( n \in \N \) let\( \mathscr{G}_n = \sigma\{Y_0, Y_1, \ldots, Y_n\} \), el\( \sigma \) álgebra de eventos para el proceso\( \bs{Y} \), hasta el tiempo discreto\( n \). Vamos\( x \in S \). Si\( x \) es estable, entonces dado\( Y_n = x \), los tiempos aleatorios\( \tau_n \) y\( \tau_{n+1} \) son finitos con probabilidad 1. (Tenga en cuenta que no podemos llegar\( x \) desde un estado absorbente.) Entonces\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = \P\left(X_{\tau_{n+1}} = y \mid X_{\tau_n} = x, \mathscr{G}_n\right), \quad y \in S \] Pero por la fuerte propiedad de Markov, dada\( X_{\tau_n} = x \), la cadena comienza de nuevo en el tiempo\( \tau_n \) en estado\( x \), independiente de\( \mathscr{G}_n \subseteq \mathscr{F}_{\tau_n} \). De ahí\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = \P(X_\tau = y \mid X_0 = x), \quad y \in S\] que por otro lado, si\( x \) es un estado absorbente, entonces por construcción,\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = I(x, y), \quad y \in S \] donde\( I \) está puesta la matriz de identidad\( S \).

Como se señala en la prueba, la matriz de probabilidad de transición de un solo paso\( Q \) para la cadena de salto\( \bs{Y} \) se da para\( (x, y) \in S^2 \) por\[ Q(x, y) = \begin{cases} \P(X_\tau = y \mid X_0 = x), & x \text{ stable} \\ I(x, y), & x \text{ absorbing} \end{cases} \] dónde\( I \) está encendida la matriz de identidad\( S \). Por supuesto,\( Q \) satisface las propiedades habituales de una matriz de probabilidad sobre\( S \), es decir,\( Q(x, y) \ge 0 \) para\( (x, y) \in S^2 \) y\( \sum_{y \in S} Q(x, y) = 1 \) para\( x \in S \). Pero\( Q \) satisface también otra propiedad interesante. Dado que el estado realmente cambia en el tiempo\( \tau \) comenzando en un estado estable, debemos tener\( Q(x, x) = 0 \) si\( x \) es estable y\( Q(x, x) = 1 \) si\( x \) está absorbiendo.

Dado el estado inicial, el tiempo de retención y el siguiente estado son independientes.

Si\( x, \, y \in S \) y\( t \in [0, \infty) \) entonces\( \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = Q(x, y) e^{-\lambda(x) t} \)

Prueba

Supongamos que\( x \) es un estado estable, de manera que dado\( Y_0 = X_0 = x \), el tiempo de parada\( \tau_1 = \tau\) tiene una distribución exponencial adecuada con parámetro\( \lambda(x) \in (0, \infty) \). Tenga en\[ \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = \P(X_{\tau} = y, \tau \gt t \mid X_0 = x) = \P(X_\tau = y \mid \tau \gt t, X_0 = x) \P(\tau \gt t \mid X_0 = x) \] cuenta que Tenga en cuenta que si\( X_0 = x \) y\( \tau \gt t \) luego\( X_t = x \) también. Por la propiedad de Markov, dada\( X_t = x \), la cadena inicia de nuevo en el tiempo\( t \) en estado\( x \), independiente de\( \{X_0 = x\} \) y\( \{\tau \gt t\} \), ambos eventos en\( \mathscr{F}_t \). De ahí por\[ \P(X_\tau = y \mid \tau \gt t, X_0 = x) = \P(X_\tau = y \mid X_t = x, \tau \gt t, X_0 = x) = \P(X_\tau = y \mid X_0 = x) = Q(x, y) \] supuesto\( \P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t} \).

Si\( x \) es un estado absorbente entonces\( \P(\tau = \infty \mid X_0 = x) = 1 \),\( \P(Y_1 = x \mid Y_0 = x) = 1 \), y\( \lambda(x) = 0 \). De ahí\[ \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = I(x, y) = Q(x, y) e^{-\lambda(x) t} \]

El siguiente teorema es una generalización. Los cambios de estado y los tiempos de retención son independientes, dado el estado inicial.

Supongamos que\( n \in \N_+ \) y que\( (x_0, x_1, \ldots, x_n) \) es una secuencia de estados estables y\( (t_1, t_2, \ldots, t_n) \) es una secuencia en\( [0, \infty) \). Entonces\ comienza {alinear*} &\ P (Y_1 = x_1,\ tau_1\ gt t_1, Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2,\ ldots, Y_n = x_n,\ tau_n -\ tau_ {n-1}\ gt t_n\ mid Y_0 = x_0)\\ & = Q (x_0, x_1) e^ {-\ lambda (x_0) t_1} Q (x_1, x_2) e^ {-\ lambda (x_1) t_2}\ cdots Q (x_ {n-1}, x_n) e^ {-\ lambda (x_ {n-1}) t_n}\ end {align*}

Prueba

La prueba es por inducción, y la esencia se captura en el caso\( n = 2 \). Entonces supongamos que\( x_0, \, x_1, \, x_2 \) son estados estables y\( t_1, \, t_2 \in [0, \infty) \). Entonces\ comienza {alinear*} &\ P (Y_1 = x_1,\ tau_1\ gt t_1, Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2\ mid Y_0 = x_0)\\ & =\ P (Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2\ mid X_0 = x, Y_1 = x_1,\ tau_1\ gt t_1)\ P (Y_1 = x_1,\ tau_1\ gt t_1\ mid Y_0 = x_0)\ end {align*} Pero\( \P(Y_1 = x_1, \tau_1 \gt t_1 \mid Y_0 = x_0) = Q(x_0, x_1) e^{-\lambda(x_0) t_1} \) por el teorema anterior. Siguiente, por definición,\[\P(Y_2 = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x, Y_1 = x_1, \tau_1 \gt t_1) = \P\left(X_{\tau_2} = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x_0, X_{\tau_1} = x_1, \tau_1 \gt t_1\right) \] Pero por la fuerte propiedad de Markov, dada\( X_{\tau_1} = x_1 \), la cadena inicia de nuevo en el tiempo\( \tau_1 \) en estado\( x \), independiente de los acontecimientos\( \{X_0 = x_0\} \) y\( \{\tau_1 \gt t_1\} \) (ambos eventos en\( \mathscr{F}_{\tau_1} \)). Por lo tanto, utilizando de nuevo el teorema anterior,\[ \P(Y_2 = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x, Y_1 = x_1, \tau_1 \gt t_1) = \P(X_\tau = x_2, \tau \gt t_2 \mid X_0 = x_1) = Q(x_1, x_2) e^{-\lambda(x_1)t_2} \]

Regularidad

Ahora sabemos bastante sobre la estructura de una cadena de Markov en tiempo continuo\( \bs{X} = \{X_t: t \in [0, \infty)\} \) (sin estados instantáneos). Una vez que la cadena entra en un estado dado\( x \in S \), el tiempo de retención en estado\( x \) tiene una distribución exponencial con parámetro\( \lambda(x) \in [0, \infty) \), después de lo cual\( y \in S \) se elige el siguiente estado, independientemente del tiempo de retención, con probabilidad\( Q(x, y) \). No obstante, no sabemos todo sobre la cadena. Para la secuencia\( \{\tau_n: n \in \N\} \) definida anteriormente, let\( \tau_\infty = \lim_{n \to \infty} \tau_n \), que existe en\( (0, \infty] \) claro, ya que la secuencia va en aumento. A pesar de que el tiempo de retención en un estado es positivo con probabilidad 1, es posible que\( \tau_\infty \lt \infty \) con probabilidad positiva, en cuyo caso no sabemos nada\( X_t \) para\(t \ge \tau_\infty \). Al suceso\( \{\tau_\infty \lt \infty\} \) se le conoce como explosión, ya que significa que el\( \bs{X} \) hace infinitamente muchas transiciones antes del tiempo finito\( \tau_\infty \). Si bien no es tan patológica como la existencia de estados instantáneos, la explosión aún está por evitar en la mayoría de las aplicaciones.

Una cadena\( \bs{X} = \{X_t: t \in [0, \infty)\} \) de Markov\( S \) es regular si cada uno de los siguientes eventos tiene probabilidad 1:

1. \( \bs{X} \)es correcto continuo.
2. \( \tau_n \to \infty \)como\( n \to \infty \).

Hay una condición simple sobre los parámetros exponenciales y la cadena incrustada que es equivalente a la condición (b).

Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena continua derecha de Markov\( S \) con función de parámetro exponencial\( \lambda \) y cadena incrustada\( \bs{Y} = (Y_0, Y_1, \ldots) \). Entonces\( \tau_n \to \infty \) como\( n \to \infty \) con probabilidad 1 si y sólo si\( \sum_{n=0}^\infty 1 \big/ \lambda(Y_n) = \infty \) con probabilidad 1.

Prueba

Dado\( \bs{Y} = (y_0, y_1, \ldots) \), la distribución de\( \tau_\infty = \lim_{n \to \infty} \tau_n \) es la distribución de\( T_\infty = \sum_{n=0}^\infty T_n \) donde\( (T_0, T_1, \ldots) \) son independientes, y\( T_n \) tiene la distribución exponencial con parámetro\( \lambda(y_n) \). Tenga en cuenta que\( \E(T_\infty) = \sum_{n=0}^\infty 1 \big/ \lambda(y_n) \). En la sección sobre la distribución exponencial, se muestra que\( \P(T_\infty = \infty) = 1 \) si y sólo si\( \E(T_\infty) = \infty \).

Si\(\lambda \) está acotado, entonces\( \bs{X} \) es regular.

Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov\( S \) encendida con función de parámetro exponencial\( \lambda \). Si\(\lambda \) está acotado, entonces\( \bs{X} \) es regular.

Prueba

Supongamos que\( \lambda(x) \le r \) para\( x \in S \), donde\( r \in (0, \infty) \). Entonces en particular, no\( \bs{X} \) tiene estados instantáneos y así es correcto continuo. Además,\( 1 / \lambda(x) \ge 1 / r \) para\( x \in S \) ello\( \sum_{n=0}^\infty 1 \big / \lambda(Y_n) = \infty \) con probabilidad 1, donde como ususal,\( \bs{Y} = (Y_0, Y_1, \ldots) \) es la cadena de salto de\( \bs{X} \).

Aquí hay otra condición suficiente que es útil cuando el espacio estatal es infinito.

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de Markov\( S \) encendida con función de parámetro exponencial\( \lambda: S \to [0, \infty) \). Vamos\( S_+ = \{x \in S: \lambda(x) \gt 0\} \). Entonces\( \bs X \) es regular si\[ \sum_{x \in S_+} \frac{1}{\lambda(x)} = \infty \]

Prueba

Por suposición\( x \in S \),\( \lambda(x) \lt \infty \) para, así no hay estados instantáneos y así podemos tomar\( \bs X \) para ser correcto continuo. A continuación,\[ \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \sum_{x \in S} \frac{1}{\lambda(x)} \bs{1}(Y_n = x) = \sum_{x \in S} \frac{1}{\lambda(x)} \sum_{n=0}^\infty \bs{1}(Y_n = x) = \sum_{x \in S} \frac{N_x}{\lambda(x)} \] dónde\( N_x = \sum_{n=0}^\infty \bs{1}(Y_n = x) \) está el número de veces que la cadena de salto\( \bs Y \) está en estado\( x \). Supongamos que\( \sum_{x \in S_+} 1 / \lambda(x) = \infty \). Obsérvese que debe darse el caso que\( S_+ \), y por lo tanto\( S \), sea infinito. Con probabilidad 1, o bien\( \bs Y \) entra en un estado absorbente (un estado\( x \in S \) con\( \lambda(x) = 0 \)), o\( N_x = \infty \) para algunos\( x \in S_+ \), o\( N_x \ge 1 \) para infinitamente muchos\( x \in S_+ \). En todo caso,\[ \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{x \in S} \frac{N_x}{\lambda(x)} = \infty\]

Como corolario, tenga en cuenta que si\( S \) es finito entonces\( \lambda \) está acotado, por lo que una cadena de Markov en tiempo continuo en un espacio de estado finito es regular. Entonces para revisar, si la función de parámetro exponencial\( \lambda \) es finita, la cadena no\( \bs{X} \) tiene estados instantáneos. Aún mejor, si\( \lambda \) está acotado o si se cumplen las condiciones en el último teorema, entonces\( \bs{X} \) es regular. Una cadena de Markov de tiempo continuo con función de parámetro exponencial acotada\( \lambda \) se denomina uniforme, por razones que quedarán claras en la siguiente sección sobre matrices de transición. Como veremos en sección posterior, se puede construir una cadena uniforme de Markov de tiempo continuo a partir de una cadena de tiempo discreta y un proceso independiente de Poisson. Para el siguiente resultado, recordemos que decir que\( \bs{X} \) ha dejado límites con probabilidad 1 significa que la función aleatoria\( t \mapsto X_t \) tiene límites de la izquierda en adelante\( (0, \infty) \) con probabilidad 1.

Si\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es regular entonces\( \bs{X} \) ha dejado límites con probabilidad 1.

Prueba

Supongamos primero que no hay estados absorbentes. Bajo los supuestos, con probabilidad 1,\( 0 \lt \tau_n \lt \infty \) para cada uno\( n \in \N \) y\( \tau_n \to \infty \) como\( n \to \infty \). Además,\( X_t = Y_n \) para\( t \in [\tau_n, \tau_{n+1}) \) y\( n \in \N \). Así\( t \mapsto X_t \) ha dejado límites\( (0, \infty) \) con probabilidad 1. El mismo argumento básico funciona con estados absorbentes, salvo que posiblemente\( \tau_{n+1} = \infty \).

Por lo tanto, nuestra suposición estándar será que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena regular de Markov en\( S \). Para tal cadena, el comportamiento de\( \bs{X} \) está completamente determinado por la función de parámetro exponencial\( \lambda \) que gobierna los tiempos de retención, y la matriz\( Q \) de probabilidad de transición de la cadena de salto\( \bs{Y} \). Por el contrario, al modelar sistemas estocásticos reales, a menudo comenzamos con\( \lambda \) y\( Q \). Entonces es relativamente sencillo construir la cadena de Markov en tiempo continuo que tiene estos parámetros. Por simplicidad, asumiremos que no hay estados absorbentes. La inclusión de estados absorbentes no es difícil, sino que empaña la exposición, por lo demás elegante.

Supongamos que\( \lambda: S \to (0, \infty) \) está acotado y que\( Q \) es una matriz de probabilidad on\( S \) con la propiedad que\( Q(x, x) = 0 \) para cada\( x \in S \). La cadena regular de Markov de tiempo continuo\( \bs X = \{X_t: t \in [0, \infty)\} \) con función de parámetro exponencial\( \lambda \) y matriz de transición de salto se\( Q \) puede construir de la siguiente manera:

1. Primero construya la cadena de salto\( \bs Y = (Y_0, Y_1, \ldots) \) que tenga matriz de transición\( Q \).
2. A continuación, dado\( \bs Y = (x_0, x_1, \ldots) \), los tiempos de transición\( (\tau_1, \tau_2, \ldots) \) se construyen de manera que los tiempos de retención\( (\tau_1, \tau_2 - \tau_1, \ldots) \) sean independientes y se distribuyan exponencialmente con parámetros\( (\lambda(x_0), \lambda(x_1), \ldots) \)
3. De nuevo dado\( \bs Y = (x_0, x_1, \ldots) \), definir\( X_t = x_0 \) para\( 0 \le t \lt \tau_1 \) y para\( n \in \N_+ \), definir\( X_t = x_n \) para\( \tau_n \le t \lt \tau_{n+1}) \).

Detalles adicionales

Usando conjuntos de productos y medidas de producto, es sencillo construir un espacio de probabilidad\( (\Omega, \mathscr{F}, \P) \) con los siguientes objetos y propiedades:

1. \( \bs{Y} = (Y_0, Y_1, \ldots) \)es una cadena de Markov\( S \) con matriz de transición\( Q \).
2. \( \bs{T} = \{T_x: x \in S\} \)es una colección de variables aleatorias independientes con valores en\( [0, \infty) \) tal que\( T_x \) tiene la distribución exponencial con parámetro\( \lambda(x) \) para cada una\( x \in S \).
3. \( \bs{Y} \)y\( \bs{T} \) son independientes.

Defina de la\( \bs{X} = \{X_t: t \in [0, \infty)\} \) siguiente manera: Primero,\( \tau_1 = T_{Y_0} \) y\( X_t = Y_0 \) para\( 0 \le t \lt \tau_1 \). Recursivamente, si\( X_t \) se define on\( [0, \tau_n) \), let\( \tau_{n+1} = \tau_n + T_{Y_n} \) y luego let\( X_t = Y_n \) for\( \tau_n \le t \lt \tau_{n+1} \). Ya que\( \lambda \) está acotado,\( \tau_n \to \infty \) como\( n \to \infty \), así\( X_t \) está bien definido para\( t \in [0, \infty) \). Por construcción,\( t \mapsto X_t \) es derecha continua y tiene límites a la izquierda. La propiedad de Markov posee la propiedad sin memoria de la distribución exponencial y el hecho de que\( \bs Y \) es una cadena de Markov. Finalmente, por construcción,\( \bs X \) tiene función de parámetro exponencial\( \lambda \) y cadena de salto\( \bs{Y} \).

A menudo, particularmente cuando\( S \) es finita, la estructura esencial de una cadena estándar de Markov de tiempo continuo se puede resumir sucintamente con una gráfica.

Supongamos nuevamente que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena regular de Markov encendida\( S \), con función de parámetro exponencial\( \lambda \) y matriz de transición incrustada\( Q \). La gráfica de estado de\( \bs{X} \) es la gráfica con conjunto de vértices\( S \) y conjunto de bordes dirigidos\( E = \{(x, y) \in S^2: Q(x, y) \gt 0\} \). La gráfica está etiquetada de la siguiente manera:

1. Cada vértice\( x \in S \) se etiqueta con el parámetro exponencial\( \lambda(x) \).
2. Cada borde\( (x, y) \in E \) se etiqueta con la probabilidad de transición\( Q(x, y) \).

Entonces, a excepción de las etiquetas en los vértices, la gráfica de estado de\( \bs{X} \) es la misma que la gráfica de estado de la cadena de salto de tiempo discreto\( \bs{Y} \). Es decir, hay un borde dirigido de estado\( x \) a estado\( y \) si y solo si la cadena, cuando está en\( x \), puede moverse a\( y \) después del tiempo de retención aleatorio en\( x \). Tenga en cuenta que los únicos bucles en la gráfica de estado corresponden a estados absorbentes, y para tal estado no hay bordes externos.

Volvamos de nuevo a la construcción anterior de una cadena de Markov de tiempo continuo a partir de la matriz de transición de salto\( Q \) y la función de parámetro exponencial\( \lambda \). Nuevamente por simplicidad, supongamos que no hay estados absorbentes. Suponemos que\( Q(x, x) = 0 \) para todos\( x \in S \), para que el estado realmente cambie en los tiempos de transición. Sin embargo, si dejamos caer esta suposición, la construcción todavía produce una cadena de Markov en tiempo continuo, pero con una matriz de transición de salto alterada y una función de parámetro exponencial.

Supongamos que\( Q \) es una matriz de transición on\( S \times S \) with\( Q(x, x) \lt 1 \) for\( x \in S \), y que\( \lambda: S \to (0, \infty) \) está acotada. El proceso estocástico\( \bs X = \{X_t: t \in [0, \infty)\} \) construido arriba a partir de\( Q \) y\( \lambda \) es una cadena de Markov regular y de tiempo continuo con función de parámetro exponencial\( \tilde \lambda \) y matriz de transición de salto\( \tilde Q \) dada por\ begin {align*} &\ tilde\ lambda (x) =\ lambda (x) [1 - Q (x, x)],\ quad x \ in S\\ &\ tilde Q (x, y) =\ frac {Q (x, y)} {1 - Q (x, x)},\ quad (x, y)\ en S^2,\, x\ ne y\ fin {alinear*}

Prueba 1

Como antes, el hecho de que\( \bs X \) sea una cadena de Markov en el tiempo continuo se desprende de la propiedad sin memoria de la distribución exponencial y de la propiedad Markov de la cadena de salto\( \bs Y \). Por construcción,\( t \mapsto X_t \) es derecha continua y tiene límites a la izquierda. El punto principal, sin embargo, es que no\( (\tau_1, \tau_2, \ldots) \) es necesariamente la secuencia de tiempos de transición, cuando el estado realmente cambia. Entonces solo necesitamos determinar los parámetros. Supongamos\( X_0 = x \in S \) y vamos\( \tau = \tau_1 \) tener la distribución exponencial con parámetro\( \lambda(x) \), como en la construcción. Vamos a\( T \) denotar el momento en que el estado realmente cambia. Porque\( t \in [0, \infty) \), el evento\( T \gt t \) puede ocurrir de dos maneras: cualquiera\( \tau \gt t \) o\( \tau = s \) para algunas\( s \in [0, t] \), la cadena vuelve a saltar\( x \) al estado en el momento\( s \), y el proceso permanece entonces\( x \) por un período de al menos\( t - s \). Así vamos\( F_x(t) = \P(T \gt t \mid X_0 = x) \). Tomar los dos casos, condicionar\( \tau \), y usar la propiedad de Markov da\[ F_x(t) = e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q(x, x) F_x(t - s) ds \] Usar el cambio de variables\( u = t - s \) y simplificar da\[ F_x(t) = e^{-\lambda(x) t} \left[1 + \lambda(x) Q(x, x) \int_0^t e^{\lambda(x) u} F_x(u) du\right] \] Diferenciar con respecto a\( t \) entonces da\[ F_x^\prime(t) = -\lambda(x) [1 - Q(x, x)] F_x(t) \] con la condición inicial\( F_x(0) = 1 \). La solución por supuesto es\( F_x(t) = \exp\{-\lambda(x)[1 - Q(x, x)]\} \) para\( t \in [0, \infty) \). Cuando el estado cambia, el nuevo estado\( y \ne x \) se elige con probabilidad\[ \P(Y_1 = y \mid Y_0 = x, Y_1 \ne x) = \frac{Q(x, y)}{1 - Q(x, x)} \]

Prueba 2

Al igual que en la primera prueba, solo necesitamos determinar los parámetros. Dado\( X_0 = Y_0 = x \), el tiempo discreto\( N \) cuando los\( \ Y\) primeros cambios de estado tiene la distribución geométrica en el parámetro\( \N_+ \) con éxito\( 1 - Q(x, x) \). De ahí que el tiempo hasta que\( \bs X \) realmente cambie de estado tiene la distribución de\( T = \sum_{i=1}^N U_i \) donde\( \bs U = (U_1, U_2, \ldots) \) es una secuencia de variables independientes, cada una distribuida exponencialmente con parámetro\( \lambda(x) \) y con\( \bs U \) independiente de\( N \). En la sección sobre la distribución exponencial, se muestra que\( T \) también tiene la distribución exponencial, pero con parámetro\( \lambda(x)[1 - Q(x, x)] \). (La prueba es simple usando funciones de generación.) Al igual que en la primera prueba, cuando el estado sí cambia,\( y \ne x \) se elige el nuevo estado con probabilidad\[ \P(Y_1 = y \mid Y_0 = x, Y_1 \ne x) = \frac{Q(x, y)}{1 - Q(x, x)} \]

Esta construcción será importante en nuestro estudio de las cadenas subordinadas al proceso de Poisson.

Tiempos de Transición

La estructura de una cadena regular de Markov\( S \), como se describió anteriormente, puede explicarse puramente en términos de una familia de variables aleatorias independientes, distribuidas exponencialmente. Las principales herramientas son algunas propiedades especiales adicionales de la distribución exponencial, que necesitamos reafirmar en el marco de nuestra cadena Markov. Nuestro interés está en cómo evoluciona el proceso entre los estados estables hasta que entra en un estado absorbente (si lo hace). Una vez en un estado absorbente, la cadena permanece ahí para siempre, por lo que el comportamiento a partir de ese momento es trivial.

Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena regular de Markov\( S \) encendida, con función de parámetro exponencial\( \lambda \) y matriz de probabilidad de transición\( Q \). Definir\( \mu(x, y) = \lambda(x) Q(x, y) \) para\( (x, y) \in S^2 \). Entonces

1. \( \lambda(x) = \sum_{y \in S} \mu(x, y) \)para\( x \in S \).
2. \( Q(x, y) = \mu(x, y) \big/ \lambda(x) \)si\( (x, y) \in S^2 \) y\( x \) es estable.

El punto principal es que los nuevos parámetros\( \mu(x, y) \) para\( (x, y) \in S^2 \) determinar los parámetros exponenciales\( \lambda(x) \) para\( x \in S \), y las probabilidades de transición\( Q(x, y) \) cuando\( x \in S \) es estable y\( y \in S \). Por supuesto que sabemos que si\( \lambda(x) = 0 \), así que eso\( x \) está absorbiendo, entonces\( Q(x, x) = 1 \). Entonces, de hecho, los nuevos parámetros, según lo especificado por la función\( \mu \), determinan completamente los parmetros antiguos, como lo especifican las funciones\( \lambda \) y\( Q \). Pero ¿y qué?

Considerar las funciones\( \mu \),\( \lambda \), y\( Q \) como se da en el resultado anterior. Supongamos que\( T_{x,y} \) tiene la distribución exponencial con parámetro\( \mu(x, y) \) para cada uno\( (x, y) \in S^2 \) y que\( \left\{T_{x,y}: (x, y) \in S^2\right\} \) es un conjunto de variables aleatorias independientes. Entonces

1. \( T_x = \inf\left\{T_{x,y}: y \in S\right\} \)tiene la distribución exponencial con parámetro\( \lambda(x) \) para\( x \in S \).
2. \(\P\left(T_x = T_{x, y}\right) = Q(x, y)\)para\( (x, y) \in S^2 \).

Prueba

Estos son resultados básicos comprobados en la sección sobre la distribución exponencial.

Entonces, así es como podemos pensar en una cadena de Markov regular y de tiempo continuo encendida\( S \): Hay un temporizador asociado a cada uno\( (x, y) \in S^2 \), establecido en el tiempo aleatorio\( T_{x,y} \). Todos los temporizadores funcionan de forma independiente. Cuando la cadena entra en estado\( x \in S \), los temporizadores activados\( (x, y) \) para\( y \in S \) se inician simultáneamente. Tan pronto como suena la primera alarma para un particular\( (x, y) \), la cadena se mueve inmediatamente al estado\( y \), y el proceso se repite. Por supuesto, si\( \mu(x, y) = 0 \) entonces\( T_{x, y} = \infty \) con probabilidad 1, entonces solo los temporizadores con\( \lambda(x) \gt 0 \) y\( Q(x, y) \gt 0 \) importan (estos corresponden a los bordes no bucle en la gráfica de estado). En particular, si\( x \) está absorbiendo, entonces los temporizadores\( (x, y) \) encendidos se configuran en infinito para cada uno\( y \), y nunca suena ninguna alarma.

La nueva colección de parámetros exponenciales se puede utilizar para dar una versión alternativa de la gráfica estatal. Nuevamente, el conjunto de vértices es\( S \) y el conjunto de bordes es\( E = \{(x, y) \in S^2: Q(x, y) \gt 0\} \). Pero ahora cada borde\( (x, y) \) está etiquetado con el parámetro de tasa exponencial\( \mu(x, y) \). Los parámetros de tasa exponencial están estrechamente relacionados con la matriz generadora, matriz de fundamental importancia que estudiaremos en la siguiente sección.

Ejemplos y ejercicios

La cadena de dos estados

La cadena de dos estados es la cadena de Markov no trivial y de tiempo continuo más simple, pero sin embargo, esta cadena ilustra muchas de las propiedades importantes de las cadenas de tiempo continuas generales. Entonces considera la cadena Markov\( \bs{X} = \{X_t: t \in [0, \infty)\} \) en el conjunto de estados\( S = \{0, 1\} \), con tasa\( a \in [0, \infty) \) de transición de 0 a 1 y tasa\( b \in [0, \infty) \) de transición de 1 a 0.

La matriz de transición\( Q \) para la cadena incrustada se da a continuación. Dibuja la gráfica de estado en cada caso.

1. \( Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}\right] \)si\( a \gt 0 \) y\( b \gt 0 \), para que ambos estados sean estables.
2. \( Q = \left[\begin{matrix} 1 & 0 \\ 1 & 0 \end{matrix}\right] \)si\( a = 0 \) y\( b \gt 0 \), para que\( a \) sea absorbente y\( b \) sea estable.
3. \( Q = \left[\begin{matrix} 0 & 1 \\ 0 & 1 \end{matrix}\right] \)si\( a \gt 0 \) y\( b = 0 \), para que\( a \) sea estable y\( b \) esté absorbiendo.
4. \( Q = \left[\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}\right] \)si\( a = 0 \) y\( b = 0 \), para que ambos estados estén absorbiendo.

Volveremos a la cadena de dos estados en secciones posteriores.

Ejercicios Computacionales

Considere la cadena de Markov\( S = \{0, 1, 2\} \) con\( \bs{X} = \{X_t: t \in [0, \infty)\} \) función de parámetro exponencial\( \lambda = (4, 1, 3) \) y matriz de transición incrustada\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Dibuja la gráfica estatal y clasifica los estados.
2. Encuentra la matriz de tasas de transición.
3. Clasificar la cadena de salto en términos de recurrencia y periodo.
4. Encuentra la distribución invariante de la cadena de salto.

Responder

1. El conjunto de bordes es\( E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\} \). Todos los estados son estables.
2. La matriz de tasas de transición es\[ \left[\begin{matrix} 0 & 2 & 2 \\ 1 & 0 & 0 \\ 1 & 2 & 0 \end{matrix}\right] \]
3. La cadena de salto es irreducible, positiva recurrente y aperiódica.
4. La distribución invariante para la cadena de salto tiene PDF\[ f = \left[\begin{matrix} \frac{6}{14} & \frac{5}{14} & \frac{3}{14}\end{matrix}\right] \]

Modelos Especiales

Lee la introducción a las cadenas subordinadas al proceso de Poisson.

Lee la introducción a las cadenas de nacimiento y muerte.

Lea la introducción a las cadenas de colas de tiempo continuo.

Lea la introducción a las cadenas de ramificación de tiempo continuo.