16.21: Cadenas de nacimiento-muerte en tiempo continuo

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

Teoría Básica

Introducción

Una cadena de nacimiento-muerte en tiempo continuo es una clase simple de cadenas de Markov en un subconjunto de\( \Z \) con la propiedad de que las únicas transiciones posibles son aumentar el estado en 1 (nacimiento) o disminuir el estado en 1 (muerte). Es más fácil definir el proceso de nacimiento-muerte en términos de las tasas de transición exponenciales, parte de la estructura básica de las cadenas de Markov de tiempo continuo.

Supongamos que\( S \) es un intervalo entero (es decir, un conjunto de enteros consecutivos), ya sea finito o infinito. La cadena de nacimiento-muerte con función de tasa de natalidad\( \alpha: S \to [0, \infty) \) y función de tasa de mortalidad\( \beta: S \to [0, \infty) \) es la cadena\( \bs{X} = \{X_t: t \in [0, \infty)\} \) de Markov\( S \) con tasa\( \alpha(x) \) de transición de\( x \) a\( x + 1 \) y tasa\( \beta(x) \) de transición de\( x \) a\( x - 1 \), para\( x \in S \).

Si\( S \) tiene un elemento mínimo\( m \), entonces por supuesto que debemos tener\( \beta(m) = 0 \). Si\( \alpha(m) = 0 \) también, entonces el punto límite\( m \) está absorbiendo. De igual manera, si\( S \) tiene un elemento máximo\( n \) entonces debemos tener\( \alpha(n) = 0 \). Si\( \beta(n) = 0 \) también entonces el punto límite\( n \) está absorbiendo. Si no\( x \in S \) es un punto límite, entonces normalmente tenemos\( \alpha(x) + \beta(x) \gt 0 \), así que eso\( x \) es estable. Si\( \beta(x) = 0 \) para todos\( x \in S \), entonces\( \bs{X} \) es un proceso de nacimiento puro, y de manera similar si\( \alpha(x) = 0 \) para todos\( x \in S \) entonces\( \bs{X} \) es un proceso de muerte pura. A partir de las tasas de transición, es fácil calcular los parámetros de los tiempos de retención exponencial en un estado y la matriz de transición de la cadena de salto de tiempo discreto incrustada.

Consideremos nuevamente la cadena de nacimiento-muerte\( S \) con\( \bs{X} \) función de tasa de natalidad\( \alpha \) y función de tasa de mortalidad\( \beta \). Como es habitual, vamos a\( \lambda \) denotar la función de parámetro exponencial y\( Q \) la matriz de transición para la cadena de salto.

1. \( \lambda(x) = \alpha(x) + \beta(x) \)para\( x \in S \)
2. Si\( x \in S \) es estable, de modo que\( \alpha(x) + \beta(x) \gt 0 \), entonces\[ Q(x, x + 1) = \frac{\alpha(x)}{\alpha(x) + \beta(x)}, \quad Q(x, x - 1) = \frac{\beta(x)}{\alpha(x) + \beta(x)} \]

Tenga en cuenta que la cadena de salto\( \bs{Y} = (Y_0, Y_1, \ldots) \) es una cadena de muerte por nacimiento en tiempo discreto. Las funciones de probabilidad\( p \)\( q \),, y\( r \) de\( \bs Y \) se dan de la siguiente manera: Si\( x \in S \) es estable entonces\ begin {align*} p (x) & = Q (x, x + 1) =\ frac {\ alpha (x)} {\ alpha (x) +\ beta (x)}\\ q (x) & = Q (x, x - 1) =\ frac {\ beta (x)} {\ alpha (x) +\ beta (x)}\\ r (x) & = Q (x, x) = 0\ final {align*} Si\( x \) está absorbiendo entonces por supuesto\( p(x) = q(x) = 0 \) y\( r(x) = 1 \). Excepto por el estado inicial, la cadena de salto\( \bs{Y} \) es determinista para un proceso de nacimiento puro, con\( Q(x, x) = 1 \) si\( x \) es absorbente y\( Q(x, x + 1) = 1 \) si\( x \) es estable. De igual manera, a excepción del estado inicial,\( \bs{Y} \) es determinista para un proceso de muerte pura, con\( Q(x, x) = 1 \) si\( x \) es absorbente y\( Q(x, x - 1) = 1 \) si\( x \) es estable. Tenga en cuenta que el proceso de Poisson con parámetro de tasa\( r \in (0, \infty) \), visto como una cadena de Markov de tiempo continuo, es un proceso de nacimiento puro\( \N \) con función de nacimiento\( \alpha(x) = r \) para cada uno\( x \in \N \). De manera más general, un proceso de muerte por nacimiento con\( \lambda(x) = \alpha(x) + \beta(x) = r \) para todos también\( x \in S \) está subordinado al proceso de Poisson con tasa\( r \).

Obsérvese que\( \lambda \) está acotado si\( \alpha \) y sólo si y\( \beta \) son acotados (siempre el caso si\( S \) es finito), y en este caso la cadena de nacimiento-muerte\( \bs X = \{X_t: t \in [0, \infty)\} \) es uniforme. Si no\( \lambda \) tiene límites, entonces\( \bs X \) puede que ni siquiera sea regular, como muestra un ejemplo a continuación. Recordemos que una condición suficiente\( \bs X \) para ser regular cuando\( S \) es infinito es\[ \sum_{x \in S_+} \frac{1}{\lambda(x)} = \sum_{x \in S_+} \frac{1}{\alpha(x) + \beta(x)} = \infty \] donde\( S_+ = \{x \in S: \lambda(x) = \alpha(x) + \beta(x) \gt 0\} \) está el conjunto de estados estables. Salvo el ejemplo antes mencionado, limitaremos nuestro estudio a cadenas regulares de nacimiento-muerte.

Generador Infinitesimal y Matrices de Transición

Supongamos nuevamente que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de nacimiento-muerte en tiempo continuo en un intervalo\( S \subseteq \Z \) con función de tasa de natalidad\( \alpha \) y función de tasa de mortalidad\( \beta \). Como es habitual, dejaremos\( P_t \) denotar la matriz de transición en el momento\( t \in [0, \infty) \) y\( G \) el generador infinitesimal. Como siempre, el generador infinitesimal da la misma información que la función de parámetro exponencial y la matriz de transición de salto, pero de una forma más compacta y útil.

La matriz generadora\( G \) viene dada por\[ G(x, x) = -[\alpha(x) + \beta(x)], \; G(x, x + 1) = \alpha(x), \; G(x, x - 1) = \beta(x), \quad x \in S \]

Prueba

Esto se desprende de la teoría general, ya que\( G(x, x) = -\lambda(x) \) para\( x \in S \) y\( G(x, y) = \lambda(x) Q(x, y) \) para\( (x, y) \in S^2 \) con\( x \ne y \).

Las ecuaciones hacia atrás y hacia adelante de Kolmogorov son

1. \( \frac{d}{dt} P_t(x, y) = -[\alpha(x) + \beta(x)] P_t(x, y) + \alpha(x) P_t(x + 1, y) + \beta(x) P_t(x - 1, y) \)para\( (x, y) \in S^2 \).
2. \( \frac{d}{dt} P_t(x, y) = -[\alpha(y) + \beta(y)] P_t(x, y) + \alpha(y - 1) P_t(x, y - 1) + \beta(y + 1) P_t(x, y + 1) \)para\( (x, y) \in S^2 \)

Prueba

Estos resultados se derivan de la matriz generadora\( G \) anterior.

1. La ecuación hacia atrás es\( \frac{d}{dt} P_t = G P_t \).
2. La ecuación hacia adelante es\( \frac{d}{dt} P_t = P_t G \).

Comportamiento limitante y distribuciones estacionarias

Para nuestra discusión sobre el comportamiento limitante, consideraremos primero el importante caso especial de una cadena de nacimiento-muerte continua\( \bs{X} = \{X_t: t \in [0, \infty)\} \) en\( S = \N \) y con\( \alpha(x) \gt 0 \) para todos\( x \in \N \) y\( \beta(x) \gt 0 \) para todos\( x \in \N_+ \). Para la cadena de salto\( \bs{Y} = \{Y_n: n \in \N\} \), recordemos que\[ p(x) = Q(x, x + 1) = \frac{\alpha(x)}{\alpha(x) + \beta(x)}, \; q(x) = Q(x, x - 1) = \frac{\beta(x)}{\alpha(x) + \beta(x)}, \quad x \in \N\] La cadena de salto\( \bs{Y} \) es una cadena de nacimiento-muerte en tiempo discreto, y nuestra notación aquí es consistente con la notación que usamos en esa sección. Tenga en cuenta que\( \bs{X} \) y\( \bs{Y} \) son irreducibles. Primero consideramos la fugacidad y recurrencia.

Las cadenas\( \bs{X} \) y\( \bs{Y} \) son recurrentes si y solo si\[ \sum_{x=0}^\infty \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} = \infty \]

Prueba

Recordemos que\( \bs{X} \) es recurrente si y sólo si\( \bs{Y} \) es recurrente. En nuestro estudio de las cadenas de nacimiento-muerte discretos vimos que\( \bs{Y} \) es recurrente si y solo si\[ \sum_{x=0}^\infty \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} = \infty \] Pero trivialmente,\[ \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} = \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} \]

A continuación consideramos la recurrencia positiva y las distribuciones invariantes. Es agradable ver esto desde diferentes puntos de vista.

La función\( g: \N \to (0, \infty) \) definida por\[ g(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] es invariante para\( \bs{X} \), y es la única función invariante, hasta la multiplicación por constantes. De ahí que\( \bs{X} \) sea positivo recurrente si y solo si\( B = \sum_{x = 0}^\infty g(x) \lt \infty \), en cuyo caso la función de densidad de probabilidad invariante (única)\( f \) viene dada por\( f(x) = \frac{1}{B} g(x) \) for\( x \in \N \). Además,\( P_t(x, y) \to f(y) \) como\( t \to \infty \) para cada\(x, \, y \in \N\)

Prueba usando la cadena de salto

A partir de nuestro estudio de las cadenas de nacimiento-muerte en tiempo discreto, sabemos que la función\( h: \N \to (0, \infty) \) definida por\[ h(x) = \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)}, \quad x \in \N \] es invariante para\( \bs{Y} \), y es la única función invariante positiva hasta la multiplicación por constantes positivas. Luego se deduce de nuestro estudio de las funciones invariantes para cadenas de tiempo continuas que la función\( h / \lambda \) es invariante para\( \bs{X} \), y nuevamente es la única función invariante positiva hasta la multiplicación por constantes positivas. Pero es sencillo ver que\[ \frac{h(x)}{\lambda(x)} = \frac{h(x)}{\alpha(x) + \beta(x)} = \frac{\alpha(1) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} = \frac{1}{\alpha(0)} g(x) \] dónde\( g \) está la función dada en el teorema. Las partes restantes del teorema se derivan de la teoría general.

Prueba a partir de la ecuación de balance

Una función\( g: \N \to (0, \infty) \) es invariante para\( \bs{X} \) si y sólo si satisface la ecuación de equilibrio\( g G = 0 \). Para nuestra cadena de nacimiento-muerte, esto se reduce a\ begin {alinear*}\ alpha (0) g (0) & =\ beta (1) g (1)\\ [\ alpha (x) +\ beta (x)] g (x) & =\ alpha (x - 1) g (x - 1) +\ beta (x + 1) g (x + 1),\ quad x\ in\ N_+\ end {align*} Sustituyendo la ecuación con\( x = 0 \) a la izquierda por la ecuación con\( x = 1 \) la izquierda da\( \alpha(1) g(1) = \beta(2) g(2) \). Sustituyendo esto en la ecuación con\( x = 2 \) a la izquierda da\( \alpha(2) g(2) = \beta(3) g(3) \). En general, las ecuaciones de balance implican\[ \alpha(x) g(x) = \beta(x + 1) g(x + 1), \quad x \in \N \] Resolver estas nuevas ecuaciones de balance recursivamente da\[ g(x) = g(0) \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \] Letting\( g(0) = 1 \) da la función invariante particular en el teorema. Nuevamente, las partes restantes siguen de la teoría general.

Aquí hay un resumen de la clasificación:

Para la cadena de nacimiento-muerte en tiempo continuo\( \bs X \),\[ A = \sum_{x = 0}^\infty \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)}, \; B = \sum_{x = 0}^\infty \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \]

1. \( \bs X \)es transitorio si\( A \lt \infty \).
2. \( \bs X \)es nulo recurrente si\( A = \infty \) y\( B = \infty \).
3. \( \bs X \)es positivo recurrente si\( B \lt \infty \).

Supongamos ahora eso\( n \in \N_+ \) y eso\( \bs X = \{X_t: t \in [0, \infty)\}\) es una cadena de nacimiento-muerte en tiempo continuo en el intervalo entero\( \N_n = \{0, 1, \ldots, n\} \). Asumimos que\( \alpha(x) \gt 0 \) por un\( x \in \{0, 1, \ldots, n - 1\} \) tiempo\( \beta(x) \gt 0 \) para\( x \in \{1, 2, \ldots n\} \). Por supuesto, debemos tener\( \beta(0) = \alpha(n) = 0 \). Con estos supuestos,\( \bs X \) es irreducible, y dado que el espacio estatal es finito, recurrente positivo. Entonces todo lo que queda es encontrar la distribución invariante. El resultado es esencialmente el mismo que cuando el espacio de estado es\( \N \).

La función de densidad de probabilidad invariante\( f_n \) viene dada por\[ f_n(x) = \frac{1}{B_n} \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \text{ for } x \in \N_n \text{ where } B_n = \sum_{x=0}^n \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \]

Prueba

Definir\[ g_n(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N_n \] La prueba para la\( g_n \) que es invariante\( \bs X \) es la misma que antes. La constante\( B_n \) es la constante normalizadora.

Tenga en cuenta que\( B_n \to B \) como\( n \to \infty \), y si\( B \lt \infty \), en\( f_n(x) \to f(x) \)\( n \to \infty \) cuanto a\( x \in \N \). Volveremos a ver este tipo de comportamientos. Los resultados para la cadena de nacimiento-muerte en\( \N_n \) a menudo convergen a los resultados correspondientes para la cadena de nacimiento-muerte en\( \N \) as\( n \to \infty \).

Absorción

A menudo, cuando el espacio estatal\( S = \N \), el estado de una cadena de nacimiento-muerte representa una población de individuos de algún tipo (y así los términos nacimiento y muerte tienen sus significados habituales). En este caso el estado 0 es absorbente y significa que la población está extinguida. Específicamente, supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena regular de nacimiento-muerte en\( \N \) con\( \alpha(0) = \beta(0) = 0 \) y con\( \alpha(x), \, \beta(x) \gt 0 \) para\( x \in \N_+ \). Así, el estado 0 es absorbente y todos los estados positivos conducen entre sí y a 0. Dejar\( T = \min\{t \in [0, \infty): X_t = 0\} \) denotar el tiempo hasta la absorción, donde como de costumbre,\( \min \emptyset = \infty \). Muchos de los resultados relativos a la extinción de la cadena de nacimiento-muerte en tiempo continuo se derivan fácilmente de los resultados correspondientes para la cadena de salto de nacimiento-muerte en tiempo discreto.

Se producirá uno de los siguientes eventos:

1. Extinción poblacional:\( T \lt \infty \) o equivalentemente,\( X_s = 0 \) para algunos\( s \in [0, \infty) \) y por lo tanto\( X_t = 0 \) para todos\( t \in [s, \infty)\).
2. Explosión poblacional:\( T = \infty \) o equivalentemente\( X_t \to \infty \) como\( t \to \infty \).

Prueba

La parte (b) se desprende de la teoría general, ya que 0 es absorbente, y todos los estados positivos conducen entre sí y a 0. Así los estados positivos son transitorios y sabemos que con probabilidad 1, la cadena de salto visitará un estado transitorio solo finitamente a menudo. Así\( T = \infty \) es equivalente a\( X_t \to \infty \) as\( t \to \infty \). Sin el supuesto de que la cadena es regular, la explosión poblacional podría ocurrir en tiempo finito.

Naturalmente nos gustaría encontrar la probabilidad de estos eventos complementarios, y felizmente ya lo hemos hecho en nuestro estudio de las cadenas de nacimiento-muerte en tiempo discreto. La función de probabilidad de absorción\( v \) se define por\[v(x) = \P(T \lt \infty) = \P(X_t = 0 \text{ for some } t \in [0, \infty) \mid X_0 = x), \quad x \in \N \]

Como antes, vamos\[A = \sum_{i=0}^\infty \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)}\]

1. Si\( A = \infty \) entonces\( v(x) = 1 \) para todos\( x \in \N \).
2. Si\( A \lt \infty \) entonces\[ v(x) = \frac{1}{A} \sum_{i=x}^\infty \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)}, \quad x \in \N \]

Prueba

La cadena de tiempo continuo se absorbe en 0 si y solo si la cadena de salto de tiempo discreto se absorbe en 0. Por lo que el resultado se desprende del resultado correspondiente para cadenas de nacimiento-muerte en tiempo discreto. Recordemos de nuevo que\( q(x) / p(x) = \beta(x) / \alpha(x) \) para\( x \in \N_+ \)

El tiempo medio hasta la extinción se considera el siguiente, así que dejemos\( m(x) = \E(T \mid X_0 = x) \)\( x \in \N \). A diferencia de la probabilidad de extinción, el cálculo del tiempo medio hasta la extinción no se puede reducir fácilmente al cálculo de tiempo discreto correspondiente. Sin embargo, el método de cómputo sí se extiende.

La función de absorción media viene dada por\[ m(x) = \sum_{j=1}^x \sum_{k=j-1}^\infty \frac{\alpha(j) \cdots \alpha(k)}{\beta(j) \cdots \beta(k+1)}, \quad x \in \N \]

Prueba probabilítica

El tiempo requerido para pasar de estado\( x \in \N_+ \) a\( x - 1 \) tiene la misma distribución que el tiempo requerido para pasar del estado 1 al 0, excepto con parámetros\( \alpha(y), \, \beta(y) \) para\( y \in \{x, x + 1, \ldots\} \) en lugar de parámetros\( \alpha(y), \, \beta(y) \) para\( y \in \{1, 2, \ldots\} \). Entonces, por la aditividad del valor esperado, solo necesitamos computar\( m(1) \) como una función de los parámetros. Comenzando en el estado 1, la cadena será absorbida en el estado 0 después de un número aleatorio de retornos al estado 1 sin absorción. Siempre que la cadena se encuentre en el estado 1, la absorción ocurre en la siguiente transición con probabilidad\( q(1) \) por lo que se deduce que el número de veces que la cadena está en el estado 1 antes de la absorción tiene la distribución geométrica\( \N_+ \) encendida con parámetro éxito\( q(1) \). La media de esta distribución es\( 1 / q(1) = [\alpha(1) + \beta(1)] / \beta(1) \). Por otro lado, comenzando en el estado 1, el tiempo hasta que la cadena esté nuevamente en el estado 1 (sin absorción) tiene la misma distribución que el tiempo de retorno al estado 0, comenzando en el estado 0 para la cadena irreducible de nacimiento-muerte encendido\( \N \) con tasas de nacimiento y mortalidad\( \alpha^\prime \) y\( \beta^\prime \) dado por\( \alpha^\prime(x) = \alpha(x + 1) \) para\( x \in \N \) y\( \beta^\prime(x) = \beta(x + 1) \) para\( x \in \N_+ \). Así, let\[ \mu = \frac{1}{\alpha(1) + \beta(1)}\sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(2) \cdots \beta(k+1)} \] Entonces\( \mu \) es el tiempo medio de retorno al estado 0 para la cadena\( \bs{X}^\prime \). Específicamente, tenga en cuenta que si\( \mu = \infty \) entonces\( \bs{X}^\prime \) es transitorio o nulo recurrente. Si\( \mu \lt \infty \) entonces\( 1 / \mu \) es el PDF invariante a 0. Entonces, se deduce que\[ m(1) = \frac{1}{q(1)} \mu = \sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(1) \cdots \beta(k + 1)} \] Por nuestro argumento anterior, el tiempo medio para pasar de estado\( x \) a\( x - 1 \) es\[ \sum_{k=x-1}^\infty \frac{\alpha(x) \cdots \alpha(k)}{\beta(x) \cdots \beta(k + 1)} \]

En particular, tenga en cuenta que\[ m(1) = \sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(1) \cdots \beta(k + 1)} \] Si\( m(1) = \infty \) entonces\( m(x) = \infty \) para todos\( x \in S \). Si\( m(1) \lt \infty \) entonces\( m(x) \lt \infty \) para todos\( x \in S \)

A continuación consideraremos una cadena de nacimiento-muerte en un intervalo entero finito con ambos puntos finales absorbiendo. Nuestro interés está en la probabilidad de absorción en un punto final y no en el otro, y en el tiempo medio hasta la absorción. Así supongamos que\( n \in \N_+ \) y eso\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de nacimiento-muerte en tiempo continuo\( \N_n = \{0, 1, \ldots, n\} \) con\( \alpha(0) = \beta(0) = 0 \),\( \alpha(n) = \beta(n) = 0 \), y\( \alpha(x) \gt 0 \),\( \beta(x) \gt 0 \) para\( x \in \{1, 2, \ldots, n - 1\} \). Entonces los puntos finales 0 y\( n \) están absorbiendo, y todos los demás estados conducen entre sí y hacia los puntos finales. Dejar\( T = \inf\{t \in [0, \infty): X_t \in \{0, n\}\} \), el tiempo hasta la absorción, y para\( x \in S \) dejar\( v_n(x) = \P(X_T = 0 \mid X_0 = x) \) y\( m_n(x) = \E(T \mid X_0 = x) \). Las definiciones tienen sentido ya que\( T \) es finita con probabilidad 1.

La función de probabilidad de absorción para el estado 0 viene dada por\[ v_n(x) = \frac{1}{A_n} \sum_{i=x}^{n-1} \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)} \text{ for } x \in \N_n \text{ where } A_n = \sum_{i=0}^{n-1} \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)} \]

Prueba

La cadena de salto\( \bs Y = \{Y_n: n \in \N\} \) es una cadena de nacimiento-muerte en tiempo discreto\( \N_n \) con\( 0 \) y\( n \) absorbente. Además,\( \bs X \) se absorbe en 0 o\( n \) si y sólo si\( \bs Y \) se absorbe en 0 o\( n \), respectivamente. Por lo que el resultado se desprende del resultado correspondiente para\( \bs Y \), ya que\( q(x) / p(x) = \beta(x) / \alpha(x) \) para\( x \in \{1, 2, \ldots, n - 1\} \).

Tenga en cuenta que\( A_n \to A \) como\( n \to \infty \) donde\( A \) está la constante anterior para la probabilidad de absorción a 0 con el espacio de estado infinito\( \N \). Si\( A \lt \infty \) entonces\( v_n(x) \to v(x) \) en\( n \to \infty \) cuanto a\( x \in \N \).

Reversión de tiempo

Esencialmente, toda cadena irreducible de nacimiento-muerte en tiempo continuo es reversible.

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena positiva recurrente de nacimiento-muerte en un intervalo entero\( S \subseteq \Z \) con función de tasa de natalidad\( \alpha: S \to [0, \infty) \) y función de tasa de mortalidad\( \beta: S \to \infty \). Supongamos que\( \alpha(x) \gt 0 \), salvo en el valor máximo de\( S \), si hay uno, y de manera similar eso\( \beta(x) \gt 0 \), excepto en el valor mínimo de\( X \), si hay uno. Entonces\( \bs X \) es reversible.

Prueba

Tenga en cuenta que\( \bs X \) es irreducible. Como de costumbre, vamos a\( G \) denotar la matriz generadora. Es fácil ver que bajo los supuestos,\( G(x, y) = 0 \) implica\( G(y, x) = 0 \) para\( (x, y) \in S^2 \), y que se cumple la condición del ciclo Kolmogorov: Para todas\( n \in \N_+ \) y cada una de las secuencias\( (x_1, x_2, \ldots x_n) \in S^n \),\[ G(x_1, x_2) \cdots G(x_{n-1}, x_n) G(x_n, x_1) = G(x_1, x_n), G(x_n, x_{n-1} \cdots G(x_2, x_1) \]

En el importante caso especial de una cadena de nacimiento-muerte\( \N \) encendida, podemos verificar directamente las ecuaciones de balance.

Supongamos que\( \bs{X} = \{X_t: t \in [0, \infty)\} \) es una cadena de nacimiento-muerte en tiempo continuo sobre\( S = \N \) y con tasa de natalidad\( \alpha(x) \gt 0 \) para todos\( x \in \N \) y tasa de mortalidad\( \beta(x) \gt 0 \) para todos\( x \in \N_+ \). Entonces\( \bs X \) es reversible.

Prueba

Solo tenemos que demostrar que la ecuación de equilibrio para una cadena reversible se mantiene, y esto en realidad se hizo en el resultado anterior. Como antes, deja\( g: \N \to (0, \infty) \) ser la función dada por\[ g(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] El único caso no trivial de la ecuación de equilibrio\( g(x) G(x, y) = g(y) G(y, x) \) para\( (x, y) \in S^2 \) es\[g(x) G(x, x + 1) = g(x + 1) G(x + 1, x) ) = \frac{\alpha(0) \cdots \alpha(x)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] Se desprende de la teoría general que\( g \) es invariante para\( \bs X \) y que\( \bs X \) es reversible con respecto a\( g \). Dado que en realidad sabemos por nuestro trabajo anterior que\( g \) es la única función invariante positiva, hasta la multiplicación por constantes positivas, simplemente podemos decir que\( \bs X \) es reversible.

En el caso recurrente positivo, se deduce que la cadena de nacimiento-muerte es estocásticamente la misma, hacia adelante o hacia atrás en el tiempo, si la cadena tiene la distribución invariante.

Ejemplos y Casos Especiales

Cadenas Regulares e Irregulares

Nuestro primer ejercicio da dos cadenas natales puras, cada una con una función de parámetro exponencial sin límites. Uno es regular y otro irregular.

Considera el proceso de nacimiento puro\( \N_+ \) con\( \bs{X} = \{X_t: t \in [0, \infty)\} \) función de tasa de natalidad\( \alpha \).

1. Si es\( \alpha(x) = x^2 \) por\( x \in \N_+ \), entonces no\( \bs{X} \) es regular.
2. Si es\( \alpha(x) = x \) por\( x \in \N_+ \), entonces\( \bs{X} \) es regular.

Prueba

La cadena de salto\( \bs Y \) es determinista, a excepción del estado inicial. Dado\( Y_0 = x \in \N_+ \), tenemos\( Y_n = n + x \). De ahí

1. \( \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \frac{1}{(n + x)^2} \lt \infty\)
2. \( \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \frac{1}{n + x} = \infty\)

Entonces los resultados se derivan de la teoría general.

Tasas constantes de natalidad y mortalidad

Nuestros siguientes ejemplos consideran cadenas de nacimiento-muerte con constantes tasas de natalidad y mortalidad, excepto quizás en los puntos finales. Tenga en cuenta que tales cadenas serán regulares ya que la función de parámetro exponencial\( \lambda \) está acotada.

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es la cadena de nacimiento-muerte\( \N \) encendida, con tasa de natalidad constante\( \alpha \in (0, \infty) \)\( \N \) encendida y tasa de mortalidad constante\( \beta \in (0, \infty) \) en\( \N_+ \).

1. \( \bs X \)es transitorio si\( \beta \lt \alpha \).
2. \( \bs X \)es nulo recurrente si\( \beta = \alpha \).
3. \( \bs X \)es positivo recurrente si\( \beta \gt \alpha \). La distribución invariante es la distribución geométrica on\( \N \) con parámetro\( \alpha / \beta \)\[ f(x) = \left( 1 - \frac{\alpha }{\beta} \right) \left( \frac{\alpha}{\beta} \right)^x, \quad x \in \N \]

Prueba

Tenga en cuenta que\( \bs X \) es irreducible ya que la tasa de natalidad es positiva en\( \N \) y la tasa de mortalidad es positiva en\( \N_+ \). Las series en los resultados anteriores son series geométricas:\[ \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} = \left(\frac{\beta}{\alpha}\right)^x, \; \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} = \left(\frac{\alpha}{\beta}\right)^x, \quad x \in \N \]

A continuación consideramos la cadena con\( 0 \) absorción. Al igual que en la discusión general anterior, vamos a\( v \) denotar la función que da la probabilidad de absorción y\( m \) la función que da el tiempo medio a la absorción.

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es la cadena de nacimiento-muerte adentro\( \N \) con tasa de\( \alpha \in (0, \infty) \) natalidad constante encendida\( \N_+ \), muerte constante reada\( \beta \in (0, \infty) \) en\( \N_+ \), y con 0 absorbente. Entonces

1. Si\( \beta \ge \alpha \) entonces\( v(x) = 1 \) por\( x \in \N \). Si\( \beta \lt \alpha \) entonces\( v(x) = (\beta / \alpha)^x \) por\( x \in \N \).
2. Si\( \alpha \ge \beta \) entonces\( m(x) = \infty \). Si\( \alpha \lt \beta \) entonces\(m(x) = x / (\beta - \alpha)\) por\( x \in \N \).

A continuación veamos las cadenas en un espacio de estado finito. Dejar\( n \in \N_+ \) y definir\( \N_n = \{0, 1, \ldots, n\} \).

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena de nacimiento-muerte en tiempo continuo\( \N_n \) con tasa de natalidad constante\( \alpha \in (0, \infty) \) encendida\( \{0, 1, \ldots, n - 1\} \) y tasa de mortalidad constante\( \beta \in (0, \infty) \) en\( \{1, 2, \ldots n\} \). La función de densidad de probabilidad invariante\( f_n \) se da de la siguiente manera:

1. Si\( \alpha \ne \beta \) entonces\[ f_n(x) = \frac{(\alpha / \beta)^x (1 - \alpha / \beta)}{1 - (\alpha / \beta)^{n+1}}, \quad x \in \N_n \]
2. Si\( \alpha = \beta \) entonces\( f_n(x) = 1 / (n + 1) \) por\( x \in \N_n \)

Tenga en cuenta que cuando\( \alpha = \beta \), la distribución invariante es uniforme en\( \N_n \). Nuestro ejercicio final considera la probabilidad de absorción en 0 cuando ambos puntos finales están absorbiendo. Let\( v_n \) denotar la función que da la probabilidad de absorción en 0, en lugar de\( n \).

Supongamos que\( \bs X = \{X_t: t \in [0, \infty)\} \) es la cadena de nacimiento-muerte\( \N_n \) encendida con tasa de natalidad constante\( \alpha \) y tasa de mortalidad constante\( \beta \) en\( \{1, 2, \ldots, n - 1\} \), y con 0 y\( n \) absorbente.

1. Si\( \alpha \ne \beta \) entonces\[ v_n(x) = \frac{(\beta / \alpha)^x - (\beta / \alpha)^n}{1 - (\beta / \alpha)^n}, \quad x \in \N_n \]
2. Si\( \alpha = \beta \) entonces\( v_n(x) = (n - x) / n \) por\( x \in \N_n \).

Tasas Lineales de Nacimiento y Muerte

Para nuestra siguiente discusión, consideremos individuos que actúan de manera idéntica e independiente. Cada individuo se divide en dos a una tasa exponencial\( a \in (0, \infty) \) y muere a una tasa exponencial\( b \in (0, \infty) \).

Vamos a\( X_t \) denotar la población en el momento\( t \in [0, \infty) \). Entonces\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena regular de nacimiento-muerte en tiempo continuo con funciones de natalidad y tasa de mortalidad dadas por\( \alpha(x) = a x \) y\( \beta(x) = b x \) para\( x \in \N \).

Prueba

El hecho de que\( \bs X \) sea una cadena de Markov en tiempo continuo se desprende de los supuestos. Además, dado que los individuos actúan de manera independiente, las tasas generales de natalidad y mortalidad cuando la población está\( x \in \N \) es simple\( x \) multiplicada por las tasas de nacimiento y mortalidad individuales. La cadena es regular desde\[ \sum_{x=1}^\infty \frac{1}{(a + b) x} = \infty \]

Nótese que\( 0 \) es absorbente ya que la población está extinguida, por lo que como es habitual, nuestro interés está en la probabilidad de absorción y el tiempo medio hasta la absorción como funciones del estado inicial. La probabilidad de absorción es la misma que para la cadena con constantes tasas de natalidad y mortalidad discutidas anteriormente.

La función de probabilidad de absorción\( v \) se da de la siguiente manera:

1. \( v(x) = 1 \)para todos\( x \in \N \) si\( b \ge a \).
2. \( v(x) = (b / a)^x \)para\( x \in \N \) si\( b \lt a \).

Prueba

Estos resultados se derivan de los resultados generales anteriores desde\( \beta(x) / \alpha(x) = b / a \) para\( x \in \N_+ \). De ahí que\( x \in \N \),\[ \sum_{i=x}^\infty (b / a)^i = \begin{cases} \infty & b \ge a \\ \frac{(b/a)^x}{1 - b / a} & b \lt a \end{cases}\]

El tiempo medio hasta la absorción es más interesante.

El tiempo medio hasta la función de absorción\( m \) se da de la siguiente manera:

1. Si\( a \ge b \) entonces\( m(x) = \infty \) por\( x \in \N_+ \).
2. Si\( a \lt b \) entonces\[m(x) = \sum_{j=1}^x \frac{b^{j-1}}{a^j} \int_0^{a/b} \frac{u^{j-1}}{1 - u} du, \quad x \in \N\]

Prueba

1. De los resultados generales anteriores, tenga en cuenta que\[ m(1) = \sum_{k=0}^\infty \frac{1}{(k + 1) b} \left(\frac{a}{b}\right)^k\] La suma es infinita si\( a \ge b \).
2. Si\( \alpha \lt \beta \) entonces de nuevo a partir de la fórmula general anterior,\[ m(x) = \sum_{j=1}^x \sum_{k=j-1}^\infty \frac{1}{(k + 1) b} \left(\frac{a}{b}\right)^{k - j + 1} = \sum_{j=1}^x \frac{1}{b} \left(\frac{b}{a}\right)^j \sum_{k=j-1}^\infty \frac{1}{k + 1}\left(\frac{a}{b}\right)^{k+1} \] La serie interna converge absolutamente. Por otra parte\( k \in \N \), para,\[ \frac{1}{k + 1} \left(\frac{a}{b}\right)^{k+1} = \int_0^{a/b} u^k du \] Sustituir e intercambiar la suma e integral da\[ m(x) = \sum_{j=1}^x \frac{b^{j-1}}{a^j}\int_0^{a/b} \left( \sum_{k=j-1}^\infty u^k \right) du = \sum_{j=1}^x \frac{b^{j-1}}{a^j} \int_0^{a/b} \frac{u^{j-1}}{1 - u} du \]

Para valores pequeños de\( x \in \N \), las integrales en el caso se\( a \lt b \) pueden hacer por métodos elementales. Por ejemplo,\ begin {align*} m (1) & = -\ frac {1} {a}\ ln\ left (1 -\ frac {a} {b}\ right)\\ m (2) & = m (1) -\ frac {1} {a} -\ frac {b} {a^2}\ ln\ left (1 -\ frac {a} {b}\ derecha)\\ m (3) & = m (2) -\ frac {1} {2 a} -\ frac {b} {a^2} -\ frac {b^2} {a^3}\ ln\ left (1 -\ frac {a} {b}\ right)\ end {align*} Sin embargo, una fórmula general requiere la introducción de una función especial que no sea mucho más útil que las propias integrales. La cadena de Markov\( \bs X \) es en realidad un ejemplo de una cadena de ramificación. Volveremos a visitar esta cadena en esa sección.

Nacimiento lineal y muerte con inmigración

Continuamos nuestra discusión anterior pero generalizando un poco. Supongamos nuevamente que tenemos individuos que actúan de manera idéntica e independiente. Un individuo se divide en dos a tasa exponencial\( a \in [0, \infty) \) y muere a tasa exponencial\( b \in [0, \infty) \). Adicionalmente, nuevos individuos ingresan a la población a tasa exponencial\( c \in [0, \infty) \). Este es el efecto migratorio, y cuando\( c = 0 \) tenemos la cadena de nacimiento-muerte en la discusión anterior.

Vamos a\( X_t \) denotar la población en el momento\( t \in [0, \infty) \). Entonces\( \bs X = \{X_t: t \in [0, \infty)\} \) es una cadena regular de nacimiento-muerte en tiempo continuo con funciones de natalidad y tasa de mortalidad dadas por\( \alpha(x) = a x + c \) y\( \beta(x) = b x \) para\( x \in \N \).

Prueba

El hecho de que\( \bs X \) sea una cadena de Markov en tiempo continuo se desprende de los supuestos. Además, dado que los individuos actúan de manera independiente, la tasa general de natalidad cuando la población está\( x \in \N \) es\( a x + c \) mientras que la tasa de mortalidad es\( b x \). La cadena es regular desde\[ \sum_{x=1}^\infty \frac{1}{((a + b) x + c} = \infty \]

La matriz infinitesimal\( G \) se da de la siguiente manera, para\( x \in \N \):

1. \( G(x, x) = -[(a + b) x + c] \)
2. \( G(x, x + 1) = a x + c \)
3. \( G(x, x - 1) = bx \)

Las ecuaciones hacia atrás y hacia adelante se dan de la siguiente manera, para\( (x, y) \in \N^2 \) y\( t \in (0, \infty) \)

1. \( \frac{d}{dt} P_t(x, y) = -[(a + b)x + c] P_t(x, y) + (a x + c) P_t(x + 1, y) + b x P_t(x - 1, y) \)
2. \( \frac{d}{dt} P_t(x, y) = -[(a + b)y + c] P_t(x, y) + [a (y - 1) + c] P_t(x, y - 1) + b(y + 1) P_t(x, y + 1 \))

Podemos usar la ecuación hacia adelante para encontrar el tamaño esperado de la población. Dejar\( M_t(x) = \E(X_t, \mid X_0 = x) \) para\( t \in [0, \infty) \) y\( x \in \N \).

Para\( t \in [0, \infty) \) y\( x \in \N \), el tamaño medio de la población\( M_t(x) \) se da de la siguiente manera:

1. Si\( a = b \) entonces\( M_t(x) = c t + x \).
2. Si\( a \ne b \) entonces\[ M_t(x) = \frac{c}{a - b}\left[e^{(a - b)t} - 1 \right] + x e^{(a - b) t} \]

Prueba

Primero tenga en cuenta que\( M_t(x) = \sum_{y=0}^\infty y P_t(x, y) \) para\( x \in \N \). Multiplicando la ecuación anterior por\( y \) y sumando\( y \in \N \) da\ begin {align*}\ sum_ {y=0} ^\ infty y\ frac {d} {dt} P_t (x, y) = & a\ sum_ {y=2} ^\ infty y (y - 1) p_t (x, y - 1) + c\ sum_ {y=1} ^\ infty P_t (x, y - 1)\\ & - (a + b)\ suma_ {y=0} ^\ infty y^2 P_t (x, y) - c\ suma_ {y=0} ^\ infty y P_t ( x, y) + b\ sum_ {y=0} ^\ infty y (y + 1) P_t (x, y + 1)\ end {align*} Reindexar las sumas y usar algún álgebra da la ecuación diferencial de primer orden\[ \frac{d}{dt} M_t(x) = c + (a - b) M_t(x), \quad x \in \N, \, t \in (0, \infty) \] con condición inicial\( M_0(x) = x \). Resolver la ecuación diferencial da el resultado.

Tenga en cuenta que\( b \gt a \), para que la tasa de mortalidad individual supere la tasa de natalidad, entonces en\( M_t(x) \to c / (b - a) \)\( t \to \infty \) cuanto a\( x \in \N \). Si es\( a \ge b \) así que la tasa de natalidad es igual o superior a la tasa de mortalidad, entonces en\( M_t(x) \to \infty \)\( t \to \infty \) cuanto a\( x \in \N_+ \).

A continuación consideraremos el caso especial sin nacimientos, sino solo muerte e inmigración. En este caso, la distribución invariante es fácil de calcular, y es una de nuestras favoritas.

Supongamos eso\( a = 0 \) y aquello\( b, \, c \gt 0 \). Entonces\( \bs X \) es positivo recurrente. La distribución invariante es Poisson con el parámetro\( c / b \):\[ f(x) = e^{-c/b} \frac{(c / b)^x}{x!}, \quad x \in \N \]

Prueba

En términos de la teoría general anterior, tenga en cuenta que la función invariante\( g \), única hasta la multiplicación por constantes positivas, viene dada por Por\[ g(x) = \frac{\alpha(0) \cdots \alpha(x)}{\beta(1) \cdots \beta(x)} = \frac{c^x}{b^x x!} = \frac{(c/b)^x}{x!}, \quad x \in \N \] lo tanto\( B = \sum_{x=0}^\infty g(x) = e^{c/b} \lt \infty \) y por lo tanto la cadena es recurrente positiva con PDF invariante\[ f(x) = \frac{1}{B} g(x) = e^{-c/b} \frac{(c / b)^x}{x!}, \quad x \in \N \] Este es el PDF de la distribución de Poisson con parámetro\( c / b \).

La cadena logística

Considerar una población que fluctúe entre un valor mínimo\( m \in \N_+ \) y un valor máximo\( n \in \N_+ \), donde por supuesto,,\( m \lt n \). Dado el tamaño de la población, los individuos actúan de manera independiente e idéntica. Específicamente, si la población es\( x \in \{m, m + 1, \ldots, n\} \) entonces un individuo se divide en dos a tasa exponencial\( a (n - x) \) y muere a tasa exponencial\( b (x - m) \), donde\( a, \, b \in (0, \infty) \). Así, la tasa de natalidad de un individuo disminuye linealmente con el tamaño de la población de\( a (n - m) \) a\( 0 \) mientras que la tasa de mortalidad aumenta linealmente con el tamaño de la población de\( 0 \) a\( b (n - m) \). Estos supuestos conducen a la siguiente definición.

La cadena de nacimiento-muerte\( \bs X = \{X_t: t \in [0, \infty)\} \) en tiempo continuo\( S = \{m, m + 1, \ldots, n\} \) con función de tasa de natalidad\( \alpha \) y función de tasa de mortalidad\( \beta \) dada por\[ \alpha(x) = a x (n - x), \; \beta(x) = b x (x - m), \quad x \in S \] es la cadena logística\( S \) con parámetros\( a \) y\( b \).

Justificación

Dado que los individuos actúan de manera independiente e idéntica, la tasa general de natalidad y las tasas de mortalidad cuando la población\( x \in S \) está es simplemente\( x \) veces la tasa de natalidad y mortalidad de un individuo.

Tenga en cuenta que la cadena logística es una contraparte estocástica de la ecuación diferencial logística, que normalmente tiene la forma\[ \frac{dx}{dt} = c (x - m)(n - x) \] dónde\( m, \, n, \, c \in (0, \infty) \) y\( m \lt n \). A partir de\( x(0) \in (m, n) \), la solución permanece\( (m, n) \) para todos\( t \in [0, \infty) \). Por supuesto, la ecuación diferencial logística modela un sistema que es continuo en tiempo y espacio, mientras que la cadena logística de Markov modela un sistema que es continuo en el tiempo y discreto es el espacio.

Para la cadena logística

1. La función de parámetro exponencial\( \lambda \) viene dada por\[ \lambda(x) = a x (n - x) + b x (x - m), \quad x \in S \]
2. La matriz\( Q \) de transición de la cadena de salto viene dada por\[ Q(x, x - 1) = \frac{b (x - m)}{a (n - x) + b (x - m)}, \, Q(x, x + 1) = \frac{a (n - x)}{a (n - x) + b (x - m)}, \quad x \in S \]

En particular,\( m \) y\( n \) están reflejando puntos límite, y así la cadena es irreducible.

La matriz generadora\( G \) para la cadena logística se da de la siguiente manera, para\( x \in S \):

1. \( G(x, x) = - x[a (n - x) + b (x - m)] \)
2. \(G(x, x - 1) = b x (x - m)\)
3. \( G(x, x + 1) = a x (n - x) \)

Ya que\( S \) es finito,\( \bs X \) es positivo recurrente. La distribución invariante se da a continuación.

Definir\( g: S \to (0, \infty) \) por\[ g(x) = \frac{1}{x} \binom{n - m}{x - m} \left(\frac{a}{b}\right)^{x - m}, \quad x \in S \] Entonces\( g \) es invariante para\( \bs X \).

Prueba

Ya que sabemos que\( \bs X \) es reversible, solo necesitamos demostrarlo\( g(x) G(x, y) = g(y) G(y, x) \) para\( (x, y) \in S^2 \). Para la cadena logística, la única ecuación no trivial es\( g(x) G(x, x + 1) = g(x + 1) G(x + 1, x) \) para\( x \in S \). La sustitución simple y el álgebra muestran que ambos lados se reducen a\[\frac{(n - m)!}{(x - m)! (n - x - 1)!} \frac{a^{x - m + 1}}{b^{x - m}}\]

Por supuesto, ahora se deduce que la función de densidad de probabilidad invariante\( f \) para\( \bs X \) viene dada por\( f(x) = g(x) / c \) para\( x \in S \) donde\( c \) está la constante normalizadora\[ c = \sum_{x=m}^n \frac{1}{x} \binom{n - m}{x - m} \left(\frac{a}{b}\right)^{x - m} \] La distribución limitante de\( \bs X \) tiene función de densidad de probabilidad\( f \).

Otras cadenas especiales de nacimiento-muerte

Hay una serie de cadenas especiales de nacimiento-muerte que se estudian en otras secciones, porque los modelos son importantes y conducen a conocimientos especiales y herramientas analíticas. Estos incluyen

• Cadenas de cola
• La cadena de ramificación de la muerte pura
• El proceso Yule, una pura cadena de ramificación de nacimiento
• La cadena general de ramificación de nacimiento-muerte