Saltar al contenido principal
LibreTexts Español

16.13: Cadenas de nacimiento-muerte en tiempo discreto

  • Page ID
    151975
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

    Teoría Básica

    Introducción

    Supongamos que\( S \) es un intervalo de enteros (es decir, un conjunto de enteros consecutivos), ya sea finito o infinito. Una cadena de nacimiento-muerte (tiempo discreto)\( S \) es una cadena de Markov\( \bs{X} = (X_0, X_1, X_2, \ldots) \) en tiempo discreto\( S \) con matriz\( P \) de probabilidad de transición de la forma\[ P(x, x - 1) = q(x), \; P(x, x) = r(x), \; P(x, x + 1) = p(x); \quad x \in S \] donde\( p \),\( q \), y\( r \) son funciones no negativas en\( S \) con\( p(x) + q(x) + r(x) = 1 \) para \( x \in S \).

    Si el intervalo\( S \) tiene un valor mínimo\( a \in \Z \) entonces por supuesto que debemos tener\( q(a) = 0 \). Si\( r(a) = 1 \), el punto límite\( a \) es absorbente y si\( p(a) = 1 \), entonces\( a \) está reflejando. Del mismo modo, si el intervalo\( S \) tiene un valor máximo\( b \in \Z \) entonces por supuesto que debemos tener\( p(b) = 0 \). Si\( r(b) = 1 \), el punto límite\( b \) es absorbente y si\( p(b) = 1 \), entonces\( b \) está reflejando. Varios otros modelos especiales que hemos estudiado son las cadenas de nacimiento-muerte; estas se exploran a continuación.

    En esta sección, como verás, muchas veces tenemos sumas de productos. Recordemos que una suma sobre un conjunto de índices vacíos es 0, mientras que un producto sobre un conjunto de índices vacío es 1.

    Recurrencia y fugacidad

    Si\( S \) es finita, la clasificación de los estados de una cadena de nacimiento-muerte como recurrentes o transitorios es simple, y depende únicamente de la gráfica estatal. En particular, si la cadena es irreducible, entonces la cadena es recurrente positiva. Entonces estudiaremos la clasificación de las cadenas de nacimiento y muerte cuando\( S = \N \). Suponemos que\( p(x) \gt 0 \) para todos\( x \in \N \) y eso\( q(x) \gt 0 \) para todos\( x \in \N_+ \) (pero claro que debemos tener\( q(0) = 0 \)). Así, la cadena es irreducible.

    Bajo estos supuestos, la cadena de nacimiento y muerte\( \N \) es

    1. Aperiódico si\( r(x) \gt 0 \) para algunos\( x \in \N \).
    2. Periódicos con periodo 2 si\( r(x) = 0 \) para todos\( x \in \N \).
    Prueba
    1. Si\( r(x) \gt 0 \) para algunos\( x \in \N \) entonces\( P(x, x) \gt 0 \) y por lo tanto la cadena es aperiódica.
    2. Si\( r(x) = 0 \) por cada\( x \in \N \) entonces claramente la cadena que comienza en\( x \) puede\( x \) volver a estar en estado solo en momentos pares.

    Utilizaremos la prueba de recurrencia derivada antes con\( A = \N_+ \), el conjunto de estados positivos. Es decir, calcularemos la probabilidad de que la cadena nunca llegue a 0, comenzando en un estado positivo.

    La cadena\( \bs{X} \) es recurrente si y solo si\[ \sum_{x = 0}^\infty \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} = \infty \]

    Prueba

    Dejar\( P_+ \) denotar la restricción de\( P \) a\( \N_+ \times \N_+ \), y definir\( u_+: \N_+ \to [0, 1] \) por\[ u_+(x) = \P(X_1 \gt 0, X_2 \gt 0, \ldots \mid X_0 = x), \quad x \in \N_+ \] Así\( u_+(x) \) es la probabilidad de que la cadena nunca llegue a 0, comenzando en\( x \in \N_+ \). A partir de nuestra teoría general, sabemos que\( u_+ \) satisface\( u_+ = P_+ u_+ \) y es la mayor función de este tipo con valores en\( [0, 1] \). Además, sabemos eso ya sea\( u_+(x) = 0 \) para todos\( x \in \N_+ \) o para eso\( \sup\{u_+(x): x \in [0, 1]\} = 1 \). En el primer caso la cadena es recurrente, y en el segundo caso la cadena es transitoria.

    La ecuación funcional\( P_+ u = u \) para una función\( u: \N_+ \to [0, 1] \) es equivalente al siguiente sistema de ecuaciones:\ begin {align} u (2) - u (1) & =\ frac {q (1)} {p (1)} u (1)\ u (x + 1) - u (x) & =\ frac {q (x)} {p (x)} [u (x) - u (x - 1)],\ quad x\ in\ {2, 3,\ ldots\}\ end {align} Resolviendo este sistema de ecuaciones para las diferencias da\[ u(x + 1) - u(x) = \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} u(1), \quad x \in \N_+ \] Resolver este nuevo sistemas da\[ u(x) = u(1) \sum_{i=0}^{x-1} \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)}, \quad x \in \N_+ \] Nota que\( u(x) \) va aumentando en\( x \in \N_+ \) y así tiene un límite como\( x \to \infty \). Vamos\( A = \sum_{i=0}^\infty \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)} \).

    1. Supongamos que\( A = \infty \). Dejar\( x \to \infty \) entrar la ecuación mostrada arriba para\( u(x) \) muestra eso\( u(1) = 0 \) y así\( u(x) = 0 \) para todos\( x \). De ahí que la cadena sea recurrente.
    2. Supongamos que\( A \lt \infty \). Definir\( u(1) = 1/A \) y luego de manera más general,\[ u(x) = \frac{1}{A} \sum_{i=0}^{x-1} \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)}, \quad x \in \N_+ \] La función\( u \) toma valores\( (0, 1) \) y satisface la ecuación funcional\( u = P_+ u \). De ahí que la cadena sea transitoria. Tenga en cuenta que\( u(x) \to 1 \) como\( x \to \infty \) y así de hecho\( u = u_+ \),, la función que discutimos anteriormente que da la probabilidad de permanecer adentro\( \N_+ \) para siempre. Volveremos a esta función a continuación en nuestra discusión sobre la absorción.

    Obsérvese que\( r \), la función que asigna a cada estado\( x \in \N \) la probabilidad de un retorno inmediato a\( x \), no juega ningún papel directo en si la cadena es transitoria o recurrente. En efecto, lo único que importa son los ratios\( q(x) / p(x) \) para\( x \in \N_+ \).

    Recurrencia positiva y distribuciones invariantes

    Supongamos de nuevo que tenemos una cadena de nacimiento-muerte\( \bs{X} \)\( \N \) encendida, con\( p(x) \gt 0 \) para todos\( x \in \N \) y\( q(x) \gt 0 \) para todos\( x \in \N_+\). Así la cadena es irreducible.

    La función\( g: \N \to (0, \infty) \) definida por\[ g(x) = \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)}, \quad x \in \N \] es invariante para\( \bs{X} \), y es la única función invariante, hasta la multiplicación por constantes. De ahí que\( \bs{X} \) sea positivo recurrente si y solo si\( B = \sum_{x = 0}^\infty g(x) \lt \infty \), en cuyo caso la función de densidad de probabilidad invariante (única)\( f \) viene dada por\( f(x) = \frac{1}{B} g(x) \) for\( x \in \N \).

    Prueba

    Recordemos que por convención, un producto sobre un conjunto de índices vacío es 1. Entonces primero,\ begin {alinear*} (g P) (0) & = g (0) P (0, 0) + g (1) P (1, 0) = g (0) r (0) + g (1) q (1)\ & = 1 r (0) +\ frac {p (0)} {q (1)} q (1) = [1 - p (0)] + p (0) = 1 = g (0)\ final {alinear*} Siguiente, para\( y \in \N_+ \),\ comenzar {alinear*} (g P) (y) & = g (y - 1) P (y - 1, y) + g (y) P (y, y) + g (y + 1) P (y + 1, y)\\ & = g (y - 1) p (y - 1) + g (y) r (y) + g (y + 1) q (y + 1)\\ & = g (y - 1) p (y - 1) + g (y) [1 - p (y) - q (y)] + g (y + 1) q (y + 1)\ end {align*} Pero\ comenzar {alinear*} g (y - 1) p (y - 1) & = g (y) q (y) =\ frac {p (0)\ cdots p (y - 1)} {q (1)\ cdots q (y - 1)}\\ g (y + 1) q (y + 1) & = g (y) p (y) =\ frac {p (0)\ cdots p (y)} {q (1)\ cdots q ( y)}\ end {align*} así\( (g P)(y) = g(y) \).

    Por el contrario, supongamos que\( h: \N \to \R \) es invariante para\( \bs{X} \). Mostraremos por inducción eso\( h(x) = h(0) g(x) \) para todos\( x \in \N \). El resultado es trivialmente cierto\( x = 0 \) desde entonces\( g(0) = 1 \). A continuación,\( (h P)(0) = h(0) \) da\( h(0) P(0, 0) + h(1) P(1, 0) = h(0) \). Pero\( P(0, 0) = r(0) = [1 - p(0)] \) y\( P(1, 0) = q(1) \), así sustituyendo y resolviendo\( h(1) \) da para\[ h(1) = h(0) \frac{p(0)}{q(1)} = h(0) g(1) \] que el resultado sea cierto cuando\( x = 1 \). Asumir ahora eso\( y \in \N_+ \) y que el resultado es cierto para todos\( x \in \N \) con\( x \le y \). Entonces\( (h P)(y) = h(y) \) da\[ h(y - 1) P(y - 1, y) + h(y) P(y, y) + h(y + 1) P(y + 1, y) = h(y) \] Pero\( P(y - 1, y) = p(y - 1) \),\( P(y, y) = r(y) = 1 - p(y) - q(y) \), y\( P(y + 1, y) = q(y + 1) \). También, por la hipótesis de inducción,\( h(y) = h(0) g(y) \) y\( h(y - 1) = h(0) g(y - 1) \) así sustituyendo y usando la definición de\( g \) da\ begin {align*} q (y + 1) h (y + 1) & = [p (y) + q (y)] h (0)\ frac {p (0)\ cdots p (y - 1)} {q (1)\ cdots q (y)} - p (y - 1) h (0)\ frac {p (0)\ cdots p (y - 2)} {q (1)\ cdots q (y - 1)}\\ & = h (0 )\ frac {p (0)\ cdots p (y)} {q (1)\ cdots q (y)}\ end {align*} Finalmente, resolver da\[ h(y + 1) = h(0) \frac{p(0) \cdots p(y)}{q(1) \cdots q(y + 1)} = h(0) g(y + 1) \]

    Aquí hay un resumen de la clasificación:

    Para la cadena de nacimiento y muerte\( \bs X \), definir\[A = \sum_{x = 0}^\infty \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)}, \quad B = \sum_{x = 0}^\infty \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)}\]

    1. \( \bs X \)es transitorio si\( A \lt \infty \)
    2. \( \bs X \)es nulo recurrente si\( A = \infty \) y\( B = \infty \).
    3. \( \bs X \)es positivo recurrente si\( B \lt \infty \).

    Obsérvese nuevamente que\( r \), la función que asigna a cada estado\( x \in \N \) la probabilidad de un retorno inmediato a\( x \), no juega ningún papel directo en si la cadena es transitoria, recurrente nula o recurrente positiva. También, sabemos que una cadena irreducible y recurrente tiene una función invariante positiva que es única hasta la multiplicación por constantes positivas, pero la cadena de nacimiento-muerte da un ejemplo donde esto también es cierto en el caso transitorio.

    Supongamos ahora eso\( n \in \N_+ \) y eso\( \bs X = (X_0, X_1, X_2, \ldots) \) es una cadena de nacimiento-muerte en el intervalo entero\( \N_n = \{0, 1, \ldots, n\} \). Asumimos que\( p(x) \gt 0 \) por un\( x \in \{0, 1, \ldots, n - 1\} \) tiempo\( q(x) \gt 0 \) para\( x \in \{1, 2, \ldots n\} \). Por supuesto, debemos tener\( q(0) = p(n) = 0 \). Con estos supuestos,\( \bs X \) es irreducible, y dado que el espacio estatal es finito, recurrente positivo. Entonces todo lo que queda es encontrar la distribución invariante. El resultado es esencialmente el mismo que cuando el espacio de estado es\( \N \).

    La función de densidad de probabilidad invariante\( f_n \) viene dada por\[ f_n(x) = \frac{1}{B_n} \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)} \text{ for } x \in \N_n \text{ where } B_n = \sum_{x=0}^n \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)} \]

    Prueba

    Definir\[ g_n(x) = \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)}, \quad x \in \N_n \] La prueba para la\( g_n \) que es invariante\( \bs X \) es la misma que antes. La constante\( B_n \) es la constante normalizadora.

    Tenga en cuenta que\( B_n \to B \) como\( n \to \infty \), y si\( B \lt \infty \), en\( f_n(x) \to f(x) \)\( n \to \infty \) cuanto a\( x \in \N \). Volveremos a ver este tipo de comportamientos. Los resultados para la cadena de nacimiento-muerte en\( \N_n \) a menudo convergen a los resultados correspondientes para la cadena de nacimiento-muerte en\( \N \) as\( n \to \infty \).

    Absorción

    A menudo, cuando el espacio estatal\( S = \N \), el estado de una cadena de nacimiento-muerte representa una población de individuos de algún tipo (y así los términos nacimiento y muerte tienen sus significados habituales). En este caso el estado 0 es absorbente y significa que la población está extinguida. Específicamente, supongamos que\( \bs X = (X_0, X_1, X_2, \ldots) \) es una cadena de nacimiento-muerte en\( \N \) con\( r(0) = 1 \) y con\( p(x), \, q(x) \gt 0 \) para\( x \in \N_+ \). Así, el estado 0 es absorbente y todos los estados positivos conducen entre sí y a 0. Dejar\( N = \min\{n \in \N: X_n = 0\} \) denotar el tiempo hasta la absorción, donde como de costumbre,\( \min \emptyset = \infty \).

    Se producirá uno de los siguientes eventos:

    1. Extinción poblacional:\( N \lt \infty \) o equivalentemente,\( X_m = 0 \) para algunos\( m \in \N \) y por lo tanto\( X_n = 0 \) para todos\( n \ge m\).
    2. Explosión poblacional:\( N = \infty \) o equivalentemente\( X_n \to \infty \) como\( n \to \infty \).
    Prueba

    La parte (b) se desprende de la teoría general, ya que 0 es absorbente, y todos los estados positivos conducen entre sí y a 0. Así los estados positivos son transitorios y sabemos que con probabilidad 1, una cadena de Markov visitará un estado transitorio solo finitamente a menudo. Por lo tanto,\( N = \infty \) es equivalente a\( X_n \to \infty \) as\( n \to \infty \).

    Naturalmente nos gustaría encontrar la probabilidad de estos eventos complementarios, y felizmente ya lo hemos hecho en nuestro estudio de recurrencia anterior. Que\[ u(x) = \P(N = \infty) = \P(X_n \to \infty \text{ as } n \to \infty \mid X_0 = x), \quad x \in \N \] así la probabilidad de absorción es\[v(x) = 1 - u(x) = \P(N \lt \infty) = \P(X_n = 0 \text{ for some } n \in \N \mid X_0 = x), \quad x \in \N \]

    Para la cadena de nacimiento y muerte\( \bs X \),\[ u(x) = \frac{1}{A} \sum_{i=0}^{x - 1} \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)} \text{ for } x \in \N_+ \text{ where } A = \sum_{i=0}^\infty \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)} \]

    Prueba

    Para\( x \in \N_+ \), tenga en cuenta que\( u(x) = \P(X_n \in \N_+ \text{ for all } n \in \N \mid X_0 = x) \), la función que da la probabilidad de permanecer en los estados positivos para siempre. La prueba del teorema sobre la recurrencia anterior no tiene nada que ver con las probabilidades de transición en el estado 0, por lo que la prueba también se aplica en esta configuración. En esa prueba demostramos que\( u(x) \) como la forma dada anteriormente, donde por supuesto el valor es 0 si\( A = \infty \). Trivialmente,\( u(0) = 0 \).

    Entonces si\( A = \infty \) entonces\( u(x) = 0 \) para todos\( x \in S \). Si\( A \lt \infty \) entonces\( u(x) \gt 0 \) para todos\( x \in \N_+ \) y\( u(x) \to 1 \) como\( x \to \infty \). Para la probabilidad de absorción,\( v(x) = 1 \) para todos\( x \in \N \) si\( A = \infty \) y así la absorción es cierta. Si\( A \lt \infty \) entonces\[v(x) = \frac{1}{A} \sum_{i=x}^\infty \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)}, \quad x \in \N \] Siguiente consideramos el tiempo medio para la absorción, así que vamos\( m(x) = \E(N \mid X_0 = x) \) por\( x \in \N_+ \).

    La función de absorción media viene dada por\[ m(x) = \sum_{j=1}^x \sum_{k=j-1}^\infty \frac{p(j) \cdots p(k)}{q(j) \cdots q(k+1)}, \quad x \in \N \]

    Prueba probabilítica

    El número de pasos requeridos para pasar de estado\( x \in \N_+ \) a\( x - 1 \) tiene la misma distribución que el número de pasos requeridos para pasar del estado 1 al 0, excepto con parámetros\( p(y), \, q(y) \) para\( y \in \{x, x + 1, \ldots\} \) en lugar de parámetros\( p(y), \, q(y) \) para\( y \in \{1, 2, \ldots\} \). Entonces, por la aditividad del valor esperado, solo necesitamos computar\( m(1) \) como una función de los parámetros. Comenzando en el estado 1, la cadena será absorbida en el estado 0 después de un número aleatorio de retornos al estado 1 sin absorción. Siempre que la cadena se encuentre en estado 1, la absorción ocurre en el siguiente tiempo con probabilidad\( q(1) \) por lo que se deduce que el número de veces que la cadena está en el estado 1 antes de la absorción tiene la distribución geométrica\( \N_+ \) encendida con parámetro éxito\( q(1) \). La media de esta distribución es\( 1 / q(1) \). Por otro lado, comenzando en el estado 1, el número de pasos hasta que la cadena esté nuevamente en el estado 1 (sin absorción) tiene la misma distribución que el tiempo de retorno al estado 0, comenzando en el estado 0 para la cadena irreducible de nacimiento-muerte\( \bs{X}^\prime \) considerada anteriormente pero con funciones de nacimiento y muerte \( p^\prime \)y\( q^\prime \) dado por\( p^\prime(x) = p(x + 1) \) por\( x \in \N \) y\( q^\prime(x) = q(x + 1) \) para\( x \in \N_+ \). Así, let\[ \mu = \sum_{k=0}^\infty \frac{p(1) \cdots p(k)}{q(2) \cdots q(k+1)} \] Entonces\( \mu \) es el tiempo medio de retorno al estado 0 para la cadena\( \bs{X}^\prime \). Específicamente, tenga en cuenta que si\( \mu = \infty \) entonces\( \bs{X}^\prime \) es transitorio o nulo recurrente. Si\( \mu \lt \infty \) entonces\( 1 / \mu \) es el PDF invariante a 0. Entonces, se deduce que\[ m(1) = \frac{1}{q(1)} \mu = \sum_{k=0}^\infty \frac{p(1) \cdots p(k)}{q(1) \cdots q(k + 1)} \] Por nuestro argumento anterior, el tiempo medio para pasar de estado\( x \) a\( x - 1 \) es\[ \sum_{k=x-1}^\infty \frac{p(x) \cdots p(k)}{q(x) \cdots q(k + 1)} \]

    Prueba analítica

    Acondicionamiento y uso de la propiedad Markov, tenemos\[ m(x) = 1 + p(x) m(x + 1) + q(x) m(x - 1) + r(x) m(x), \quad x \in \N_+ \] con condición inicial\( m(0) = 0 \). Equivalentemente,\[ m(x + 1) - m(x) = \frac{q(x)}{p(x)}[m(x) - m(x - 1)] - \frac{1}{p(x)}, \quad x \in \N_+ \] Resolviendo da\[ m(x + 1) - m(x) = \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} m(1) - \sum_{y=1}^x \frac{q(y+1) \cdots q(x)}{p(y) \cdots p(x)}, \quad x \in \N_+ \] Siguiente,\( m(x) = \sum_{y=0}^{x-1} [m(y+1) - m(y)] \) para\( x \in \N \) lo cual da\[ m(x) = m(1) \sum_{y=0}^{x-1} \frac{q(1) \cdots q(y)}{p(1) \cdots p(y)} - \sum_{y=0}^{x-1} \sum_{z=1}^y \frac{q(z + 1) \cdots q(y)}{p(z) \cdots p(y)}, \quad x \in \N \] Finalmente,\( m(1) \) se da como en la primera prueba. La expresión para\( m(x) \) es diferente, pero equivalente, claro.

    A continuación consideraremos una cadena de nacimiento-muerte en un intervalo entero finito con ambos puntos finales absorbiendo. Nuestro interés está en la probabilidad de absorción en un punto final y no en el otro, y en el tiempo medio hasta la absorción. Así supongamos que\( n \in \N_+ \) y eso\( \bs X = (X_0, X_1, X_2, \ldots) \) es una cadena de nacimiento-muerte en\( \N_n = \{0, 1, \ldots, n\} \) con\( r(0) = r(n) = 1 \) y con\( p(x) \gt 0 \) y\( q(x) \gt 0 \) para\( x \in \{1, 2, \ldots, n - 1\} \). Entonces los puntos finales 0 y\( n \) están absorbiendo, y todos los demás estados conducen entre sí y hacia los puntos finales. Dejar\( N = \min\{n \in \N: X_n \in \{0, n\}\} \), el tiempo hasta la absorción, y para\( x \in S \) dejar\( v_n(x) = \P(X_N = 0 \mid X_0 = x) \) y\( m_n(x) = \E(N \mid X_0 = x) \). Las definiciones tienen sentido ya que\( N \) es finita con probabilidad 1.

    La función de probabilidad de absorción para el estado 0 viene dada por\[ v_n(x) = \frac{1}{A_n} \sum_{i=x}^{n-1} \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)} \text{ for } x \in \N_n \text{ where } A_n = \sum_{i=0}^{n-1} \frac{q(1) \cdots q(i)}{p(1) \cdots p(i)} \]

    Prueba

    Acondicionar y usar la propiedad Markov,\( v_n \) satisface la ecuación de diferencia lineal de segundo orden\[ v_n(x) = p(x) v_n(x + 1) + q(x) v_n(x - 1) + r(x) v_n(x), \quad x \in \{1, 2, \ldots, n - 1\} \] con condiciones de límite\( v_n(0) = 1 \),\( v_n(n) = 0 \). Como hemos visto antes, la ecuación de diferencia se puede reescribir como\[v_n(x + 1) - v_n(x) = \frac{p(x)}{q(x)} [v_n(x) - v_n(x - 1)], \quad x \in \{1, 2, \ldots, n - 2\}\] Resolver y aplicar las condiciones de contorno da el resultado.

    Tenga en cuenta que\( A_n \to A \) como\( n \to \infty \) donde\( A \) está la constante anterior para la probabilidad de absorción a 0 con el espacio de estado infinito\( \N \). Si\( A \lt \infty \) entonces\( v_n(x) \to v(x) \) en\( n \to \infty \) cuanto a\( x \in \N \).

    El tiempo medio de absorción viene dado por\[ m_n(x) = m_n(1) \sum_{y=0}^{x-1} \frac{q(1) \cdots q(y)}{p(1) \cdots p(y)} - \sum_{y=0}^{x-1} \sum_{z=1}^y \frac{q(z+1) \cdots q(y)}{p(z) \cdots p(y)}, \quad x \in \N_n \] donde,\( A_n \) como en el teorema anterior,\[ m_n(1) = \frac{1}{A_n} \sum_{y=1}^{n-1} \sum_{z=1}^y \frac{q(z+1) \cdots q(y)}{p(z) \cdots p(y)} \]

    Prueba

    La prueba probabilística anterior con espacio de estado\( \N \) y 0 absorbente no funciona aquí, pero la primera parte de la prueba analítica sí. Entonces,\[ m_n(x) = m_n(1) \sum_{y=0}^{x-1} \frac{q(1) \cdots q(y)}{p(1) \cdots p(y)} - \sum_{y=0}^{x-1} \sum_{z=1}^y \frac{q(z + 1) \cdots q(y)}{p(z) \cdots p(y)}, \quad x \in \{1, 2, \ldots, n\} \] Sustituyendo\( x = n \) y aplicando la condición límite\( m_n(n) = 0 \), da el resultado para\( m_n(1) \) en el teorema.

    Reversión de tiempo

    Nuestra siguiente discusión es sobre la inversión temporal de una cadena de nacimiento y muerte. Esencialmente, cada cadena recurrente de nacimiento y muerte es reversible.

    Supongamos que\( \bs X = (X_0, X_1, X_2, \ldots) \) es una cadena irreducible, recurrente de nacimiento-muerte en un intervalo entero\( S \). Entonces\( \bs X \) es reversible.

    Prueba

    Tenemos que demostrar que la condición del ciclo de Kolmogorov está satisfecha. Es decir, por cada secuencia de estados\((x_0, x_1, x_2, \ldots, x_n) \) con\( x_0 = x_n \),\[ P(x_0, x_1) P(x_1, x_2) \cdots P(x_{n-1}, x_n) = P(x_n, x_{n-1}) P(x_{n-1}, x_{n-2}) \cdots P(x_1, x_0) \] podemos restringir nuestra atención a secuencias donde\( x_{i+1} \in \{x_i, x_i - 1, x_i + 1\} \) para cada uno\( i \in \{1, 2, \ldots, n\} \). Para tales secuencias, la condición del ciclo se satisface trivialmente.

    Si\( S \) es finita y la cadena\( \bs X \) es irreducible, entonces por supuesto\( \bs X \) es recurrente (de hecho recurrente positiva), así que por el resultado anterior,\( \bs X \) es reversible. En el caso\( S = \N \), podemos usar la función invariante anterior para mostrar directamente que la cadena es reversible.

    Supongamos que\( \bs X = (X_0, X_1, X_2, \ldots) \) es una cadena de nacimiento-muerte\( \N \) con\( p(x) \gt 0 \) para\( x \in \N \) y\( q(x) \gt 0 \) para\( x \in \N_+ \). Entonces\( \bs X \) es reversible.

    Prueba

    Con la función\( g \) definida anteriormente, basta con mostrar la condición de reversibilidad\( g(x)P(x, y) = g(y) P(y, x) \) para todos\( x, \, y \in \N \). Se deduce entonces que\( g \) es invariante para\( \bs{X} \) y eso\( \bs{X} \) es reversible con respecto a\( g \). Pero como\( g \) es la única función invariante positiva para\( \bs{X} \), hasta la multiplicación por constantes positivas, podemos omitir la frase calificadora con respecto a\( g \). Para\( x \in \N \) y\( y = x + 1 \) tenemos\[g(x) P(x, y) = g(y) P(y, x) = \frac{p(0) \cdots p(x)}{q(1) \cdots q(x)}\] For\( x \in \N_+ \) y\( y = x - 1 \) tenemos\[ g(x) P(x, y) = g(y) P(y, x) = \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x - 1)} \] En todos los demás casos, la condición de reversibilidad se cumple trivialmente.

    Así, en el caso recurrente positivo, cuando a las variables se les da la distribución invariante, la matriz de transición\( P \) describe la cadena hacia adelante en el tiempo y hacia atrás en el tiempo.

    Ejemplos y Casos Especiales

    Como siempre, asegúrate de probar los problemas tú mismo antes de mirar las soluciones.

    Probabilidades constantes de nacimiento y muerte

    Nuestros primeros ejemplos consideran cadenas de nacimiento-muerte\( \N \) con constantes probabilidades de nacimiento y muerte, excepto en los puntos límite. Estas cadenas a menudo se denominan caminatas aleatorias, aunque ese término se usa en una variedad de entornos diferentes. Los resultados son casos especiales de los resultados generales anteriores, pero a veces las pruebas directas son esclarecedores.

    Supongamos que\( \bs X = (X_0, X_1, X_2, \ldots) \) es la cadena de nacimiento-muerte\( \N \) encendida con probabilidad\( p \in (0, \infty) \) de nacimiento constante\( \N \) y probabilidad de muerte constante\( q \in (0, \infty) \) en\( \N_+ \), con\( p + q \le 1 \). Entonces

    1. \( \bs X \)es transitorio si\( q \lt p \)
    2. \( \bs X \)es nulo recurrente si\( q = p \)
    3. \( \bs X \)es positivo recurrente si\( q \gt p \), y la distribución invariante es la distribución geométrica on\( \N \) con parámetro\( p / q \)\[ f(x) = \left( 1 - \frac{p }{q} \right) \left( \frac{p}{q} \right)^x, \quad x \in \N \]

    A continuación consideramos el andar al azar\( \N \) con 0 absorbente. Al igual que en la discusión de absorción anterior,\( v(x) \) denota la probabilidad de absorción y\( m(x) \) el tiempo medio hasta la absorción, comenzando en estado\( x \in \N \).

    Supongamos que\( \bs X = (X_0, X_1, \ldots) \) es la cadena de nacimiento-muerte\( \N \) encendida con probabilidad\( p \in (0, \infty)\) de nacimiento constante\( \N_+ \) y probabilidad de muerte constante\( q \in (0, \infty) \) en\( \N_+ \), con\( p + q \le 1 \). Supongamos también eso\( r(0) = 1 \), para que 0 esté absorbiendo.

    1. Si\( q \ge p \) entonces\( v(x) = 1 \) para todos\( x \in \N \). Si\( q \lt p \) entonces\( v(x) = (q/p)^x\) por\(x \in \N \).
    2. Si\( q \le p \) entonces\( m(x) = \infty \) para todos\( x \in \N_+ \). Si\( q \gt p \) entonces\( m(x) = x / (q - p)\) por\(x \in \N\).
    Prueba
    1. Esto se desprende del resultado general anterior para la probabilidad de absorción.
    2. Esto también se desprende del resultado general anterior para el tiempo medio de absorción, pero daremos una prueba directa utilizando las mismas ideas. Si\( q \lt p \) entonces\( \P(N = \infty \mid X_0 = x) \gt 0 \) y por lo tanto\( m(x) = \infty \) para\( x \in \N_+ \). Entonces supongamos\( q \ge p \) eso\( \P(N \lt \infty \mid X_0 = x) = 1 \) para que para\( x \in \N \). Debido a la homogeneidad espacial, el tiempo requerido para alcanzar el estado\( x - 1 \) comenzando en estado\( x \in \N_+ \) tiene la misma distribución que el tiempo requerido para alcanzar el estado 0 comenzando en el estado 1. Por la aditividad del valor esperado, se deduce que\( m(x) = x \, m(1) \) para\( x \in \N \). Por lo que nos queda computar\( m(1) \). Comenzando en el estado 1, la cadena será absorbida en el estado 0 después de que un número aleatorio de intermedios regrese al estado 1 con absorción. En el estado 1, la probabilidad de absorción en el siguiente paso es\( q \), por lo que el número de veces que la cadena está en el estado 1 antes de la absorción tiene la distribución geométrica encendida\( \N_+ \) con parámetro de éxito\( q \). Entonces el número medio de visitas es\( 1 / q \). En el estado 1, el número de pasos antes de un retorno al paso 1 sin absorción tiene la misma distribución que el tiempo de retorno al estado 0, comenzando en 0, para la cadena recurrente considerada en el ejercicio anterior. La media de esta distribución es\( \infty \) if\( q = p \) y is\( 1 / f(0) \) if\( q \gt p \), were\( f \) es la distribución invariante. De ello se deduce que\[ m(1) = \frac{1}{q} \frac{1}{1 - p / q} = \frac{1}{q - p}\]

    Esta cadena es esencialmente la cadena de ruina del jugador. Considera a un jugador que apuesta por una secuencia de juegos independientes, donde\( p \) y\( q \) son las probabilidades de ganar y perder, respectivamente. El jugador recibe una unidad monetaria cuando gana un juego y debe pagar una unidad cuando pierde un juego. Así\( X_n \) es la fortuna del jugador después de jugar\( n \) juegos.

    A continuación consideramos caminatas aleatorias en un intervalo finito.

    Supongamos que\( \bs X = (X_0, X_1, \ldots) \) es la cadena de nacimiento-muerte\( \N_n = \{0, 1, \ldots, n\} \) encendida con probabilidad\( p \in (0, \infty) \) de nacimiento constante\( \{0, 1, \ldots, n - 1\} \) y probabilidad de muerte constante\( q \in (0, \infty) \) en\( \{1, 2, \ldots, n\} \), con\( p + q \le 1 \). Entonces\( \bs X \) es recurrente positivo y la función de densidad de probabilidad invariante\( f_n \) se da de la siguiente manera:

    1. Si\( p \ne q \) entonces\[ f_n(x) = \frac{(p/q)^x (1 - p/q)}{1 - (p/q)^{n+1}}, \quad x \in \N_n\]
    2. Si\( p = q \) entonces\( f_n(x) = 1 / (n + 1) \) por\( x \in \N_n \).

    Tenga en cuenta que si\( p \lt q \) entonces la distribución invariante es una distribución geométrica truncada, y\( f_n(x) \to f(x) \) para\( x \in \N \) donde\( f \) está la función de densidad de probabilidad invariante de la cadena de nacimiento-muerte\( \N \) considerada anteriormente. Si\( p = q \), la distribución invariante es uniforme en\( \N_n \), sin duda un resultado razonable. A continuación consideramos que la cadena con ambos extremos absorbe. Como antes,\( v_n \) es la función que da la probabilidad de absorción en estado 0, mientras que\( m_n \) es la función que da el tiempo medio a la absorción.

    Supongamos que\( \bs X = (X_0, X_1, \ldots) \) es la cadena de nacimiento-muerte\( \N_n = \{0, 1, \ldots, n\} \) encendida con probabilidad de nacimiento constante\( p \in (0, 1) \) y probabilidad de muerte\( q \in (0, \infty) \) en\( \{1, 2, \ldots, n - 1\} \), donde\( p + q \le 1 \). Supongamos también eso\( r(0) = r(n) = 1 \), así que eso\( 0 \) y\( n \) están absorbiendo.

    1. Si\( p \ne q \) entonces\[ v_n(x) = \frac{(q/p)^x - (q/p)^n}{1 - (q/p)^n}, \quad x \in \N_n \]
    2. Si\( p = q \) entonces\( v_n(x) = 1 - x / n \) por\( x \in \N_n \)

    Tenga en cuenta que si\( q \lt p \) entonces\( v_n(x) \to v(x) \) en\( n \to \infty \) cuanto a\( x \in \N \).

    Supongamos nuevamente que\( \bs X = (X_0, X_1, \ldots) \) es la cadena de nacimiento-muerte\( \N_n = \{0, 1, \ldots, n\} \) encendida con probabilidad de nacimiento constante\( p \in (0, 1) \) y probabilidad de muerte\( q \in (0, \infty) \) en\( \{1, 2, \ldots, n - 1\} \), donde\( p + q \le 1 \). Supongamos también eso\( r(0) = r(n) = 1 \), así que eso\( 0 \) y\( n \) están absorbiendo.

    1. Si\( p \ne q \) entonces\[ m_n(x) = \frac{n}{p - q} \frac{1 - (q/p)^x}{1 - (q/p)^n} + \frac{x}{q - p}, \quad x \in \N_n \]
    2. Si\( p = q \) entonces\[ m_n(x) = \frac{1}{2p}x(n - x), \quad x \in \N_n \]

    Cadenas especiales de nacimiento-muerte

    Algunos de los procesos aleatorios que hemos estudiado anteriormente son cadenas de Markov de nacimiento-muerte.

    Describir cada uno de los siguientes como una cadena de nacimiento y muerte.

    1. La cadena Ehrenfest.
    2. La cadena Ehrenfest modificada.
    3. La cadena Bernoulli-Laplace
    4. El simple paseo al azar\( \Z \).
    Responder
    1. La cadena de Ehrenfest con parámetro\( m \in \N_+ \) es una cadena de muerte por nacimiento en\( S = \{0, 1, \ldots, m\} \) con\( q(x) = \frac{x}{m} \) y\( p(x) = \frac{m - x}{m} \) para\( x \in S \).
    2. La cadena Ehrenfest modificada con parámetro\( m \in \N_+ \) es una cadena de muerte por nacimiento en\( S = \{0, 1, \ldots, m\} \) con\( q(x) = \frac{x}{2 m} \)\( r(x) = \frac{1}{2} \), y\( p(x) = \frac{m - x}{2 m} \) para\( x \in S \).
    3. La cadena Bernoulli-Laplace con parámetros\( j, \, k, \, r \in \N_+ \) con\(r \lt j + k \) es una cadena de nacimiento-muerte en\( S = \{\max\{0, r - j\}, \ldots, \min\{k, r\}\} \) con\( q(x) = \frac{(j - r + x) x}{j k} \),\( r(x) = \frac{(r - x) x + (j - r + x)(k - x)}{j k} \), y\( p(x) = \frac{(r - x)(k - x)}{j k} \) para\( x \in S \).
    4. El simple paseo aleatorio\( \Z \) con parámetro\( p \in (0, 1) \) es una cadena de nacimiento-muerte en\( \Z \) con\( p(x) = p \) y\( q(x) = 1 - p \) para\( x \in \Z \).

    Otros Ejemplos

    Considere el proceso de nacimiento-muerte\( \N \) con\( p(x) = \frac{1}{x + 1} \),\( q(x) = 1 - p(x) \), y\( r(x) = 0 \) para\( x \in S \).

    1. Encuentra la función invariante\( g \).
    2. Clasificar la cadena.
    Responder
    1. Tenga en cuenta que\( p(0) \cdots p(x - 1) = \frac{1}{x!} \) y\( q(1) \cdots q(x) = \frac{1}{x + 1} = p(x) \) para\( x \in \N \). De ahí\( g(x) = \frac{x + 1}{x!} \).
    2. Tenga en cuenta que\[ \sum_{x = 0}^\infty g(x) = \sum_{x = 1}^\infty \frac{1}{(x - 1)!} + \sum_{x = 0}^\infty \frac{1}{x!} = 2 e \] Así la cadena es recurrente positiva, con PDF invariante\( f \) dada por\[ f(x) = e^{-2} \frac{(x + 1)}{x!}, \quad x \in \N \] También, la cadena es periódica con periodo 2.

    This page titled 16.13: Cadenas de nacimiento-muerte en tiempo discreto is shared under a CC BY 2.0 license and was authored, remixed, and/or curated by Kyle Siegrist (Random Services) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.