16.2: Potenciales y Generadores para Procesos Generales de Markov

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

Nuestro objetivo en esta sección es continuar con el amplio boceto de la teoría general de los procesos de Markov. Al igual que en el último apartado, algunas de las declaraciones no son del todo precisas y rigurosas, porque queremos enfocarnos en las ideas principales sin ser sobrecargados por tecnicismos. Si eres un nuevo estudiante de probabilidad, o estás interesado principalmente en aplicaciones, es posible que quieras saltarte al estudio de las cadenas de Markov de tiempo discreto.

Preliminares

Definiciones Básicas

Como es habitual, nuestro punto de partida es un espacio de probabilidad\( (\Omega, \mathscr{F}, \P) \), por lo que ese\( \Omega \) es el conjunto de resultados,\( \mathscr{F} \) el\( \sigma \) álgebra de eventos y\( \P \) la medida de probabilidad en el espacio muestral\( (\Omega, \mathscr{F}) \). El conjunto de tiempos\( T \) es o bien\( \N \), tiempo discreto con la topología discreta, o\( [0, \infty) \), tiempo continuo con la topología euclidiana habitual. Al conjunto de tiempo\( T \) se le da el\( \sigma \) álgebra de Borel\( \mathscr{T} \), que es solo el conjunto de potencia si\( T = \N \), y luego\( (T, \mathscr{T}) \) se le da al espacio de tiempo la medida habitual, la medida de conteo en el caso discreto y la medida de Lebesgue en el caso continuo. El conjunto de estados\( S \) tiene una topología LCCB (localmente compacta, Hausdorff, con una base contable), y también se le da el\( \sigma \) álgebra de Borel\( \mathscr{S} \). Recordemos que decir que el espacio de estado es discreto significa que\( S \) es contable con la topología discreta, de modo que ese\( \mathscr{S} \) es el conjunto de potencias de\( S \). Los supuestos topológicos significan que el espacio estatal\( (S, \mathscr{S}) \) es lo suficientemente agradable para una teoría matemática rica y lo suficientemente general como para abarcar las aplicaciones más importantes. A menudo hay una medida natural de Borel\( \lambda \) encendida\( (S, \mathscr{S}) \), contando la medida\( \# \) si\( S \) es discreta, y por ejemplo, la medida de Lebesgue si\( S = \R^k \) para algunos\( k \in \N_+ \).

Recordemos también que hay varios espacios de funciones sobre los\( S \) que son importantes. Dejar\( \mathscr{B} \) denotar el conjunto de funciones delimitadas y medibles\( f: S \to \R \). Dejar\( \mathscr{C} \) denotar el conjunto de funciones delimitadas\( f: S \to \R \), continuas, y dejar\( \mathscr{C}_0 \) denotar el conjunto de funciones continuas\( f: S \to \R \) que desaparecen\( \infty \) en el sentido de que para cada\( \epsilon \gt 0 \), existe un conjunto compacto\( K \subseteq S \) tal\( \left|f(x)\right| \lt \epsilon \) para\( x \in K^c \). Estos son todos los espacios vectoriales bajo la suma habitual (puntual) y la multiplicación escalar, y\( \mathscr{C}_0 \subseteq \mathscr{C} \subseteq \mathscr{B} \). La norma suprema, definida por\( \left\| f \right\| = \sup\{\left|f(x)\right|: x \in S\} \) for\( f \in \mathscr{B} \) es la norma que se emplea en estos espacios.

Supongamos ahora que\(\bs{X} = \{X_t: t \in T\}\) es un proceso de Markov homogéneo en el tiempo con espacio de estado\( (S, \mathscr{S}) \) definido en el espacio de probabilidad\( (\Omega, \mathscr{F}, \P) \). Como antes, también asumimos que tenemos una filtración\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \), es decir, una familia creciente de sub\( \sigma \) -álgebras de\( \mathscr{F} \), indexadas por el espacio de tiempo, con las propiedades que\( X_t \) es medible con repsect to\( \mathscr{F}_t \) for\( t \in T \). Intuitivamente,\( \mathscr{F}_t \) es la colección de eventos hasta el momento\( t \in T \).

Como es habitual, dejamos\( P_t \) denotar el kernel de probabilidad de transición para un incremento en el tiempo de tamaño\( t \in T \). Así\[ P_t(x, A) = \P(X_t \in A \mid X_0 = x), \quad x \in S, \, A \in \mathscr{S} \] Recordemos que para\( t \in T \), el kernel de transición\( P_t \) define dos operadores, a la izquierda con medidas y a la derecha con funciones. Entonces, si\( \mu \) es una medida en\( (S, \mathscr{S}) \) entonces\( \mu P_t \) es la medida en\( (S, \mathscr{S}) \) dada por\[ \mu P_t(A) = \int_S \mu(dx) P_t(x, A), \quad A \in \mathscr{S} \] Si\( \mu \) es la distribución de\( X_0 \) entonces\( \mu P_t \) es la distribución de\( X_t \) for\( t \in T \). Si\( f \in \mathscr{B} \) entonces\( P_t f \in \mathscr{B} \) es definido por\[ P_t f(x) = \int_S P_t(x, dy) f(y) = \E\left[f(X_t) \mid X_0 = x\right] \] Recordemos que la colección de operadores de transición\( \bs{P} = \{P_t: t \in T\} \) es un semigrupo porque\( P_s P_t = P_{s+t} \) para\( s, \, t \in T \). Casi todo en esta sección se define en términos del semigrupo\( \bs{P} \), que es una de las principales herramientas analíticas en el estudio de los procesos de Markov.

Feller Markov Procesos

Hacemos los mismos supuestos que en la Introducción. Aquí hay una breve reseña:

Suponemos que el proceso de Markov\( \bs{X} = \{X_t: t \in T\} \) satisface las siguientes propiedades (y por lo tanto es un proceso de Feller Markov):

1. Para\( t \in T \) y\( y \in S \), la distribución de\( X_t \) dado\( X_0 = x \) converge a la distribución de\( X_t \) dado\( X_0 = y \) como\( x \to y \).
2. Dado\(X_0 = x \in S \),\( X_t \) converge en probabilidad a\( x \) como\( t \downarrow 0 \).

La parte (a) es una suposición sobre continuidad en el espacio, mientras que la parte (b) es una suposición sobre continuidad en el tiempo. Si\( S \) es discreto entonces (a) se mantiene automáticamente, y si\( T \) es discreto entonces (b) se mantiene automáticamente. Como veremos, los supuestos de Feller son suficientes para una teoría matemática muy agradable, y sin embargo son lo suficientemente generales como para abarcar los procesos de Markov de tiempo continuo más importantes.

El proceso\( \bs{X} = \{X_t: t \in T\} \) tiene las siguientes propiedades:

1. Hay una versión de\( \bs{X} \) tal que\( t \mapsto X_t \) es continua desde la derecha y tiene límites izquierdos.
2. \( \bs{X} \)es un fuerte proceso de Markov en relación con el refinamiento continuo correcto de la filtración natural.\( \mathfrak{F}^0_+ \)

Los supuestos de Feller sobre el proceso de Markov tienen formulaciones equivalentes en términos del semigrupo de transición.

El semigrupo de transición\( \bs{P} = \{P_t: t \in T\} \) tiene las siguientes propiedades:

1. Si\( f \in \mathscr{C}_0 \) y\( t \in T \) entonces\( P_t f \in \mathscr{C}_0 \)
2. Si\( f \in \mathscr{C}_0 \) y\( x \in S \) luego\( P_t f(x) \to f(x) \) como\( t \downarrow 0 \).

Como antes, la parte (a) es una condición de continuidad en el espacio, mientras que la parte (b) es una condición de continuidad en el tiempo. Una vez más, (a) es trivial si\( S \) es discreto, y (b) trivial si\( T \) es discreto. La primera condición significa que\( P_t \) es un operador lineal encendido\( \mathscr{C}_0 \) (además de ser un operador lineal encendido\( \mathscr{B} \)). La segunda condición conduce a un resultado de continuidad más fuerte.

Para\( f \in \mathscr{C}_0 \), el mapeo\( t \mapsto P_t f \) es continuo en\( T \). Es decir, para\( t \in T \),\[ \|P_s f - P_t f\| = \sup\{\left|P_s f(x) - P_t f(x) \right|: x \in S\} \to 0 \text{ as } s \to t\]

Nuestro interés en esta sección es principalmente el caso del tiempo continuo. Sin embargo, comenzamos con el caso del tiempo discreto ya que los conceptos son más claros y simples, y podemos evitar algunos de los tecnicismos que inevitablemente ocurren en el tiempo continuo.

Tiempo Discreto

Supongamos que\( T = \N \), para que el tiempo sea discreto. Recordemos que los núcleos de transición son solo potencias del kernel de un solo paso. Es decir, dejamos\( P = P_1 \) y luego\( P_n = P^n \) para\( n \in \N \).

Operadores Potenciales

Para\( \alpha \in (0, 1] \), el kernel\( \alpha \) -potential\( R_\alpha \) de\( \bs{X} \) se define de la siguiente manera:\[ R_\alpha(x, A) = \sum_{n=0}^\infty \alpha^n P^n(x, A), \quad x \in S, \, A \in \mathscr{S} \]

1. El caso especial\( R = R_1 \) es simplemente el núcleo potencial de\( \bs{X} \).
2. Para\( x \in S \) y\( A \in \mathscr{S} \),\( R(x, A) \) es el número esperado de visitas de\( \bs{X} \) a\( A \), a partir de\( x \).

Prueba

La función\( x \mapsto R_\alpha(x, A) \) de\( S \) a\( [0, \infty) \) es medible para\( A \in \mathscr{S} \) ya que\( x \mapsto P^n(x, A) \) es medible para cada uno\( n \in \N \). El mapeo\( A \mapsto R_\alpha(x, A) \) es una medida positiva en\( \mathscr{S} \) para\( x \in S \) ya que\( A \mapsto P^n(x, A) \) es una medida de probabilidad para cada uno\( n \in \N \). Finalmente, la interpretación de\( R(x, A) \) for\( x \in S \) y\( A \in \mathscr{S} \) viene de intercambiar suma y valor esperado, lo que está permitido ya que los términos son no negativos:\[ R(x, A) = \sum_{n=0}^\infty P^n(x, A) = \sum_{n=0}^\infty \E[\bs{1}(X_n \in A) \mid X_0 = x] = \E\left( \sum_{n=0}^\infty \bs{1}(X_n \in A) \biggm| X_0 = x\right) = \E[\#\{n \in \N: X_n \in A\} \mid X_0 = x] \]

Tenga en cuenta que es muy posible que\( R(x, A) = \infty \) para algunos\( x \in S \) y\( A \in \mathscr{S} \). De hecho, saber cuándo es así es de considerable importancia en el estudio de los procesos de Markov. Al igual que con todos los núcleos, el kernel potencial\( R_\alpha \) define dos operadores, operando a la derecha en funciones y operando a la izquierda en medidas positivas. Para el operador potencial correcto, si\( f: S \to \R \) es medible entonces\[R_\alpha f(x) = \sum_{n=0}^\infty \alpha^n P^n f(x) = \sum_{n=0}^\infty \alpha^n \int_S P^n(x, dy) f(y) = \sum_{n=0}^\infty \alpha^n \E[f(X_n) \mid X_0 = x], \quad x \in S \] asumiendo como de costumbre que los valores esperados y la serie infinita tienen sentido. Este será el caso, en particular, si no\( f \) es negativo o si\( p \in (0, 1) \) y\( f \in \mathscr{B} \).

Si\( \alpha \in (0, 1) \), entonces\( R_\alpha(x, S) = \frac{1}{1 - \alpha} \) para todos\( x \in S \).

Prueba

Usando series geométricas,\[ R_\alpha(x, S) = \sum_{n=0}^\infty \alpha^n P^n(x, S) = \sum_{n=0}^\infty \alpha^n = \frac{1}{1 - \alpha} \]

De ello se deduce que para\( \alpha \in (0, 1) \), el operador correcto\( R_\alpha \) es un operador lineal acotado en\( \mathscr{B} \) con\(\left\|R_\alpha \right\| = \frac{1}{1 - \alpha}\). También se deduce que\( (1 - \alpha) R_\alpha \) es un kernel de probabilidad. Hay una bonita interpretación de este kernel.

Si\( \alpha \in (0, 1) \) entonces\( (1 - \alpha) R_\alpha(x, \cdot) \) es la distribución condicional de\( X_N \) dado\( X_0 = x \in S \), donde\( N \) es independiente de\( \bs{X} \) y tiene la distribución geométrica on\( \N \) con parámetro\( 1 - \alpha \).

Prueba

Supongamos que\( x \in S \) y\( A \in \mathscr{S} \). Acondicionamiento en\( N \) da\[ \P(X_N \in A \mid X_0 = x) = \sum_{n=0}^\infty \P(N = n) \P(X_N \in A \mid N = n, X_0 = x) \] Pero por la regla de sustitución y el supuesto de independencia,\[ \P(X_N \in A \mid N = n, X_0 = x) = \P(X_n \in A \mid N = n, X_0 = x) = \P(X_n \in A \mid X_0 = x) = P^n(x, A) \] ya que\( N \) tiene la distribución geométrica\( N \) encendida con parámetro que\( 1 - \alpha \) tenemos\( P(N = n) = (1 - \alpha) \alpha^n \) para\( n \in \N \). Sustitución da\[ \P(X_N \in A \mid X_0 = x) = \sum_{n=0}^\infty (1 - \alpha) \alpha^n P^n(x, A) = (1 - \alpha) R_\alpha(x, A)\]

Así\( (1 - \alpha)R_\alpha \) es un kernel de probabilidad de transición, así como lo\( P_n \) es un kernel de probabilidad de transición, pero correspondiente al tiempo aleatorio\( N \) (con\( \alpha \in (0, 1) \) como parámetro), en lugar del tiempo determinista\( n \in \N \). También se\( \alpha \in (0, 1) \) puede dar una interpretación del núcleo potencial\( R_\alpha \) para en términos económicos. Supongamos que\( A \in \mathscr{S} \) y que recibimos una unidad monetaria cada vez que el proceso\( \bs{X} \) visita\( A \). Entonces como arriba,\( R(x, A) \) es la cantidad total esperada de dinero que recibimos, a partir de\( x \in S \). Sin embargo, normalmente el dinero que recibiremos en momentos distantes en el futuro tiene menos valor para nosotros ahora que el dinero que recibiremos pronto. Específicamente supongamos que una unidad monetaria recibida en el momento\( n \in \N \) tiene un valor presente de\( \alpha^n \), donde\( \alpha \in (0, 1) \) es un factor de inflación (a veces también llamado factor de descuento). Luego\( R_\alpha(x, A) \) da el monto esperado, total, descontado que recibiremos, a partir de\( x \in S \). Un poco más en general, si\( f \in \mathscr{B} \) es una función de recompensa, entonces esa\( f(x) \) es la recompensa (o costo, dependiendo de la señal) que recibimos cuando visitamos estado\( x \in S \), entonces para\( \alpha \in (0, 1) \),\( R_\alpha f(x) \) es la recompensa esperada, total, descontada, a partir de\( x \in S \).

Para el operador potencial izquierdo, si\( \mu \) es una medida positiva en\( \mathscr{S} \) entonces\[\mu R_\alpha(A) = \sum_{n=0}^\infty \alpha^n \mu P^n(A) = \sum_{n=0}^\infty \alpha^n \int_S \mu(dx) P^n(x, A), \quad A \in \mathscr{S}\] En particular, si\( \mu \) es una medida de probabilidad y\( X_0 \) tiene distribución\( \mu \) entonces\( \mu P^n \) es la distribución de\( X_n \) for\( n \in \N \), entonces desde el último resultado,\((1 - \alpha) \mu R_\alpha \) es la distribución de\( X_N \) donde otra vez,\( N \) es independiente\( \bs{X} \) y tiene la distribución geométrica on\( \N \) con parámetro\( 1 - \alpha \). La familia de núcleos potenciales da la misma información que la familia de núcleos de transición.

Los granos potenciales determinan\( \bs{R} = \{R_\alpha: \alpha \in (0, 1)\} \) completamente los granos de transición\( \bs{P} = \{P_n: n \in \N\} \).

Prueba

Tenga en cuenta que para\( x \in S \) y\( A \in \mathscr{S} \), la función\( \alpha \mapsto R_\alpha(x, A) \) es una serie de potencias en\( \alpha \) con coeficientes\( n \mapsto P^n(x, A) \). En el lenguaje de la combinatoria,\( \alpha \mapsto R_\alpha(x, A) \) se encuentra la función generadora ordinaria de la secuencia\( n \mapsto P^n(x, A) \). Como se señaló anteriormente, esta serie de potencias tiene radio de convergencia al menos 1, por lo que podemos extender el dominio a\( \alpha \in (-1, 1) \). Así, dados los núcleos potenciales, podemos recuperar los núcleos de transición tomando derivados y evaluando a 0:\[ P^n(x, A) = \frac{1}{n!}\left[\frac{d^n}{d\alpha^n} R_\alpha(x, A) \right]_{\alpha = 0} \]

Por supuesto, en realidad solo es necesario determinar\( P \), el kernel de transición de un paso, ya que los otros núcleos de transición son potencias de\( P \). En cualquier caso, se deduce que los núcleos\( \bs{R} = \{R_\alpha: \alpha \in (0, 1)\} \), junto con la distribución inicial, determinan completamente las distribuciones dimensionales finitas del proceso de Markov\( \bs{X} \). Los núcleos potenciales se conmutan entre sí y con los núcleos de transición.

Supongamos que\( \alpha, \, \beta \in (0, 1] \) y\( k \in \N \). Luego (como granos)

1. \( P^k R_\alpha = R_\alpha P^k = \sum_{n=0}^\infty \alpha^n P^{n+k} \)
2. \( R_\alpha R_\beta = R_\beta R_\alpha = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n} \)

Prueba

Supongamos que eso no\( f \in \mathscr{B} \) es negativo. Se permite el intercambio de las sumas con la operación del kernel ya que los núcleos no son negativos. La otra herramienta utilizada es la propiedad semigrupo.

1. Directamente\[ R_\alpha P^k f = \sum_{n=0}^\infty \alpha^n P^n P^k f = \sum_{n=0}^\infty \alpha^n P^{n+k} f\] La otra dirección requiere un intercambio. \[ P^k R_\alpha f = P^k \sum_{n=0}^\infty \alpha^n P^n f = \sum_{n=0}^\infty \alpha^n P^k P^n f = \sum_{n=0}^\infty \alpha^n P^{n+k} f \]
2. Primero,\[ R_\alpha R_\beta f = \sum_{m=0}^\infty \alpha^m P^m R_\beta f = \sum_{m=0}^\infty \alpha^m P^m \left(\sum_{n=0}^\infty \beta^n P^n f\right) = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^m P^n f = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n} f\] La otra dirección es similar.

Las mismas identidades se mantienen para los operadores adecuados en todo el espacio\( \mathscr{B} \), con las restricciones adicionales que\( \alpha \lt 1 \) y\( \beta \lt 1 \). A continuación se da la ecuación fundamental que relaciona los granos potenciales.

Si\( \alpha, \, \beta \in (0, 1] \) con\( \alpha \le \beta \) entonces (como granos),\[ \beta R_\beta = \alpha R_\alpha + (\beta - \alpha) R_\alpha R_\beta \]

Prueba

Si\( \alpha = \beta \) la ecuación es trivial, asumamos\( \alpha \lt \beta \). Supongamos que eso no\( f \in \mathscr{B} \) es negativo. Del resultado anterior,\[ R_\alpha R_\beta f = \sum_{j=0}^\infty \sum_{k=0}^\infty \alpha^j \beta^k P^{j+k} f \] Cambiando variables para sumar\( n = j + k \) y\( j \) da\[ R_\alpha R_\beta f = \sum_{n=0}^\infty \sum_{j=0}^n \alpha^j \beta^{n-j} P^n f = \sum_{n=0}^\infty \sum_{j=0}^n \left(\frac{\alpha}{\beta}\right)^j \beta^n P^n f = \sum_{n=0}^\infty \frac{1 - \left(\frac{\alpha}{\beta}\right)^{n+1}}{1 - \frac{\alpha}{\beta}} \beta^n P^n f \] Simplifying da\[ R_\alpha R_\beta f = \frac{1}{\beta - \alpha} (\beta R_\beta f - \alpha R_\alpha f)\] Note que ya que\( \alpha \lt 1 \),\( R_\alpha f\) es un finito, así no tenemos que preocuparnos por la temida forma indeterminada\( \infty - \infty \).

La misma identidad se mantiene para los operadores adecuados en todo el espacio\( \mathscr{B} \), con la restricción adicional que\( \beta \lt 1 \).

Si\( \alpha \in (0, 1] \), entonces (como granos),\( I + \alpha R_\alpha P = I + \alpha P R_\alpha = R_\alpha \).

Prueba

Supongamos que eso no\( f \in \mathscr{B} \) es negativo. Del resultado anterior,\[ (I + \alpha R_\alpha P) f = (I + \alpha P R_\alpha) f = f + \sum_{n=0}^\infty \alpha^{n+1} P^{n+1} f = \sum_{n = 0}^\infty \alpha^n P^n f = R_\alpha f \]

La misma identidad se mantiene para los operadores correctos en todo el espacio\( \mathscr{B} \), con la restricción adicional que\( \alpha \lt 1 \). Esto lleva al siguiente resultado importante:

Si\( \alpha \in (0, 1) \), entonces como operadores en el espacio\( \mathscr{B} \),

1. \( R_\alpha = (I - \alpha P)^{-1} \)
2. \( P = \frac{1}{\alpha}\left(I - R_\alpha^{-1}\right) \)

Prueba

Los operadores están acotados, así podemos restar. La identidad\( I + \alpha R_\alpha P = R_\alpha \) conduce a\( R_\alpha(I - \alpha P) = I \) y la identidad\( I + \alpha P R_\alpha = R_\alpha \) conduce a\( (I - \alpha P) R_\alpha = I \). De ahí que (a) sostenga. La parte b) se desprende de la letra a).

Este resultado muestra nuevamente que el operador potencial\( R_\alpha \) determina el operador de transición\( P \).

Ejemplos y Aplicaciones

Nuestro primer ejemplo considera el proceso binomial como un proceso de Markov.

Dejar\( \bs{I} = \{I_n: n \in \N_+\} \) ser una secuencia de ensayos de Bernoulli con parámetro de éxito\( p \in (0, 1) \). Definir el proceso de Markov\( \bs{X} = \{X_n: n \in \N\} \) por\( X_n = X_0 + \sum_{k=1}^n I_k \) donde\( X_0 \) toma valores\( \N \) y es independiente de\( \bs{I} \).

1. Para\( n \in \N \), mostrar que la matriz de probabilidad de transición\( P^n \) de\( \bs{X} \) viene dada por\[ P^n(x, y) = \binom{n}{y - x} p^{y - x} (1 - p)^{n - y + x}, \quad x \in \N, \, y \in \{x, x + 1, \ldots, x + n\} \]
2. Para\( \alpha \in (0, 1] \), mostrar que la matriz potencial\( R_\alpha \) de\( \bs{X} \) viene dada por\[ R_\alpha(x, y) = \frac{1}{1 - \alpha + \alpha p} \left(\frac{\alpha p}{1 - \alpha + \alpha p}\right)^{y - x}, \quad x \in \N, \, y \in \{x, x + 1, \ldots\} \]
3. Para\( \alpha \in (0, 1) \) y\( x \in \N \), identificar la distribución de probabilidad definida por\( (1 - \alpha) R_\alpha(x, \cdot) \).
4. Para\( x, \, y \in \N \) con\( x \le y \), interpretar\( R(x, y) \), el tiempo esperado en\( y \) iniciar en\( x \), en el contexto del proceso\( \bs{X} \).

Soluciones

Recordemos que\( \bs{X} \) es un proceso de Markov ya que cuenta con incrementos estacionarios e independientes.

1. Tenga en cuenta que para\( n, \, x \in \N \),\( P^n(x, \cdot) \) es el (discreto) PDF de\( x + \sum_{k=1}^n I_k \). El resultado sigue ya que la suma de las variables indicadoras tiene la distribución binomial con parámetros\( n \) y\( p \).
2. Dejar\( \alpha \in (0, 1] \) y dejar\( x, \, y \in \N \) con\( x \le y \). Entonces\ comienza {alinear*} R_\ alfa (x, y) & =\ sum_ {n=0} ^\ infty\ alfa^n p^n (x, y) =\ suma_ {n = y - x} ^\ infty\ alfa^n\ binom {n} {y - x} p^ {y-x} (1 - p) ^ {n - y + x}\ & = (\ alfa p) ^ {y - x}\ sum_ {n = y - x} ^\ infty\ binom {n} {y - x} [\ alpha (1 - p)] ^ {n - y + x} =\ frac {(\ alpha p) ^ {y - x}} {[1 -\ alfa (1 - p)] ^ {n - x + 1}}\ end {align*} Simplificar da el resultado.
3. Para\( \alpha \in (0, 1) \),\[ (1 - \alpha) R_\alpha(x, y) = \frac{1 - \alpha}{1 - \alpha + \alpha p} \left(\frac{\alpha p}{1 - \alpha + \alpha p}\right)^{y - x} \] En función de\( y \) para fijo\( x \), este es el PDF de\( x + Y_\alpha \) donde\( Y_\alpha \) tiene la distribución geométrica on\( N \) con parámetro\( \frac{1 - \alpha}{1 - \alpha + \alpha p} \).
4. Tenga en cuenta que\( R(x, y) = 1 / p \) para\( x, \, y \in \N \) con\( x \le y \). Comenzando en estado\( x \), el proceso finalmente alcanza\( y \) con probabilidad 1. El proceso permanece en estado\( y \) durante un tiempo distribuido geométricamente, con parámetro\( p \). La media de esta distribución es\( 1 / p \).

Tiempo Continuo

Con el ajuste de tiempo discreto como motivación, ahora giramos el caso de tiempo continuo más importante donde\( T = [0, \infty) \).

Potenciales Kernels

Para\( \alpha \in [0, \infty) \), el kernel\( \alpha \) -potential\( U_\alpha \) de\( \bs{X} \) se define de la siguiente manera:\[ U_\alpha(x, A) = \int_0^\infty e^{-\alpha t} P_t(x, A) \, dt, \quad x \in S, \, A \in \mathscr{S} \]

1. El caso especial\( U = U_0 \) es simplemente el potencial kerenl de\( \bs{X} \).
2. Para\( x \in S \) y\( A \in \mathscr{S} \),\( U(x, A) \) es la cantidad esperada de tiempo que\( \bs{X} \) pasa en\( A \), a partir de\( x \).
3. La familia de los granos\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) es conocida como el reolvent de\( \bs{X} \).

Prueba

Dado que\( \bs{P} = \{P_t: t \in T\} \) es un semigrupo Feller de operadores de transición, el mapeo\((t, x) \mapsto P_t(x, A)\) de\( [0, \infty) \times S \) a\( [0, 1] \) es medible conjuntamente para\( A \in \mathscr{S} \). Por lo tanto, tiene\( U_\alpha(x, A) \) sentido para\( x \in S \) y\( A \in \mathscr{S} \) y\( x \mapsto U_\alpha(x, A) \) de\( S \) a\( [0, \infty) \) es medible para\( A \in \mathscr{S} \). Esa\( A \mapsto U_\alpha(x, A) \) es una medida sobre se\( \mathscr{S} \) desprende del intercambio habitual de suma e integral, vía teorema de Fubini: Supongamos que\( \{A_j: j \in J\} \) es una colección contable de conjuntos disjuntos en\( \mathscr{S} \), y vamos\( S = \bigcup_{j \in J} A_j \)\ begin {align*} U_\ alpha (x, A) & =\ int_0^\ infty e^ {-\ alpha t} P_t (x, A)\, dt =\ int_0^\ infty\ izquierda [\ suma_ {j\ en J} e^ {-\ alfa t} P_t (x, a_J)\ derecha]\, dt\\ & =\ suma_ {j\ en J}\ int_0^\ infty e^ {-\ alpha t} P_t (x, a_J)\, dt =\ sum_ {j\ en J} U_\ alpha (x, a_J)\ end {align*} Finalmente, la interpretación de\( U(x, A) \) for\( x \in S \) y\( A \in \mathscr{S} \) es otro intercambio de integrales: \[ U(x, A) = \int_0^\infty P_t(x, A) \, dt = \int_0^\infty \E[\bs{1}(X_t \in A) \mid X_0 = x] \, dt = \E\left( \int_0^\infty \bs{1}(X_t \in A) \, dt \biggm| X_0 = x\right) \]La integral interior es la medida Lebesgue de\( \{t \in [0, \infty): X_t \in A\} \).

Al igual que con el tiempo discreto, es muy posible que\( U(x, A) = \infty \) para algunos\( x \in S \) y\( A \in \mathscr{S} \), y saber cuándo es así sea de considerable interés. Al igual que con todos los núcleos, el kernel potencial\( U_\alpha \) define dos operadores, operando a la derecha en funciones y operando a la izquierda en medidas positivas. Si\( f: S \to \R \) es medible entonces, dando el operador potencial correcto en sus muchas formas,\ begin {align*} U_\ alpha f (x) & =\ int_s U_\ alpha (x, dy) f (y) =\ int_0^\ infty e^ {-\ alpha t} P_t f (x)\, dt\\ & =\ int_0^\ infty e^ {- alpha\ t}\ int_s P_t (x, dy) f (y) =\ int_0^\ infty e^ {-\ alfa t}\ E [f (x_t)\ mediados X_0 = x ]\, dt,\ quad x\ in S\ end {align*} asumiendo que las diversas integrales tienen sentido. Este será el caso en particular si no\( f \) es negativo, o si\( f \in \mathscr{B} \) y\( \alpha \gt 0 \).

Si\( \alpha \gt 0 \), entonces\( U_\alpha(x, S) = \frac{1}{\alpha} \) para todos\( x \in S \).

Prueba

Para\( x \in S \),\[ U_\alpha(x, S) = \int_0^\infty e^{-\alpha t} P_t(x, S) \, dt = \int_0^\infty e^{-\alpha t} dt = \frac{1}{\alpha} \]

De ello se deduce que para\( \alpha \in (0, \infty) \), el operador potencial correcto\( U_\alpha \) es un operador lineal acotado\( \mathscr{B} \) con\( \|U_\alpha\| = \frac{1}{\alpha} \). También se deduce que\( \alpha U_\alpha \) es un kernel de probabilidad. Este kernel tiene una interpretación agradable.

Si\( \alpha \gt 0 \) entonces\( \alpha U_\alpha (x, \cdot) \) es la distribución condicional de\( X_\tau \) donde\( \tau \) es independiente\( \bs{X} \) y tiene la distribución exponencial on\( [0, \infty) \) con parámetro\( \alpha \).

Prueba

Supongamos que\( x \in S \) y\( A \in \mathscr{S} \). El tiempo aleatorio\( \tau \) tiene PDF\( f(t) = \alpha e^{-\alpha t} \) para\( t \in [0, \infty) \). De ahí, condicionar\( \tau \) a da\[ \P(X_\tau \in A \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} \P(X_\tau \in A \mid \tau = t, X_0 = x) \, dt \] Pero por la regla de sustitución y la asunción de independencia,\[ \P(X_\tau \in A \mid \tau = t, X_0 = x) = \P(X_t \in A \mid \tau = t, X_0 = x) = \P(X_t \in A \mid X_0 = x) = P_t(x, A) \] Sustitución da\[ \P(X_\tau \in A \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} P_t(x, A) \, dt = \alpha U_\alpha(x, A)\]

Así\( \alpha U_\alpha \) es un kernel de probabilidad de transición, así como lo\( P_t \) es un kernel de probabilidad de transición, pero correspondiente al tiempo aleatorio\( \tau \) (con\( \alpha \in (0, \infty) \) como parámetro), en lugar del tiempo determinista\( t \in [0, \infty) \). Como en el caso discreto, el kernel potencial también puede interpretarse en términos económicos. Supongamos que\( A \in \mathscr{S} \) y que recibimos dinero a una tasa de una unidad por unidad de tiempo cada vez que el proceso\( \bs{X} \) se encuentre en\( A \). Entonces\( U(x, A) \) es la cantidad total esperada de dinero que recibimos, comenzando en estado\( x \in S \). Pero nuevamente, el dinero que recibimos más tarde es de menor valor para nosotros ahora que el dinero que recibiremos antes. Específicamente, supongamos que una unidad monetaria a la vez\( t \in [0, \infty) \) tiene un valor presente de\( e^{-\alpha t} \) dónde\( \alpha \in (0, \infty) \) está el factor de inflación o factor de descuento. El\( U_\alpha(x, A) \) es el monto total, esperado, descontado que recibimos, a partir de\( x \in S \). Un poco más en general, supongamos que\( f \in \mathscr{B} \) y esa\( f(x) \) es la recompensa (o costo, dependiendo del signo) por unidad de tiempo que recibimos cuando el proceso está en estado\( x \in S \). Entonces\( U_\alpha f(x) \) es la recompensa esperada, total, descontada, comenzando en estado\( x \in S \).

Para el operador potencial izquierdo, si\( \mu \) es una medida positiva en\( \mathscr{S} \) entonces\ begin {align*}\ mu U_\ alpha (A) & =\ int_s\ mu (dx) U_\ alpha (x, A) =\ int_0^\ infty e^ {-\ alpha t}\ mu P_t (A)\, dt\\ & =\ int_0^\ infty e^ {- alpha\ t}\ izquierda [\ int_s\ mu (dx) P_t (x, A)\ derecha] dt =\ int_0^\ infty e^ {-\ alpha t} \ left [\ int_s\ mu (dx)\ P (x_t\ in A)\ right] dt,\ quad A\ in\ mathscr {S}\ end {align*} En particular, supongamos que\( \alpha \gt 0 \) y que\( \mu \) es una medida de probabilidad y\( X_0 \) tiene distribución\( \mu \). Entonces\( \mu P_t \) es la distribución de\( X_t \) for\( t \in [0, \infty) \), y por lo tanto desde el último resultado,\( \alpha \mu U_\alpha \) es la distribución de\( X_\tau \), donde de nuevo,\( \tau \) es independiente\( \bs{X} \) y tiene la distribución exponencial on\( [0, \infty) \) with parámetro\( \alpha \). La familia de núcleos potenciales da la misma información que la familia de núcleos de transición.

El resolvent determina\(\bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) completamente la familia de núcleos de transición\( \bs{P} = \{P_t: t \in (0, \infty)\} \).

Prueba

Tenga en cuenta que para\( x \in S \) y\( A \in \mathscr{S} \), la función\( \alpha \mapsto U_\alpha(x, A) \) on\( (0, \infty) \) es la transformada de Laplace de la función\( t \mapsto P_t(x, A) \) on\( [0, \infty) \). La transformación de Laplace de una función determina la función completamente.

De ello se deduce que el resolvente\( \{U_\alpha: \alpha \in [0, \infty)\} \), junto con la distribución inicial, determinan completamente las distribuciones dimensionales finitas del proceso de Markov\( \bs{X} \). Esto es mucho más importante aquí en el caso del tiempo continuo que en el caso del tiempo discreto, ya que los núcleos de transición\( P_t \) no se pueden generar a partir de un solo núcleo de transición. Los núcleos potenciales se conmutan entre sí y con los núcleos de transición.

Supongamos que\( \alpha, \, \beta, \, t \in [0, \infty) \). Luego (como granos),

1. \( P_t U_\alpha = U_\alpha P_t = \int_0^\infty e^{-\alpha s} P_{s+t} ds\)
2. \( U_\alpha U_\beta = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} ds \, dt \)

Prueba

Supongamos que eso no\( f \in \mathscr{B} \) es negativo. Los intercambios de operadores e integrales a continuación son intercambios de integrales, y se justifican ya que los integrands son no negativos. La otra herramienta utilizada es la propiedad semigrupo de\( \bs{P} = \{P_t: t \in [0, \infty)\} \).

1. Directamente,\[ U_\alpha P_t f = \int_0^\infty e^{-\alpha s} P_s P_t f \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds \] La otra dirección implica un intercambio. \[ P_t U_\alpha f = P_t \int_0^\infty e^{-\alpha s} P_s f \, ds = \int_0^\infty e^{-\alpha s} P_t P_s f \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds\]
2. Primero\ comenzar {alinear*} U_\ alfa U_\ beta f & =\ int_0^\ infty e^ {-\ alpha s} P_s U_\ beta f\, ds =\ int_0^\ infty e^ {-\ alpha s} P_s\ int_0^\ infty e^ {-\ beta t} P_t f\, dt\ & = _0^\ infty e^ {-\ alpha s}\ int_0^\ infty e^ {-\ beta t} P_s P_t f\, ds\, dt =\ int_0^\ infty\ int_0^\ infty e^ {-\ alpha s} e^ {-\ beta t} P_ {s+t} f\, ds\, dt\ end {align*} La otra dirección es similar.

Las mismas identidades se mantienen para los operadores correctos en todo el espacio\( \mathscr{B} \) bajo la restricción adicional que\( \alpha \gt 0 \) y\( \beta \gt 0 \). La ecuación fundamental que relaciona los núcleos potenciales, conocida como la ecuación resolvent, se da en el siguiente teorema:

Si\( \alpha, \, \beta \in [0, \infty) \) con\( \alpha \le \beta \) entonces (como granos)\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \).

Prueba

Si\( \alpha = \beta \) la ecuación es trivial, asumamos\( \alpha \lt \beta \). Supongamos que eso no\( f \in \mathscr{B} \) es negativo. A partir del resultado anterior,\[ U_\alpha U_\beta f = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s + t} f \, dt \, ds \] La transformación\( u = s + t, \, v = s \) mapea\( [0, \infty)^2 \) uno a uno en\( \{(u, v) \in [0, \infty)^2: u \ge v\} \). La transformación inversa es\( s = v, \, t = u - v \) con jacobiano\( -1 \). De ahí tenemos\ begin {align*} U_\ alpha U_\ beta f & =\ int_0^\ infty\ int_0^u e^ {-\ alpha v} e^ {-\ beta (u - v)} P_u f\, dv\, du =\ int_0^\ infty\ left (\ int_0^u e^ {(\ beta -\ alpha)} dv\ derecha) e^ {-\ beta u} P_u f\, du\\ & =\ frac {1} {\ beta -\ alfa}\ int_0^\ infty\ izquierda [e^ {(\ beta -\ alfa) u} - 1\ derecha] e^ {-\ beta u} P_u f du\\ & =\ frac {1} {\ beta -\ alfa}\ izquierda (\ int_0^\ infty e^ {-\ alpha u} P_u f\, du -\ int_0^\ infty e^ {-\ beta u} P_u f\, du\ derecha) =\ frac {1} {\ beta -\ alfa} izquierda\ (U_\ alpha f - U_\ beta f\ right)\ end {align*} Simplificando da el resultado. Tenga en cuenta que\( U_\beta f \) es finito desde\( \beta \gt 0 \).

La misma identidad se mantiene para los operadores potenciales adecuados en todo el espacio\( \mathscr{B} \), bajo la restricción adicional que\( \alpha \gt 0 \). Para\( \alpha \in (0, \infty) \), también\( U_\alpha \) es un operador en el espacio\( \mathscr{C}_0 \).

Si\( \alpha \in (0, \infty) \) y\( f \in \mathscr{C}_0 \) entonces\( U_\alpha f \in \mathscr{C}_0 \).

Prueba

Supongamos que\( f \in \mathscr{C}_0 \) y eso\( (x_1, x_2, \ldots) \) es una secuencia en\( S \). Entonces\( P_t f \in \mathscr{C}_0 \) para\( t \in [0, \infty) \). De ahí si\( x_n \to x \in S \) como\( n \to \infty \) entonces\( e^{-\alpha t} P_t f(x_n) \to e^{-\alpha t} P_t f(x) \) como\( n \to \infty \) para cada uno\( t \in [0, \infty) \). Por el teorema de convergencia dominada,\[ U_\alpha f(x_n) = \int_0^\infty e^{-\alpha t} P_t f(x_n) \, dt \to \int_0^\infty e^{-\alpha t} P_t f(x) \, dt = U_\alpha f(x) \text{ as } n \to \infty \] por lo tanto\( U_\alpha f \) es continuo. Siguiente supongamos que\( x_n \to \infty \) como\( n \to \infty \). Esto quiere decir que por cada compacto\( C \subseteq S\), existen\( m \in \N_+ \) tales que\( x_n \notin C \) para\( n \gt m \). Ellos\( e^{-\alpha t} P_t f(x_n) \to 0 \) como\( n \to \infty \) para cada uno\( t \in [0, \infty) \). Nuevamente por el teorema de convergencia dominada,\[ U_\alpha f(x_n) = \int_0^\infty e^{-\alpha t} P_t f(x_n) \, dt \to 0 \text{ as } n \to \infty \] So\( U_\alpha f \in \mathscr{C}_0 \).

Si\( f \in \mathscr{C}_0 \) entonces\( \alpha U_\alpha f \to f \) como\( \alpha \to \infty \).

Prueba

La convergencia es con respecto a la norma suprema sobre\( \mathscr{C}_0 \), por supuesto. Supongamos que\( f \in \mathscr{C}_0 \). Obsérvese primero que con un cambio de variables\( s = \alpha t \),\[ \alpha U_\alpha f = \int_0^\infty \alpha e^{-\alpha t} P_t f \, dt = \int_0^\infty e^{-s} P_{s/\alpha} f \, ds \] y de ahí\[ \left|\alpha U_\alpha f - f\right| = \left|\int_0^\infty e^{-s} \left(P_{s/\alpha} f - f\right) ds\right| \le \int_0^\infty e^{-s} \left|P_{s/\alpha} f - f\right| \, ds \le \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds \] Así se deduce que\[ \left\|\alpha U_\alpha f - f\right\| \le \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds\] Pero\( \left\|P_{s/\alpha} f - f\right\| \to 0 \) como\( \alpha \to \infty \) y por lo tanto por el teorema de convergencia dominada,\( \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds \to 0 \) as\( \alpha \to \infty \).

Generador Infinitesimal

En tiempo continuo, no está nada claro cómo podríamos construir un proceso de Markov con las propiedades deseadas, digamos para modelar un sistema real de algún tipo. Dicho matemáticamente, el problema existencial es cómo construir la familia de núcleos de transición\( \{P_t: t \in [0, \infty)\} \) para que la propiedad semiagrupada\(P_s P_t = P_{s + t}\) quede satisfecha para todos\( s, \, t \in [0, \infty) \). La respuesta, en cuanto a problemas similares en el mundo determinista, proviene esencialmente del cálculo, de un tipo de derivado.

El generador infinitesimal del proceso de Markov\( \bs{X} \) es el operador\( G: \mathscr{D} \to \mathscr{C}_0 \) definido por\[ G f = \lim_{t \downarrow 0} \frac{P_t f - f}{t} \] en el dominio\( \mathscr{D} \subseteq \mathscr{C}_0 \) para el que existe el límite.

Como es habitual, el límite es con respecto a la norma suprema sobre\( \mathscr{C}_0 \), así\( f \in \mathscr{D} \) y\( G f = g \) significa que\( f, \, g \in \mathscr{C}_0 \) y\[ \left\|\frac{P_t f - f}{t} - g \right\| = \sup\left\{\left| \frac{P_t f(x) - f(x)}{t} - g(x) \right|: x \in S \right\} \to 0 \text{ as } t \downarrow 0 \] Así en particular,\[ G f(x) = \lim_{t \downarrow 0} \frac{P_t f(x) - f(x)}{t} = \lim_{t \downarrow 0} \frac{\E[f(X_t) \mid X_0 = x] - f(x)}{t}, \quad x \in S \]

El dominio\( \mathscr{D} \) es un subespacio de\( \mathscr{C}_0 \) y el generador\( G \) es un operador lineal en\( \mathscr{D} \)

1. Si\( f \in \mathscr{D} \) y\( c \in \R \) entonces\( c f \in \mathscr{D} \) y\( G(c f) = c G f \).
2. Si\( f, \, g \in \mathscr{D} \) entonces\( f + g \in \mathscr{D} \) y\( G(f + g) = G f + G g \).

Prueba

Estos son resultados simples que dependen de la linealidad de\( P_t \) for\( t \in [0, \infty) \) y de los resultados básicos de la convergencia.

1. Si\( f \in \mathscr{D} \) entonces\[ \frac{P_t (c f) - (c f)}{t} = c \frac{P_t f - f}{t} \to c G f \text{ as } t \downarrow 0\]
2. Si\( f, \, g \in \mathscr{D} \) entonces\[ \frac{P_t(f + g) - (f + g)}{t} = \frac{P_t f - f}{t} + \frac{P_t g - g}{t} \to G f + G g \text{ as } t \downarrow 0\]

Note\( G \) es la derivada (derecha) en 0 de la función\( t \mapsto P_t f \). Debido a la propiedad semigrupo, esta propiedad de diferenciabilidad en\( 0 \) implica diferenciabilidad en arbitrario\( t \in [0, \infty) \). Además, el operador infinitesimal y los operadores de transición conmutan:

Si\( f \in \mathscr{D} \) y\( t \in [0, \infty) \), entonces\( P_t f \in \mathscr{D} \) y las siguientes reglas derivadas se mantienen con respecto a la norma suprema.

1. \( P^\prime_t f = P_t G f \), la ecuación delantera de Kolmogorov
2. \( P^\prime_t f = G P_t f\), la ecuación hacia atrás de Kolmogorov

Prueba

Vamos\( f \in \mathscr{D} \). Todos los límites y afirmaciones sobre derivados y continuidad son con respecto a la norma suprema.

1. Por supuesto,\[ \frac{1}{h}(P_h f - f) \to G f \text{ as } h \downarrow 0 \] ya que\( P_t \) es un operador acotado, lineal en el espacio\( \mathscr{C}_0 \), conserva los límites, por lo que\[ \frac{1}{h}(P_t P_h f - P_t f) = \frac{1}{h}(P_{t+h} f - P_t f) \to P_t G f \text{ as } h \downarrow 0 \] esto prueba el resultado para la derivada de la derecha. Pero como\( t \mapsto P_t f \) es continuo, el resultado también es cierto para la derivada bilateral.
2. De la parte (a), ahora sabemos que\[ \frac{1}{h} (P_h P_t f - P_t f) = \frac{1}{h}(P_{t+h} f - P_t f) \to P_t G f \text { as } h \to 0\] Por definición, esto significa que\( P_t f \in \mathscr{D} \) y\( G P_t f = P_t G f = P_t^\prime f \).

El último resultado da una posible solución al dilema que motivó esta discusión en primer lugar. Si queremos construir un proceso de Markov con las propiedades deseadas, para modelar un sistema real por ejemplo, podemos comenzar construyendo un generador apropiado\( G \) y luego resolver el problema de valor inicial\[P^\prime_t = G P_t, \quad P_0 = I \] para obtener los operadores de transición\( \bs{P} = \{P_t: t \in [0, \infty)\} \). El siguiente teorema da la relación entre los operadores potenciales y el operador infinitesimal, que de alguna manera es mejor. Esta relación es análoga a la relación entre los operadores potenciales y el operador de un solo paso dada anteriormente en tiempo discreto

Supongamos\( \alpha \in (0, \infty) \).

1. Si\( f \in \mathscr{D} \) el\( G f \in \mathscr{C}_0 \) y\( f + U_\alpha G f = \alpha U_\alpha f \)
2. Si\( f \in \mathscr{C}_0 \) entonces\( U_\alpha f \in \mathscr{D} \) y\( f + G U_\alpha f = \alpha U_\alpha f \).

Prueba

1. Por definición, si\( f \in \mathscr{D} \) entonces\( G f \in \mathscr{C}_0 \). De ahí que usando el resultado anterior,\[f + U_\alpha G f = f + \int_0^\infty e^{-\alpha t} G P_t f \, dt = f + \int_0^\infty e^{-\alpha t} P^\prime_t f \, dt \] Integrando por partes (con\( u = e^{-\alpha t} \) y\( dv = P^\prime_t f \, dt \)) da\[ f + G U_\alpha f = f - e^{-\alpha t} P_t f \biggm|_0^\infty + \alpha \int_0^\infty e^{-\alpha t} P_t f\, dt \] Pero\( e^{-\alpha t} P_t f \to 0 \) como\( t \to \infty \) while\( P_0 f = f \). El último término es\( \alpha U_\alpha f \).
2. Supongamos que\( f \in \mathscr{C}_0 \). Del resultado anterior y la sustitución\( u = s + t \), de\[ P_t U_\alpha f = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds = \int_t^\infty e^{-\alpha (u - t)} P_u f \, du = e^{\alpha t} \int_t^\infty e^{-\alpha u} P_u f \, du \] ahí\[ \frac{P_t U_\alpha f - U_\alpha f}{t} = \frac{1}{t} \left[e^{\alpha t} \int_t^\infty e^{-\alpha u} P_u f \, du - U_\alpha f\right] \] sumar y restar\( e^{\alpha u} U_\alpha f \) y combinar integrales da\ begin {align*}\ frac {p_t U_\ alpha f - U_\ alpha f} {t} {t} & =\ frac {1} {t}\ left [e^ {\ alpha t}\ int_t^\ infty e^ {-\ alpha u} P_u f\, du - e^ {\ alfa t}\ int_0^\ infty e^ {-\ alpha u} P_u f\, du\ derecha] +\ frac {e^ {\ alpha t} - 1} {t} U_\ alfa f\\ & = -e^ {\ alpha t}\ frac {1} {t}\ int_0^t e^ {-\ alpha s} P_s f\, ds +\ frac {e^ {\ alpha t} - 1} {t} U_\ alpha f\ end {align*} Dado que\( s \mapsto P_s f \) es continuo, el primer término converge a\( -f \) as\( t \downarrow 0 \). El segundo término converge a\(\alpha U_\alpha f\) as\( t \downarrow 0 \).

Para\( \alpha \gt 0 \), los operadores\( U_\alpha \) y\( G \) tienen una relación inversa.

Supongamos otra vez eso\( \alpha \in (0, \infty) \).

1. \( U_\alpha = (\alpha I - G)^{-1}: \mathscr{C}_0 \to \mathscr{D}\)
2. \( G = \alpha I - U_\alpha^{-1} : \mathscr{D} \to \mathscr{C}_0\)

Prueba

Recordemos eso\( U_\alpha: \mathscr{C}_0 \to \mathscr{D} \) y\( G: \mathscr{D} \to \mathscr{C}_0 \)

1. Por la parte (a) el resultado anterior\( \alpha U_\alpha - U_\alpha G = I \) lo tenemos\( U_\alpha(\alpha I - G) = I \). Por parte (b) tenemos\(\alpha U_\alpha - G U_\alpha = I\) así\( (\alpha I - G) U_\alpha = I \).
2. Esto se desprende de (a).

Entonces, desde el generador\( G \) podemos determinar los operadores potenciales\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \), que a su vez determinan los operadores de transición\( \bs{P} = \{P_t: t \in (0, \infty)\} \). En tiempo continuo, los operadores de transición se\( \bs{P} = \{P_t: t \in [0, \infty)\} \) pueden obtener del operador\( G \) único infinitesimal de una manera que recuerda el hecho de que en tiempo discreto, los operadores de transición se\( \bs{P} = \{P^n: n \in \N\} \) pueden obtener del operador de un solo paso\( P \).

Ejemplos y Aplicaciones

Nuestro primer ejemplo es esencialmente determinista.

Considere el proceso\( \bs{X} = \{X_t: t \in [0, \infty)\} \) de Markov para\( \R \) satisfacer la ecuación diferencial ordinaria\[ \frac{d}{dt} X_t = g(X_t), \quad t \in [0, \infty) \] donde Lipschitz\( g: \R \to \R \) es continuo. El operador infinitesimal\( G \) viene dado por\( G f(x) = f^\prime(x) g(x)\) for\( x \in \R \) en el dominio\( \mathscr{D} \) de funciones\( f: \R \to \R \) donde\( f \in \mathscr{C}_0\) y\(f^\prime \in \mathscr{C}_0 \).

Prueba

Recordemos que la única fuente de aleatoriedad en este proceso es el estado inicial\( X_0 \). Por los supuestos de continuidad\( g \), existe una solución única\( X_t(x) \) a la ecuación diferencial con valor inicial\( X_0 = x \), definido para todos\( t \in [0, \infty) \). El operador de transición\( P_t \) para\( t \in [0, \infty) \) se define en\( \mathscr{B} \) por\( P_t f(x) = f[X_t(x)] \) para\( x \in \R \). Por la regla de la cadena ordinaria, si\( f \) es diferenciable,\[ \frac{P_t f(x) - f(x)}{t} = \frac{f[X_t(x)] - f(x)}{t} \to f^\prime(x) g(x) \text{ as } t \downarrow 0 \]

Nuestro siguiente ejemplo considera el proceso de Poisson como un proceso de Markov. Compare esto con el proceso binomial anterior.

Vamos a\( \bs{N} = \{N_t: t \in [0, \infty)\} \) denotar el proceso de Poisson encendido\( \N \) con tasa\( \beta \in (0, \infty) \). Definir el proceso de Markov\( \bs{X} = \{X_t: t \in [0, \infty)\} \) por\( X_t = X_0 + N_t \) donde\( X_0 \) toma valores\( \N \) y es independiente de\( \bs{N} \).

1. Para\( t \in [0, \infty) \), mostrar que la matriz de transición de probabilidad\( P_t \) de\( \bs{X} \) viene dada por\[ P_t(x, y) = e^{-\beta t} \frac{(\beta t)^{y - x}}{(y - x)!}, \quad x, \, y \in \N, \, y \ge x \]
2. Para\( \alpha \in [0, \infty) \), mostrar que la matriz potencial\( U_\alpha \) de\( \bs{X} \) viene dada por\[ U_\alpha(x, y) = \frac{1}{\alpha + \beta} \left(\frac{\beta}{\alpha + \beta}\right)^{y - x}, \quad x, \, y \in \N, \, y \ge x \]
3. Para\( \alpha \gt 0 \) y\( x \in \N \), identificar la distribución de probabilidad definida por\( \alpha U_\alpha(x, \cdot) \).
4. Demostrar que la matriz infinitesimal\( G \) de\( \bs{X} \) viene dada por\( G(x, x) = -\beta \),\( G(x, x + 1) = \beta \) para\( x \in \N \).

Soluciones

1. Tenga en cuenta que para\( t \in [0, \infty) \) y\( x \in \N \),\( P_t(x, \cdot) \) es el PDF (discreto) de\( x + N_t \) desde que\( N_t \) tiene la distribución de Poisson con parámetro\( \beta t \).
2. Dejar\( \alpha \in [0, \infty) \) y dejar\( x, \, y \in \N \) con\( x \le y \). Entonces\ comienza {alinear*} U_\ alpha (x, y) & =\ int_0^\ infty e^ {-\ alpha t} p_t (x, y)\, dt =\ int_0^\ infty e^ {-\ alpha t} e^ {-\ beta t}\ frac {(\ beta t) ^ {y - x}} {(y - x)} dt\\ & =\ frac {\ beta^ {y - x}} {(y - x)!} \ int_0^\ infty e^ {- (\ alpha +\ beta) t} t^ {y - x}\, dt\ end {align*} El cambio de variables\( s = (\alpha + \beta)t \) da\[ U_\alpha(x, y) = \frac{\beta^{y-x}}{(y - x)! (\alpha + \beta)^{y - x + 1}} \int_0^\infty e^{-s} s^{y-x} \, ds \] Pero la última integral es\( \Gamma(y - x + 1) = (y - x)! \). Simplificar da el resultado.
3. Para\( \alpha \gt 0 \),\[ \alpha U_\alpha(x, y) = \frac{\alpha}{\alpha + \beta} \left(\frac{\beta}{\alpha + \beta}\right)^{y - x}, \quad x, \, y \in \N, \, y \ge x \] En función de\( y \) para fijo\( x \), este es el PDF de\( x + Y_\alpha \) donde\( Y_\alpha \) tiene la distribución geométrica con parámetro\( \frac{\alpha}{\alpha + \beta} \).
4. Tenga en cuenta que para\( x, \, y \in \N \),\( G(x, y) = \frac{d}{dt} P_t(x, y) \bigm|_{t=0} \). Por simple cálculo, esto es\( -\beta\) si\( y = x \),\( \beta \) si\( y = x + 1 \), y 0 de lo contrario.