Saltar al contenido principal

# 16.3: Introducción a las Cadenas Discretas de Tiempo

$$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$$

$$\newcommand{\id}{\mathrm{id}}$$ $$\newcommand{\Span}{\mathrm{span}}$$

( \newcommand{\kernel}{\mathrm{null}\,}\) $$\newcommand{\range}{\mathrm{range}\,}$$

$$\newcommand{\RealPart}{\mathrm{Re}}$$ $$\newcommand{\ImaginaryPart}{\mathrm{Im}}$$

$$\newcommand{\Argument}{\mathrm{Arg}}$$ $$\newcommand{\norm}[1]{\| #1 \|}$$

$$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$$

$$\newcommand{\Span}{\mathrm{span}}$$

$$\newcommand{\id}{\mathrm{id}}$$

$$\newcommand{\Span}{\mathrm{span}}$$

$$\newcommand{\kernel}{\mathrm{null}\,}$$

$$\newcommand{\range}{\mathrm{range}\,}$$

$$\newcommand{\RealPart}{\mathrm{Re}}$$

$$\newcommand{\ImaginaryPart}{\mathrm{Im}}$$

$$\newcommand{\Argument}{\mathrm{Arg}}$$

$$\newcommand{\norm}[1]{\| #1 \|}$$

$$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$$

$$\newcommand{\Span}{\mathrm{span}}$$ $$\newcommand{\AA}{\unicode[.8,0]{x212B}}$$

$$\newcommand{\vectorA}[1]{\vec{#1}} % arrow$$

$$\newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow$$

$$\newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vectorC}[1]{\textbf{#1}}$$

$$\newcommand{\vectorD}[1]{\overrightarrow{#1}}$$

$$\newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}}$$

$$\newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}}$$

$$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$$

$$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$$

$$\newcommand{\avec}{\mathbf a}$$ $$\newcommand{\bvec}{\mathbf b}$$ $$\newcommand{\cvec}{\mathbf c}$$ $$\newcommand{\dvec}{\mathbf d}$$ $$\newcommand{\dtil}{\widetilde{\mathbf d}}$$ $$\newcommand{\evec}{\mathbf e}$$ $$\newcommand{\fvec}{\mathbf f}$$ $$\newcommand{\nvec}{\mathbf n}$$ $$\newcommand{\pvec}{\mathbf p}$$ $$\newcommand{\qvec}{\mathbf q}$$ $$\newcommand{\svec}{\mathbf s}$$ $$\newcommand{\tvec}{\mathbf t}$$ $$\newcommand{\uvec}{\mathbf u}$$ $$\newcommand{\vvec}{\mathbf v}$$ $$\newcommand{\wvec}{\mathbf w}$$ $$\newcommand{\xvec}{\mathbf x}$$ $$\newcommand{\yvec}{\mathbf y}$$ $$\newcommand{\zvec}{\mathbf z}$$ $$\newcommand{\rvec}{\mathbf r}$$ $$\newcommand{\mvec}{\mathbf m}$$ $$\newcommand{\zerovec}{\mathbf 0}$$ $$\newcommand{\onevec}{\mathbf 1}$$ $$\newcommand{\real}{\mathbb R}$$ $$\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}$$ $$\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}$$ $$\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}$$ $$\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}$$ $$\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$$ $$\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$$ $$\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$$ $$\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$$ $$\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}$$ $$\newcommand{\laspan}[1]{\text{Span}\{#1\}}$$ $$\newcommand{\bcal}{\cal B}$$ $$\newcommand{\ccal}{\cal C}$$ $$\newcommand{\scal}{\cal S}$$ $$\newcommand{\wcal}{\cal W}$$ $$\newcommand{\ecal}{\cal E}$$ $$\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}$$ $$\newcommand{\gray}[1]{\color{gray}{#1}}$$ $$\newcommand{\lgray}[1]{\color{lightgray}{#1}}$$ $$\newcommand{\rank}{\operatorname{rank}}$$ $$\newcommand{\row}{\text{Row}}$$ $$\newcommand{\col}{\text{Col}}$$ $$\renewcommand{\row}{\text{Row}}$$ $$\newcommand{\nul}{\text{Nul}}$$ $$\newcommand{\var}{\text{Var}}$$ $$\newcommand{\corr}{\text{corr}}$$ $$\newcommand{\len}[1]{\left|#1\right|}$$ $$\newcommand{\bbar}{\overline{\bvec}}$$ $$\newcommand{\bhat}{\widehat{\bvec}}$$ $$\newcommand{\bperp}{\bvec^\perp}$$ $$\newcommand{\xhat}{\widehat{\xvec}}$$ $$\newcommand{\vhat}{\widehat{\vvec}}$$ $$\newcommand{\uhat}{\widehat{\uvec}}$$ $$\newcommand{\what}{\widehat{\wvec}}$$ $$\newcommand{\Sighat}{\widehat{\Sigma}}$$ $$\newcommand{\lt}{<}$$ $$\newcommand{\gt}{>}$$ $$\newcommand{\amp}{&}$$ $$\definecolor{fillinmathshade}{gray}{0.9}$$
$$\newcommand{\P}{\mathbb{P}}$$$$\newcommand{\E}{\mathbb{E}}$$$$\newcommand{\R}{\mathbb{R}}$$$$\newcommand{\N}{\mathbb{N}}$$$$\newcommand{\Z}{\mathbb{Z}}$$$$\newcommand{\bs}{\boldsymbol}$$$$\newcommand{\var}{\text{var}}$$

En esta y en las siguientes secciones, consideramos un proceso de Markov con el espacio de tiempo discreto$$\N$$ y con un espacio de estado discreto (contable). Recordemos que un proceso de Markov con un espacio de estado discreto se llama cadena de Markov, por lo que estamos estudiando cadenas de Markov de tiempo discreto.

## Revisar

Revisaremos las definiciones y conceptos básicos en la introducción general. Con tanto el tiempo como el espacio discretos, muchas de estas definiciones y conceptos simplifican considerablemente. Como es habitual, nuestro punto de partida es un espacio de probabilidad$$(\Omega, \mathscr{F}, \P)$$, así$$\Omega$$ es el espacio$$\mathscr{F}$$ muestral, el$$\sigma$$ álgebra de eventos y$$\P$$ la medida de probabilidad en$$(\Omega, \mathscr{F})$$. $$\bs{X} = (X_0, X_1, X_2, \ldots)$$Sea un proceso estocástico definido sobre el espacio de probabilidad, con espacio de tiempo$$\N$$ y con espacio de estado contable$$S$$. En el contexto de la introducción general,$$S$$ se le da el conjunto de potencias$$\mathscr{P}(S)$$ como el$$\sigma$$ álgebra, por lo que todos los subconjuntos de$$S$$ son medibles, al igual que todas las funciones desde otro$$S$$ espacio medible. La medida de conteo$$\#$$ es la medida natural en$$S$$, por lo que las integrales superiores$$S$$ son simplemente sumas. Los mismos comentarios se aplican al espacio temporal$$\N$$: todos los subconjuntos de$$\N$$ son medibles y la medida de conteo$$\#$$ es la medida natural en$$\N$$.

El espacio vectorial$$\mathscr{B}$$ compuesto por funciones delimitadas$$f: S \to \R$$ jugará un papel importante. La norma que utilizamos es la norma suprema definida por$\|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B}$

Para$$n \in \N$$, let$$\mathscr{F}_n = \sigma\{X_0, X_1, \ldots, X_n\}$$, la$$\sigma$$ -álgebra generada por el proceso hasta el tiempo$$n$$. Así$$\mathfrak{F} = \{\mathscr{F}_0, \mathscr{F}_1, \mathscr{F}_2, \ldots\}$$ es la filtración natural asociada con$$\bs{X}$$. También dejamos$$\mathscr{G}_n = \sigma\{X_n, X_{n+1}, \ldots\}$$, la$$\sigma$$ -álgebra generada por el proceso a partir$$n$$ de tiempo. Entonces si$$n \in \N$$ representa el tiempo presente, entonces$$\mathscr{F}_n$$ contiene los eventos del pasado y$$\mathscr{G}_n$$ los eventos en el futuro.

### Definiciones

Comenzamos con la definición básica de la propiedad de Markov: el pasado y el futuro son condicionalmente independientes, dado el presente.

$$\bs{X} = (X_0, X_1, X_2, \ldots)$$es una cadena de Markov si$$\P(A \cap B \mid X_n) = \P(A \mid X_n) \P(B \mid X_n)$$ por cada$$n \in \N$$,$$A \in \mathscr{F}_n$$ y$$B \in \mathscr{G}_n$$.

Hay una serie de formulaciones equivalentes de la propiedad de Markov para una cadena de Markov de tiempo discreto. Damos algunos de estos.

$$\bs{X} = (X_0, X_1, X_2, \ldots)$$es una cadena de Markov si se cumple alguna de las siguientes condiciones equivalentes:

1. $$\P(X_{n+1} = x \mid \mathscr{F}_n) = \P(X_{n+1} = x \mid X_n)$$para cada$$n \in \N$$ y$$x \in S$$.
2. $$\E[f(X_{n+1}) \mid \mathscr{F}_n] = \E[f(X_{n+1}) \mid X_n]$$para cada$$n \in \N$$ y$$f \in \mathscr{B}$$.

La parte (a) establece que para$$n \in \N$$, la función de densidad de probabilidad condicional de$$X_{n+1}$$ dado$$\mathscr{F}_n$$ es la misma que la función de densidad de probabilidad condicional de$$X_{n+1}$$ dado$$X_n$$. La parte b) también establece, en términos de valor esperado, que la distribución condicional de$$X_{n+1}$$ dado$$\mathscr{F}_n$$ es la misma que la distribución condicional de$$X_{n+1}$$ dado$$X_n$$. Ambas partes son la propiedad de Markov buscando solo un paso de tiempo en el futuro. Pero con tiempo discreto, esto equivale a la propiedad de Markov en tiempos futuros generales.

$$\bs{X} = (X_0, X_1, X_2, \ldots)$$es una cadena de Markov si se cumple alguna de las siguientes condiciones equivalentes:

1. $$\P(X_{n+k} = x \mid \mathscr{F}_n) = \P(X_{n+k} = x \mid X_n)$$para cada$$n, \, k \in \N$$ y$$x \in S$$.
2. $$\E[f(X_{n+k}) \mid \mathscr{F}_n] = \E[f(X_{n+k}) \mid X_n]$$para cada$$n, \, k \in \N$$ y$$f \in \mathscr{B}$$.

La parte (a) establece que para$$n, \, k \in \N$$, la función de densidad de probabilidad condicional de$$X_{n+k}$$ dado$$\mathscr{F}_n$$ es la misma que la función de densidad de probabilidad condicional de$$X_{n+k}$$ dado$$X_n$$. La parte b) también establece, en términos de valor esperado, que la distribución condicional de$$X_{n+k}$$ dado$$\mathscr{F}_n$$ es la misma que la distribución condicional de$$X_{n+k}$$ dado$$X_n$$. En tiempo y espacio discretos, la propiedad Markov también se puede afirmar sin referencia explícita a$$\sigma$$ -álgebras. Si no estás familiarizado con la teoría de medidas, puedes tomar esta como definición inicial.

$$\bs{X} = (X_0, X_1, X_2, \ldots)$$es una cadena de Markov si por todas$$n \in \N$$ y cada una de las secuencias de estados$$(x_0, x_1, \ldots, x_{n-1}, x, y)$$,$\P(X_{n+1} = y \mid X_0 = x_0, X_1 = x_1, \ldots, X_{n-1} = x_{n-1}, X_n = x) = \P(X_{n+1} = y \mid X_n = x)$

La teoría de las cadenas de Markov de tiempo discreto se simplifica considerablemente si agregamos una suposición adicional.

Una cadena de Markov$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es homogénea en el tiempo si es$\P(X_{n+k} = y \mid X_k = x) = \P(X_n = y \mid X_0 = x)$ por todos$$k, \, n \in \N$$ y cada uno$$x, \, y \in S$$.

Es decir, la distribución condicional de$$X_{n+k}$$ dado$$X_k = x$$ depende sólo de$$n$$. Entonces si$$\bs{X}$$ es homogéneo (normalmente no nos molestamos con el adjetivo tiempo), entonces la cadena$$\{X_{k+n}: n \in \N\}$$ dada$$X_k = x$$ es equivalente (en distribución) a la cadena$$\{X_n: n \in \N\}$$ dada$$X_0 = x$$. Por esta razón, la distribución inicial a menudo no se especifica en el estudio de las cadenas de Markov, si la cadena está en estado en un$$x \in S$$ momento determinado$$k \in \N$$, entonces realmente no importa cómo llegó la cadena al estado$$x$$; el proceso esencialmente comienza de nuevo, independientemente del pasado . A veces se usa el término estacionario en lugar de homogéneo.

A partir de ahora, usualmente asumiremos que nuestras cadenas de Markov son homogéneas. Esto no es una pérdida de generalidad tan grande como se podría pensar. Una cadena de Markov no homogénea puede convertirse en un proceso homogéneo de Markov ampliando el espacio estatal, como se muestra en la introducción a los procesos generales de Markov, pero a costa de crear un espacio estatal incontable. Para una cadena homogénea de Markov, si$$k, \, n \in \N$$,$$x \in S$$, y$$f \in \mathscr{B}$$, entonces$\E[f(X_{k+n}) \mid X_k = x] = \E[f(X_n) \mid X_0 = x]$

Consideremos nuevamente un proceso estocástico$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ con espacio estatal contable$$S$$, y con la filtración natural$$\mathfrak{F} = (\mathscr{F}_0, \mathscr{F}_1, \mathscr{F}_2, \ldots)$$ como se indicó anteriormente. Recordemos que una variable aleatoria que$$\tau$$ toma valores$$\N \cup \{\infty\}$$ es un tiempo de parada o un tiempo de Markov para$$\bs{X}$$ si$$\{\tau = n\} \in \mathscr{F}_n$$ para cada uno$$n \in \N$$. Intuitivamente, podemos decir si$$\tau = n$$ observando la cadena hasta el tiempo o no$$n$$. En cierto sentido, un tiempo de parada es un tiempo aleatorio que no requiere que veamos hacia el futuro. El siguiente resultado da los ejemplos por excelencia de tiempos de parada.

Supongamos que de nuevo$$\bs{X} = \{X_n: n \in \N\}$$ es una cadena de Markov de tiempo discreto con espacio estatal$$S$$ como se definió anteriormente. Para$$A \subseteq S$$, los siguientes tiempos aleatorios son tiempos de parada:

1. $$\rho_A = \inf\{n \in \N: X_n \in A\}$$, el tiempo de entrada a$$A$$.
2. $$\tau_A = \inf\{n \in \N_+: X_n \in A\}$$, el tiempo de bateo para$$A$$.
Prueba

Para$$n \in \N$$

1. $$\{\rho_A = n\} = \{X_0 \notin A, X_1 \notin A, \ldots, X_{n-1} \notin A, X_n \in A\} \in \mathscr{F}_n$$
2. $$\{\tau_A = n\} = \{X_1 \notin A, X_2 \notin A, \ldots, X_{n-1} \notin A, X_n \in A\} \in \mathscr{F}_n$$

Un ejemplo de un tiempo aleatorio que generalmente no es un tiempo de parada es la última vez que se encuentra el proceso$$A$$: No$\zeta_A = \max\{n \in \N_+: X_n \in A\}$ podemos decir si$$\zeta_A = n$$ sin mirar hacia el futuro:$$\{ \zeta_A = n\} = \{X_n \in A, X_{n+1} \notin A, X_{n+2} \notin A, \ldots\}$$ para$$n \in \N$$.

Si$$\tau$$ es un tiempo de parada para$$\bs{X}$$, la$$\sigma$$ -álgebra asociada a$$\tau$$ es$\mathscr{F}_\tau = \{A \in \mathscr{F}: A \cap \{\tau = n\} \in \mathscr{F}_n \text{ for all } n \in \N\}$ Intuitivamente,$$\mathscr{F}_\tau$$ contiene los eventos que pueden ser descritos por el proceso hasta el tiempo aleatorio$$\tau$$, de la misma manera que$$\mathscr{F}_n$$ contiene los eventos que pueden ser descritos por el proceso hasta el tiempo determinista$$n \in \N$$. Para mayor información consulte la sección sobre filtraciones y tiempos de parada.

El fuerte inmueble de Markov afirma que el futuro es independiente del pasado, dado el presente, cuando el presente es un tiempo de parada. Para una cadena de Markov de tiempo discreto, la propiedad ordinaria de Markov implica la propiedad fuerte de Markov.

Si$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es una cadena de Markov de tiempo discreto entonces$$\bs{X}$$ tiene la fuerte propiedad de Markov. Es decir, si$$\tau$$ es un tiempo de parada finito para$$\bs{X}$$ entonces

1. $$\P(X_{\tau+k} = x \mid \mathscr{F}_\tau) = \P(X_{\tau+k} = x \mid X_\tau)$$para cada$$k \in \N$$ y$$x \in S$$.
2. $$\E[f(X_{\tau+k}) \mid \mathscr{F}_\tau] = \E[f(X_{\tau+k}) \mid X_\tau]$$para cada$$k \in \N$$ y$$f \in \mathscr{B}$$.

La parte (a) establece que la función de densidad de probabilidad condicional de$$X_{\tau + k}$$ dado$$\mathscr{F}_\tau$$ es la misma que la función de densidad de probabilidad condicional de$$X_{\tau + k}$$ dado justo$$X_\tau$$. La parte b) también establece, en términos de valor esperado, que la distribución condicional de$$X_{\tau + k}$$ dado$$\mathscr{F}_\tau$$ es la misma que la distribución condicional de$$X_{\tau + k}$$ dado justo$$X_\tau$$. Asumiendo homogeneidad como de costumbre, la cadena de Markov$$\{X_{\tau + n}: n \in \N\}$$ dada$$X_\tau = x$$ es equivalente en distribución a la cadena$$\{X_n: n \in \N\}$$ dada$$X_0 = x$$.

### Matrices de Transición

Supongamos nuevamente que$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ se trata de una cadena de Markov homogénea, discreta en el tiempo con el espacio estatal$$S$$. Con un espacio de estado discreto, los núcleos de transición estudiados en la introducción general se convierten en matrices de transición, con filas y columnas indexadas por$$S$$ (y tal vez de tamaño infinito). Las operaciones del kernel se convierten en operaciones matriciales familiares. Los resultados en esta sección son casos especiales de los resultados generales, pero a veces damos pruebas independientes de integridad, y porque las pruebas son más simples. Es posible que desee revisar la sección sobre kernels en el capítulo sobre el valor esperado.

Para$$n \in \N$$ let$P_n(x, y) = \P(X_n = y \mid X_0 = x), \quad (x, y) \in S \times S$ La matriz$$P_n$$ es la matriz de probabilidad de transición$$n$$ -step para$$\bs{X}$$.

Así,$$y \mapsto P_n(x, y)$$ es la función de densidad de probabilidad de$$X_n$$ dada$$X_0 = x$$. En particular,$$P_n$$ es una matriz de probabilidad (o matriz estocástica) ya que$$P_n(x, y) \ge 0$$ para$$(x, y) \in S^2$$ y$$\sum_{y \in S} P(x, y) = 1$$ para$$x \in S$$. Al igual que con cualquier matriz no negativa activada$$S$$,$$P_n$$ define un núcleo activado$$S$$ para$$n \in \N$$:$P_n(x, A) = \sum_{y \in A} P_n(x, y) = \P(X_n \in A \mid X_0 = x), \quad x \in S, \, A \subseteq S$ Así$$A \mapsto P_n(x, A)$$ es la distribución de probabilidad de$$X_n$$ dado$$X_0 = x$$. El siguiente resultado es la ecuación Chapman-Kolmogorov, llamada así por Sydney Chapman y Andrei Kolmogorov. Da la relación básica entre las matrices de transición.

Si$$m, \, n \in \N$$ entonces$$P_m P_n = P_{m+n}$$

Prueba

Esto se desprende de las propiedades homogéneas de Markov y tiempo y de un argumento básico de condicionamiento. Si$$x, \, z \in S$$ entonces$P_{m+n}(x, z) = \P(X_{m+n} = z \mid X_0 = x) = \sum_{y \in S} \P(X_{m+n} = z \mid X_0 = x, X_m = y) \P(X_m = y \mid X_0 = x)$ Pero por la propiedad de Markov y propiedades homogéneas en el tiempo Por$\P(X_{m+n} = z \mid X_0 = x, X_m = y) = \P(X_n = z \mid X_0 = y) = P_n(y, z)$ supuesto también$$\P(X_m = y \mid X_0 = x) = P_m(x, y)$$ De ahí que tengamos$P_{m+n}(x, z) = \sum_{y \in S} P_m(x, y) P_n(y, z)$ El lado derecho, por definición, es$$P_m P_n(x, z)$$.

De ello se deduce inmediatamente que las matrices de transición son solo las potencias matriciales de la matriz de transición de un solo paso. Es decir, dejar$$P = P_1$$ que tengamos$$P_n = P^n$$ para todos$$n \in \N$$. Tenga en cuenta que$$P^0 = I$$, la matriz de identidad en$$S$$ dada por$$I(x, y) = 1$$ si$$x = y$$ y 0 de lo contrario. El operador correcto correspondiente a$$P^n$$ arroja un valor esperado.

Supongamos eso$$n \in \N$$ y aquello$$f: S \to \R$$. Entonces, asumiendo que existe el valor esperado,$P^n f(x) = \sum_{y \in S} P^n(x, y) f(y) = \E[f(X_n) \mid X_0 = x], \quad x \in S$

Prueba

Esto se desprende fácilmente de las definiciones:$P^nf(x) = \sum_{y \in S} P^n(x, y) f(y) = \sum_{y \in S} \P(X_n = y \mid X_0 = x) f(y) = \E[f(X_n) \mid X_0 = x], \quad x \in S$

La existencia del valor esperado es sólo un problema si$$S$$ es infinte. En particular, el resultado se mantiene si$$f$$ es no negativo o si$$f \in \mathscr{B}$$ (que a su vez siempre sería el caso si$$S$$ es finito). De hecho,$$P^n$$ es un operador de contracción lineal en el espacio$$\mathscr{B}$$ para$$n \in \N$$. Es decir, si$$f \in \mathscr{B}$$ entonces$$P^n f \in \mathscr{B}$$ y$$\|P^n f\| \le \|f\|$$. El operador izquierdo correspondiente a$$P^n$$ se define de manera similar. Por$$f: S \to \R$$$f P^n(y) = \sum_{x \in S} f(x) P^n(x, y), \quad y \in S$ asumir de nuevo que la suma tiene sentido (como antes, sólo un tema cuando$$S$$ es infinito). El operador izquierdo a menudo está restringido a funciones no negativas, y a menudo pensamos en tal función como la función de densidad (con respecto a$$\#$$) de una medida positiva en$$S$$. En este sentido, el operador izquierdo mapea una función de densidad a otra función de densidad.

Una función$$f: S \to \R$$ es invariante para$$P$$ (o para la cadena$$\bs{X}$$) si$$f P = f$$.

Claramente si$$f$$ es invariante, así que$$f P = f$$ entonces$$f P^n = f$$ para todos$$n \in \N$$. Si$$f$$ es una función de densidad de probabilidad, entonces también lo es$$f P$$.

Si$$X_0$$ tiene función de densidad de probabilidad$$f$$, entonces$$X_n$$ tiene función de densidad de probabilidad$$f P^n$$ para$$n \in \N$$.

Prueba

Nuevamente, esto se desprende fácilmente de las definiciones y de un argumento condicionante. $\P(X_n = y) = \sum_{x \in S} \P(X_0 = x) \P(X_n = y \mid X_0 = x) = \sum_{x \in S} f(x) P^n(x, y) = f P^n(y), \quad y \in S$

En particular, si$$X_0$$ tiene función de densidad de probabilidad$$f$$, y$$f$$ es invariante para$$\bs{X}$$, entonces$$X_n$$ tiene función de densidad de probabilidad$$f$$ para todos$$n \in \N$$, por lo que la secuencia de variables$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ se distribuye de manera idéntica. Combinando dos resultados anteriores, supongamos que$$X_0$$ tiene función de densidad de probabilidad$$f$$ y eso$$g: S \to \R$$. Suponiendo que existe el valor esperado,$$\E[g(X_n)] = f P^n g$$. De manera explícita, también$\E[g(X_n)] = \sum_{x \in S} \sum_{y \in S} f(x) P^n(x, y) g(y)$ se deduce del último teorema que la distribución de$$X_0$$ (la distribución inicial) y la matriz de transición de un solo paso determinan la distribución de$$X_n$$ para cada uno$$n \in \N$$. En realidad, estas cantidades básicas determinan las distribuciones dimensionales finitas del proceso, un resultado más fuerte.

Supongamos que$$X_0$$ tiene función de densidad de probabilidad$$f_0$$. Para cualquier secuencia de estados$$(x_0, x_1, \ldots, x_n) \in S^n,$$,$\P(X_0 = x_0, X_1 = x_1, \ldots, X_n = x_n) = f_0(x_0) P(x_0, x_1) P(x_1, x_2) \cdots P(x_{n-1},x_n)$

Prueba

Esto se desprende directamente de la propiedad Markov y la regla de multiplicación de probabilidad condicional:$\P(X_0 = x_0, X_1 = x_1, \ldots, X_n = x_n) = \P(X_0 = x_0) \P(X_1 = x_1 \mid X_0 = x_0) \P(X_2 = x_2 \mid X_0 = x_0, X_1 = x_1) \cdots \P(X_n = x_n \mid X_0 = x_0, \ldots, X_{n-1} = x_{n-1})$ Pero por la propiedad Markov, esto se reduce a\ begin {align*}\ P (X_0 = x_0, X_1 = x_1,\ ldots, x_n = x_n) & =\ P (X_0 = x_0)\ P (X_1 = x_1\ mid X_0 = x_0 = _0)\ P (X_2 = x_2\ mediados X_1 = x_1)\ cdots\ P (X_n = x_n\ mediados X_ {n-1} = x_ {n-1})\\ & = f_0 (x_0) P (x_0, x_1) P (x_1, x_2)\ cdots P (x_ {n-1}, x_n)\ final {alinear*}

Los cálculos de este tipo son la razón del término cadena en el nombre de cadena de Markov. De este resultado, se deduce que dada una matriz de probabilidad$$P$$ activada$$S$$ y una función de densidad de probabilidad$$f$$ activada$$S$$, podemos construir una cadena de Markov$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ tal que$$X_0$$ tenga una función de densidad de probabilidad$$f$$ y la cadena tenga una matriz de transición de un solo paso $$P$$. En los problemas aplicados, a menudo conocemos la matriz de transición de un paso$$P$$ a partir de consideraciones de modelado, y nuevamente, la distribución inicial a menudo no se especifica.

Existe una gráfica natural (en el sentido combinatorio) asociada a una cadena de Markov homogénea y discreta en el tiempo.

Supongamos nuevamente que$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es una cadena de Markov con espacio de estado$$S$$ y matriz de probabilidad de transición$$P$$. La gráfica de estado de$$\bs{X}$$ es la gráfica dirigida con conjunto de vértices$$S$$ y conjunto de bordes$$E = \{(x, y) \in S^2: P(x, y) \gt 0\}$$.

Es decir, hay un borde dirigido de$$x$$ a$$y$$ si y solo si el estado$$x$$ lleva al estado$$y$$ en un solo paso. Tenga en cuenta que la gráfica bien puede tener bucles, ya que un estado ciertamente puede conducir de nuevo a sí mismo en un solo paso. De manera más general, tenemos el siguiente resultado:

Supongamos nuevamente que$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es una cadena de Markov con espacio de estado$$S$$ y matriz de probabilidad de transición$$P$$. Para$$x, \, y \in S$$ y$$n \in \N_+$$, hay una ruta dirigida de longitud$$n$$ en la gráfica de estado de$$x$$ a$$y$$ si y solo si$$P^n(x, y) \gt 0$$.

Prueba

Esto sigue ya que$$P^n(x, y) \gt 0$$ si y sólo si existe una secuencia de estados$$(x_1, x_2, \ldots, x_{n-1})$$ con$$P(x, x_1) \gt 0, P(x_1, x_2) \gt 0, \ldots, P(x_{n-1}, y) \gt 0$$. Esta es también precisamente la condición para la existencia de una trayectoria dirigida$$(x, x_1, \ldots, x_{n-1}, y)$$ de longitud$$n$$ desde$$x$$ hasta$$y$$ en la gráfica de estado.

### Matrices Potenciales

Para$$\alpha \in (0, 1]$$, la matriz$$\alpha$$ -potencial$$R_\alpha$$ de$$\bs{X}$$ es$R_\alpha = \sum_{n=0}^\infty \alpha^n P^n, \quad (x, y) \in S^2$

1. $$R = R_1$$es simplemente la matriz potencial de$$\bs{X}$$.
2. $$R(x, y)$$es el número esperado de visitas por$$\bs{X}$$ a$$y \in S$$, a partir de$$x \in S$$.
Prueba

Primero la definición de$$R_\alpha$$ como una serie infinita de matrices tiene sentido ya que$$P^n$$ es una matriz no negativa para cada una$$n$$. La interpretación de$$R(x, y)$$ for$$(x, y) \in S^2$$ viene de intercambiar suma y valor esperado, nuevamente justificada ya que los términos son no negativos. $R(x, y) = \sum_{n=0}^\infty P^n(x, y) = \sum_{n=0}^\infty \E[\bs{1}(X_n = y) \mid X_0 = x] = \E\left( \sum_{n=0}^\infty \bs{1}(X_n = y) \biggm| X_0 = x\right) = \E[\#\{n \in \N: X_n = y\} \mid X_0 = x]$

Tenga en cuenta que es muy posible que$$R(x, y) = \infty$$ para algunos$$(x, y) \in S^2$$. De hecho, saber cuándo es este el caso es de considerable importancia en la recurrencia y la fugacidad, lo que estudiamos en la siguiente sección. Al igual que con cualquier matriz no negativa, la matriz$$\alpha$$ -potential define un kernel y define operadores izquierdo y derecho. Para el kernel,$R_\alpha(x, A) = \sum_{y \in A} R_\alpha(x, y) = \sum_{n=0}^\infty \alpha^n P^n(x, A), \quad x \in S, A \subseteq S$ en particular,$$R(x, A)$$ es el número esperado de visitas por la cadena para$$A$$ comenzar en$$x$$:$R(x, A) = \sum_{y \in A} R(x, y) = \sum_{n=0}^\infty P^n(x, A) = \E\left[\sum_{n=0}^\infty \bs{1}(X_n \in A)\right], \quad x \in S, \, A \subseteq S$

Si$$\alpha \in (0, 1)$$, entonces$$R_\alpha(x, S) = \frac{1}{1 - \alpha}$$ para todos$$x \in S$$.

Prueba

Usando series geométricas,$R_\alpha(x, S) = \sum_{n=0}^\infty \alpha^n P^n(x, S) = \sum_{n=0}^\infty \alpha^n = \frac{1}{1 - \alpha}$

Por lo tanto,$$R_\alpha$$ es una matriz acotada para$$\alpha \in (0, 1)$$ y$$(1 - \alpha) R_\alpha$$ es una matriz de probabilidad. Hay una interpretación sencilla de esta matriz.

Si$$\alpha \in (0, 1)$$ entonces$$(1 - \alpha) R_\alpha(x, y) = \P(X_N = y \mid X_0 = x)$$ para$$(x, y) \in S^2$$, donde$$N$$ es independiente de$$\bs{X}$$ y tiene la distribución geométrica on$$\N$$ con parámetro$$1 - \alpha$$.

Prueba

Vamos$$(x, y) \in S^2$$. Acondicionamiento en$$N$$ da$\P(X_N = y \mid X_0 = x) = \sum_{n=0}^\infty \P(N = n) \P(X_N = y \mid X_0 = x, N = n)$ Pero por la regla de sustitución y el supuesto de independencia,$\P(X_N = y \mid N = n, X_0 = x) = \E(X_n = y \mid N = n, X_0 = x) = \P(X_n = y \mid X_0 = x) = P^n (x, y)$ ya que$$N$$ tiene la distribución geométrica$$N$$ encendida con parámetro que$$1 - \alpha$$ tenemos$$\P(N = n) = (1 - \alpha) \alpha^n$$. De ahí$\P(X_N = y \mid X_0 = x) = \sum_{n=0}^\infty (1 - \alpha) \alpha^n P^n(x, y) = (1 - \alpha) R_\alpha(x, y)$

Entonces$$(1 - \alpha) R_\alpha$$ puede pensarse como una matriz de transición así como lo$$P^n$$ es una matriz de transición, pero correspondiente al tiempo aleatorio$$N$$ (con$$\alpha$$ como paraamter) en lugar del tiempo determinista$$n$$. También se$$\alpha \in (0, 1)$$ puede dar una interpretación de la matriz potencial$$R_\alpha$$ para en términos económicos. Supongamos que recibimos una unidad monetaria cada vez que la cadena visita un estado fijo$$y \in S$$. Entonces$$R(x, y)$$ es la recompensa total esperada, comenzando en estado$$x \in S$$. Sin embargo, normalmente el dinero que recibiremos en momentos distantes en el futuro tiene menos valor para nosotros ahora que el dinero que recibiremos pronto. Específicamente supongamos que una unidad monetaria en el momento$$n \in \N$$ tiene un valor presente de$$\alpha^n$$, por lo que ese$$\alpha$$ es un factor de inflación (a veces también llamado factor de descuento). Después$$R_\alpha (x, y)$$ da la recompensa total esperada descontada, a partir de$$x \in S$$.

Los granos potenciales determinan$$\bs{R} = \{R_\alpha: \alpha \in (0, 1)\}$$ completamente los granos de transición$$\bs{P} = \{P_n: n \in \N\}$$.

Prueba

Tenga en cuenta que para$$(x, y) \in S^2$$, la función$$\alpha \mapsto R_\alpha(x, y)$$ es una serie de potencias en$$\alpha$$ con coeficientes$$n \mapsto P^n(x, y)$$. En el lenguaje de la combinatoria,$$\alpha \mapsto R_\alpha(x, y)$$ se encuentra la función generadora ordinaria de la secuencia$$n \mapsto P^n(x, y)$$. Como se señaló anteriormente, esta serie de potencias tiene radio de convergencia al menos 1, por lo que podemos extender el dominio a$$\alpha \in (-1, 1)$$. Así, dadas las matrices potenciales, podemos recuperar las matrices de transición tomando derivadas y evaluando a 0:$P^n(x, y) = \frac{1}{n!}\left[\frac{d^n}{d\alpha^n} R_\alpha(x, y) \right]_{\alpha = 0}$

Por supuesto, en realidad solo es necesario determinar$$P$$, el kernel de transición de un paso, ya que los otros núcleos de transición son potencias de$$P$$. En cualquier caso, se deduce que las matrices$$\bs{R} = \{R_\alpha: \alpha \in (0, 1)\}$$, junto con la distribución inicial, determinan completamente las distribuciones dimensionales finitas de la cadena de Markov$$\bs{X}$$. Las matrices potenciales se conmutan entre sí y con las matrices de transición.

Si$$\alpha, \, \beta \in (0, 1]$$ y$$k \in \N$$, entonces

1. $$P^k R_\alpha = R_\alpha P^k = \sum_{n=0}^\infty \alpha^n P^{n+k}$$
2. $$R_\alpha R_\beta = R_\beta R_\alpha = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n}$$
Prueba

Se permite distribuir productos de matriz a través de sumas de matriz ya que las matrices no son negativas.

1. Directamente$R_\alpha P^k = \sum_{n=0}^\infty \alpha^n P^n P^k = \sum_{n=0}^\infty \alpha^n P^{n+k}$ La otra dirección requiere un intercambio. $P^k R_\alpha = P^k \sum_{n=0}^\infty \alpha^n P^n = \sum_{n=0}^\infty \alpha^n P^k P^n = \sum_{n=0}^\infty \alpha^n P^{n+k}$
2. Primero,$R_\alpha R_\beta = \sum_{m=0}^\infty \alpha^m P^m R_\beta = \sum_{m=0}^\infty \alpha^m P^m \left(\sum_{n=0}^\infty \beta^n P^n\right) = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^m P^n = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n}$ La otra dirección es similar.

A continuación se da la ecuación fundamental que relaciona las matrices potenciales.

Si$$\alpha, \, \beta \in (0, 1]$$ con$$\alpha \ge \beta$$ entonces$\alpha R_\alpha = \beta R_\beta + (\alpha - \beta) R_\alpha R_\beta$

Prueba

Si$$\alpha = \beta$$ la ecuación es trivial, asumamos$$\alpha \gt \beta$$. Del resultado anterior,$R_\alpha R_\beta = \sum_{j=0}^\infty \sum_{k=0}^\infty \alpha^j q^k P^{j+k}$ Cambiando variables para sumar$$n = j + k$$ y$$k$$ da$R_\alpha R_\beta = \sum_{n=0}^\infty \sum_{k=0}^n \alpha^{n-k} \beta^k P^n = \sum_{n=0}^\infty \sum_{k=0}^n \left(\frac{\beta}{\alpha}\right)^k \alpha^n P^n = \sum_{n=0}^\infty \frac{1 - \left(\frac{\beta}{\alpha}\right)^{n+1}}{1 - \frac{\beta}{\alpha}} \alpha^n P^n$ Simplifying da$R_\alpha R_\beta = \frac{1}{\alpha - \beta} \left[\alpha R_\alpha - \beta R_\beta \right]$ Note que ya que$$\beta \lt 1$$, la matriz$$R_\beta$$ tiene valores finitos, así no tenemos que preocuparnos por la temida forma indeterminada$$\infty - \infty$$.

Si$$\alpha \in (0, 1]$$ entonces$$I + \alpha R_\alpha P = I + \alpha P R_\alpha = R_\alpha$$.

Prueba

Del resultado anterior,$I + \alpha R_\alpha P = I + \alpha P R_\alpha = I + \sum_{n=0}^\infty \alpha^{n+1} P^{n+1} = \sum_{n = 0}^\infty \alpha^n P^n = R_\alpha$

Esto lleva a un resultado importante: cuando$$\alpha \in (0, 1)$$, hay una relación inversa entre$$P$$ y$$R_\alpha$$.

Si$$\alpha \in (0, 1)$$, entonces

1. $$R_\alpha = (I - \alpha P)^{-1}$$
2. $$P = \frac{1}{\alpha}\left(I - R_\alpha^{-1}\right)$$
Prueba

Las matrices tienen valores finitos, por lo que podemos restar. La identidad$$I + \alpha R_\alpha P = R_\alpha$$ conduce a$$R_\alpha(I - \alpha P) = I$$ y la identidad$$I + \alpha P R_\alpha = R_\alpha$$ conduce a$$(I - \alpha P) R_\alpha = I$$. De ahí que (a) sostenga. La parte b) se desprende de la letra a).

Este resultado muestra nuevamente que la matriz potencial$$R_\alpha$$ determina el operador de transición$$P$$.

### Muestreo en el Tiempo

Si se toma una muestra de una cadena de Markov en múltiplos de un tiempo fijo$$k$$, obtenemos otra cadena (homogénea).

Supongamos que$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es una cadena de Markov con espacio de estado$$S$$ y matriz de probabilidad de transición$$P$$. Para fijo$$k \in \N_+$$, la secuencia$$\bs{X}_k = (X_0, X_k, X_{2 k}, \ldots)$$ es una cadena de Markov$$S$$ con matriz de probabilidad de transición$$P^k$$.

Si se muestrea una cadena de Markov en una secuencia general creciente de puntos de tiempo$$0 \lt n_1 \lt n_2 \lt \cdots$$ en$$\N$$, entonces el proceso estocástico resultante$$\bs{Y} = (Y_0, Y_1, Y_2, \ldots)$$, donde$$Y_k = X_{n_k}$$ para$$k \in \N$$, sigue siendo una cadena de Markov, pero no es homogéneo en el tiempo en general.

Recordemos que si$$A$$ es un subconjunto no vacío de$$S$$, entonces la matriz$$P_A$$ está$$P$$ restringida a$$A \times A$$. Así$$P_A$$ es una matriz sub -estocástica, ya que las sumas de fila pueden ser menores a 1. Recordemos también que$$P_A^n$$ significa$$(P_A)^n$$, no$$(P^n)_A$$; en general estas matrices son diferentes.

Si$$A$$ es un subconjunto no vacío de$$S$$ entonces para$$n \in \N$$,

$P_A^n(x, y) = \P(X_1 \in A, X_2 \in A, \ldots, X_{n-1} \in A, X_n = y \mid X_0 = x), \quad (x, y) \in A \times A$

Es decir,$$P_A^n(x, y)$$ es la probabilidad de pasar de estado$$x$$ a$$y$$ en$$n$$ pasos, permaneciendo en$$A$$ todo el tiempo. En cuanto a la gráfica estatal de$$\bs{X}$$, es la suma de productos de probabilidades a lo largo de caminos de longitud$$n$$ desde$$x$$ hasta$$y$$ que permanecen dentro$$A$$.

## Ejemplos y Aplicaciones

### Ejercicios Computacionales

$$\bs{X} = (X_0, X_1, \ldots)$$Déjese llevar la cadena de Markov$$S = \{a, b, c\}$$ con matriz de transición$P = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{4} & 0 & \frac{3}{4} \\ 1 & 0 & 0 \end{matrix} \right]$

Para la cadena Markov$$\bs{X}$$,

1. Dibuja la gráfica del estado.
2. Encuentra$$\P(X_1 = a, X_2 = b, X_3 = c \mid X_0 = a)$$
3. Encuentra$$P^2$$
4. Supongamos$$g: S \to \R$$ que eso viene dado por$$g(a) = 1$$,$$g(b) = 2$$,$$g(c) = 3$$. Encuentra$$\E[g(X_2) \mid X_0 = x]$$ para$$x \in S$$.
5. Supongamos que$$X_0$$ tiene la distribución uniforme encendida$$S$$. Encuentra la función de densidad de probabilidad de$$X_2$$.
Contestar
1. El conjunto de bordes es$$E = \{(a, a), (a, b), (b, a), (b, c), (c, a)\}$$
2. $$P(a, a) P(a, b) P(b, c) = \frac{3}{16}$$
3. Por multiplicación matricial estándar,$P^2 = \left[\begin{matrix} \frac{3}{8} & \frac{1}{4} & \frac{3}{8} \\ \frac{7}{8} & \frac{1}{8} & 0 \\ \frac{1}{2} & \frac{1}{2} & 0 \end{matrix} \right]$
4. En forma de matriz,$g = \left[\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}\right], \quad P^2 g = \left[\begin{matrix} 2 \\ \frac{9}{8} \\ \frac{3}{2} \end{matrix} \right]$
5. En forma matricial,$$X_0$$ tiene PDF$$f = \left[\begin{matrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{matrix} \right]$$, y$$X_2$$ tiene PDF$$f P^2 = \left[\begin{matrix} \frac{7}{12} & \frac{7}{24} & \frac{1}{8} \end{matrix} \right]$$.

Vamos$$A = \{a, b\}$$. Encuentra cada uno de los siguientes:

1. $$P_A$$
2. $$P_A^2$$
3. $$(P^2)_A$$
Prueba
1. $$P_A = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{4} & 0 \end{matrix}\right]$$
2. $$P_A^2 = \left[\begin{matrix} \frac{3}{8} & \frac{1}{4} \\ \frac{1}{8} & \frac{1}{8} \end{matrix}\right]$$
3. $$(P^2)_A = \left[\begin{matrix} \frac{3}{8} & \frac{1}{4} \\ \frac{7}{8} & \frac{1}{8} \end{matrix}\right]$$

Encuentra la función de densidad de probabilidad invariante de$$\bs{X}$$

Contestar

Resolviendo$$f P = f$$ sujeto a la condición que$$f$$ es un PDF da$$f = \left[\begin{matrix} \frac{8}{15} & \frac{4}{15} & \frac{3}{15} \end{matrix}\right]$$

Calcular la matriz$$\alpha$$ -potencial$$R_\alpha$$ para$$\alpha \in (0, 1)$$.

Contestar

Computación$$R_\alpha = (I - \alpha P)^{-1}$$ da$R_\alpha = \frac{1}{(1 - \alpha)(8 + 4 \alpha + 3 \alpha^2)}\left[\begin{matrix} 8 & 4 \alpha & 3 \alpha^2 \\ 2 \alpha + 6 \alpha^2 & 8 - 4 \alpha & 6 \alpha - 3 \alpha^2 \\ 8 \alpha & 4 \alpha^2 & 8 - 4 \alpha - \alpha^2 \end{matrix}\right]$ Como comprobación de nuestro trabajo, tenga en cuenta que las sumas de fila son$$\frac{1}{1 - \alpha}$$.

Quizás la cadena de Markov más simple y no trivial tiene dos estados, digamos$$S = \{0, 1\}$$ y la matriz de probabilidad de transición que se da a continuación, donde$$p \in (0, 1)$$ y$$q \in (0, 1)$$ son parámetros. $P = \left[ \begin{matrix} 1 - p & p \\ q & 1 - q \end{matrix} \right]$

Para$$n \in \N$$,$P^n = \frac{1}{p + q} \left[ \begin{matrix} q + p(1 - p - q)^n & p - p(1 - p - q)^n \\ q - q(1 - p - q)^n & p + q(1 - p - q)^n \end{matrix} \right]$

Prueba

Los valores propios de$$P$$ son 1 y$$1 - p - q$$. Siguiente,$$B^{-1} P B = D$$ donde$B = \left[ \begin{matrix} 1 & - p \\ 1 & q \end{matrix} \right], \quad D = \left[ \begin{matrix} 1 & 0 \\ 0 & 1 - p - q \end{matrix} \right]$ De ahí$$P^n = B D^n B^{-1}$$, que da la expresión anterior.

Como$$n \to \infty$$,$P^n \to \frac{1}{p + q} \left[ \begin{matrix} q & p \\ q & p \end{matrix} \right]$

Prueba

Tenga en cuenta eso$$0 \lt p + q \lt 2$$ y así$$-1 \lt 1 - (p + q) \lt 1$$. De ahí$$(1 - p - q)^n \to 0$$ como$$n \to \infty$$.

Abrir la simulación de la cadena Markov de dos estados y tiempo discreto. Para diversos valores de$$p$$ y$$q$$, y diferentes estados iniciales, ejecute la simulación 1000 veces. Comparar la distribución de frecuencia relativa con la distribución limitante, y en particular, anotar la tasa de convergencia. Asegúrese de probar el caso$$p = q = 0.01$$

La única función de densidad de probabilidad invariante para la cadena es$f = \left[\begin{matrix} \frac{q}{p + q} & \frac{p}{p + q} \end{matrix} \right]$

Prueba

Vamos$$f = \left[\begin{matrix} a & b \end{matrix}\right]$$. La ecuación matricial$$f P = f$$ lleva a$$-p a + q b = 0$$ que así$$b = a \frac{p}{q}$$. La condición$$a + b = 1$$$$f$$ para ser un PDF da entonces$$a = \frac{q}{p + q}$$,$$b = \frac{p}{p + q}$$

Para$$\alpha \in (0, 1)$$, la matriz$$\alpha$$ -potencial es$R_\alpha = \frac{1}{(p + q)(1 - \alpha)} \left[\begin{matrix} q & p \\ q & p \\ \end{matrix}\right] + \frac{1}{(p + q)^2 (1 - \alpha)} \left[\begin{matrix} p & -p \\ -q & q \end{matrix}\right]$

Prueba

En este caso, se$$R_\alpha$$ puede computar directamente como$$\sum_{n=0}^\infty \alpha^n P^n$$ usando series geométricas.

A pesar de su simplicidad, la cadena de dos estados ilustra algunos de los comportamientos limitantes básicos y la conexión con distribuciones invariantes que estudiaremos en general en una sección posterior.

### Variables independientes y caminatas aleatorias

Supongamos que$$\bs{X} = (X_0, X_1, X_2, \ldots)$$ es una secuencia de variables aleatorias independientes que toman valores en un conjunto contable$$S$$, y que$$(X_1, X_2, \ldots)$$ se distribuyen de manera idéntica con la función de densidad de probabilidad (discreta)$$f$$.

$$\bs{X}$$es una cadena de Markov$$S$$ con matriz de probabilidad de transición$$P$$ dada por$$P(x, y) = f(y)$$ for$$(x, y) \in S \times S$$. Además,$$f$$ es invariante para$$P$$.

Prueba

Como de costumbre, dejemos$$\mathscr{F}_n = \sigma\{X_0, X_1 \ldots, X_n\}$$$$n \in \N$$. Dado que la secuencia$$\bs{X}$$ es independiente,$\P(X_{n+1} = y \mid \mathscr{F}_n) = \P(X_{n+1} = y) = f(y), \quad y \in S$ también,$f P(y) = \sum_{x \in S} f(x) P(x, y) = \sum_{x \in S} f(x) f(y) = f(y), \quad y \in S$

Como cadena de Markov, el proceso no$$\bs{X}$$ es muy interesante, aunque claro es muy interesante de otras maneras. Supongamos ahora que$$S = \Z$$, el conjunto de enteros, y considere el proceso de suma parcial (o paseo aleatorio)$$\bs{Y}$$ asociado con$$\bs{X}$$:$Y_n = \sum_{i=0}^n X_i, \quad n \in \N$

$$\bs{Y}$$es una cadena de Markov$$\Z$$ con matriz de probabilidad de transición$$Q$$ dada por$$Q(x, y) = f(y - x)$$ for$$(x, y) \in \Z \times \Z$$.

Prueba

De nuevo, vamos$$\mathscr{F}_n = \sigma\{X_0, X_1, \ldots, X_n\}$$ por$$n \in \N$$. Entonces también,$$\mathscr{F}_n = \sigma\{Y_0, Y_1, \ldots, Y_n\}$$ para$$n \in \N$$. De ahí$\P(Y_{n+1} = y \mid \mathscr{F}_n) = \P(Y_n + X_{n+1} = y \mid \mathscr{F}_n) = \P(Y_n + X_{n+1} = y \mid Y_n), \quad y \in \Z$ ya que la secuencia$$\bs{X}$$ es independiente. En particular,$\P(Y_{n+1} = y \mid Y_n = x) = \P(x + X_{n+1} = y \mid Y_n = x) = \P(X_{n+1} = y - x) = f(y - x), \quad (x, y) \in \Z^2$

Así, la función de densidad de probabilidad$$f$$ gobierna la distribución de un tamaño de paso del andador aleatorio encendido$$\Z$$.

Considera el caso especial del andar al azar$$\Z$$ con$$f(1) = p$$ y$$f(-1) = 1 - p$$, dónde$$p \in (0, 1)$$.

1. Dar la matriz de transición$$Q$$ explícitamente.
2. Dar$$Q^n$$ explícitamente para$$n \in \N$$.
Contestar
1. $$Q(x, x - 1) = 1 - p$$,$$Q(x, x + 1) = p$$ para$$x \in Z$$.
2. Para$$k \in \{0, 1, \ldots, n\}$$$Q^n(x, x + 2 k - n) = \binom{n}{k} p^k (1 - p)^{n-k}$ Esto corresponde a$$k$$ pasos a la derecha y$$n - k$$ pasos a la izquierda.

Este caso especial es el simple paseo al azar$$\Z$$. Cuando$$p = \frac{1}{2}$$ tenemos la caminata aleatoria simple y simétrica. El simple paseo aleatorio$$\Z$$ se estudia con más detalle en la sección sobre caminatas aleatorias en gráficas. El simple paseo aleatorio simétrico se estudia con más detalle en el capítulo sobre los ensayos de Bernoulli.

### Matrices doblemente estocásticas

Una matriz$$P$$ on$$S$$ es doblemente estocástica si no es negativa y si las sumas de fila y columnas son 1:$\sum_{u \in S} P(x, u) = 1, \; \sum_{u \in s} P(u, y) = 1, \quad (x, y) \in S \times S$

Supongamos que$$\bs{X}$$ es una cadena de Markov en un espacio de estado finito$$S$$ con matriz de transición doblemente estocástica$$P$$. Entonces la distribución uniforme en$$S$$ es invariante.

Prueba

Las funciones constantes se dejan invariantes. Supongamos que$$f(x) = c$$ para$$x \in S$$. Entonces$f P(y) = \sum_{x \in S} f(x) P(x, y) = c \sum_{x \in S} P(x, y) = c, \quad y \in S$ De ahí$$S$$ que si es finito, el PDF uniforme$$f$$ dado por$$f(x) = 1 \big/ \#(S)$$ for$$x \in S$$ es invariante.

Si$$P$$ y$$Q$$ son matrices doblemente estocásticas encendidas$$S$$, entonces así es$$P Q$$.

Prueba

Para$$y \in S$$,$\sum_{x \in S} P Q(x, y) = \sum_{x \in S} \sum_{z \in S} P(x, z) Q(z, y) = \sum_{z \in S} Q(z, y) \sum_{x \in S} P(x, z) = \sum_{z \in S} Q(z, y) = 1$ El intercambio de sumas es válido ya que los términos son no negativos.

De ello se deduce que si$$P$$ es doblemente estocástico entonces así es$$P^n$$ para$$n \in \N$$.

Supongamos que$$\bs{X} = (X_0, X_1, \ldots)$$ es la cadena de Markov con espacio de estado$$S = \{-1, 0, 1\}$$ y con matriz de transición$P = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & 0 & \frac{1}{2} \end{matrix} \right]$

1. Dibuja la gráfica del estado.
2. Demostrar que$$P$$ es doblemente estocástico
3. Encontrar$$P^2$$.
4. Demostrar que la distribución uniforme on$$S$$ es la única distribución invariante para$$\bs{X}$$.
5. Supongamos que$$X_0$$ tiene la distribución uniforme encendida$$S$$. Para$$n \in \N$$, encontrar$$\E(X_n)$$ y$$\var(X_n)$$.
6. Encuentre la matriz$$\alpha$$ -potencial$$R_\alpha$$ para$$\alpha \in (0, 1)$$.
Prueba
1. El conjunto de bordes es$$E = \{(-1, -1), (-1, 0), (0, 0), (0, 1), (1, -1), (1, 1)\}$$
2. Solo tenga en cuenta que las sumas de fila y las sumas de columna son 1.
3. Por multiplicación matricial,$P^2 = \left[\begin{matrix} \frac{1}{4} & \frac{1}{2} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} & \frac{1}{2} \\ \frac{1}{2} & \frac{1}{4} & \frac{1}{4} \end{matrix} \right]$
4. Vamos$$f = \left[\begin{matrix} p & q & r\end{matrix}\right]$$. Resolviendo la ecuación$$f P = f$$ da$$p = q = r$$. El requisito de que$$f$$ sea un PDF obliga entonces a que el valor común sea$$\frac{1}{3}$$.
5. Si$$X_0$$ tiene la distribución uniforme encendida$$S$$, entonces también lo hace$$X_n$$ para cada$$n \in \N$$, así$$\E(X_n) = 0$$ y$$\var(X_n) = \E\left(X_0^2\right) = \frac{2}{3}$$.
6. $R_\alpha = (I - \alpha P)^{-1} = \frac{1}{(1 - \alpha)(4 - 2 \alpha + \alpha^2)}\left[\begin{matrix} 4 - 4 a + a^2 & 2 a - a^2 & a^2 \\ a^2 & 4 - 4 a + a^2 & 2 a - a^2 \\ 2 a - a^2 & a^2 & 4 - 4 a + a^2 \end{matrix}\right]$

Recordemos que una matriz$$M$$ indexada por un conjunto contable$$S$$ es simétrica si es$$M(x, y) = M(y, x)$$ para todos$$x, \, y \in S$$.

Si$$P$$ es una matriz simétrica, estocástica entonces$$P$$ es doblemente estocástica.

Prueba

Esto es trivial ya que$\sum_{x \in S} P(x, y) = \sum_{x \in S} P(y, x) = 1, \quad y \in S$

Lo contrario no es cierto. La matriz doblemente estocástica en el ejercicio anterior no es simétrica. Pero como una matriz simétrica, estocástica en un espacio de estado finito es doblemente estocástica, la distribución uniforme es invariante.

Supongamos que$$\bs{X} = (X_0, X_1, \ldots)$$ es la cadena de Markov con espacio de estado$$S = \{-1, 0, 1\}$$ y con matriz de transición$P = \left[\begin{matrix} 1 & 0 & 0 \\ 0 & \frac{1}{4} & \frac{3}{4} \\ 0 & \frac{3}{4} & \frac{1}{4} \end{matrix} \right]$

1. Dibuja la gráfica del estado.
2. Mostrar que$$P$$ es simétrico
3. Encontrar$$P^2$$.
4. Encuentre todas las funciones de densidad de probabilidad invariante para$$\bs{X}$$.
5. Encuentre la matriz$$\alpha$$ -potencial$$R_\alpha$$ para$$\alpha \in (0, 1)$$.
Prueba
1. El conjunto de bordes es$$E = \{(-1, -1), (0, 0), (0, 1), (1, 0), (1, 1)\}$$
2. Solo tenga en cuenta que$$P$$ es simétrico con respecto a la diagonal principal.
3. Por multiplicación matricial,$P^2 = \left[\begin{matrix} 1 & 0 & 0 \\ 0 & \frac{5}{8} & \frac{3}{8} \\ 0 & \frac{3}{8} & \frac{5}{8} \end{matrix} \right]$
4. Vamos$$f = \left[\begin{matrix} p & q & r\end{matrix}\right]$$. Resolver la ecuación$$f P = f$$ da simplemente$$r = q$$. El requisito de que$$f$$ sea un PDF obliga$$p = 1 - 2 q$$. Así los PDFs invariantes están$$f = \left[\begin{matrix} 1 - 2 q & q & q \end{matrix}\right]$$ donde$$q \in \left[0, \frac{1}{2}\right]$$. El caso especial$$q = \frac{1}{3}$$ da la distribución uniforme en$$S$$.
5. $R_\alpha = (I - \alpha P)^{-1} = \frac{1}{2 (1 - \alpha)^2 (2 + \alpha)}\left[\begin{matrix} 4 - 2 \alpha - 2 \alpha^2 & 0 & 0 \\ 0 & 4 - 5 \alpha + \alpha^2 & 3 \alpha - 3 \alpha^2 \\ 0 & 3 \alpha - 3 \alpha^2 & 4 - 5 \alpha + \alpha^2 \end{matrix}\right]$

### Modelos Especiales

Las cadenas de Markov en los siguientes ejercicios modelan procesos interesantes que se estudian en secciones separadas.

Lee la introducción a las cadenas Ehrenfest.

Lee la introducción a la cadena Bernoulli-Laplace.