11.3: Cadenas Ergódicas de Markov

Última actualización
Guardar como PDF

Page ID: 150086

Charles M. Grinstead & J. Laurie Snell
Swarthmore College and Dartmouth College via American Mathematical Society

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$$\newcommand{\AA}{\unicode[.8,0]{x212B}}$

Un segundo tipo importante de cadena de Markov que estudiaremos en detalle es una cadena ergódica de Markov, definida de la siguiente manera.

Definición: cadena ergódica

Una cadena de Markov se llama cadena ergódica si es posible pasar de cada estado a cada estado (no necesariamente en un solo movimiento).

En muchos libros, se llaman cadenas ergódicas de Markov.

Definición: cadena Markov

Una cadena de Markov se llama cadena si alguna potencia de la matriz de transición tiene solo elementos positivos.

Es decir, para algunos$n$, es posible pasar de cualquier estado a cualquier estado exactamente en$n$ pasos. De esta definición se desprende que toda cadena regular es ergódica. Por otro lado, una cadena ergódica no es necesariamente regular, como muestran los siguientes ejemplos.

Deje que la matriz de transición de una cadena de Markov se defina por

Entonces queda claro que es posible pasar de cualquier estado a cualquier estado, por lo que la cadena es ergódica. Sin embargo, si$n$ es impar, entonces no es posible pasar del estado 0 al estado 0 en$n$ pasos, y si$n$ es par, entonces no es posible pasar del estado 0 al estado 1 en$n$ pasos, por lo que la cadena no es regular.

Un ejemplo más interesante de una cadena ergodica y no regular de Markov lo proporciona el modelo de urna Ehrenfest.

Recordemos el modelo de urna Ehrenfest (Ejemplo [examen 11.1.6]). La matriz de transición para este ejemplo es

En este ejemplo, si iniciamos en el estado 0 estaremos, después de cualquier número par de pasos, en cualquiera de los estados 0, 2 o 4, y después de cualquier número impar de pasos, estar en los estados 1 o 3. Por lo tanto, esta cadena es ergódica pero no regular.

Cadenas Markov Regulares

Cualquier matriz de transición que no tenga ceros determina una cadena regular de Markov. Sin embargo, es posible que una cadena regular de Markov tenga una matriz de transición que tenga ceros. La matriz de transición del ejemplo Tierra de Oz de la Sección 1.1 tiene$p_{NN} = 0$ pero la segunda potencia no$\mat{P}^2$ tiene ceros, por lo que esta es una cadena regular de Markov.

Un ejemplo de una cadena de Markov no regular es una cadena absorbente. Por ejemplo, vamos

\[\mat{P} = \pmatrix{ 1 & 0 \cr 1/2 & 1/2 \cr}\]

ser la matriz de transición de una cadena de Markov. Entonces todos los poderes de$\mat{P}$ tendrán un 0 en la esquina superior derecha.

Ahora discutiremos dos teoremas importantes relacionados con las cadenas regulares.

[thm 11.3.6] Dejar$\mat{P}$ ser la matriz de transición para una cadena regular. Entonces, as$n \to \infty$, las potencias se$\mat{P}^n$ acercan a una matriz limitante$\mat{W}$ con todas las filas del mismo vector$\mat{w}$. El vector$\mat{w}$ es un vector de probabilidad estrictamente positivo (es decir, los componentes son todos positivos y suman a uno).

En la siguiente sección damos dos pruebas de este teorema fundamental. Damos aquí la idea básica de la primera prueba.

Queremos mostrar que los poderes$\mat{P}^n$ de una matriz de transición regular tienden a una matriz con todas las filas iguales. Esto es lo mismo que mostrar que$\mat{P}^n$ converge a una matriz con columnas constantes. Ahora la columna$j$ th de$\mat{P}^n$ es$\mat{P}^{n} \mat{y}$ donde$\mat{y}$ está un vector de columna con$1$ en la entrada$j$ th y 0 en las otras entradas. Así solo necesitamos probar que para cualquier columna vector$\mat{y},\mat{P}^{n} \mat{y}$ se acerca a un vector constante como$n$ tienden al infinito.

Dado que cada fila de$\mat{P}$ es un vector de probabilidad,$\mat{Py}$ reemplaza$\mat{y}$ por promedios de sus componentes. Aquí un ejemplo:\[\pmatrix{1/2 & 1/4 & 1/4 \cr 1/3 & 1/3 & 1/3 \cr 1/2 & 1/2 & 0\cr} \pmatrix {1 \cr 2 \cr 3 \cr} = \pmatrix{1/2 \cdot 1+ 1/4 \cdot 2+ 1/4 \cdot 3\cr 1/3 \cdot 1+ 1/3 \cdot 2+ 1/3 \cdot 3\cr 1/2 \cdot 1+ 1/2 \cdot 2+ 0 \cdot 3\cr} =\pmatrix {7/4 \cr 2 \cr 3/2 \cr}\ .\] El resultado del proceso de promediación es hacer que los componentes sean$\mat{Py}$ más similares que los de$\mat{y}$. En particular, el componente máximo disminuye (de 3 a 2) y el componente mínimo aumenta (de 1 a 3/2). Nuestra prueba demostrará que a medida que hacemos cada vez más de este promedio para obtener$\mat{P}^{n} \mat{y}$, la diferencia entre el componente máximo y mínimo tenderá a 0 as$n \rightarrow \infty$. Esto significa$\mat{P}^{n} \mat{y}$ tiende a un vector constante. La entrada$ij$ th de$\mat{P}^n$,$p_{ij}^{(n)}$, es la probabilidad de que el proceso esté en estado$s_j$ después de$n$ los pasos si inicia en estado$s_i$. Si denotamos la fila común de$\mat{W}$ by$\mat{w}$, entonces el Teorema [thm 11.3.6] establece que la probabilidad de estar$s_j$ en el largo plazo es aproximadamente$w_j$, la entrada$j$ th de$\mat{w}$, y es independiente del estado inicial.

[examen 11.3.1] Recordemos que para la Tierra de Oz ejemplo de la Sección 1.1, la sexta potencia de la matriz de transición$\mat{P}$ es, a tres decimales,\[\mat{P}^6 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{R} & \mbox{N} & \mbox{S} \cr \mbox{R} & .4 & .2 & .4 \cr \mbox{N} & .4 & .2 & .4 \cr \mbox{S} & .4 & .2 & .4\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\] Así, a este grado de precisión, la probabilidad de lluvia seis días después de un día lluvioso es la misma que la probabilidad de lluvia seis días después de un buen día, o seis días después de un día nevado. Teorema [thm 11.3.6] predice que, para grandes$n$, las filas de$\mat{P}$ acercarse a un vector común. Es interesante que esto ocurra tan pronto en nuestro ejemplo.

Teorema$\PageIndex{8}$

et$\mat {P}$ ser una matriz de transición regular,\[\mat{W} = \lim_{n \rightarrow \infty} \mat{P}^n\ ,\] dejar$\mat{w}$ ser la fila común de$\mat{W}$, y dejar$\mat{c}$ ser el vector de columna todos cuyos componentes son 1. Entonces

$\mat{w}\mat{P} = \mat{w}$, y cualquier vector de fila$\mat{v}$ tal que$\mat{v}\mat{P} = \mat{v}$ sea un múltiplo constante de$\mat{w}$.
$\mat{P}\mat{c} = \mat{c}$, y cualquier vector de columna tal que$\mat{P}\mat{x} = \mat{x}$ sea un múltiplo de$\mat{c}$.

Prueba

Para probar la parte (a), observamos que a partir del Teorema [thm 11.3.6],\[\mat{P}^n \to \mat{W}\ .\] Así,\[\mat{P}^{n + 1} = \mat{P}^n \cdot \mat{P} \to \mat{W}\mat{P}\ .\] Pero$\mat{P}^{n + 1} \to \mat{W}$, y así$\mat{W} = \mat{W}\mat{P}$, y$\mat{w} = \mat{w}\mat{P}$.

Dejar$\mat{v}$ ser cualquier vector con$\mat{v} \mat{P} = \mat{v}$. Entonces$\mat{v} = \mat{v} \mat{P}^n$, y pasando al límite,$\mat{v} = \mat{v} \mat{W}$. Dejar$r$ ser la suma de los componentes de$\mat{v}$. Entonces se comprueba fácilmente eso$\mat{v}\mat{W} = r\mat{w}$. Entonces,$\mat{v} = r\mat{w}$.

Para probar la parte b), asuma que$\mat{x} = \mat{P} \mat{x}$. Entonces$\mat{x} = \mat{P}^n \mat{x}$, y de nuevo pasando al límite,$\mat{x} = \mat{W}\mat{x}$. Como todas las filas de$\mat{W}$ son iguales, los componentes de$\mat{W}\mat{x}$ son todos iguales, así$\mat{x}$ es un múltiplo de$\mat{c}$.

$\square$

Obsérvese que una consecuencia inmediata del Teorema [thm 11.3.8] es el hecho de que sólo hay un vector de probabilidad$\mat{v}$ tal que$\mat{v}\mat{P} = \mat{v}$.

Vectores fijos

Definición: 11.3.1: Vectores de Fila y Columna

Un vector de fila$\mat{w}$ con la propiedad$\mat{w}\mat{P} = \mat{w}$ se llama a for$\mat{P}$. Del mismo modo, un vector de columna$\mat{x}$ tal que$\mat{P}\mat{x} = \mat{x}$ se llama a for$\mat{P}$.

Por lo tanto, la fila común de$\mat{W}$ es el vector único$\mat{w}$ que es tanto un vector de fila fija para$\mat{P}$ como un vector de probabilidad. El teorema [thm 11.3.8] muestra que cualquier vector de fila fija para$\mat{P}$ es un múltiplo de$\mat{w}$ y cualquier vector de columna fija para$\mat{P}$ es un vector constante.

También se puede afirmar Definición [def 11.3.1] en términos de valores propios y vectores propios. Un vector de fila fija es un vector propio izquierdo de la matriz$\mat{P}$ correspondiente al valor propio 1. Se puede hacer una declaración similar sobre los vectores de columna fija.

Ahora daremos varios métodos diferentes para calcular el vector de fila fija para una cadena regular de Markov.

[examen 11.3.2] Por Teorema [thm 11.3.6] podemos encontrar el vector limitante$\mat{w}$ para la Tierra de Oz a partir del hecho de que\[w_1 + w_2 + w_3 = 1\] y\[\pmatrix{ w_1 & w_2 & w_3 } \pmatrix{ 1/2 & 1/4 & 1/4 \cr 1/2 & 0 & 1/2 \cr 1/4 & 1/4 & 1/2 \cr} = \pmatrix{ w_1 & w_2 & w_3 }\ .\]

Estas relaciones conducen a las siguientes cuatro ecuaciones en tres incógnitas:\[\begin{aligned} w_1 + w_2 + w_3 &=& 1\ , \\ (1/2)w_1 + (1/2)w_2 + (1/4)w_3 &=& w_1\ , \\ (1/4)w_1 + (1/4)w_3 &=& w_2\ , \\ (1/4)w_1 + (1/2)w_2 + (1/2)w_3 &=& w_3\ .\end{aligned}\]

Nuestro teorema garantiza que estas ecuaciones tienen una solución única. Si se resuelven las ecuaciones, obtenemos la solución\[\mat{w} = \pmatrix{ .4 & .2 & .4 }\ ,\] de acuerdo con lo previsto a partir de$\mat{P}^6$, dado en Ejemplo [examen 11.1.1.5].

Para calcular el vector fijo, podemos suponer que el valor en un estado particular, digamos el estado uno, es 1, y luego usar todas menos una de las ecuaciones lineales de$\mat{w}\mat{P} = \mat{w}$. Este conjunto de ecuaciones tendrá una solución única y podemos obtener$\mat{w}$ de esta solución dividiendo cada una de sus entradas por su suma para dar el vector de probabilidad$\mat{w}$. Ahora vamos a ilustrar esta idea para el ejemplo anterior.

[examen 11.3.2.5] (Ejemplo [examen 11.3.2] continuado) Establecimos$w_1 = 1$, y luego resolvemos la primera y segunda ecuaciones lineales de$\mat{w}\mat{P} = \mat{w}$. Tenemos\[\begin{aligned} (1/2) + (1/2)w_2 + (1/4)w_3 &=& 1\ , \\ (1/4) + (1/4)w_3 &=& w_2\ . \\\end{aligned}\] Si los resolvemos, obtenemos\[\pmatrix{w_1&w_2&w_3} = \pmatrix{1&1/2&1}\ .\] Ahora dividimos este vector por la suma de los componentes, para obtener la respuesta final:\[\mat{w} = \pmatrix{.4&.2&.4}\ .\] Este método se puede programar fácilmente para que se ejecute en una computadora.

Como se mencionó anteriormente, también podemos pensar en el vector de fila fija$\mat{w}$ como un vector propio izquierdo de la matriz de transición$\mat{P}$. Así, si escribimos$\mat{I}$ para denotar la matriz de identidad, entonces$\mat{w}$ satisface la ecuación matricial\[\mat{w}\mat{P} = \mat{w}\mat{I}\ ,\] o equivalentemente,\[\mat{w}(\mat{P} - \mat{I}) = \mat{0}\ .\] Así,$\mat{w}$ está en el espacio nullspace izquierdo de la matriz$\mat{P} - \mat{I}$. Además, el Teorema [thm 11.3.8] establece que este espacio nullspace izquierdo tiene dimensión 1. Ciertos lenguajes de programación informática pueden encontrar espacios nulos de matrices. En tales lenguajes, se puede encontrar el vector de probabilidad de fila fija para una matriz$\mat{P}$ calculando el espacio nullspace izquierdo y luego normalizando un vector en el espacio nullspace para que la suma de sus componentes sea 1.

El programa FixedVector utiliza uno de los métodos anteriores (dependiendo del lenguaje en el que esté escrito) para calcular el vector de probabilidad de fila fija para cadenas regulares de Markov.

Hasta el momento siempre hemos asumido que empezamos en un estado específico. El siguiente teorema generaliza el Teorema [thm 11.3.6] al caso en que el estado inicial es determinado por un vector de probabilidad.

thm 11.3.9

Dejar$\mat{P}$ ser la matriz de transición para una cadena regular y$\mat{v}$ un vector de probabilidad arbitraria. Entonces,\[\lim_{n \to \infty} \mat{v} \mat{P}^n = \mat{w}\ ,\] ¿dónde$\mat{w}$ está el vector de probabilidad fija único para$\mat{P}$. Por Teorema [thm 11.3.6],\[\lim_{n \to \infty} \mat{P}^n = \mat {W}\ .\] Por lo tanto,\[\lim_{n \to \infty} \mat {v} \mat {P}^n = \mat {v} \mat {W}\ .\] Pero las entradas en$\mat {v}$ suma a 1, y cada fila de$\mat {W}$ iguales$\mat {w}$. A partir de estas declaraciones, es fácil verificar que\[\mat {v} \mat {W} = \mat {w}\ .\]

Si iniciamos una cadena de Markov con probabilidades iniciales dadas por$\mat{v}$, entonces el vector de probabilidad$\mat{v} \mat{P}^n$ da las probabilidades de estar en los diversos estados después de$n$ pasos. El teorema [thm 11.3.9] establece entonces el hecho de que, incluso en esta clase más general de procesos, la probabilidad de estar en$s_j$ enfoques$w_j$.

Equilibrio

También obtenemos una nueva interpretación para$\mat{w}$. Supongamos que nuestro vector inicial recoge el estado$s_i$ como un estado inicial con probabilidad$w_i$, para todos$i$. Entonces la probabilidad de estar en los diversos estados después de$n$ pasos viene dada por$\mat {w} \mat {P}^n = \mat {w}$, y es la misma en todos los pasos. Este método de inicio nos proporciona un proceso que se llama “estacionario”. El hecho de que$\mat{w}$ sea el único vector de probabilidad para el que se$\mat {w} \mat {P} = \mat {w}$ muestra que debemos tener un vector de probabilidad inicial exactamente del tipo descrito para obtener un proceso estacionario.

Muchos resultados interesantes sobre las cadenas regulares de Markov dependen solo del hecho de que la cadena tiene un vector de probabilidad fijo único que es positivo. Esta propiedad es para todas las cadenas ergódicas de Markov.

[thm 11.3.10] Para una cadena ergódica de Markov, existe un vector de probabilidad único$\mat{w}$ tal que$\mat {w} \mat {P} = \mat {w}$ y$\mat{w}$ es estrictamente positivo. Cualquier vector de fila tal que$\mat {v} \mat {P} = \mat {v}$ sea un múltiplo de$\mat{w}$. Cualquier vector de columna$\mat{x}$ tal que$\mat {P} \mat {x} = \mat {x}$ sea un vector constante. Este teorema establece que el Teorema [thm 11.3.8] es cierto para las cadenas ergódicas. El resultado se desprende fácilmente del hecho de que, si$\mat{P}$ es una matriz de transición ergódica, entonces$\bar{\mat{P}} = (1/2)\mat {I} + (1/2)\mat {P}$ es una matriz de transición regular con los mismos vectores fijos (ver Ejercicios [exer 11.3.24] — [exer 11.3.27]).

Para las cadenas ergódicas, el vector de probabilidad fija tiene una interpretación ligeramente diferente. Los dos teoremas siguientes, que no vamos a probar aquí, proporcionan una interpretación para este vector fijo.

[thm 11.3.11] Dejar$\mat{P}$ ser la matriz de transición para una cadena ergódica. Dejado$\mat {A}_n$ ser la matriz definida por\[\mat {A}_n = \frac{\mat {I} + \mat {P} + \mat {P}^2 +\cdots + \mat {P}^n}{n + 1}\ .\] Entonces$\mat {A}_n \to \mat {W}$, donde$\mat{W}$ es una matriz todas cuyas filas son iguales al único vector de probabilidad fija$\mat{w}$ para$\mat{P}$.

Si$\mat{P}$ es la matriz de transición de una cadena ergódica, entonces el Teorema [thm 11.3.8] establece que solo hay un vector de probabilidad de fila fija para$\mat{P}$. Así, podemos utilizar las mismas técnicas que se utilizaron para las cadenas regulares para resolver este vector fijo. En particular, el programa FixedVector funciona para cadenas ergódicas.

Para interpretar el Teorema [thm 11.3.11], supongamos que tenemos una cadena ergódica que inicia en estado$s_i$. Que$X^{(m)} = 1$ si el paso$m$ th es el estado$s_j$ y 0 de lo contrario. Entonces el número promedio de veces en estado$s_j$ en los primeros$n$ pasos viene dado por\[H^{(n)} = \frac{X^{(0)} + X^{(1)} + X^{(2)} +\cdots+ X^{(n)}}{n + 1}\ .\] Pero$X^{(m)}$ toma el valor 1 con probabilidad$p_{ij}^{(m)}$ y 0 de lo contrario. Así$E(X^{(m)}) = p_{ij}^{(m)}$, y la entrada$ij$ th de$\mat {A}_n$ da el valor esperado de$H^{(n)}$, es decir, la proporción esperada de veces en estado$s_j$ en los primeros$n$ pasos si la cadena inicia en estado$s_i$.

Si llamamos estar en estado$s_j$ y cualquier otro estado podríamos preguntar si se mantiene un teorema análogo a la ley de grandes números para juicios independientes. La respuesta es sí y viene dada por el siguiente teorema.

(Ley de Números Grandes para Cadenas Ergódicas de Markov) [thm 11.3.12] Dejar$H_j^{(n)}$ ser la proporción de veces en$n$ pasos que una cadena ergódica está en estado$s_j$. Entonces para cualquiera$\epsilon > 0$,\[P\Bigl(|H_j^{(n)} - w_j| > \epsilon\Bigr) \to 0\ ,\] independiente del estado de partida$s_i$.

Hemos observado que cada cadena regular de Markov es también una cadena ergódica. De ahí que los Teoremas [thm 11.3.11] y [thm 11.3.12] se apliquen también para las cadenas regulares. Por ejemplo, esto nos da una nueva interpretación para el vector fijo$\mat {w} = (.4,.2,.4)$ en el ejemplo de Land of Oz. El teorema [thm 11.3.11] predice que, a la larga, lloverá el 40 por ciento del tiempo en la Tierra de Oz, será agradable el 20 por ciento del tiempo, y la nieve el 40 por ciento del tiempo.

Simulación

Ilustramos el Teorema [thm 11.3.12] escribiendo un programa para simular el comportamiento de una cadena de Markov. SimulateChain es un programa de este tipo.

[examen 11.3.2.6] En la Tierra de Oz, hay 525 días en un año. Hemos simulado el clima durante un año en la Tierra de Oz, utilizando el programa SimulateChain. Los resultados se muestran en la Tabla [cuadro 11.2].

     SSRNRNSSSSSSNRSNSSRNSRNSSSNSRRRNSSSNRRSSSSNRSSNSRRRRRRNSSS 
     SSRRRSNSNRRRRSRSRNSNSRRNRRNRSSNSRNRNSSRRSRNSSSNRSRRSSNRSNR
     RNSSSSNSSNSRSRRNSSNSSRNSSRRNRRRSRNRRRNSSSNRNSRNSNRNRSSSRSS
     NRSSSNSSSSSSNSSSNSNSRRNRNRRRRSRRRSSSSNRRSSSSRSRRRNRRRSSSSR
     RNRRRSRSSRRRRSSRNRRRRRRNSSRNRSSSNRNSNRRRRNRRRNRSNRRNSRRSNR
     RRRSSSRNRRRNSNSSSSSRRRRSRNRSSRRRRSSSRRRNRNRRRSRSRNSNSSRRRR
     RNSNRNSNRRNRRRRRRSSSNRSSRSNRSSSNSNRNSNSSSNRRSRRRNRRRRNRNRS
     SSNSRSNRNRRSNRRNSRSSSRNSRRSSNSRRRNRRSNRRNSSSSSNRNSSSSSSSNR
     NSRRRNSSRRRNSSSNRRSRNSSRRNRRNRSNRRRRRRRRRNSNRRRRRNSRRSSSSN
     SNS

El tiempo en la Tierra de Oz.
Estado	Veces	Fracción

R	217	.413
N	109	.208
S	199	.379

Observamos que la simulación da una proporción de tiempos en cada uno de los estados no muy diferente de las predicciones a largo plazo de .4, .2 y .4 aseguradas por el Teorema [thm 11.3.6]. Para obtener mejores resultados tenemos que simular nuestra cadena por más tiempo. Hacemos esto por 10, 000 días sin imprimir el clima de cada día. Los resultados se muestran en la Tabla [cuadro 11.3]. Vemos que los resultados están ahora bastante cerca de los valores teóricos de .4, .2 y .4.

Comparación de frecuencias observadas y predichas para la Tierra de Oz.
Estado	Veces	Fracción

R	4010	.401
N	1902	.19
S	4088	.409

Ejemplos de Cadenas Ergódicas

El cálculo del vector fijo$\mat{w}$ puede ser difícil si la matriz de transición es muy grande. A veces es útil adivinar el vector fijo sobre bases puramente intuitivas. Aquí hay un ejemplo sencillo para ilustrar este tipo de situaciones.

[examen 11.3.3] Una rata blanca es puesta en el laberinto de la Figura [fig 11.4]. Hay nueve compartimentos con conexiones entre los compartimentos como se indica. La rata se mueve por los compartimentos al azar. Es decir, si hay$k$ formas de dejar un compartimento, elige cada uno de estos con igual probabilidad. Podemos representar los viajes de la rata mediante un proceso en cadena de Markov con matriz de transición dada por\[\mat {P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 \cr 1 & 0 & 1/2 & 0 & 0 & 0 & 1/2 & 0 & 0 & 0 \cr 2 & 1/3 & 0 & 1/3 & 0 & 1/3 & 0 & 0 & 0 & 0 \cr 3 & 0 & 1/2 & 0 & 1/2 & 0 & 0 & 0 & 0 & 0 \cr 4 & 0 & 0 & 1/3 & 0 & 1/3 & 0 & 0 & 0 & 1/3 \cr 5 & 0 & 1/4 & 0 & 1/4 & 0 & 1/4 & 0 & 1/4 & 0 \cr 6 & 1/3 & 0 & 0 & 0 & 1/3 & 0 & 1/3 & 0 & 0 \cr 7 & 0 & 0 & 0 & 0 & 0 & 1/2 & 0 & 1/2 & 0 \cr 8 & 0 & 0 & 0 & 0 & 1/3 & 0 & 1/3 & 0 & 1/3 \cr 9 & 0 & 0 & 0 & 1/2 & 0 & 0 & 0 & 1/2 & 0\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

Que esta cadena no sea regular puede verse de la siguiente manera: A partir de un estado impar el proceso sólo puede pasar a un estado par, y de un estado de número par sólo puede ir a un número impar. Por lo tanto, iniciando en estado$i$ el proceso estará alternativamente en estados pares e impares. Por lo tanto, las potencias impares de$\mat{P}$ tendrán 0 para las entradas impares en la fila 1. Por otro lado, una mirada al laberinto muestra que es posible pasar de cada estado a cualquier otro estado, de manera que la cadena sea ergódica.

Para encontrar el vector de probabilidad fija para esta matriz, tendríamos que resolver diez ecuaciones en nueve incógnitas. No obstante, parecería razonable que los tiempos que se pasan en cada compartimento sean, a la larga, proporcionales al número de entradas a cada compartimento. Así, intentamos el vector cuyo componente$j$ th es el número de entradas al compartimento$j$ th:\[\mat {x} = \pmatrix{ 2 & 3 & 2 & 3 & 4 & 3 & 2 & 3 & 2}\ .\] Es fácil verificar que este vector es efectivamente un vector fijo de manera que el vector de probabilidad único sea este vector normalizado para tener la suma 1:\[\mat {w} = \pmatrix{ \frac1{12} & \frac18 & \frac1{12} & \frac18 & \frac16 & \frac18 & \frac 1{12} & \frac18 & \frac1{12} }\ .\]

[examen 11.3.4] (Ejemplo [examen 11.1.6] continuación) Recordamos el modelo de urna Ehrenfest de Ejemplo [examen 11.1.6]. La matriz de transición para esta cadena es la siguiente:

\[\mat {P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & 0 & 1 & 2 & 3 & 4 \cr 0 & .000 & 1.000 & .000 & .000 & .000\cr 1 & .250 & .000 & .750 & .000 & .000\cr 2 & .000 & .500 & .000 & .500 & .000\cr 3 & .000 & .000 & .750 & .000 & .250\cr 4 & .000 & .000 & .000 &1.000 & .000\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]Si ejecutamos el programa FixedVector para esta cadena, obtenemos el vector\[\mat {w} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & 0 & 1 & 2 & 3 & 4\cr & .0625 &.2500 &.3750 &.2500 &.0625\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

Por Teorema [thm 11.3.12], podemos interpretar estos valores$w_i$ como la proporción de veces que el proceso se encuentra en cada uno de los estados a largo plazo. Por ejemplo, la proporción de veces en el estado 0 es .0625 y la proporción de veces en el estado 1 es .375. El lector astuto notará que estos números son la distribución binomial 1/16, 4/16, 6/16, 4/16, 1/16. Podríamos haber adivinado esta respuesta de la siguiente manera: Si consideramos una bola en particular, simplemente se mueve aleatoriamente de un lado a otro entre las dos urnas. Esto sugiere que el estado de equilibrio debería ser igual que si distribuyéramos aleatoriamente las cuatro bolas en las dos urnas. Si hiciéramos esto, la probabilidad de que hubiera exactamente$j$ bolas en una urna estaría dada por la distribución binomial$b(n,p,j)$ con$n = 4$ y$p = 1/2$.

i [exer 11.3.1] ¿Cuáles de las siguientes matrices son matrices de transición para cadenas regulares de Markov?

$\mat {P} = \pmatrix{ .5 & .5 \cr .5 & .5 }$.
$\mat {P} = \pmatrix{ .5 & .5 \cr 1 & 0 }$.
$\mat {P} = \pmatrix{ 1/3 & 0 & 2/3 \cr 0 & 1 & 0 \cr 0 & 1/5 & 4/5}$.
$\mat {P} = \pmatrix{ 0 & 1 \cr 1 & 0}$.
$\mat {P} = \pmatrix{ 1/2 & 1/2 & 0 \cr 0 & 1/2 & 1/2 \cr 1/3 & 1/3 & 1/3}$.

i [exer 11.3.2] Considerar la cadena de Markov con matriz de transición\[\mat {P} = \pmatrix{ 1/2 & 1/3 & 1/6 \cr3/4 & 0 & 1/4 \cr 0 & 1 & 0}\ .\]

Demuestre que se trata de una cadena regular de Markov.
El proceso se inicia en el estado 1; encuentra la probabilidad de que esté en el estado 3 después de dos pasos.
Encuentra el vector de probabilidad limitante$\mat{w}$.

i [exer 11.3.3] Considerar la cadena de Markov con matriz de$2 \times 2$ transición general\[\mat {P} = \pmatrix{ 1 - a & a \cr b & 1 - b}\ .\]

¿Bajo qué condiciones está$\mat{P}$ absorbiendo?
¿En qué condiciones es$\mat{P}$ ergódica pero no regular?
¿En qué condiciones es$\mat{P}$ regular?

i [exer 11.3.4] Encuentra el vector de probabilidad fija$\mat{w}$ para las matrices en Ejercicio [exer 11.3.3] que son ergódicas.

i [exer 11.3.5] Encuentra el vector de probabilidad fija$\mat{w}$ para cada una de las siguientes matrices regulares.

$\mat {P} = \pmatrix{ .75 & .25 \cr .5 & .5}$.
$\mat {P} = \pmatrix{ .9 & .1 \cr .1 & .9}$.
$\mat {P} = \pmatrix{ 3/4 & 1/4 & 0 \cr 0 & 2/3 & 1/3 \cr 1/4 & 1/4 & 1/2}$.

i [exer 11.3.6] Considerar la cadena de Markov con matriz de transición en Ejercicio [exer 11.3.3], con$a = b = 1$. Demostrar que esta cadena es ergódica pero no regular. Encuentra el vector de probabilidad fija e interpretarlo. Demostrar que$\mat {P}^n$ no tiende a un límite, pero eso\[\mat {A}_n = \frac{\mat {I} + \mat {P} + \mat {P}^2 +\cdots + \mat {P}^n}{n + 1}\] sí.

i [exer 11.3.7] Considerar la cadena de Markov con matriz de transición de Ejercicio [exer 11.3.3], con$a = 0$ y$b = 1/2$. Calcula directamente el vector de probabilidad fija único y usa tu resultado para demostrar que la cadena no es ergódica.

i [exer 11.3.8] Mostrar que la matriz\[\mat {P} = \pmatrix{ 1 & 0 & 0 \cr 1/4 & 1/2 & 1/4 \cr 0 & 0 & 1}\] tiene más de un vector de probabilidad fijo. Encuentra la matriz que$\mat {P}^n$ se aproxima como$n \to \infty$, y verifica que no es una matriz todas cuyas filas son iguales.

i [exer 11.3.9] Demostrar que, si una matriz de transición de 3 por 3 tiene la propiedad de que sus sumas son 1, entonces$(1/3, 1/3, 1/3)$ es un vector de probabilidad fijo. Indique un resultado similar para matrices de$n$ transición$n$ -por-. Interpretar estos resultados para cadenas ergódicas.

i [exer 11.3.10] ¿La cadena de Markov en Ejemplo [examen 11.1.8] es ergódica?

i [exer 11.3.10.5] ¿La cadena Markov está en Ejemplo [examen 11.1.9] ergodica?

i [exer 11.3.11] Considerar Ejemplo [examen 11.2.1] (Paseo del borracho). Supongamos que si el andador alcanza el estado 0, se da la vuelta y vuelve al estado 1 en el siguiente paso y, de igual manera, si llega a 4 regresa en el siguiente paso al estado 3. ¿Esta nueva cadena es ergodica? ¿Es regular?

i [exer 11.3.12] Por ejemplo [examen 11.1.2] cuando$\mat{P}$ es ergódico, ¿cuál es la proporción de personas a las que se les dice que el Presidente va a postularse? Interpretar el hecho de que esta proporción es independiente del estado inicial.

i [exer 11.3.13] Considerar un proceso de ensayos independientes como una cadena de Markov cuyos estados son los posibles resultados de los ensayos individuales. ¿Cuál es su vector de probabilidad fija? ¿La cadena siempre es regular? Ilustrar esto por Ejemplo [examen 11.1.3].

i [exer 11.3.14] Mostrar que Ejemplo [examen 11.1.6] es una cadena ergódica, pero no una cadena regular. Mostrar que su vector de probabilidad fija$\mat{w}$ es una distribución binomial.

i [exer 11.3.15] Mostrar que Ejemplo [examen 11.1.7] es regular y encontrar el vector limitante.

i [exer 11.3.16] Tirar un dado justo repetidamente. Dejar$S_n$ denotar el total de los resultados a través del$n$ th lanzamiento. Mostrar que existe un valor limitante para la proporción de los primeros$n$ valores de$S_n$ que son divisibles por 7, y computar el valor para este límite.: El límite deseado es un vector de probabilidad de equilibrio para una cadena apropiada de Markov de siete estados.

i [exer 11.3.17]$\mat{P}$ Sea la matriz de transición de una cadena regular de Markov. Supongamos que hay$r$ estados y dejar que$N(r)$ sea el entero más pequeño$n$ tal que$\mat{P}$ sea regular si y sólo si no$\mat {P}^{N(r)}$ tiene entradas cero. Encuentra un límite superior finito para$N(r)$. A ver si puede determinar$N(3)$ exactamente.

[exer 11.3.18]$f(r)$ Definir como el entero más pequeño$n$ tal que para todas las cadenas regulares de Markov con$r$ estados, la potencia$n$ th de la matriz de transición tenga todas las entradas positivas. Se ha demostrado, ¹⁴ eso$f(r) = r^2 - 2r + 2$.

Definir la matriz de transición de una cadena de Markov$r$ -estado de la siguiente manera: Para estados$s_i$$i = 1$, con, 2,...$r - 2$,$\mat {P}(i,i + 1) = 1$,$\mat {P}(r - 1,r) = \mat {P}(r - 1, 1) = 1/2$, y$\mat {P}(r,1) = 1$. Demuestre que se trata de una cadena regular de Markov.
Pues$r = 3$, verificar que la quinta potencia sea la primera potencia que no tenga ceros.
Demostrar que, por$r$ lo general, el más pequeño$n$ tal que$\mat {P}^n$ tiene todas las entradas positivas es$n = f(r)$.

i [exer 11.3.19] Un sistema discreto de capacidad para hacer cola de tiempo$n$ consiste en la persona a la que se sirve y los que esperan ser atendidos. La longitud de la cola$x$ se observa cada segundo. Si$0 < x < n$, entonces con probabilidad$p$, el tamaño de la cola se incrementa en uno por una llegada y, de manera desigual, con probabilidad$r$, se disminuye en uno porque la persona a la que se sirve termina el servicio. Si$x = 0$, solo es posible una llegada (con probabilidad$p$). Si$x = n$, una llegada partirá sin esperar el servicio, y así solo es posible la salida (con probabilidad$r$) de la persona a la que se atiende. Formar una cadena de Markov con estados dados por el número de clientes en la cola. Modifique el programa FixedVector para que pueda ingresar$n$,$p$, y$r$, y el programa construirá la matriz de transición y calculará el vector fijo. La cantidad$s = p/r$ se llama Describir las diferencias en los vectores fijos de acuerdo como$s < 1$,$s = 1$, o$s > 1$.

i [exer 11.3.20] Escribir un programa de computadora para simular la cola en Ejercicio [exer 11.3.19]. Haga que su programa realice un seguimiento de la proporción del tiempo que la duración de la cola es$j$ para$j = 0$, 1,...,$n$ y la duración promedio de la cola. Demostrar que el comportamiento de la longitud de la cola es muy diferente dependiendo de si la intensidad del tráfico$s$ tiene la propiedad$s < 1$,$s = 1$, o$s > 1$.

i [exer 11.3.21] En el problema de cola de Ejercicio [exer 11.3.19], deje$S$ ser el tiempo total de servicio requerido por un cliente y$T$ el tiempo entre llegadas de los clientes.

$P(S = j) = (1 - r)^{j - 1}r$Demuéstralo y$P(T = j) = (1 - p)^{j - 1}p$, para$j > 0$.
Demuestre eso$E(S) = 1/r$ y$E(T) = 1/p$.
Interpretar las condiciones$s < 1$,$s = 1$ y$s > 1$ en términos de estos valores esperados.

i [exer 11.3.22] En Ejercicio [exer 11.3.19] el tiempo de servicio$S$ tiene una distribución geométrica con$E(S) = 1/r$. Supongamos que el tiempo de servicio es, en cambio, un tiempo constante de$t$ segundos. Modifique su programa informático de Ejercicio [exer 11.3.20] para que simule una distribución de servicio de tiempo constante. Compare la longitud promedio de la cola para los dos tipos de distribuciones cuando tengan el mismo tiempo de servicio esperado (es decir, take$t = 1/r$). ¿Qué distribución lleva a que las colas sean más largas en promedio?

i [exer 11.3.23] Se cree que cierto experimento es descrito por una cadena de Markov de dos estados con la matriz de transición$\mat{P}$, donde\[\mat {P} = \pmatrix{ .5 & .5 \cr p & 1 - p}\] y el parámetro no$p$ se conoce. Cuando el experimento se realiza muchas veces, la cadena termina en estado uno aproximadamente el 20 por ciento del tiempo y en estado dos aproximadamente el 80 por ciento del tiempo. Calcule una estimación sensata para el parámetro desconocido$p$ y explique cómo lo encontró.

i [exer 11.3.24] Demostrar que, en una cadena ergódica$r$ -estado, es posible pasar de cualquier estado a cualquier otro estado en la mayoría de los$r - 1$ pasos.

i [exer 11.3.25] Dejar$\mat{P}$ ser la matriz de transición de una cadena ergódica$r$ -estado. Demostrar que, si las entradas diagonales$p_{ii}$ son positivas, entonces la cadena es regular.

i [exer 11.3.26] Demostrar que si$\mat{P}$ es la matriz de transición de una cadena ergódica, entonces$(1/2)(\mat {I} + \mat {P})$ es la matriz de transición de una cadena regular.: Usar Ejercicio [exer 11.3.25].

i [exer 11.3.27] Demostrarlo$\mat{P}$ y$(1/2)(\mat {I} + \mat {P})$ tener los mismos vectores fijos.

i [exer 11.3.28] En su libro, ¹⁵ A. Engle propone un algoritmo para encontrar el vector fijo para una cadena ergódica de Markov cuando las probabilidades de transición son números racionales. Aquí está su algoritmo: Para cada estado$i$, deja$a_i$ ser el múltiplo menos común de los denominadores de las entradas distintas de cero en la fila$i$ th. Engle describe su algoritmo en términos de mover fichas en los estados; de hecho, para pequeños ejemplos, recomienda implementar el algoritmo de esta manera. Comienza poniendo$a_i$ chips en estado$i$ para todos$i$. Después, en cada estado, redistribuir los$a_i$ chips, enviando$a_i p_{ij}$ al estado$j$. El número de chips en el estado$i$ después de esta redistribución no necesita ser un múltiplo de$a_i$. Para cada estado$i$, agregue solo las fichas suficientes para llevar el número de fichas en el estado$i$ hasta un múltiplo de$a_i$. Después redistribuya las fichas de la misma manera. Este proceso eventualmente llegará a un punto donde el número de chips en cada estado, después de la redistribución, es el mismo que antes de la redistribución. En este punto, hemos encontrado un vector fijo. He aquí un ejemplo:\[\mat {P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & 1 & 2 & 3 \cr 1 & 1/2 & 1/4 & 1/4 \cr 2 & 1/2 & 0 & 1/2 \cr 3 & 1/2 & 1/4 & 1/4\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\] Empezamos con$\mat {a} = (4,2,4)$. Los chips después de sucesivas redistribuciones se muestran en la Tabla [tabla 11.4].

\[\begin{array}{lll} (4 & 2\;\; & 4)\\ (5 & 2 & 3)\\ (8 & 2 & 4)\\ (7 & 3 & 4)\\ (8 & 4 & 4)\\ (8 & 3 & 5)\\ (8 & 4 & 8)\\ (10 & 4 & 6)\\ (12 & 4 & 8)\\ (12 & 5 & 7)\\ (12 & 6 & 8)\\ (13 & 5 & 8)\\ (16 & 6 & 8)\\ (15 & 6 & 9)\\ (16 & 6 & 12)\\ (17 & 7 & 10)\\ (20 & 8 & 12)\\ (20 & 8 & 12)\ . \end{array}\]

Encontramos que$\mat {a} = (20,8,12)$ es un vector fijo.

Escribir un programa de computadora para implementar este algoritmo.
Demostrar que el algoritmo se detendrá.: Let$\mat{b}$ ser un vector con componentes enteros que es un vector fijo para$\mat{P}$ y tal que cada coordenada del vector inicial$\mat{a}$ sea menor o igual que el componente correspondiente de$\mat{b}$. Mostrar que, en la iteración, los componentes de los vectores siempre van en aumento, y siempre menores o iguales que el componente correspondiente de$\mat{b}$.

i [exer 11.3.29] (Coffman, Kaduta y Shepp ¹⁶) Un centro de cómputos guarda información en una cinta en posiciones de longitud unitaria. Durante cada unidad de tiempo hay una solicitud para ocupar una unidad de cinta. Cuando ésta llega se utiliza la primera unidad libre. También, durante cada segundo, cada una de las unidades que están ocupadas queda desocupada con probabilidad$p$. Simular este proceso, comenzando con una cinta vacía. Estimar el número esperado de sitios ocupados para un valor dado de$p$. Si$p$ es pequeña, ¿puedes elegir la cinta el tiempo suficiente para que haya una pequeña probabilidad de que un nuevo trabajo tenga que ser rechazado (es decir, que todos los sitios estén ocupados)? Formar una cadena de Markov con estados el número de sitios ocupados. Modificar el programa FixedVector para calcular el vector fijo. Usa esto para verificar tu conjetura por simulación.

[exer 11.3.30] (Prueba alternativa del teorema [thm 11.3.8]) Dejar$\mat{P}$ ser la matriz de transición de una cadena ergódica de Markov. Dejar$\mat{x}$ ser cualquier vector de columna tal que$\mat{P} \mat{x} = \mat{ x}$. Dejar$M$ ser el valor máximo de los componentes de$\mat{x}$. Asumir eso$x_i = M$. Demuéstralo si$p_{ij} > 0$ entonces$x_j = M$. Usa esto para demostrar que$\mat{x}$ debe ser un vector constante.

i [exer 11.3.31] Dejar$\mat{P}$ ser la matriz de transición de una cadena ergódica de Markov. Dejar$\mat{w}$ ser un vector de probabilidad fijo (es decir,$\mat{w}$ es un vector de fila con$\mat {w}\mat {P} = \mat {w}$). Demuéstralo si$w_i = 0$ y$p_{ji} > 0$ entonces$w_j = 0$. Use esto para mostrar que el vector de probabilidad fija para una cadena ergódica no puede tener ninguna entrada 0.

i [exer 11.3.32] Encuentra una cadena de Markov que no sea ni absorbente ni ergódica.