10.1: Introducción a las cadenas de Markov

Última actualización
Guardar como PDF

Page ID: 113830

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $

$ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $

$ \newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$

( \newcommand{\kernel}{\mathrm{null}\,}\) $ \newcommand{\range}{\mathrm{range}\,}$

$ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$

$ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$

$ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$ \newcommand{\Span}{\mathrm{span}}$

$ \newcommand{\id}{\mathrm{id}}$

$ \newcommand{\Span}{\mathrm{span}}$

$ \newcommand{\kernel}{\mathrm{null}\,}$

$ \newcommand{\range}{\mathrm{range}\,}$

$ \newcommand{\RealPart}{\mathrm{Re}}$

$ \newcommand{\ImaginaryPart}{\mathrm{Im}}$

$ \newcommand{\Argument}{\mathrm{Arg}}$

$ \newcommand{\norm}[1]{\| #1 \|}$

$ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\AA}{\unicode[.8,0]{x212B}}$

$ \newcommand{\vectorA}[1]{\vec{#1}} % arrow$

$ \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow$

$ \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $

$ \newcommand{\vectorC}[1]{\textbf{#1}} $

$ \newcommand{\vectorD}[1]{\overrightarrow{#1}} $

$ \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} $

$ \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} $

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $

$ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $

$\newcommand{\avec}{\mathbf a}$ $\newcommand{\bvec}{\mathbf b}$ $\newcommand{\cvec}{\mathbf c}$ $\newcommand{\dvec}{\mathbf d}$ $\newcommand{\dtil}{\widetilde{\mathbf d}}$ $\newcommand{\evec}{\mathbf e}$ $\newcommand{\fvec}{\mathbf f}$ $\newcommand{\nvec}{\mathbf n}$ $\newcommand{\pvec}{\mathbf p}$ $\newcommand{\qvec}{\mathbf q}$ $\newcommand{\svec}{\mathbf s}$ $\newcommand{\tvec}{\mathbf t}$ $\newcommand{\uvec}{\mathbf u}$ $\newcommand{\vvec}{\mathbf v}$ $\newcommand{\wvec}{\mathbf w}$ $\newcommand{\xvec}{\mathbf x}$ $\newcommand{\yvec}{\mathbf y}$ $\newcommand{\zvec}{\mathbf z}$ $\newcommand{\rvec}{\mathbf r}$ $\newcommand{\mvec}{\mathbf m}$ $\newcommand{\zerovec}{\mathbf 0}$ $\newcommand{\onevec}{\mathbf 1}$ $\newcommand{\real}{\mathbb R}$ $\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}$ $\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}$ $\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}$ $\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}$ $\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$ $\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$ $\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$ $\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$ $\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}$ $\newcommand{\laspan}[1]{\text{Span}\{#1\}}$ $\newcommand{\bcal}{\cal B}$ $\newcommand{\ccal}{\cal C}$ $\newcommand{\scal}{\cal S}$ $\newcommand{\wcal}{\cal W}$ $\newcommand{\ecal}{\cal E}$ $\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}$ $\newcommand{\gray}[1]{\color{gray}{#1}}$ $\newcommand{\lgray}[1]{\color{lightgray}{#1}}$ $\newcommand{\rank}{\operatorname{rank}}$ $\newcommand{\row}{\text{Row}}$ $\newcommand{\col}{\text{Col}}$ $\renewcommand{\row}{\text{Row}}$ $\newcommand{\nul}{\text{Nul}}$ $\newcommand{\var}{\text{Var}}$ $\newcommand{\corr}{\text{corr}}$ $\newcommand{\len}[1]{\left|#1\right|}$ $\newcommand{\bbar}{\overline{\bvec}}$ $\newcommand{\bhat}{\widehat{\bvec}}$ $\newcommand{\bperp}{\bvec^\perp}$ $\newcommand{\xhat}{\widehat{\xvec}}$ $\newcommand{\vhat}{\widehat{\vvec}}$ $\newcommand{\uhat}{\widehat{\uvec}}$ $\newcommand{\what}{\widehat{\wvec}}$ $\newcommand{\Sighat}{\widehat{\Sigma}}$ $\newcommand{\lt}{<}$ $\newcommand{\gt}{>}$ $\newcommand{\amp}{&}$ $\definecolor{fillinmathshade}{gray}{0.9}$

Objetivos de aprendizaje

En este capítulo, aprenderás a:

Escribir matrices de transición para problemas de Markov Chain.
Utilice la matriz de transición y el vector de estado inicial para encontrar el vector de estado que da la distribución después de un número especificado de transiciones.

Ahora estudiaremos los procesos estocásticos, experimentos en los que los resultados de los eventos dependen de los resultados previos; los procesos estocásticos involucran resultados aleatorios que pueden ser descritos por probabilidades. Tal proceso o experimento se llama una cadena de Markov o proceso de Markov. El proceso fue estudiado por primera vez por un matemático ruso llamado Andrei A. Markov a principios del siglo XX.

Alrededor de 600 ciudades de todo el mundo tienen programas de bicicletas compartidas. Por lo general, una persona paga una tarifa para unirse a un programa y puede pedir prestada una bicicleta en cualquier estación de bicicletas compartidas y luego puede devolverla al mismo u otro sistema. Cada día, la distribución de bicicletas en las estaciones cambia, ya que las bicicletas son devueltas a diferentes estaciones de donde son prestadas.

Por simplicidad, consideremos un programa de bicicletas compartidas muy sencillo con solo 3 estaciones: A, B, C. Supongamos que todas las bicicletas deben ser devueltas a la estación al final del día, para que cada día haya una hora, digamos medianoche, que todas las bicicletas estén en alguna estación, y podamos examinar todas las estaciones en este momento del día, todos los días. Queremos modelar el movimiento de las bicicletas desde la medianoche de un día determinado hasta la medianoche del día siguiente. Encontramos que en un período de 1 día,

de las bicicletas prestadas de la estación A, el 30% son devueltas a la estación A, el 50% terminan en la estación B y el 20% terminan en la estación C.
de las bicicletas prestadas de la estación B, el 10% terminan en la estación A, el 60% han sido devueltas a la estación B y el 30% terminan en la estación C
de las bicicletas prestadas de la estación C, el 10% terminan en la estación A, el 10% terminan en la estación B y el 80% son devueltas a la estación C.

Podemos dibujar un diagrama de flechas para mostrar esto. Las flechas indican la estación donde se arrancó la bicicleta, llamada su estado inicial, y las estaciones en las que podría ubicarse un día después, llamadas estados terminales. Los números de las flechas muestran la probabilidad de estar en cada uno de los estados terminales indicados.

$Sección10.1.png$

Debido a que nuestro ejemplo de compartir bicicleta es simple y tiene solo 3 estaciones, el diagrama de flechas, también llamado gráfico dirigido, nos ayuda a visualizar la información. Pero si tuviéramos un ejemplo con 10, o 20, o más estaciones de bicicletas compartidas, el diagrama se volvería tan complicado que sería difícil entender la información en el diagrama.

Podemos usar una matriz de transición para organizar la información,

Cada fila de la matriz representa un estado inicial. Cada columna representa un estado terminal.
Asignaremos las filas en orden a las estaciones A, B, C, y las columnas en el mismo orden a las estaciones A, B, C. Por lo tanto, la matriz debe ser una matriz cuadrada, con el mismo número de filas que las columnas. La entrada en la fila 2 columna 3, por ejemplo, mostraría la probabilidad de que una bicicleta que inicialmente está en la estación B esté en la estación C un día después: esa entrada es de 0.30, que es la probabilidad en el diagrama para la flecha que apunta de B a C. Usamos esta la letra T para la matriz de transición.

$Sección10.1b.png$

Al observar la primera fila que representa bicicletas inicialmente en la estación A, vemos que el 30% de las bicicletas prestadas de la estación A son devueltas a la estación A, el 50% terminan en la estación B y el 20% terminan en la estación C, después de un día.

Observamos algunas propiedades de la matriz de transición:

$t_{ij}$representa la entrada en la$i$ columna de fila$j$
$t_{ij}$= la probabilidad de pasar del estado representado por fila$i$ al estado representado por fila$j$ en una sola transición

$t_{ij}$es una probabilidad condicional que podemos escribir como:
$t_{ij}$ = P (siguiente estado es el estado en columna$j$ | estado actual es el estado en fila$i$)
Cada fila se suma a 1
Todas las entradas están entre 0 y 1, inclusive porque son probabilidades.
La matriz de transición representa el cambio en un periodo de transición; en este ejemplo una transición es una unidad fija de tiempo de un día.

Ejemplo$\PageIndex{1}$

Una ciudad es atendida por dos compañías de televisión por cable, BestTV y CableCast.

Debido a sus agresivas tácticas de ventas, cada año el 40% de los clientes de BestTV cambian a CableCast; el otro 60% de los clientes de BestTV se quedan con BestTV.
Por otro lado, 30% de los clientes de CableCast cambian a Best TV.

Los dos estados en este ejemplo son BestTV y CableCast. Expresar la información anterior como una matriz de transición que muestra las probabilidades de pasar de un estado a otro estado.

Solución

La matriz de transición es:

$Ejemplo10.1.1.png$

Como se señaló anteriormente, el lector debe observar que una matriz de transición es siempre una matriz cuadrada porque todos los estados posibles deben tener tanto filas como columnas. Todas las entradas en una matriz de transición son no negativas ya que representan probabilidades. Y, dado que todos los resultados posibles se consideran en el proceso de Markov, la suma de las entradas de fila es siempre 1.

Con una matriz de transición más grande, las ideas en Ejemplo$\PageIndex{1}$ podrían ampliarse para representar un mercado con más de 2 compañías de televisión por cable. Los conceptos de lealtad de marca y cambio entre marcas demostrados en el ejemplo de televisión por cable se aplican a muchos tipos de productos, como transportistas de telefonía celular, marcas de compras regulares como alimentos o detergente para ropa, marcas importantes compras como autos o electrodomésticos, aerolíneas que los viajeros eligen cuando reservar vuelos, o cadenas hoteleras en las que los viajeros elijan alojarse.

La matriz de transición muestra las probabilidades de transiciones entre estados en dos tiempos consecutivos. Necesitamos una manera de representar la distribución entre los estados en un momento determinado. Para ello utilizamos una matriz de filas llamada vector de estado. El vector state es una matriz de filas que tiene solo una fila; tiene una columna por cada estado. Las entradas muestran la distribución por estado en un momento dado. Todas las entradas están entre 0 y 1 inclusive, y la suma de las entradas es 1.

Para el ejemplo de bicicletas compartidas con 3 estaciones de bicicletas compartidas, el vector de estado es una$1 \times 3$ matriz con 1 fila y 3 columnas. Supongamos que cuando comenzamos a observar nuestro programa de bicicletas compartidas, el 30% de las bicicletas están en la estación A, el 45% de las bicicletas están en la estación B y el 25% están en la estación C. El vector de estado inicial es

$Sección10.1C.png$

El subíndice 0 indica que esta es la distribución inicial, antes de que ocurra cualquier transición.

Si queremos determinar la distribución después de una transición, necesitaremos encontrar un nuevo vector de estado al que llamaremos V ₁. El subíndice 1 indica que esta es la distribución después de que se haya producido 1 transición.

Encontramos V ₁ multiplicando V ₀ por la matriz de transición T, de la siguiente manera:

\ [\ begin {array} {l}
\ mathrm {V} _ {1} =\ mathrm {V} _ {0}\ mathrm {T}\\
=\ left [\ begin {array} {lll}
0.30 & 0.45 & 0.25
\ end {array}\ derecha]\ left [\ begin {array} {lll}
0.3 & 0.5 & 0.2\\
0.1 y 0.6 y 0.3\
0.1 & 0.1 & 0.8
\ end {array}\ derecha]\\
= [.30 (.3) +.45 (.1) +.25 (.1)\ quad .30 (.5) +.45 (.6) +.25 (.1)\ quad .30 (.2) +.45 (.3) +.25 (.8)]\\
=\ left [\ begin {array} {lll}
.16 y .16 445 & .395
\ end {array}\ derecha]
\ end { matriz}\ nonumber\]

Después de 1 día (1 transición), el 16% de las bicicletas están en la estación A, el 44.5% están en la estación B y el 39.5% están en la estación C.

Mostramos el trabajo paso a paso para la multiplicación matricial anterior. En el futuro generalmente usaremos tecnología, como las capacidades de matriz de nuestra calculadora, para realizar cualquier multiplicación matricial necesaria, en lugar de mostrar el trabajo paso a paso.

Supongamos ahora que queremos saber la distribución de bicicletas en las estaciones después de dos días. Necesitamos encontrar V ₂, el vector de estado después de dos transiciones. Para encontrar V ₂, multiplicamos el vector de estado después de una transición V ₁ por la matriz de transición T.

\ [\ mathrm {V} _ {2} =\ mathrm {V} _ {1}\ mathrm {T} =\ left [\ begin {array} {lll}
.16 & .445 & .395
\ end {array}\ derecha]\ left [\ begin {array} {lll}
0.3 & 0.5 & 0.2\\
0.1 y 0.6 & 0.3\
0.1 & 0.1 & 0.8
\ end { array}\ derecha] =\ left [\ begin {array} {lll}
.132 & .3865 & .4815
\ end {array}\ right]\ nonumber\]

Observamos que$\mathrm{V}_{1}=\mathrm{V}_{0} \mathrm{T}, \text { so } \mathrm{V}_{2}=\mathrm{V}_{1} \mathrm{T}=\left(\mathrm{V}_{0} \mathrm{T}\right) \mathrm{T}=\mathrm{V}_{0} \mathrm{T}^{2}$

Esto da un método equivalente para calcular la distribución de bicicletas en el día 2:

\ [\ begin {array} {l}
\ mathrm {V} _ {2} =\ mathrm {V} _ {0}\ mathrm {T} ^ {2} =\ left [\ begin {array} {lll}
0.30 & 0.45 & 0.25
\ end {array}\ right]\ left [\ begin {array} {lll}
0.3 & 0.5 & 0.2\\
0.1 y 0.6 y 0.3\\
0.1 y 0 .1 & 0.8
\ end {array}\ right] ^ {2}\\
=\ left [\ begin {array} {llll}
0.30 & 0.45 & 0.25
\ end {array}\ right]\ left [\ begin {array} {lll}
0.16 & 0.47 & 0.37\\ 0.12 & 0.44 &
0.44\\ 0.12 & 0.44\\
0.12 & ; 0.19 & 0.69
\ end {array}\ right]\
\ mathrm {V} _ {2} =\ mathrm {V} _ {0}\ mathrm {T} ^ {2} =\ left [\ begin {array} {llll}
.132 & .3865 & .4815
\ end {array}\ right]\ end {array}
\ end {array}\ nonumber\]

Después de 2 días (2 transiciones), 13.2% de las bicicletas están en la estación A, 38.65% están en la estación B y 48.15% están en la estación C.

Debemos examinar lo siguiente: ¿Cuál es el significado de las entradas en la matriz T ²?

\ [\ mathrm {T} ^ {2} =\ mathrm {TT} =\ left [\ begin {array} {ccc}
0.3 & 0.5 & 0.2\\
0.1 & 0.6 & 0.3\\
0.1 & 0.1 & 0.8
\ end {array}\ right]\ left [\ begin {array} {ccc}
0.3 & 0.5 & 0.2\\
0.1 & 0.6 & 0. 3\\
0.1 & 0.1 & 0.8
\ end {array}\ right] =\ left [\ begin {array} {ccc}
0.16 & 0.47 & 0.37\\
0.12 & 0.44 & 0.44\\
0.12 & 0.19 & 0.69
\ end {array}\ derecha]\ nonumber\]

Las entradas en T ² nos dicen la probabilidad de que una bicicleta esté en una estación en particular después de dos transiciones, dada su estación inicial.

La entrada t ₁₃ en la fila 1 columna 3 nos dice que una bicicleta que inicialmente se toma prestada de la estación A tiene una probabilidad de 0.37 de estar en la estación C después de dos transiciones.
La entrada t ₃₂ en la fila 3 columna 2 nos dice que una bicicleta que inicialmente se toma prestada de la estación C tiene una probabilidad de 0. 19 de estar en la estación B después de dos transiciones.

De igual manera, si elevamos la matriz de transición T a la enésima potencia, las entradas en T ⁿ nos indican la probabilidad de que una bicicleta esté en una estación particular después de n transiciones, dada su estación inicial.

Y si multiplicamos el vector de estado inicial V ₀ por T ⁿ, la matriz de filas resultante Vn=V ₀ T ⁿ es la distribución de bicicletas después de$n$ las transiciones.

Ejemplo$\PageIndex{2}$

Consulte Ejemplo$\PageIndex{1}$ para la matriz de transición para cuotas de mercado para suscriptores a dos compañías de televisión por cable.

Supongamos que hoy 1/4 de los clientes se suscriben a BestTV y 3/4 de clientes se suscriben a CableCast. Después de 1 año, ¿qué porcentaje suscribe a cada empresa?
Supongamos en cambio que hoy del 80% de los clientes se suscriben a BestTV y 20% a CableCast. Después de 1 año, ¿qué porcentaje suscribe a cada empresa?

Solución

a.La distribución inicial dada por el vector de estado inicial es una$1\times2$ matriz

\ [\ mathrm {V} _ {0} =\ left [\ begin {array} {lll}
1/4 & 3/4
\ end {array}\ right] =\ left [\ begin {array} {ll}
.25 & .75
\ end {array}\ derecha]\ nonumber\]

y la matriz de transición es

\ [\ mathrm {T} =\ left [\ begin {array} {ll}
.60 & .40\\
.30 & .70
\ end {array}\ right]\ nonumber\]

Después de 1 año, la distribución de clientes es

\ [\ mathrm {V} _ {1} =\ mathrm {V} _ {0}\ mathrm {T} =\ left [\ begin {array} {ll}
.25 & .75
\ end {array}\ right]\ left [\ begin {array} {ll}
.60 & .40\\
.30 & .70
\ end {array}\ right] =\ left [\ begin {array} {lll}
.375 y .625
\ end {array}\ derecha]\ nonumber\]

Después de 1 año, 37.5% de los clientes se suscriben a BestTV y 62.5% a CableCast.

b. La distribución inicial dada por el vector de estado inicial\ (\ mathrm {V} _ {0} =\ left [\ begin {array} {l}
.8 & .2
\ end {array}\ right]\). Entonces

\ [\ mathrm {V} _ {1} =\ mathrm {V} _ {0}\ mathrm {T} =\ left [\ begin {array} {ll}
.8 & .2
\ end {array}\ right]\ left [\ begin {array} {ll}
.60 & .40\\
.30 & .70
\ end {array}\ right] =\ left [\ begin {array} ll}
.54 y .46
\ end {array}\ derecha]\ nonumber\]

En este caso, después de 1 año, 54% de los clientes se suscriben a BestTV y 46% a CableCast.

Tenga en cuenta que la distribución después de una transición depende de la distribución inicial; las distribuciones en las partes (a) y (b) son diferentes debido a los diferentes vectores de estado iniciales.

Ejemplo$\PageIndex{3}$

El profesor Symons o camina a la escuela, o monta su bicicleta. Si algún día camina a la escuela, entonces al día siguiente, caminará o pedaleará con igual probabilidad. Pero si algún día va en bicicleta, entonces la probabilidad de que camine al día siguiente es de 1/4. Exprese esta información en una matriz de transición.

Solución

Obtenemos la siguiente matriz de transición colocando correctamente las entradas de fila y columna. Obsérvese que si, por ejemplo, el profesor Symons hace bicicletas un día, entonces la probabilidad de que camine al día siguiente es 1/4, y por lo tanto, la probabilidad de que vaya a andar en bicicleta al día siguiente es de 3/4.

$Ejemplo10.1.3.png$

Ejemplo$\PageIndex{4}$

En Ejemplo$\PageIndex{3}$, si se supone que el día inicial es lunes, escriba una matriz que dé probabilidades de una transición de lunes a miércoles.

Solución

Si hoy es lunes, entonces el miércoles es dentro de dos días, lo que representa dos transiciones. Necesitamos encontrar el cuadrado, T ², de la matriz de transición original T, usando la multiplicación matricial.

\ [T=\ left [\ begin {array} {ll}
1/2 & 1/2\\
1/4 & 3/4
\ end {array}\ derecha]\ nonumber\]

\ begin {aligned}
\ mathrm {T} ^ {2} =\ mathrm {T}\ times\ mathrm {T} &=\ left [\ begin {array} {lll}
1/2 & 1/2\
1/4 & 3/4
\ end {array}\ right]\ left [\ begin {array} {l}
1/2\\
1/4 & 1/2
\ end { array}\ derecha]\\
&=\ left [\ begin {array} {cc}
1/4+1/8 & 1/4+3/8\\
1/8+3/16 & 1/8+9/16
\ end {array}\ derecha]\\
&=\ left [\ begin {array} {cc}
3/8 & 5/8\\
5/16 & 11/ 16
\ end {array}\ derecha]
\ end {alineado}

Recordemos que no obtenemos$T^2$ al cuadrar cada entrada en matriz$T$, sino que obtenemos$T^2$ multiplicando la matriz$T$ por sí misma usando la multiplicación matricial.

Representamos los resultados en la siguiente matriz.

$Ejemplo10.1.4.png$

Interpretamos las probabilidades de la matriz T ² de la siguiente manera:

P (Caminó Miércoles | Caminó Lunes) = 3/8.
P (Miércoles en bicicleta | Caminó Lunes) = 5/8.
P (Caminó miércoles | Lunes en bicicleta) = 5/16.
P (Miércoles en bicicleta | Lunes en bicicleta) = 11/16.

Ejemplo$\PageIndex{5}$

La matriz de transición para Ejemplo$\PageIndex{3}$ se da a continuación.

$Ejemplo10.1.5.png$

Escribe la matriz de transición desde

Lunes a Jueves
Lunes a Viernes.

Solución

a.) Al escribir una matriz de transición de lunes a jueves, estamos pasando de un estado a otro en tres pasos. Es decir, necesitamos calcular T ³.

\ [\ mathrm {T} ^ {3} =\ left [\ begin {array} {ll}
11/32 & 21/32\
21/64/64 & 43/64
\ end {array}\ derecha]\ nonumber\]

b) Para encontrar la matriz de transición de lunes a viernes, estamos pasando de un estado a otro en 4 pasos. Por lo tanto, calculamos T ⁴.

\ [\ mathrm {T} ^ {4} =\ left [\ begin {array} {ll}
43/128 & 85/128\\
85/256 & 171/256
\ end {array}\ derecha]\ nonumber\]

Es importante que el alumno sea capaz de interpretar correctamente la matriz anterior. Por ejemplo, la entrada 85/128, establece que si el profesor Symons caminó a la escuela el lunes, entonces hay 85/128 probabilidad de que vaya en bicicleta a la escuela el viernes.

Hay ciertas cadenas de Markov que tienden a estabilizarse a largo plazo. Los examinaremos más a fondo más adelante en este capítulo. La matriz de transición que hemos utilizado en el ejemplo anterior es justamente una cadena de Markov. El siguiente ejemplo trata sobre la tendencia a largo plazo o situación de estado estacionario para esa matriz.

Ejemplo$\PageIndex{6}$

Supongamos que el profesor Symons continúa caminando y en bicicleta según la matriz de transición dada en Ejemplo$\PageIndex{3}$. A la larga, ¿con qué frecuencia caminará a la escuela y con qué frecuencia va a andar en bicicleta?

Solución

Si examinamos potencias superiores de la matriz de transición T, encontraremos que se estabiliza.

\ [\ mathrm {T} ^ {5} =\ left [\ begin {array} {ll}
.333984 & 666015\\
.333007 & .666992
\ end {array}\ right]\ quad\ mathrm {T} ^ {10} =\ left [\ begin {array} {ll}
.33333397 & .66666603\\
.3333301 & .66666698
\ fin {array}\ derecha]\ nonumber\]

\ [\ text {Y}\ quad\ mathrm {T} ^ {20} =\ left [\ begin {array} {ll}
1/3 & 2/3\
1/3 & 2/3
\ end {array}\ derecha]\ quad\ text {y}\ mathrm {T} ^ {\ mathrm {n}} =\ left [\ begin {array} {cc}
1/3 & 2/3\\
1/3 y 2/3
\ end {array}\ derecha]\ text {for}\ mathrm {n} >20\ nonumber\]

La matriz muestra que a la larga, el profesor Symons caminará a la escuela 1/3 del tiempo y en bicicleta 2/3 del tiempo.

Cuando esto sucede, decimos que el sistema está en estado estacionario o estado de equilibrio. En esta situación, todos los vectores de fila son iguales. Si la matriz original es una matriz n por n, obtenemos n vectores de fila que son todos iguales. Llamamos a este vector un vector de probabilidad fija o el vector de equilibrio E. En el problema anterior, el vector de probabilidad fija E es [1/3 2/3]. Además, si el vector de equilibrio E se multiplica por la matriz original T, el resultado es el vector de equilibrio E. Es decir,

ET = E, o\ (\ left [\ begin {array} {lll}
1/3 & 2/3
\ end {array}\ right]\ left [\ begin {array} {cc}
1/2 & 1/2\
1/4 & 3/4
\ end {array}\ right] =\ left [\ begin {array} {ll}
1/3 & 2/3
\ end {array }\ derecho]\)

Search

Text Color

Text Size

Margin Size

Font Type

Objetivos de aprendizaje

Ejemplo\(\PageIndex{1}\)

Ejemplo\(\PageIndex{2}\)

Ejemplo\(\PageIndex{3}\)

Ejemplo\(\PageIndex{4}\)

Ejemplo\(\PageIndex{5}\)

Ejemplo\(\PageIndex{6}\)