11.1: Introducción

La mayor parte de nuestro estudio de probabilidad se ha ocupado de procesos de ensayos independientes. Estos procesos son la base de la teoría clásica de probabilidad y gran parte de la estadística. Hemos discutido dos de los principales teoremas para estos procesos: la Ley de Números Grandes y el Teorema del Límite Central.

Hemos visto que cuando una secuencia de experimentos al azar forma un proceso de ensayos independientes, los posibles resultados para cada experimento son los mismos y ocurren con la misma probabilidad. Además, el conocimiento de los resultados de los experimentos anteriores no influye en nuestras predicciones para los resultados del siguiente experimento. La distribución de los resultados de un solo experimento es suficiente para construir un árbol y una medida de árbol para una secuencia de\(n\) experimentos, y podemos responder cualquier pregunta de probabilidad sobre estos experimentos usando esta medida de árbol.

La teoría moderna de la probabilidad estudia procesos de azar para los cuales el conocimiento de los resultados previos influye en las predicciones para experimentos futuros. En principio, cuando observamos una secuencia de experimentos de azar, todos los resultados pasados podrían influir en nuestras predicciones para el siguiente experimento. Por ejemplo, este debería ser el caso al predecir las calificaciones de un estudiante en una secuencia de exámenes en un curso. Pero permitir esta tanta generalidad haría muy difícil probar resultados generales.

En 1907, A. A. Markov inició el estudio de un nuevo tipo importante de proceso casual. En este proceso, el resultado de un experimento dado puede afectar el resultado del siguiente experimento. Este tipo de proceso se llama cadena de Markov.

Especificación de una cadena de Markov

Describimos una cadena de Markov de la siguiente manera: Tenemos un conjunto de\(S = \{s_1,s_2,\ldots,s_r\}\). El proceso inicia en uno de estos estados y se mueve sucesivamente de un estado a otro. Cada movimiento se llama un Si la cadena se encuentra actualmente en estado\(s_i\), entonces se mueve al estado\(s_j\) en el siguiente paso con una probabilidad denotada por\(p_{ij}\), y esta probabilidad no depende de en qué estados se encontraba la cadena antes del estado actual.

\(p_{ij}\)Las probabilidades se llaman El proceso puede permanecer en el estado en el que se encuentra, y esto ocurre con probabilidad\(p_{ii}\). Una distribución inicial de probabilidad, definida en\(S\), especifica el estado inicial. Por lo general, esto se hace especificando un estado particular como estado inicial.

R. A. Howard ¹ nos proporciona una descripción pintoresca de una cadena de Markov como una rana saltando sobre un juego de almohadillas de lirio. La rana comienza en una de las almohadillas y luego salta de lirio a almohadilla de lirio con las probabilidades de transición adecuadas.

[examen 11.1.1] Según Kameny, Snell y Thompson, ² la Tierra de Oz es bendecida por muchas cosas, pero no por el buen tiempo. Nunca tienen dos buenos días seguidos. Si tienen un buen día, es tan probable que tengan nieve como lluvia al día siguiente. Si tienen nieve o lluvia, tienen una posibilidad parejo de tener la misma al día siguiente. Si hay cambio de nieve o lluvia, solo la mitad del tiempo es esto un cambio a un buen día. Con esta información formamos una cadena de Markov de la siguiente manera. Tomamos como estados los tipos de clima R, N y S. A partir de la información anterior determinamos las probabilidades de transición. Estos se representan más convenientemente en una matriz cuadrada como\[\mat {P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox {R} & \mbox {N} & \mbox {S} \cr \mbox {R} & 1/2 & 1/4 & 1/4 \cr \mbox {N} & 1/2 & 0 & 1/2 \cr \mbox {S} & 1/4 & 1/4 & 1/2\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

Matriz de Transición

Las entradas en la primera fila de la matriz\(\mat {P}\) en Ejemplo [examen 11.1.1] representan las probabilidades para los diversos tipos de clima después de un día lluvioso. De igual manera, las entradas en la segunda y tercera fila representan las probabilidades para los diversos tipos de clima después de días agradables y nevados, respectivamente. Tal matriz cuadrada se llama el, o el.

Consideramos la cuestión de determinar la probabilidad de que, dado que la cadena está\(i\) hoy en estado, esté en estado\(j\) dentro de dos días. Denotamos esta probabilidad por\(p_{ij}^{(2)}\). En Ejemplo [examen 11.1.1], vemos que si hoy es lluvioso entonces el evento de que está nevado dentro de dos días es la unión disjunta de los tres eventos siguientes: 1) es lluvioso mañana y nevado dentro de dos días, 2) es agradable mañana y nevado dentro de dos días, y 3) está nevado mañana y nevado dos días a partir de ahora. La probabilidad del primero de estos eventos es producto de la probabilidad condicional de que mañana sea lluvioso, dado que hoy es lluvioso, y la probabilidad condicional de que esté nevado dentro de dos días, dado que mañana es lluvioso. Usando la matriz de transición\(\mat{P}\), podemos escribir este producto como\(p_{11}p_{13}\). Los otros dos eventos también tienen probabilidades que se pueden escribir como productos de entradas de\(\mat{P}\). Así, tenemos\[p_{13}^{(2)} = p_{11}p_{13} + p_{12}p_{23} + p_{13}p_{33}\ .\] Esta ecuación debe recordarle al lector un punto producto de dos vectores; estamos punteando la primera fila de\(\mat {P}\) con la tercera columna de\(\mat {P}\). Esto es justo lo que se hace en la obtención de la\(1,3\) -entrada del producto de\(\mat {P}\) consigo mismo. En general, si una cadena de Markov tiene\(r\) estados, entonces\[p_{ij}^{(2)} = \sum_{k = 1}^r p_{ik}p_{kj}\ .\] El siguiente teorema general es fácil de probar mediante el uso de la observación e inducción anteriores.

[thm 11.1.1] Dejar\(\mat {P}\) ser la matriz de transición de una cadena de Markov. La entrada\(ij\) th\(p_{ij}^{(n)}\) de la matriz\(\mat {P}^n\) da la probabilidad de que la cadena de Markov, comenzando en estado\(s_i\), estará en estado\(s_j\) después de\(n\) pasos. La prueba de este teorema se deja como ejercicio (Ejercicio [exer 11.1.18]).

[examen 11.1.1.5] (Ejemplo [examen 11.1.1] continuado) Consideremos de nuevo el clima en la Tierra de Oz Sabemos que los poderes de la matriz de transición nos dan información interesante sobre el proceso a medida que evoluciona. Nos interesará particularmente el estado de la cadena después de un gran número de pasos. El programa MatrixPowers calcula los poderes de\(\mat{P}\).

Hemos corrido el programa MatrixPowers for the Land of Oz ejemplo para computar los sucesivos poderes\(\mat{P}\) del 1 al 6. Los resultados se muestran en la Tabla [cuadro 11.1]. Observamos que después de seis días nuestras predicciones meteorológicas son, con una precisión de tres decimales, independientes del clima actual. Las probabilidades para los tres tipos de clima, R, N y S, son .4, .2 y .4 sin importar dónde comenzó la cadena. Este es un ejemplo de un tipo de cadena de Markov llamada cadena de Markov. Para este tipo de cadenas, es cierto que las predicciones de largo alcance son independientes del estado inicial. No todas las cadenas son regulares, pero esta es una clase importante de cadenas que estudiaremos a detalle más adelante.

\[\mat{P}^1 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{Rain}&\mbox{Nice}&\mbox{Snow} \cr \mbox{Rain} & .500 & .250 & .250 \cr \mbox{Nice} & .500 & .000 & .500 \cr \mbox{Snow} & .250 & .250 & .500 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]\[\mat {P}^2 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{Rain}&\mbox{Nice}&\mbox{Snow} \cr \mbox{Rain} & .438 & .188 & .375 \cr \mbox{Nice} & .375 & .250 & .375 \cr \mbox{Snow} & .375 & .188 & .438 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]\[\mat {P}^3 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{ Rain}&\mbox{Nice} &\mbox{Snow} \cr \mbox{Rain} & .406 & .203 & .391 \cr \mbox{Nice} & .406 & .188 & .406 \cr \mbox{Snow} & .391 & .203 & .406 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]\[\mat {P}^4 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{Rain}&\mbox{Nice}&\mbox{Snow} \cr \mbox{Rain} & .402 & .199 & .398 \cr \mbox{Nice} & .398 & .203 & .398 \cr \mbox{Snow} & .398 & .199 & .402 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]\[\mat {P}^5 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{Rain}&\mbox{Nice}&\mbox{Snow} \cr \mbox{Rain} & .400 & .200 & .399 \cr \mbox{Nice} & .400 & .199 & .400 \cr \mbox{Snow} & .399 & .200 & .400 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]\[\mat {P}^6 = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{Rain}&\mbox{Nice}&\mbox{Snow} \cr \mbox{Rain} & .400 & .200 & .400 \cr \mbox{Nice} & .400 & .200 & .400 \cr \mbox{Snow} & .400 & .200 & .400 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\]

Consideramos ahora el comportamiento a largo plazo de una cadena de Markov cuando se inicia en un estado elegido por una distribución de probabilidad en el conjunto de estados, que llamaremos a. Un vector de probabilidad con\(r\) componentes es un vector de fila cuyas entradas no son negativas y se suman a 1. Si\(\mat {u}\) es un vector de probabilidad que representa el estado inicial de una cadena de Markov, entonces pensamos que el componente\(i\) th representa la probabilidad de\(\mat {u}\) que la cadena comience en estado\(s_i\).

Con esta interpretación de estados de partida aleatorios, es fácil probar el siguiente teorema.

[thm 11.1.2] Dejar\(\mat{P}\) ser la matriz de transición de una cadena de Markov, y dejar\(\mat {u}\) ser el vector de probabilidad que representa la distribución inicial. Entonces la probabilidad de que la cadena esté en estado\(s_i\) después de\(n\) pasos es la entrada\(i\) th en el vector\[\mat{u}^{(n)} = \mat{u}{\mat{P}^n}\ .\] La prueba de este teorema se deja como ejercicio (Ejercicio [exer 11.1.19]).

Observamos que si queremos examinar el comportamiento de la cadena bajo el supuesto de que inicia en cierto estado\(s_i\), simplemente\(\mat {u}\) elegimos ser el vector de probabilidad con\(i\) th entrada igual a 1 y todas las demás entradas iguales a 0.

[examen 11.1.1.6] En el ejemplo Tierra de Oz (Ejemplo [examen 11.1.1]) dejar que el vector de probabilidad inicial\(\mat {u}\) sea igual\((1/3, 1/3, 1/3)\). Entonces podemos calcular la distribución de los estados después de tres días utilizando el Teorema [thm 11.1.2] y nuestro cálculo previo de\({\mat {P}^3}\). Obtenemos\[\begin{aligned} {\mat {u}}^{(3)} = {\mat {u}}{\mat {P}^3} &=& \pmatrix{ 1/3,& 1/3,& 1/3} \pmatrix{ .406 & .203 & .391 \cr .406 & .188 & .406 \cr .391 & .203 & .406 } \cr && \cr &=& \pmatrix{ .401,& .198,& .401} \ .\end{aligned}\]

Ejemplos

Los siguientes ejemplos de cadenas de Markov se utilizarán a lo largo del capítulo para ejercicios.

[examen 11.1.2] El Presidente de Estados Unidos le dice a la persona A su intención de postularse o no postularse en la próxima elección. Entonces A le transmite la noticia a B, quien a su vez le transmite el mensaje a C, y así sucesivamente, siempre a alguna persona nueva. Asumimos que existe una probabilidad de\(a\) que una persona cambie la respuesta de sí a no al transmitirla a la siguiente persona y una probabilidad de\(b\) que la cambie de no a sí. Elegimos como estados el mensaje, ya sea sí o no. La matriz de transición es entonces\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{yes} & \mbox{no} \cr \mbox{yes} & 1 - a & a \cr \mbox{no} & b & 1 - b\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\] El estado inicial representa la elección del Presidente.

[examen 11.1.3] Cada vez que un determinado caballo corre en una carrera de tres caballos, tiene probabilidad 1/2 de ganar, 1/4 de venir en segundo y 1/4 de venir en tercer lugar, independientemente del resultado de cualquier carrera anterior. Tenemos un proceso de ensayos independientes, pero también se puede considerar desde el punto de vista de la teoría de las cadenas de Markov. La matriz de transición es\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{W} & \mbox{P} & \mbox{S} \cr \mbox{W} & .5 & .25 & .25 \cr \mbox{P} & .5 & .25 & .25 \cr \mbox{S} & .5 & .25 & .25\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

-3pt

[examen 11.1.4] En la Edad Oscura, Harvard, Dartmouth y Yale solo admitieron estudiantes varones. Supongamos que, en ese momento, el 80 por ciento de los hijos de los hombres de Harvard fueron a Harvard y el resto fueron a Yale, 40 por ciento de los hijos de los hombres de Yale fueron a Yale, y el resto se dividió equitativamente entre Harvard y Dartmouth; y de los hijos de los hombres de Dartmouth, 70 por ciento fue a Dartmouth, 20 por ciento a Harvard, y 10 por ciento a Yale. Formamos una cadena de Markov con matriz de transición\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{H} & \mbox{Y} & \mbox{D} \cr \mbox{H} & .8 & .2 & 0 \cr \mbox{Y} & .3 & .4 & .3 \cr \mbox{D} & .2 & .1 & .7\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

-3pt

[examen 11.1.5] Modificar Ejemplo [examen 11.1.4] asumiendo que el hijo de un hombre de Harvard siempre iba a Harvard. La matriz de transición es ahora\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{H} & \mbox{Y} & \mbox{D} \cr \mbox{H} & 1 & 0 & 0 \cr \mbox{Y} & .3 & .4 & .3 \cr \mbox{D} & .2 & .1 & .7\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

-3pt

[examen 11.1.6] (Modelo Ehrenfest) El siguiente es un caso especial de un modelo, llamado el modelo Ehrenfest, ³ que ha sido utilizado para explicar la difusión de gases. El modelo general se discutirá en detalle en la Sección 1.5. Tenemos dos urnas que, entre ellas, contienen cuatro bolas. En cada paso, una de las cuatro bolas se elige al azar y se mueve de la urna en la que se encuentra a la otra urna. Elegimos, como estados, el número de bolas en la primera urna. La matriz de transición es entonces\[\mat {P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & 0 & 1 & 2 & 3 & 4 \cr 0 & 0 & 1 & 0 & 0 & 0 \cr 1 & 1/4 & 0 & 3/4 & 0 & 0 \cr 2 & 0 & 1/2 & 0 & 1/2 & 0 \cr 3 & 0 & 0 & 3/4 & 0 & 1/4 \cr 4 & 0 & 0 & 0 & 1 & 0 \cr\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

[examen 11.1.7] (Modelo genético) El tipo más simple de herencia de rasgos en animales ocurre cuando un rasgo se rige por un par de genes, cada uno de los cuales puede ser de dos tipos, digamos G y g. Un individuo puede tener una combinación GG o Gg (que es genéticamente lo mismo que gG) o gg. Muy a menudo los tipos GG y Gg son indistinguibles en apariencia, y luego decimos que el gen G domina al gen g. Se llama a un individuo si tiene genes GG, si tiene gg, y con una mezcla de Gg.

En el apareamiento de dos animales, la descendencia hereda un gen del par de cada progenitor, y la suposición básica de la genética es que estos genes se seleccionan al azar, independientemente unos de otros. Esta suposición determina la probabilidad de ocurrencia de cada tipo de descendencia. La descendencia de dos padres puramente dominantes debe ser dominante, de dos padres recesivos debe ser recesiva, y de uno dominante y uno recesivo deben ser híbridos.

En el apareamiento de un animal dominante y uno híbrido, cada descendencia debe obtener un gen G del primero y tiene las mismas posibilidades de obtener G o g del segundo. De ahí que exista la misma probabilidad de obtener una descendencia dominante o híbrida. Nuevamente, en el apareamiento de un recesivo y otro híbrido, existe una posibilidad par de conseguir ya sea un recesivo o un híbrido. En el apareamiento de dos híbridos, la descendencia tiene igual probabilidad de obtener G o g de cada progenitor. De ahí que las probabilidades sean 1/4 para GG, 1/2 para Gg y 1/4 para gg.

Considerar un proceso de apareamientos continuos. Comenzamos con un individuo de carácter genético conocido y lo apareamos con un híbrido. Suponemos que hay al menos una descendencia. Una descendencia se elige al azar y se aparea con un híbrido y este proceso se repite a través de varias generaciones. El tipo genético de la descendencia elegida en generaciones sucesivas puede ser representado por una cadena de Markov. Los estados son dominantes, híbridos y recesivos, e indicados por GG, Gg y gg respectivamente.

Las probabilidades de transición son\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{GG} & \mbox{Gg} & \mbox{gg} \cr \mbox{GG} & .5 & .5 & 0 \cr \mbox{Gg} & .25 & .5 & .25 \cr \mbox{gg} & 0 & .5 & .5 \crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

[examen 11.1.8] Modificar Ejemplo [examen 11.1.7] de la siguiente manera: En lugar de aparear la descendencia más antigua con un híbrido, la apareamos con un individuo dominante. La matriz de transición es\[\mat{P} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% & \mbox{GG} & \mbox{Gg} &\mbox{gg} \cr \mbox{GG} & 1 & 0 & 0 \cr \mbox{Gg} & .5 & .5 & 0 \cr \mbox{gg} & 0 & 1 & 0\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

[examen 11.1.9] Comenzamos con dos animales del sexo opuesto, los apareamos, seleccionamos dos de sus crías del sexo opuesto, y los apareamos, y así sucesivamente. Para simplificar el ejemplo, asumiremos que el rasgo bajo consideración es independiente del sexo.

Aquí un estado es determinado por un par de animales. De ahí que los estados de nuestro proceso serán:\(s_1 = (\mbox{GG},\mbox{GG})\),\(s_2 = (\mbox{GG},\mbox{Gg})\),\(s_3 = (\mbox{GG},\mbox{gg})\),\(s_4 = (\mbox{Gg},\mbox{Gg})\),\(s_5 = (\mbox{Gg},\mbox{gg})\), y\(s_6 = (\mbox{gg},\mbox{gg})\).

Ilustramos el cálculo de las probabilidades de transición en términos del estado\(s_2\). Cuando el proceso está en este estado, uno de los progenitores tiene genes GG, el otro Gg. De ahí que la probabilidad de una descendencia dominante es 1/2. Entonces la probabilidad de transición a\(s_1\) (selección de dos dominantes) es 1/4, transición a\(s_2\) es 1/2, y a\(s_4\) es 1/4. Los demás estados son tratados de la misma manera. La matriz de transición de esta cadena es:

\[{\mat{P}^1} = \begingroup \m@th \@tempdima 8.75\p@ \setbox\z@\vbox{% \def\cr{\crcr\noalign{\kern 2\p@\global\let\cr\endline}}% \ialign{$##$\hfil\kern 2\p@\kern\@tempdima&\thinspace\hfil$##$\hfil &&\quad\hfil$##$\hfil\crcr \omit\strut\hfil\crcr\noalign{\kern-\snellbaselineskip}% &\mbox{GG,GG}&\mbox{GG,Gg}&\mbox{GG,gg}&\mbox{Gg,Gg}&\mbox{Gg,gg}&\mbox{gg,gg}\cr \mbox{GG,GG} & 1.000 & .000 & .000 & .000 & .000 & .000\cr \mbox{GG,Gg} & .250 & .500 & .000 & .250 & .000 & .000\cr \mbox{GG,gg} & .000 & .000 & .000 & 1.000 & .000 & .000\cr \mbox{Gg,Gg} & .062 & .250 & .125 & .250 & .250 & .062\cr \mbox{Gg,gg} & .000 & .000 & .000 & .250 & .500 & .250\cr \mbox{gg,gg} & .000 & .000 & .000 & .000 & .000 & 1.000\crcr\omit\strut\cr}}% \setbox\tw@\vbox{\unvcopy\z@\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{\unhbox\@ne\unskip\global\setbox\@ne\lastbox}% \setbox\tw@\hbox{$\kern\wd\@ne\kern-\@tempdima\left(\kern-\wd\@ne \global\setbox\@ne\vbox{\box\@ne\kern 2\p@}% \vcenter{\kern-\ht\@ne\unvbox\z@\kern-\snellbaselineskip}\,\right)$}% \null\;\vbox{\kern\ht\@ne\box\tw@}\endgroup\ .\]

[examen 11.1.10] (Stepping Stone Model) Nuestro último ejemplo es otro ejemplo que se ha utilizado en el estudio de la genética. Se llama el modelo. ⁴ En este modelo tenemos una\(n\) matriz\(n\) -by- de cuadrados, y cada cuadrado es inicialmente cualquiera de\(k\) diferentes colores. Para cada paso, se elige un cuadrado al azar. Esta plaza elige entonces a uno de sus ocho vecinos al azar y asume el color de ese vecino. Para evitar problemas de límites, asumimos que si un cuadrado\(S\) está en el límite de la izquierda, digamos, pero no en una esquina, es adyacente al cuadrado\(T\) en el límite de la derecha en la misma fila que\(S\), y también\(S\) es adyacente a los cuadrados justo arriba y abajo\(T\). Se hace una suposición similar sobre los cuadrados en los límites superior e inferior. El cuadrado superior de la esquina izquierda es adyacente a tres vecinos obvios, a saber, los cuadrados debajo de él, a su derecha, y diagonalmente abajo y a la derecha. Cuenta con otros cinco vecinos, que son los siguientes: los otros tres cuadrados de esquina, el cuadrado debajo de la esquina superior derecha, y el cuadrado a la derecha de la esquina inferior izquierda. Las otras tres esquinas también tienen, de manera similar, ocho vecinos. (Estas adyacencias son mucho más fáciles de entender si uno imagina convertir la matriz en un cilindro pegando el borde superior e inferior, y luego convirtiendo el cilindro en una rosca pegando los dos límites circulares juntos). Con estas adyacencias, cada cuadrado de la matriz es adyacente a exactamente otros ocho cuadrados.

Un estado en esta cadena de Markov es una descripción del color de cada cuadrado. Para esta cadena de Markov el número de estados es\(k^{n^2}\), que incluso para una pequeña matriz de cuadrados es enorme. Este es un ejemplo de una cadena de Markov que es fácil de simular pero difícil de analizar en términos de su matriz de transición. El programa SteppingStone simula esta cadena. Hemos comenzado con una configuración inicial aleatoria de dos colores con\(n = 20\) y mostramos el resultado después de que el proceso se haya realizado durante algún tiempo en la Figura [fig 11.2].

Este es un ejemplo de una cadena de Markov. Este tipo de cadena se estudiará en la Sección 1.2. Uno de los teoremas probados en esa sección, aplicado al presente ejemplo, implica que con probabilidad 1, las piedras eventualmente serán todas del mismo color. Al ver correr el programa, se puede ver que se establecen territorios y se desarrolla una batalla para ver qué color sobrevive. En cualquier momento la probabilidad de que un color en particular gane es igual a la proporción de la matriz de este color. Se le pide que demuestre esto en Ejercicio [sec 11.2]. [exer 11.2.31].

i [exer 11.1.1] Está lloviendo en la Tierra de Oz Determinar un árbol y una medida de árbol para los próximos tres días de clima. Encontrar\(\mat {w}^{(1)}, \mat {w}^{(2)},\)\(\mat {w}^{(3)}\) y comparar con los resultados obtenidos de\(\mat {P},~\mat {P}^2,\) y\(\mat {P}^3\).

i [exer 11.1.2] En Ejemplo [examen 11.1.2], let\(a = 0\) y\(b = 1/2\). Find\(\mat {P},~ \mat {P}^2,\) y\(\mat {P}^3.\) ¿Qué\(\mat {P}^n\) sería? ¿Qué pasa con\(\mat {P}^n\) lo que\(n\) tiende al infinito? Interpreta este resultado.

i [exer 11.1.3] En Ejemplo [examen 11.1.3], encontrar\(\mat{P}\),\(\mat {P}^2,\) y\(\mat {P}^3.\) ¿Qué es\(\mat {P}^n\)?

i [exer 11.1.4] Por ejemplo [examen 11.1.4], encuentra la probabilidad de que el nieto de un hombre de Harvard fuera a Harvard.

i [exer 11.1.5] En Ejemplo [examen 11.1.5], encuentra la probabilidad de que el nieto de un hombre de Harvard fuera a Harvard.

i [exer 11.1.6] En Ejemplo [examen 11.1.7], supongamos que comenzamos con un híbrido criado a un híbrido. Find\(\mat {u}^{(1)},\)\(\mat {u}^{(2)},\) y\(\mat {u}^{(3)}.\) ¿Qué\(\mat {u}^{(n)}\) sería?

i [exer 11.1.7] Encuentra las matrices\(\mat{ P}^2,~\mat {P}^3,~\mat {P}^4,\) y\(\mat {P}^n\) para la cadena de Markov determinadas por la matriz de transición\(\mat {P} = \pmatrix{ 1 & 0 \cr 0 & 1 \cr}\). Haga lo mismo para la matriz de transición\(\mat {P} = \pmatrix{ 0 & 1 \cr 1 & 0 \cr}\). Interpretar lo que sucede en cada uno de estos procesos.

i [exer 11.1.8] Una determinada máquina calculadora utiliza únicamente los dígitos 0 y 1. Se supone que transmite uno de estos dígitos a través de varias etapas. Sin embargo, en cada etapa, existe la probabilidad de\(p\) que el dígito que ingresa a esta etapa se cambie cuando salga y una probabilidad de\(q = 1 - p\) que no lo haga Formar una cadena de Markov para representar el proceso de transmisión tomando como estados los dígitos 0 y 1. ¿Cuál es la matriz de probabilidades de transición?

i [exer 11.1.9] Para la cadena de Markov en Ejercicio [exer 11.1.8], dibuje un árbol y asigne una medida de árbol asumiendo que el proceso comienza en el estado 0 y se mueve a través de dos etapas de transmisión. ¿Cuál es la probabilidad de que la máquina, después de dos etapas, produzca el dígito 0 (es decir, el dígito correcto)? ¿Cuál es la probabilidad de que la máquina nunca haya cambiado el dígito de 0? Ahora vamos\(p = .1\). Usando el programa MatrixPowers, calcule la potencia número 100 de la matriz de transición. Interpretar las entradas de esta matriz. Repite esto con\(p = .2\). ¿Por qué los poderes centésimos parecen ser los mismos?

i [exer 11.1.10] Modificar el programa MatrixPowers para que imprima el promedio\(\mat {A}_n\) de los poderes\(\mat {P}^n\),\(n = 1\) para que\(N\). Prueba tu programa en el ejemplo de Land of Oz y compara\(\mat {A}_n\) y\(\mat {P}^n.\)

i [exer 11.1.11] Supongamos que la profesión de un hombre puede clasificarse como profesional, trabajador calificado o trabajador no calificado. Supongamos que, de los hijos de hombres profesionales, el 80 por ciento son profesionales, el 10 por ciento son trabajadores calificados y el 10 por ciento son trabajadores no calificados. En el caso de hijos de trabajadores calificados, 60 por ciento son trabajadores calificados, 20 por ciento son profesionales y 20 por ciento son no calificados. Por último, en el caso de los trabajadores no calificados, el 50 por ciento de los hijos son trabajadores no calificados, y el 25 por ciento cada uno se encuentra en las otras dos categorías. Asumir que cada hombre tiene al menos un hijo, y formar una cadena de Markov siguiendo la profesión de un hijo escogido al azar de una familia dada a través de varias generaciones. Configurar la matriz de probabilidades de transición. Encuentra la probabilidad de que un nieto escogido al azar de un trabajador no calificado sea un hombre profesional.

i [exer 11.1.12] En Ejercicio [exer 11.1.11], asumimos que todo hombre tiene un hijo. Supongamos en cambio que la probabilidad de que un hombre tenga al menos un hijo es .8. Formar una cadena de Markov con cuatro estados. Si un hombre tiene un hijo, la probabilidad de que este hijo esté en una profesión determinada es la misma que en Ejercicio [exer 11.1.11]. Si no hay hijo, el proceso pasa al estado cuatro que representa a familias cuya línea masculina se ha extinguido. Encuentra la matriz de probabilidades de transición y encuentra la probabilidad de que un nieto elegido al azar de un trabajador no calificado sea un hombre profesional.

i [exer 11.1.14] Escribir un programa para computar\(\mat {u}^{(n)}\) dado\(\mat {u}\) y\(\mat{P}\). Usa este programa para calcular\(\mat {u}^{(10)}\) para el ejemplo de Land of Oz, con\(\mat {u} = (0, 1, 0)\), y con\(\mat {u} = (1/3, 1/3, 1/3)\).

i [exer 11.1.15] Usando el programa MatrixPowers,\(\mat {P}^6\) busque\(\mat {P}^1\) a través de Ejemplos [examen 11.1.7] y [examen 11.1.8]. Vea si puede predecir la probabilidad de largo alcance de encontrar el proceso en cada uno de los estados para estos ejemplos.

i [exer 11.1.16] Escribir un programa para simular los resultados de una cadena de Markov después de los\(n\) pasos, dado el estado inicial inicial y la matriz de transición\(\mat{P}\) como datos (ver Ejemplo [examen 11.1.10]). Conserve este programa para su uso en problemas posteriores.

i [exer 11.1.17] Modificar el programa de Ejercicio [exer 11.1.16] para que realice un seguimiento de la proporción de veces en cada estado en\(n\) pasos. Ejecutar el programa modificado para diferentes estados de inicio para Ejemplo [examen 11.1.1] y Ejemplo [examen 11.1.6]. ¿Afecta el estado inicial la proporción de tiempo que se pasa en cada uno de los estados si\(n\) es grande?

i [exer 11.1.18] Demostrar teorema [thm 11.1.1].

i [exer 11.1.19] Demostrar teorema [thm 11.1.2].

i [exer 11.1.20] Considera el siguiente proceso. Tenemos dos monedas, una de las cuales es justa, y la otra tiene cabezas en ambos lados. Damos estas dos monedas a nuestro amigo, quien elige una de ellas al azar (cada una con probabilidad 1/2). Durante el resto del proceso, usa solo la moneda que eligió. Ahora procede a lanzar la moneda muchas veces, reportando los resultados. Consideramos que este proceso consiste únicamente en lo que ella nos informa.

1. Dado que ella reporta una cabeza en el\(n\) th tiro, ¿cuál es la probabilidad de que una cabeza sea arrojada al\((n+1)\) st lanzar?
2. Considera que este proceso tiene dos estados, cabeza y cola. Al computar las otras tres probabilidades de transición análogas a la de la parte (a), anote una “matriz de transición” para este proceso.
3. Ahora supongamos que el proceso está en estado “cabezas” tanto en el\((n-1)\) st como en el\(n\) th lanzamiento. Encuentra la probabilidad de que aparezca una cabeza en el\((n+1)\) st lanzamiento.
4. ¿Este proceso es una cadena de Markov?