11: Cadenas Markov

Última actualización
Guardar como PDF

Page ID: 150070

Charles M. Grinstead & J. Laurie Snell
Swarthmore College and Dartmouth College via American Mathematical Society

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

La teoría moderna de la probabilidad estudia procesos de azar para los cuales el conocimiento de resultados previos influye en las predicciones para experimentos futuros. En principio, cuando observamos una secuencia de experimentos de azar, todos los resultados pasados podrían influir en nuestras predicciones para el siguiente experimento. Por ejemplo, este debería ser el caso al predecir las calificaciones de un estudiante en una secuencia de exámenes en un curso. Pero permitir tanta generalidad haría muy difícil probar resultados generales. En 1907, A. A. Markov inició el estudio de un nuevo tipo importante de proceso casual. En este proceso, el resultado de un experimento dado puede afectar el resultado del siguiente experimento. Este tipo de proceso se llama cadena de Markov.

11.1: Introducción
La mayor parte de nuestro estudio de probabilidad se ha ocupado de procesos de ensayos independientes. Estos procesos son la base de la teoría clásica de probabilidad y gran parte de la estadística. Hemos discutido dos de los principales teoremas para estos procesos: la Ley de Números Grandes y el Teorema del Límite Central.
11.2: Cadenas de Markov Absorbentes
El tema de las cadenas de Markov se estudia mejor considerando tipos especiales de cadenas de Markov.
11.3: Cadenas Ergódicas de Markov
Un segundo tipo importante de cadena de Markov que estudiaremos en detalle es una cadena de Markov
11.4: Teorema de Límite Fundamental para Cadenas Regulares
11.5: Tiempo Medio de Primer Paso para Cadenas Ergódicas
En esta sección consideramos dos cantidades descriptivas estrechamente relacionadas de interés para las cadenas ergódicas: el tiempo medio para regresar a un estado y el tiempo medio para pasar de un estado a otro.

Miniatura: Diagrama que representa un proceso Markov de dos estados, con los estados etiquetados E y A. Cada número representa la probabilidad de que el proceso de Markov cambie de un estado a otro, con la dirección indicada por la flecha. Si el proceso de Markov está en el estado A, entonces la probabilidad de que cambie al estado E es 0.4, mientras que la probabilidad de que permanezca en el estado A es 0.6. (CC BY-SA 3.0; Joxemai4 vía Wikipedia).