12.2: Descripción general

12.2.1 Procesos de Markov

De manera más general, supongamos que tenemos un sistema que posee un conjunto discreto de estados, que puede ser etiquetado por\(0, 1, 2, \dots\) un entero Un proceso de Markov es un conjunto de reglas probabilísticas que nos indican cómo elegir un nuevo estado del sistema, basado en el estado actual del sistema. Si el sistema se encuentra actualmente en estado\(n\), entonces la probabilidad de elegir estado\(m\) en el siguiente paso se denota por\(P(m|n)\). A esto lo llamamos la “probabilidad de transición” de estado\(n\) a estado\(m\). Al aplicar repetidamente el proceso de Markov, movemos el sistema a través de una secuencia aleatoria de estados,\(\{n^{(0)}, n^{(1)}, n^{(2)}, n^{(3)}, \dots\}\), donde\(n^{(k)}\) denota el estado en el paso\(k\). Este tipo de secuencia aleatoria se llama cadena de Markov.

Existe una importante restricción en las probabilidades de transición del proceso de Markov. Debido a que el sistema debe transitar a algún estado en cada paso,

\[\sum_{m} P(m|n) = 1 \;\;\; \mathrm{for}\;\mathrm{all}\; n \in \{0, 1, \dots\}.\]

A continuación, presentamos la idea de probabilidades estatales. Supongamos que miramos el conjunto de todas las cadenas posibles de Markov que pueden ser generadas por un proceso dado de Markov. Vamos a\(\{p_0^{(k)}, p_1^{(k)}, p_2^{(k)}, \dots \}\) denotar las probabilidades para los diversos estados,\(n = 0, 1, 2,\dots\), a paso\(k\). Ante estos, ¿cuáles son las probabilidades de que los distintos estados estén a paso\(k+1\)? Según el teorema de Bayes, podemos escribir\(p_m^{(k+1)}\) como suma sobre probabilidades condicionales:

\[p_m^{(k+1)} = \sum_{n} P(m|n) \, p_n^{(k)}.\]

Esto tiene la forma de una ecuación matricial:

\[\begin{bmatrix}p_0^{(k+1)} \\ p_1^{(k+1)} \\ \vdots\end{bmatrix} = \begin{bmatrix} P(0|0) & P(0|1) & \cdots \\ P(1|0) & P(1|1) & \cdots \\ \vdots & \vdots\end{bmatrix} \, \begin{bmatrix}p_0^{(k)} \\ p_1^{(k)} \\ \vdots\end{bmatrix},\]

donde la matriz en el lado derecho se llama la matriz de transición. Cada elemento de esta matriz es un número real entre\(0\) y\(1\); además, debido a la mencionada conservación de probabilidades de transición, cada columna de la matriz suma a\(1\). En matemáticas, las matrices de este tipo se denominan “matrices estocásticas izquierdas”.

12.2.2 Distribución Estacionaria

Una distribución estacionaria es un conjunto de probabilidades estatales\(\{\pi_0, \pi_1, \pi_2, \dots \}\), de tal manera que pasar por un paso del proceso de Markov deja las probabilidades sin cambios:

\[\pi_m = \sum_{n} P(m|n) \, \pi_n.\]

Al observar la ecuación de matriz equivalente, vemos que el vector\([\pi_0; \pi_1; \pi_2; \dots]\) debe ser un vector propio de la matriz de transición, con el valor propio 1. Resulta que existe un teorema matemático (el teorema de Perrón—Frobenius) que establece que cada matriz estocástica izquierda tiene un vector propio de este tipo. De ahí que cada proceso de Markov posee una distribución estacionaria. Las distribuciones estacionarias son las principales razones por las que nos interesan los procesos de Markov. En física, a menudo nos interesa utilizar los procesos de Markov para modelar sistemas termodinámicos, de tal manera que una distribución estacionaria representa la distribución de microestados termodinámicos bajo equilibrio térmico. (Veremos un ejemplo en la siguiente sección.) Conociendo la distribución estacionaria, podemos averiguar todas las propiedades termodinámicas del sistema, como su energía promedio.

En principio, una forma de averiguar la distribución estacionaria es construir la matriz de transición, resolver el problema del valor propio y seleccionar el vector propio con el valor propio 1. El problema es que a menudo nos interesan sistemas donde el número de estados posibles es enorme, ¡en algunos casos, mayor que el número de átomos en el universo! En tales casos, no es posible generar explícitamente la matriz de transición, y mucho menos resolver el problema del valor propio.

Ahora nos encontramos con un hecho feliz e importante: para una gran clase de procesos de Markov, la distribución de estados dentro de una cadena de Markov suficientemente larga convergerá a la distribución estacionaria. De ahí que para conocer la distribución estacionaria, simplemente necesitamos generar una larga cadena de Markov, y estudiar sus propiedades estadísticas.