6.4: Uniformización

Hasta ahora, hemos discutido los procesos de Markov bajo el supuesto de que\(q_{ii} = 0\) (\(i.e.\), no se permiten transiciones de un estado a sí mismo). Consideramos ahora qué pasa si se elimina esta restricción. Supongamos que comenzamos con algún proceso de Markov definido por un conjunto de tasas de transición\(q_{ij}\) con\(q_{ii} = 0\), y modificamos este proceso por alguna elección arbitraria de\(q_{ii}\geq 0\) para cada estado\(i\). Esta modificación cambia la cadena incrustada de Markov, ya que\(\nu_i\) se incrementa de\(\sum_{k \neq i}q_{ik}\) a\(\sum_{k\neq i} q_{ik} + q_{ii}\). De (6.1.5),\(P_{ij}\) se cambia a\(q_{ij}/\nu_i\) para el nuevo valor de\(\nu_i\) para cada uno\(i, j\). Así se cambian las probabilidades de estado estacionario\(\pi_i\) para la cadena incrustada. El proceso de Markov {\(X(t); t\geq 0\)} no se cambia, ya que una\(i\) transición de a sí mismo no cambia\(X(t)\) y no cambia la distribución del tiempo hasta la siguiente transición a un estado diferente. Las probabilidades de estado estacionario para el proceso aún satisfacen

\[ p_j\nu_j = \sum_k p_kq_{kj} \quad ; \quad \sum_i p_i =1 \nonumber \]

La adición del nuevo término\(q_{jj}\) aumenta en\(q_{jj}\),\(\nu_j\) aumentando así el lado izquierdo por\(p_j\, q_{jj}\). El lado derecho se incrementa de manera similar en\(p_j\, q_{jj}\), de manera que la solución no se modifica (como ya determinamos que debe ser).

Una forma particularmente conveniente de agregar autotransiciones es agregarlas de tal manera que la tasa de transición sea\(\nu_j\) la misma para todos los estados. Suponiendo que las tasas de transición {\(\nu_i; i\geq 0\)} están limitadas, definimos\(\nu^*\) como\(\sup_j \,\nu_j\) para las tasas de transición originales. Entonces nos fijamos\(q_{jj} = \nu^* -\sum_{k\neq j} q_{jk}\) para cada uno\(j\). Con esta adición de autotransiciones, todas las tasas de transición se convierten en 6\(\nu^*\). De (6.2.15), vemos que las nuevas probabilidades de estado estacionario,\(\pi_i^*\), en la cadena incrustada de Markov se vuelven iguales a las probabilidades de proceso de estado estacionario,\(p_i\). Naturalmente, también podríamos elegir cualquiera\(\nu\) mayor que\(\nu^*\) e incrementar cada uno\(q_{jj}\) para que todas las tasas de transición sean iguales a ese valor de\(\nu\). Cuando las tasas de transición se cambian de esta manera, la cadena incrustada resultante se llama cadena uniformizada y el proceso de Markov se llama proceso uniformizado. El proceso uniformizado es el mismo que el proceso original, excepto que cantidades como el número de transiciones en algún intervalo son diferentes debido a las autotransiciones

Suponiendo que todas las tasas de transición son iguales a\(\nu^*\), las nuevas probabilidades de transición en la cadena incrustada se convierten en\(P_{ij}^* = q_{ij}/\nu^*\). Dejar\(N(t)\) ser el número total de transiciones que ocurren de 0 a\(t\) en el proceso uniformizado. Dado que la tasa de transiciones es la misma desde todos los estados y los intervalos entre transiciones son independientes y distribuidos exponencialmente de manera idéntica,\(N(t)\) es un proceso de conteo de Poisson de tasa\(\nu^*\). Además,\(N(t)\) es independiente de la secuencia de transiciones en la cadena uniformizada incrustada de Markov. Así, dado que\(N(t) = n\), la probabilidad de que\(X(t) = j\) dado eso\(X(0) = i\) es solo la probabilidad de que la cadena incrustada pase de\(i\) a\(j\) en\(\nu\) pasos,\(i.e.\),\(P_{ij}^{*n}\). Esto nos da otra fórmula para calcular\(P_{ij} (t)\), (\(i.e.\), la probabilidad que\(X(t) = j\) dado eso\(X(0) = i\)).

\[ P_{ij}(t) = \sum^{\infty}_{n=0} P^{*n}_{ij} \dfrac{e^{-\nu^*t}(\nu^*t)^n}{n!} \nonumber \]

Otra situación en la que el proceso uniformizado es útil es en extender la teoría de la decisión de Markov a los procesos de Markov, pero no lo perseguimos.