7.6: Martingales

Una martingala se define como un proceso estocástico de tiempo entero {\(Z_n; n ≥ 1\)} con las propiedades que\(\mathsf{E} [|Zn|] < \infty \) para todos\(n ≥ 1\) y

\[ \mathsf{E}[Z_n|Z_{n-1},Z_{n-2},...,Z_1]=Z_{n-1}; \quad \text{for all } n\geq 2 \nonumber \]

El nombre martingala proviene de la terminología del juego donde las martingales se refieren a estrategias de juego en las que la cantidad a apostar está determinada por la historia pasada de ganar o perder. Si uno visualiza\(Z_n\) como representando la fortuna del jugador al final de la\(n^{th}\) jugada, la definición anterior significa, primero, que el juego es justo (en el sentido de que el incremento esperado de la fortuna de juego\(n − 1\) a\(n\) es cero), y, segundo, que la fortuna esperada en el \(n^{th}\)el juego depende del pasado sólo a través de la fortuna en juego\(n − 1\).

La parte importante de la definición de una martingala, y lo que distingue a las martingales de otros tipos de procesos, es la forma de dependencia en (7.6.1). Sin embargo, la restricción que también\( \mathsf{E} [|Z_n|] < \infty \) es importante, particularmente porque las martingales son tan abstractas y generales que a menudo se pierde la perspicacia para entender intuitivamente cuando esta restricción es importante. Se aconseja a los estudiantes que ignoren esta restricción al mirar por primera vez algo que podría ser una martingala, y que revisen más tarde después de adquirir algo de comprensión.

Hay dos interpretaciones de (7.6.1); la primera y más directa es verla como una taquigrafía\( \mathsf{E} [Z_n |Z_{n−1} =z_{n−1},\, Z_{n−2} =z_{n−2}, . . . , Z_1 =z_1] = z_{n−1} \) para todos los valores de muestra posibles\(z_1, z_2, . . . , z_{n−1}\). El segundo es que\(\mathsf{E} [Z_n| Z_{n−1} =z_{n−1}, . . . , Z_1 =z_1]\) es una función de los valores de muestra\(z_1, . . . , z_{n−1}\) y por lo tanto\(\mathsf{E} [Z_n| Z_{n−1}, . . . , Z_1]\) es una variable aleatoria que es una función de las variables aleatorias\(Z_1, . . . , Z_{n−1}\) (y, para una martingala, una función solamente de\(Z_{n−1}\)). Se anima a los estudiantes a tomar el primer punto de vista inicialmente y a escribir el tipo de expresión expandida en casos de confusión. El segundo punto de vista, sin embargo, es muy poderoso, y, con la experiencia, es el punto de vista más útil.

Es importante entender la diferencia entre las martingales y las cadenas de Markov. Para la cadena de Markov {\(X_n; n ≥ 1\)}, cada rv\(X_n\) está condicionado al pasado solo a través\(X_{n−1}\), mientras que para la martingala {\(Z_n; n ≥ 1\)}, es solo el valor esperado de\(Z_n\) que está condicionado al pasado solo a través\(Z_{n−1}\). El rv en\(Z_n\) sí, condicionado\(Z_{n−1}\), también puede depender de todos los anteriores.\(Z_i\) Es muy sorprendente que se puedan desarrollar tantos resultados usando una forma de acondicionamiento tan débil

En lo que sigue, damos una serie de ejemplos importantes de martingales, luego desarrollamos algunos resultados sobre las martingales, y luego discutimos esos resultados en el contexto de los ejemplos.

Ejemplos sencillos de martingales

Ejemplo 7.6.1 (Caminatas aleatorias) Un ejemplo de una martingala es una caminata aleatoria de media cero, ya que si\(Z_n = X_1 + X_2 +... + X_n\), donde los\(X_i\) son IID y la media cero, entonces

\[ \begin{align} \mathsf{E} [ Z_n|Z_{n-1}, ..., Z_1] \quad &= \quad \mathsf{E} [X_n +Z_{n-1}|Z_{n-1},...,Z_1 ] \\ &= \quad \mathsf{E} [X_n] +Z_{n-1} \quad = \quad Z_{n-1} \end{align} \nonumber \]

Extendiendo este ejemplo, supongamos que {\(X_i; i ≥ 1\)} es una secuencia arbitraria de variables aleatorias IID con media\(\overline{X} \) y let\(\tilde{X}_i = X_i − \overline{X}\). Entonces {\(S_n; n ≥ 1\)} es una caminata aleatoria con\(S_n = X_1 +... + X_n\) y {\(Z_n; n ≥ 1\)} es una martingala con\(Z_n = \tilde{X}_1 +... + \tilde{X}_n\). La caminata aleatoria y la martingala simplemente se relacionan por\(Z_n = S_n − n\overline{X}\), y así los resultados generales sobre las martingales se pueden aplicar fácilmente a caminatas arbitrarias aleatorias.

Ejemplo 7.6.2 (Sumas de variables dependientes de media cero) Sea {\(X_i; i ≥ 1\)} un conjunto de variables aleatorias dependientes satisfactorias\(\mathsf{E} [X_i | X_{i−1}, . . . , X_1] = 0\). Entonces {\(Z_n; n ≥ 1\)}, donde\(Z_n = X_1 +... + X_n\), es una martingala media cero. Para ver esto, tenga en cuenta que

\[ \begin{aligned} \mathsf{E}[Z_n|Z_{n-1},..., Z_1] \quad &= \quad \mathsf{E}[X_n+Z_{n-1}|Z_{n-1},...,Z_1 ] \\ &= \quad \mathsf{E}[X_n|X_{n-1},...,X_1] +\mathsf{E} [ Z_{n-1}|Z_{n-1},..., Z_1] = Z_{n-1} \end{aligned} \nonumber \]

Este es un ejemplo más general de lo que parece, ya que dada cualquier martingala {\(Z_n; n ≥ 1\)}, podemos definir\(X_n = Z_n − Z_{n−1}\) para\(n ≥ 2\) y definir\(X_1 = Z_1\). Entonces\(\mathsf{E} [X_n | X_{n−1}, . . . , X_1] = 0\) para\(n ≥ 2\). Si la martingala es media cero (\(i.e.\), si\(\mathsf{E} [Z_1] = 0\)), entonces\(\mathsf{E} [X_1] = 0\) también.

Ejemplo 7.6.3 (Martingales en forma de producto) Otro ejemplo es un producto de variables aleatorias de IID de media unitaria. Así si\(Z_n = X_1X_2 . . . X_n\), tenemos

\[ \begin{align} \mathsf{E}[Z_n|Z_{n-1},...,Z_1] \quad &= \quad \mathsf{E}[X_n,Z_{n-1} | Z_{n-1},...,Z_1 ] \nonumber \\ &= \quad \mathsf{E} [ X_n] \mathsf{E} [Z_{n-1}| Z_{n-1},...,Z_1 ] \\ &= \quad \mathsf{E} [X_n] \mathsf{E} [ Z_{n-1} | Z_{n-1} ] = Z_{n-1} \end{align} \nonumber \]

Un caso particularmente sencillo de este ejemplo de producto es donde\( X_n = 2\) con probabilidad 1/2 y\(X_n = 0\) con probabilidad 1/2. Entonces

\[ \text{Pr} \{Z_n=2^n \} = 2^{-n} ; \qquad \text{Pr}\{ Z_n = 0\} = 1-2^{-n}; \qquad \mathsf{E}[Z_n] = 1 \nonumber \]

Así\( \lim_{n→ \infty } Z_n = 0\) con probabilidad 1, pero\(\mathsf{E} [Z_n] = 1\) para todos\(n\) y\(\lim_{n→\infty} \mathsf{E} [Z_n] = 1\). Este es un ejemplo importante a tener en cuenta a la hora de tratar de entender por qué las pruebas sobre las martingales son necesarias y no triviales. Este tipo de fenómeno será aclarado un poco por Lemma 7.8.1 cuando discutimos las martingales detenidas en la Sección 7.8.

Un ejemplo importante de una martingala en forma de producto es el siguiente: dejar que {\(X_i; i ≥ 1\)} sea una secuencia IID, y dejar que {\(S_n = X_1 +... + X_n; n ≥ 1\)} sea una caminata aleatoria. Supongamos que la función generadora semiinvariante\(\gamma \ref{r} = \ln \{\mathsf{E} [\exp (rX)]\}\) existe en alguna región de\(r\) alrededor de 0. Para cada uno\(n ≥ 1\),\(Z_n\) déjese definir como

\ begin {align} z_n\ quad &=\ quad\ exp\ {rs_n-n\ gamma (r)\}\\ &=\ quad\ exp\ {rx_n-\ gamma\ ref {r}\}\ exp\ {rs_ {n-1} - (n-1)\ gamma\ ref {r}\}\ nonumber\\ &= quad\\ exp\ {rx_n-\ gamma (r)\} Z_ {n-1}\ final {alinear}

Tomando la expectativa condicional de esto,

\[ \begin{align} \mathsf{E} [Z_n |Z_{n-1},..., Z_1] \quad &= \quad \mathsf{E} [\exp (rX_n-\gamma (r))] \mathsf{E} [Z_{n-1} | Z_{n-1},...,Z_1 ] \nonumber \\ &= \quad Z_{n-1} \end{align} \nonumber \]

donde hemos utilizado el hecho de que\(\mathsf{E} [\exp (rX_n)] = \exp (\gamma (r))\). Así vemos que {\(Z_n; n ≥ 1\)} es una martingala del producto-forma.

Procesos de ramificación escalados

Un último ejemplo simple de una martingala es una versión “reducida” de un proceso de ramificación {\(X_n; n ≥ 0\)}. Recordemos de la Sección 5.5 que, para cada uno\(n\),\(X_n\) se define como el número agregado de elementos en generación\(n\). Cada elemento\(i\) de generación\(n\),\(1 ≤ i ≤ X_n\) tiene un número\(Y_{i,n}\) de crías que colectivamente constituyen generación\(n + 1,\, i.e.,\, X_{n+1} = \sum^{X_n}_{i=1} Y_{i,n}\). Los rv\(Y_{i,n}\) son IID sobre ambos\(i\) y\(n\).

\(\overline{Y} = \mathsf{E} [Y_{i,n}] \)Sea el número medio de descendencia de cada elemento de la población. Entonces\(\mathsf{E} [X_n | X_{n−1}] = \overline{Y} X_{n−1}\), que se asemeja a una martingala a excepción del factor de\(\overline{Y}\). Podemos convertir este proceso de ramificación en una martingala escalándolo, sin embargo. Es decir, definir\(Z_n = X_n/\overline{Y}^n\). De ello se deduce que

\[ \mathsf{E} [Z_n |Z_{n-1} , ...,Z_1 ] = \mathsf{E} \left[ \dfrac{X_n}{\overline{Y}^n} | X_{n-1},...,X_1 \right] = \dfrac{\overline{Y}X_{n-1}}{\overline{Y}^n} = Z_{n-1} \nonumber \]

Así {\(Z_n; n ≥ 1\)} es una martingala. Veremos el sorprendente resultado más adelante que esto implica que\(Z_n\) converge con probabilidad 1 a un rv limitante como\(n →\infty\).

Aislamiento parcial de pasado y futuro en martingales

Recordemos que para una cadena de Markov, los estados en todo momento mayores que un dado\(n\) son independientes de los estados en todo momento menos que\(n\), condicionados al Estado en su momento\(n\). El siguiente lema muestra que al menos una pequeña parte de esta independencia del pasado y del futuro se aplica a las martingales.

Lema 7.6.1. Que {\(Z_n; n ≥ 1\)} sea una martingala. Entonces para cualquier\(n > i ≥ 1\),

\[ \mathsf{E} [Z_n|Z_i,Z_{i-1},...,Z_1 ] = Z_i \nonumber \]

Prueba: Para\( n = i + 1\),\( \mathsf{E} [Z_{i+1} | Z_i, . . . , Z_1] = Z_i\) por la definición de una martingala. Ahora considere\(n = i + 2\). Entonces\(\mathsf{E} [Z_{i+2} | Z_{i+1}, . . . , Z_1]\) es un rv igual a\(Z_{i+1}\). Podemos ver\(\mathsf{E} [Z_{i+2} | Z_i, . . . , Z_1]\) como la expectativa condicional del rv\(\mathsf{E} [Z_{i+2} | Z_{i+1}, . . . , Z_1]\) over\(Z_{i+1}\), condicional on\(Z_i, . . . , Z_1\).

\[ \begin{align} \mathsf{E} [ Z_{i+2}| Z_i,...,Z_1] \quad &= \quad \mathsf{E} [\mathsf{E}[Z_{i+2}|Z_{i+1},Z_i,...,Z_1]|Z_i,...,Z_1] \nonumber \\ &= \quad \mathsf{E}[Z_{i+1}|Z_i,...,Z_1] = Z_i \end{align} \nonumber \]

Para\(n = i+3\), (7.6.12), con\(i\) incrementada, nos muestra que la rv\(\mathsf{E} [Z_{i+3} | Z_{i+1}, . . . , Z_1] = Z_{i+1}\). Tomando la expectativa condicional de este rv sobre\(Z_{i+1}\) condicional on\(Z_i, . . . , Z_1\), obtenemos

\[ \mathsf{E} [ Z_{i+3}|Z_i, ..., Z_1 ] = Z_i \nonumber \]

Este argumento se puede aplicar sucesivamente a cualquier\(n > i\).

\(\square\)

Este lema es particularmente importante para\( i = 1\), donde dice eso\(\mathsf{E} [Z_n | Z_{n−1}, . . . , Z_1] = Z_1\). El lado izquierdo de este es un rv que es una función (de hecho la función de identidad) de\(Z_1\). Así, al tomar el valor esperado de cada lado, vemos que

\[ \mathsf{E} [Z_n] = \mathsf{E}[Z_1] \qquad \text{for all } n>1 \nonumber \]

Una aplicación importante de esto es a la forma del producto martingala en (7.6.9). Esto dice que

\[\begin{align} \mathsf{E}[\exp (rS_n-n\gamma(r)] \quad &= \quad \mathsf{E}[\exp(rX-\gamma(r))] \nonumber \\ &= \quad \mathsf{E} [ \exp (rX)]/g(r) =1 \end{align} \nonumber \]

Volveremos más tarde para relacionar esto con la identidad de Wald.