4.2: La Ley Fuerte de Grandes Números y Convergencia WP1

El concepto de una secuencia de rv convergentes con probabilidad 1 (WP1) se introdujo brevemente en la Sección 1.5.6. Se discute este tipo de convergencia más a fondo aquí y establecemos algunas condiciones bajo las cuales se sostiene. A continuación se establece la fuerte ley de números grandes (SLLN) para IID rv (esto es esencialmente el resultado de que los promedios muestrales parciales de IID rv convergen a la media WP1). Se entrega una prueba bajo la condición añadida de que los rv tienen un cuarto momento finito. Por último, en el siguiente apartado, señalamos la ley fuerte para los procesos de renovación y utilizamos el SLLN para IID rv para probarlo.

Convergencia con probabilidad 1 (WP1)

Recordemos que una secuencia$\left\{Z_{n} ; n \geq 1\right\}$ de rv en un espacio de muestra$\Omega$ se define para converger WP1 a un rv$Z$ encendido$\Omega$ si

$\operatorname{Pr}\left\{\omega \in \Omega: \lim _{n \rightarrow \infty} Z_{n}(\omega)=Z(\omega)\right\}=1,$

es decir, si el conjunto de secuencias de muestra$\left\{Z_{n}(\omega) ; n \geq 1\right\}$ que convergen a$Z(\omega)$ tiene probabilidad 1. Esto se vuelve un poco más fácil de entender si definimos$Y_{n}=Z_{n}-Z$ para cada uno$n$. La secuencia converge$\left\{Y_{n} ; n \geq 1\right\}$ entonces a 0 WP1 si y solo si la secuencia$\left\{Z_{n} ; n \geq 1\right\}$ converge a$Z$ WP1. Tratar solo con la convergencia a 0 en lugar de a una rv arbitraria no corta ningún paso de las siguientes pruebas, sino que simplifica la notación y los conceptos.

Comenzamos con un lema simple que proporciona una condición útil bajo la cual se produce la convergencia a 0 WP1. Veremos más adelante cómo utilizar este lema de manera indirecta para acreditar el SLLN.

Lema 4.2.1

Seamos$\left\{Y_{n} ; n \geq 1\right\}$ una secuencia de rv, cada uno con expectativa finita. Si$\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]<\infty$, entonces$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty} Y_{n}(\omega)=0\right\}=1$.

Prueba

Para cualquier$\alpha$,$0<\alpha<\infty$ y cualquier entero$m \geq 1$, la desigualdad de Markov dice que

$$\operatorname{Pr}\left\{\sum_{n=1}^{m}\left|Y_{n}\right|>\alpha\right\} \leq \frac{\mathrm{E}\left[\sum_{n=1}^{m}\left|Y_{n}\right|\right]}{\alpha}=\frac{\sum_{n=1}^{m} \mathrm{E}\left[\left|Y_{n}\right|\right]}{\alpha}\label{4.3}$$

Ya que no$\left|Y_{n}\right|$ es negativo,$\sum_{n=1}^{m}\left|Y_{n}\right|>\alpha$ implica eso$\sum_{n=1}^{m+1}\left|Y_{n}\right|>\alpha$. Así el lado izquierdo de\ ref {4.3} es no decreciente en$m$ y podemos ir al límite

$\lim _{m \rightarrow \infty} \operatorname{Pr}\left\{\sum_{n=1}^{m}\left|Y_{n}\right|>\alpha\right\} \leq \frac{\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]}{\alpha}.$

Ahora vamos$A_{m}=\left\{\omega: \sum_{n=1}^{m}\left|Y_{n}(\omega)\right|>\alpha\right\}$. Como se ha visto anteriormente, la secuencia$\left\{A_{m} ; m \geq 1\right\}$ está anidada$A_{1} \subseteq A_{2} \cdots$, así a partir de la propiedad\ ref {1.9} de los axiomas de probabilidad, ⁴

\ [\ begin {alineado}
\ lim _ {m\ fila derecha\ infty}\ nombreoperador {Pr}\ izquierda\ {\ suma_ {n=1} ^ {m}\ izquierda|y_ {n}\ derecha|>\ alfa\ derecha\} &=\ nombre_operador {Pr}\ izquierda\ {\ bigcup_ {m=1} ^ {\ infty} A_ {m}\ derecha\}\\
&=\ nombreoperador {Pr}\ izquierda\ {\ omega:\ suma_ {n=1} ^ {\ infty}\ izquierda|y_ {n} (\ omega)\ derecha|>\ alfa\ derecha\},
\ final {alineado}\ etiqueta {4.4}\]

donde hemos utilizado el hecho de que para cualquier dado$\omega$,$\sum_{n=1}^{\infty}\left|Y_{n}(\omega)\right|>\alpha$ si y sólo si$\sum_{n=1}^{m}\left|Y_{n}(\omega)\right|>\alpha$ para algunos$m \geq 1$. Combinando\ ref {4.3} con (4.4),

$\operatorname{Pr}\left\{\omega: \sum_{n=1}^{\infty}\left|Y_{n}(\omega)\right|>\alpha\right\} \leq \frac{\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]}{\alpha}$.

Mirando el conjunto complementario y asumiendo$\alpha>\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]$,

$$\operatorname{Pr}\left\{\omega: \sum_{n=1}^{\infty}\left|Y_{n}(\omega)\right| \leq \alpha\right\} \geq 1-\frac{\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]}{\alpha}\label{4.5}$$

Para cualquier ω tal que$\sum_{n=1}^{\infty}\left|Y_{n}(\omega)\right| \leq \alpha$, vemos que$\left\{\left|Y_{n}(\omega)\right| ; n \geq 1\right\}$ es simplemente una secuencia n=1 de números no negativos con una suma finita. Así, los números individuales en esa secuencia deben acercarse a 0, es decir,$\lim _{n \rightarrow \infty}\left|Y_{n}(\omega)\right|=0$ para cada uno de tales ω. De ello se deduce entonces que

$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty}\left|Y_{n}(\omega)\right|=0\right\} \geq \operatorname{Pr}\left\{\omega: \sum_{n=1}^{\infty}\left|Y_{n}(\omega)\right| \leq \alpha\right\}$.

Combinando esto con (4.5),

$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty}\left|Y_{n}(\omega)\right|=0\right\} \geq 1-\frac{\sum_{n=1}^{\infty} \mathrm{E}\left[\left|Y_{n}\right|\right]}{\alpha}$

Esto es cierto para todos$\alpha$, así$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty}\left|Y_{n}\right|=0\right\}=1$, y así$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty} Y_{n}=0\right\}=1$.

Es instructivo recordar el Ejemplo 1.5.1, ilustrado en la Figura 4.1, donde$\left\{Y_{n} ; n \geq 1\right\}$ converge en probabilidad pero no converge con probabilidad uno. Tenga en cuenta que$\mathrm{E}[Y_n]=1 /\left(5^{j+1}-1\right)$ para$n \in\left[5^{j}, 5^{j+1}\right)$. Así$\lim _{n \rightarrow \infty} \mathrm{E}\left[Y_{n}\right]=0$, pero$\sum_{n=1}^{\infty} \mathrm{E}\left[Y_{n}\right]=\infty$. Así esta secuencia no satisface las condiciones del lema. Esto ayuda a explicar cómo las condiciones en el lema excluyen tales secuencias.

Antes de proceder al SLLN, queremos mostrar que la convergencia WP1 implica convergencia en probabilidad. Damos aquí un argumento incompleto con versiones precisas tanto en el Ejercicio 4.5 como en el Ejercicio 4.6. El ejercicio 4.6 tiene el mérito agregado de expresar$\{\omega: \lim _{n} Y_{n}(\omega)=0\}$ explícitamente el conjunto en términos de uniones contables e intersecciones de eventos simples que involucran conjuntos finitos de la$Y_{n}$. Esta representación es válida independientemente de que se cumplan o no las condiciones del lema y demuestra que este conjunto es efectivamente un evento.

Figura 4.1: Ilustración de una ruta muestral de una secuencia de rv$\left\{Y_{n} ; n \geq 0\right\}$ donde, para cada uno$j \geq 0$,$Y_{n}=1$ para una elección equiprobable de$n \in\left[5^{j}, 5^{j+1}\right)$ y de$Y_{n}=0$ otra manera.

Supongamos que$\left\{Y_{n} ; n \geq 1\right\}$ es una secuencia de rv tal que$\lim _{n \rightarrow \infty}\left(Y_{n}\right)=0$ WP1. Entonces para cualquiera$\epsilon>0$, cada secuencia de muestra$\left\{Y_{n}(\omega) ; n \geq 1\right\}$ que converge a 0 satisface$\left|Y_{n}\right| \leq \epsilon$ para todas suficientemente grandes$n$. Esto significa (ver Ejercicio 4.5) eso$\lim _{n \rightarrow \infty} \operatorname{Pr}\left\{\left|Y_{n}\right| \leq \epsilon\right\}=1$. Ya que esto es cierto para todos$\epsilon>0$,$\left\{Y_{n} ; n \geq 0\right\}$ converge en probabilidad a 0.

Fuerte ley de números grandes (SLLN)

A continuación desarrollamos la ley fuerte de los grandes números. No contamos con las herramientas matemáticas para probar el teorema en toda su generalidad, sino que daremos una prueba bastante perspicaz bajo la suposición adicional de que el rv en discusión tiene un 4to momento finito. El teorema tiene una forma notablemente simple y elemental, considerando que sin duda es uno de los teoremas más importantes en la teoría de la probabilidad. La mayor parte del arduo trabajo en la comprensión del teorema proviene de entender qué significa convergencia WP1, y eso ya ha sido discutido. Ante esta comprensión, el teorema es relativamente fácil de entender y sorprendentemente fácil de probar (asumiendo un 4to momento).

Teorema 4.2.1 (fuerte Ley de Números Grandes (SLLN)).

Para cada entero$n \geq 1$, let$S_{n}=X_{1}+\cdots+X_{n}$, donde$X_{1}, X_{2}, \ldots$ son IID rv satisfactorios$E[|X|]<\infty$. Entonces

$$\operatorname{Pr}\left\{\omega: \lim _{n \rightarrow \infty} \frac{S_{n}(\omega)}{n}=\bar{X}\right\}=1.\label{4.6}$$

Prueba (para el caso donde$\bar{X}=0$ y$\left.\mathrm{E}\left[X^{4}\right]<\infty\right)$):

Supongamos que$\bar{X}=0$ y$\mathrm{E}\left[X^{4}\right]<\infty$. Denotar$\mathrm{E}\left[X^{4}\right]$ por$\gamma$. Para cualquier número real$x$, si$|x| \leq 1$, entonces$x^{2} \leq 1$, y si$|x|>1$, entonces$x^{2}<x^{4}$. Así$x^{2} \leq 1+x^{4}$ para todos$x$. De ello se desprende$\sigma^{2}=\mathrm{E}\left[X^{2}\right] \leq 1+\mathrm{E}\left[X^{4}\right]$. Así$\sigma^{2}$ es finito si$\mathrm{E}\left[X^{4}\right]$ es.

Ahora vamos$S_{n}=X_{1}+\cdots+X_{n}$ donde$X_{1}, \ldots, X_{n}$ están IID con la distribución de$X$.

\ (\ begin {alineada}
\ mathrm {E}\ izquierda [S_ {n} ^ {4}\ derecha] &=\ mathrm {E}\ izquierda [\ izquierda (X_ {1} +\ cDots+x_ {n}\ derecha)\ izquierda (X_ {1} +\ cDots+x_ {n}\ derecha)\ izquierda (X_ {1} +\ puntos+x_ {n}\ derecha)\ izquierda (X_ {1} +\ cDots+x_ {n}\ derecha)\ derecha]\\
&=\ mathrm {E}\ izquierda [\ izquierda (\ suma_ {i=1} ^ {n} X_ {i}\ derecha)\ izquierda (\ sum_ {j =1} ^ {n} X_ {j}\ derecha)\ izquierda (\ suma_ {k=1} ^ {n} X_ {k}\ derecha)\ izquierda (\ suma_ {\ ell=1} ^ {n} X_ {\ ell}\ derecha)\ derecha]\\
&=\ suma_ {i=1} ^ {n}\ suma_ {j = 1} ^ {n}\ sum_ {k = =1} ^ {n}\ suma_ {\ ell=1} ^ {n}\ mathrm {E}\ izquierda [X_ {i} X_ {j} X_ {k} X_ {\ ell}\ derecha]
\ final {alineado}\),

donde hemos multiplicado el producto de las sumas para obtener una suma de$n^{4}$ términos.

Para cada uno$i$$1 \leq i \leq n$,, hay un término en esta suma con$i=j=k=\ell$. Para cada uno de esos términos,$\mathrm{E}\left[X_{i} X_{j} X_{k} X_{\ell}\right]=\mathrm{E}\left[X^{4}\right]=\gamma$. Existen$n$ tales términos (uno por cada elección de$i$,$1 \leq i \leq n$) y colectivamente contribuyen$n \gamma$ a la suma$\mathrm{E}\left[S_{n}^{4}\right]$. También, para cada uno$i$$k \neq i$,, hay un término con$j=i$ y$\ell=k$. Para cada uno de estos$n(n-1)$ términos,$\mathrm{E}\left[X_{i} X_{i} X_{k} X_{k}\right]=\sigma^{4}$. Hay otros$n(n-1)$ términos con$j \neq i$ y$k=i$,$\ell=j$. Cada uno de esos términos contribuye$\sigma^{4}$ a la suma. Por último, para cada uno$i \neq j$, hay un término con$\ell=i$ y$k=j$. Colectivamente todos estos términos contribuyen$3 n(n-1) \sigma^{4}$ a la suma. Cada uno de los términos restantes es 0 ya que al menos uno de$i, j, k, \ell$ es diferente de todos los demás, así tenemos

$\mathrm{E}\left[S_{n}^{4}\right]=n \gamma+3 n(n-1) \sigma^{4}$.

Ahora considere la secuencia de rv$\left\{S_{n}^{4} / n^{4} ; n \geq 1\right\}$.

$\sum_{n=1}^{\infty} \mathrm{E}\left[\left|\frac{S_{n}^{4}}{n^{4}}\right|\right]=\sum_{n=1}^{\infty} \frac{n \gamma+3 n(n-1) \sigma^{4}}{n^{4}}<\infty$,

donde hemos utilizado los hechos de que$\sum_{n \geq 1} 1 / n^{3}$ convergen la serie$\sum_{n \geq 1} 1 / n^{2}$ y la serie.

Usando Lemma 4.2.1 aplicado a$\left\{S_{n}^{4} / n^{4} ; n \geq 1\right\}$, vemos que$\lim _{n \rightarrow \infty} S_{n}^{4} / n^{4}=0$ WP1. Por cada ω tal que$\lim _{n \rightarrow \infty} S_{n}^{4}(\omega) / n^{4}=0$, la cuarta raíz no negativa de esa secuencia de n números no negativos también se acerca a 0. Así$\lim _{n \rightarrow \infty}\left|S_{n} / n\right|=0$ WP1.

La prueba anterior asumía que$\mathrm{E}[X]=0$. Se puede extender trivialmente al caso de un finito arbitrario$\bar{X}$ sustituyendo$X$ en la prueba por$X-\bar{X}$. Una prueba utilizando la condición más débil que se$\sigma_{X}^{2}<\infty$ dará en la Sección 7.9.1.

La técnica que se utilizó al final de esta prueba proporciona una pista sobre por qué el concepto de convergencia WP1 es tan poderoso. La técnica mostró que si una secuencia de rv$\left(\left\{S_{n}^{4} / n^{4} ; n \geq 1\right\}\right)$ converge a 0 WP1, entonces otra secuencia$\left.\left(\left|S_{n} / n\right| ; n \geq 1\right\}\right)$ también converge WP1. Formalizaremos y generalizaremos esta técnica en Lemma 4.3.2 como un paso importante hacia el establecimiento de la ley fuerte para los procesos de renovación.

---

⁴ Esta prueba probablemente parece ser algo entrecortada sobre los límites. La razón de esto es que el argumento es bastante abstracto y es difícil desarrollar el tipo de intuición que ordinariamente nos permite ser algo más casuales.