10.3: Intervalos de confianza

Definición

Introduzcamos ahora el concepto de intervalo de confianza. El intervalo de confianza es un límite probabilístico\(a\) de error posterior. Los límites de error a posteriori, en oposición a los límites de error a priori, incorporan la información recopilada en el experimento para evaluar el error en la predicción.

Para entender el comportamiento del estimador\(\widehat{\Theta}_{n}\), que es una variable aleatoria definida por lo general\[B_{1}, \ldots, B_{n} \quad \Rightarrow \quad \widehat{\Theta}_{n}=\bar{B}_{n}=\frac{1}{n} \sum_{i=1}^{n} B_{i},\] realizamos (en la práctica) un solo experimento para generar una realización\(\left(b_{1}, \ldots, b_{n}\right)\). Entonces, estimamos el parámetro por un número\(\hat{\theta}_{n}\) dado por\[b_{1}, \ldots, b_{n} \quad \Rightarrow \quad \hat{\theta}_{n}=\bar{b}_{n}=\frac{1}{n} \sum_{i=1}^{n} b_{i} .\] Una pregunta natural: ¿Qué tan buena es la estimación\(\hat{\theta}_{n}\)? ¿Cómo podemos cuantificar las pequeñas desviaciones\(\widehat{\Theta}_{n}\) de a\(\theta\) medida que\(n\) aumenta?

Para responder a estas preguntas, podemos construir un intervalo de confianza, [CI], definido por\[[\mathrm{CI}]_{n} \equiv\left[\widehat{\Theta}_{n}-z_{\gamma} \sqrt{\frac{\widehat{\Theta}_{n}\left(1-\widehat{\Theta}_{n}\right)}{n}}, \widehat{\Theta}_{n}+z_{\gamma} \sqrt{\frac{\widehat{\Theta}_{n}\left(1-\widehat{\Theta}_{n}\right)}{n}}\right]\] tal que\[P\left(\theta \in[\mathrm{CI}]_{n}\right)=\gamma\left(z_{\gamma}\right) .\] recordamos que\(\theta\) es el parámetro verdadero; así,\(\gamma\) es el nivel de confianza que el parámetro verdadero cae dentro del intervalo de confianza. Tenga en cuenta que\([\mathrm{CI}]_{n}\) es una variable aleatoria porque\(\widehat{\Theta}_{n}\) es una variable aleatoria.

Para un nivel lo suficientemente grande\(n\), un nivel de confianza (de uso frecuente)\(\gamma=0.95\) da como resultado\(z_{\gamma} \approx 1.96\). En otras palabras, si usamos\(z_{\gamma}=1.96\) para construir nuestro intervalo de confianza, existe la\(95 \%\) probabilidad de que el parámetro verdadero se encuentre dentro del intervalo de confianza. En general, a medida que\(\gamma\)\(z_{\gamma}\) aumenta, aumenta: si queremos asegurar que el parámetro se encuentre dentro de un intervalo de confianza a un nivel superior de confianza, entonces el ancho del intervalo de confianza debe aumentarse para un dado\(n\). La aparición de\(1 / \sqrt{n}\) en el intervalo de confianza se debe a la aparición de la\(1 / \sqrt{n}\) en la desviación estándar del estimador,\(\sigma_{\widehat{\Theta}_{n}}\): a medida que\(n\) aumenta, hay menor variación en el estimador.

Estrictamente hablando, el resultado anterior sólo es válido como\(n \rightarrow \infty\) (y\(\theta \notin\{0,1\}\)), lo que asegura que se\(\widehat{\Theta}_{n}\) aproxime a la distribución normal por el teorema del límite central. Entonces, bajo el supuesto de normalidad, podemos calcular el valor del factor de multiplicación dependiente del nivel de confianza\(z_{\gamma}\) según\[z_{\gamma}=\tilde{z}_{(1+\gamma) / 2},\] donde\(\tilde{z}_{\alpha}\) se encuentre el\(\alpha\) cuantil de la distribución normal estándar, i.e.\(\Phi\left(\tilde{z}_{\alpha}\right)=\alpha\) donde\(\Phi\) es la función de distribución acumulativa de la distribución normal estándar. Por ejemplo, como se indicó anteriormente,\(\gamma=0.95\) resulta en\(z_{0.95}=\tilde{z}_{0.975} \approx 1.96\). Una regla práctica para determinar la validez del supuesto de normalidad es asegurar que\[n \theta>5 \text { and } n(1-\theta)>5 .\] En la práctica, el parámetro que\(\theta\) aparece en la regla se sustituya por su estimación,\(\hat{\theta}_{n}\); es decir, verificamos\[n \hat{\theta}_{n}>5 \text { and } n\left(1-\hat{\theta}_{n}\right)>5 .\] En particular, tenga en cuenta que para \(\hat{\theta}_{n}=0\)o 1, no podemos construir nuestro intervalo de confianza. Esto no es sorprendente, ya que, para\(\hat{\theta}_{n}=0\) o 1, nuestro intervalo de confianza sería de longitud cero, mientras que claramente hay cierta incertidumbre en nuestra predicción. Observamos que existen intervalos de confianza binomiales que no requieren la suposición de normalidad, pero son un poco más complicados y menos intuitivos. Tenga en cuenta también que además de los intervalos de confianza “centrados” descritos aquí también podemos desarrollar intervalos de confianza unilaterales.

Interpretación Frecuentista

Para obtener una mejor comprensión del comportamiento del intervalo de confianza, proporcionemos una interpretación frecuentista del intervalo. Realicemos\(n_{\exp }\) experimentos y construyamos\(n_{\exp }\) realizaciones de intervalos de confianza, es decir,\[[\mathrm{ci}]_{n}^{j}=\left[\hat{\theta}_{n}^{j}-z_{\gamma} \sqrt{\frac{\hat{\theta}_{n}^{j}\left(1-\hat{\theta}_{n}^{j}\right)}{n}}, \hat{\theta}_{n}^{j}+z_{\gamma} \sqrt{\frac{\hat{\theta}_{n}^{j}\left(1-\hat{\theta}_{n}^{j}\right)}{n}}\right], \quad j=1, \ldots, n_{\exp },\] donde la realización de medios de muestra viene dada por\[\left(b_{1}, \ldots, b_{n}\right)^{j} \quad \Rightarrow \quad \hat{\theta}^{j}=\frac{1}{n} \sum_{i=1}^{n} b_{i}^{j} .\] Entonces, como\(n_{\exp } \rightarrow \infty\), la fracción de experimentos para los que el verdadero parámetro \(\theta\)se encuentra en el interior\([c i]_{n}^{j}\) tiende a\(\gamma\).

a)\(80 \%\) confianza

(b) In/Out de\(80 \%\) confianza

c)\(95 \%\) confianza

(d) In/Out de\(95 \%\) confianza

Figura 10.3: Un ejemplo de intervalos de confianza para estimar la media de una variable aleatoria de Bernoulli\((\theta=0.5)\) utilizando 100 muestras.

En la Figura se muestra un ejemplo de intervalos de confianza para estimar la media de la variable aleatoria de Bernoulli\((\theta=0.5)\) utilizando muestras de tamaño\(n=100\)\(10.3\). En particular, consideramos conjuntos de 50 realizaciones diferentes de nuestra muestra (es decir, 50 experimentos, cada uno con una muestra de tamaño 100) e intervalos de constructo\(80 \%\left(z_{\gamma}=1.28\right)\) y\(95 \%\left(z_{\gamma}=1.96\right)\) confianza para cada una de las realizaciones. Los histogramas mostrados en la Figura 10.3 (b) y\(10.3(\mathrm{~d})\) resumen la frecuencia relativa del parámetro verdadero que cae dentro y fuera de los intervalos de confianza. Observamos que\(80 \%\) e intervalos de\(95 \%\) confianza incluyen el verdadero parámetro\(\theta\) en\(82 \%(9 / 51)\) y\(94 \%(47 / 50)\) de las realizaciones, respectivamente; los números están en buena concordancia con la interpretación frecuentista de los intervalos de confianza. Obsérvese que, para el mismo número de muestras\(n\), el intervalo de\(95 \%\) confianza tiene un ancho mayor, ya que debe asegurar que el parámetro true se encuentre dentro del intervalo con mayor probabilidad.

Convergencia

La aparición de\(1 / \sqrt{n}\) convergencia del error relativo se debe a la\(1 / \sqrt{n}\) dependencia en la desviación estándar\(\sigma_{\widehat{\Theta}_{n}}\). Así, el error relativo converge en el sentido de que\[\operatorname{RelErr}_{\theta ; n} \rightarrow 0 \quad \text { as } \quad n \rightarrow \infty .\] Sin embargo, la tasa de convergencia es lenta es\[\operatorname{RelErr}_{\theta ; n} \sim n^{-1 / 2},\] decir, la tasa de convergencia si de orden\(1 / 2\) as\(n \rightarrow \infty\). Además, tenga en cuenta que los eventos raros (es decir, bajos\(\theta\)) son difíciles de estimar con precisión, ya que\[\operatorname{RelErr}_{\theta ; n} \sim \hat{\theta}_{n}^{-1 / 2} .\] esto significa que, si el número de experimentos es fijo, el error relativo en la predicción de un evento que ocurre con\(0.1 \%\) probabilidad\((\theta=0.001)\) es de 10 veces mayor que la de un evento que ocurre con\(10 \%\) probabilidad\((\theta=0.1)\). Combinado con la tasa de convergencia de\(n^{-1 / 2}\), se necesitan 100 veces más experimentos para lograr el nivel similar de error relativo si el evento es 100 veces menos probable. Por lo tanto, predecir la probabilidad de un evento raro es costoso.