1.S: Resumen

Template:MathJaxArovas

Referencias

• C. Gardiner, Métodos estocásticos ($4^{th}$edición, Springer-Verlag, 2010) Texto muy claro y completo sobre métodos estocásticos con muchas aplicaciones.
• J. M. Bernardo y A. F. M. Smith, Teoría Bayesiana (Wiley, 2000) Un minucioso libro de texto sobre métodos bayesianos.
• D. Williams, Pesando las probabilidades: un curso en probabilidad y estadística (Cambridge, 2001) Un buen libro de texto de estadísticas generales, según un colega matemático.
• E. T. Jaynes, Probability Theory (Cambridge, 2007) Una presentación extensa, descriptiva y altamente opinionada, con un enfoque fuertemente bayesiano.
• A. N. Kolmogorov, Fundamentos de la Teoría de la Probabilidad (Chelsea, 1956) El Urtext de la teoría matemática de probabilidad.

Resumen

$\bullet$Distribuciones discretas: Permite$n$ etiquetar los distintos resultados posibles de un proceso aleatorio discreto, y dejar que$p\ns_n$ sea la probabilidad de resultado$n$. Dejar$A$ ser una cantidad que toma valores de los que dependen$n$,$A\ns_n$ siendo el valor de$A$ debajo del resultado$n$. Entonces el valor esperado de$A$ es$\langle A \rangle = \sum_n p\ns_n\,A\ns_n$, donde la suma es sobre todos los posibles valores permitidos de$n$. Debemos tener que que la distribución esté normalizada,$\langle 1 \rangle = \sum_n p\ns_n=1$.

$\bullet$Distribuciones continuas: Cuando la variable aleatoria$\Bvphi$ toma un continuo de valores, definimos que la densidad de probabilidad$P(\Bvphi)$ sea tal que$P(\Bvphi)\,d\mu$ sea la probabilidad de que el resultado se encuentre dentro de un volumen diferencial $d\mu$de$\Bvphi$, donde$d\mu = W(\Bvphi)\prod_{i=1}^n d\vphi\ns_i$, were$\Bvphi$ es un vector$n$ -componente en el espacio de configuración$\ROmega$, y donde la función da$W(\Bvphi)$ cuenta de la posibilidad de diferentes medidas de espacio de configuración. Entonces si$A(\Bvphi)$ hay alguna función encendida$\ROmega$, el valor esperado de$A$ es$\langle A\rangle=\int\limits_\ROmega\!d\mu\>P(\Bvphi)\,A(\Bvphi)$.

$\bullet$Teorema del límite central: Si cada uno$\{x\ns_1,\ldots,x\ns_N\}$ se distribuye independientemente según$P(x)$, entonces la distribución de la suma$X=\sum_{i=1}^N x\ns_i$ es $$\CP\ns_N(X)=\!\!\impi dx\ns_1\cdots\!\!\impi dx\ns_N\,P(x\ns_1)\cdots P(x\ns_N)\> \delta\Big(X-\sum_{i=1}^N x\ns_i\Big)=\!\!\impi {dk\over 2\pi}\> \left[ \HP(k) \right]^N \! e^{ikX}\ ,$$ donde$\HP(k)=\int\!dx\>P(x)\,e^{-ikx}$ está la transformada de Fourier de$P(x)$. Suponiendo que los momentos más bajos de$P(x)$ existir$\ln\!\big[\HP(k)\big]=-i\mu k -\half\sigma^2 k^2 + \CO(k^3)$,, donde$\mu=\langle x\rangle$ y$\sigma^2=\langle x^2\rangle - \langle x\rangle^2$ son la media y la desviación estándar. Entonces para$N\to\infty$, $$P\ns_N(X)=(2\pi N\sigma^2)^{-1/2}\,e^{-(X-N\mu)^2/ 2N\sigma^2}\ ,$$ que es un gaussiano con media$\langle X\rangle = N\mu$ y desviación estándar$\sqrt{\langle X^2\rangle - \langle X\rangle^2}=\sqrt{N}\,\sigma$. Así,$X$ se distribuye como un gaussiano, aunque no$P(x)$ sea un gaussiano en sí mismo.

$\bullet$Entropía: La entropía de una distribución estadística$\{p\ns_n\}$ es$S=-\sum_n p\ns_n \ln p\ns_n$. (A veces se usa el logaritmo base 2, en cuyo caso la entropía se mide en bits). Esto tiene la interpretación del contenido de información por elemento de una secuencia aleatoria.

$\bullet$Distribuciones de máxima entropía: Dada una distribución$\{p\ns_n\}$ sujeta a$(K+1)$ restricciones de la forma$\CX^a=\sum_n X^a_n \, p\ns_n$ con$a\in\{0,\ldots,K\}$, donde$\CX^0=X^0_n=1$ (normalización), la distribución consistente con estas restricciones que maximiza la función de entropía es obtenidos al extremar la función multivariable $$S^*\big(\{p\ns_n\},\{\lambda\ns_a\}\big)=-\sum_n p\ns_n \ln p\ns_n - \sum_{a=0}^K \lambda\ns_a \Big(\sum_n X^a_n\,p\ns_n - \CX^a\Big) \ ,$$ con respecto a las probabilidades$\{p\ns_n\}$ y los multiplicadores Lagrange$\{\lambda\ns_a\}$. Esto da como resultado una distribución de Gibbs, $$p\ns_n={1\over Z}\exp\!\left\{-\sum_{a=1}^K \lambda\ns_a X^a_n\right\}\ ,$$ donde$Z=e^{1+\lambda\ns_0}$ está determinada por la normalización,$\sum_n p\ns_n = 1$ (la$a=0$ restricción) y los multiplicadores$K$ restantes determinados por las restricciones$K$ adicionales.

$\bullet$Integral gaussiana multidimensional: $$\impi dx\ns_1\cdots\!\impi dx\ns_n \> \exp\Big(\!-\half \, x\ns_i \, A\ns_{ij} \, x\ns_j + b\ns_i\,x\ns_i\Big)= \bigg({(2\pi)^n\over \det\!A}\bigg)^{\!1/2}\exp\Big(\half \, b\ns_i\,A^{-1}_{ij}\,b\ns_j\Big)\ .$$

$\bullet$Teorema de Bayes: Que$A$ sea la probabilidad condicional para$B$ dado$P(B|A)$. Entonces dice el teorema de Bayes$P(A|B)=P(A)\cdot P(B|A) \, / \, P(B)$. Si el 'espacio de eventos' se particiona como$\{A\ns_i\}$, entonces tenemos la forma extendida, $$P(A\ns_i|B)={P(B|A\ns_i)\cdot P(A\ns_i)\over\sum_j P(B|A\ns_j)\cdot P(A\ns_j)}\ .$$ Cuando el espacio de eventos es una 'partición binaria'$\{A,\neg A\}$, como suele ser el caso en campos como epidemiología (test positivo o test negativo), tenemos $$P(A|B)={P(B|A)\cdot P(A)\over P(B|A)\cdot P(A) + P(B|\neg A)\cdot P(\neg A)}\ . \label{Bayesbinary}$$ Note que$P(A|B)+P(\neg A|B)=1$ (que se desprende de $\neg\neg A = A$).

$\bullet$Actualización de los antecedentes bayesianos: Dados datos en forma de valores observados$\Bx=\{x\ns_1,\ldots,x\ns_N\}\in\CX$ y una hipótesis en forma de parámetros$\Btheta=\{\theta\ns_1,\ldots,\theta\ns_K\}\in\Theta$, escribimos la probabilidad condicional (densidad) para observar$\Bx$ dada$\Btheta$ como$f(\Bx|\Btheta)$. El teorema de Bayes dice que la distribución correspondiente$\pi(\Btheta|\Bx)$ para$\Btheta$ condicionado$\Bx$ es $$\pi(\Btheta|\Bx)={f(\Bx|\Btheta)\,\pi(\Btheta)\over\int\limits_\Theta\!d\Btheta'\> f(\Bx|\Btheta')\,\pi(\Btheta')}\ ,$$ Llamamos$\pi(\Btheta)$ al previo para$\Btheta$,$f(\Bx|\Btheta)$ la probabilidad de$\Bx$ dado$\Btheta$, y $\pi(\Btheta|\Bx)$el posterior para$\Btheta$ dado$\Bx$. Podemos utilizar la posterior para encontrar la distribución de nuevos puntos de datos$\By$, denominada distribución predictiva posterior,$f(\By|\Bx)=\int\limits_\Theta\!d\Btheta\,f(\By|\Btheta)\,\pi(\Btheta|\Bx)\,.$ Esta es la actualización de la distribución predictiva previa,$f(\Bx)=\int\limits_\Theta\!d\Btheta\,f(\Bx|\Btheta)\,\pi(\Btheta)$. Como ejemplo, considere la moneda volteando con$f(\Bx|\Btheta)=\theta^X\,(1-\theta)^{N-X}$, dónde$N$ está el número de volteretas, y$X=\sum_{j=1}^N x\ns_j$ con$x\ns_j$ una variable discreta que es$0$ para colas y$1$ para cabezas. El parámetro$\theta\in[0,1]$ es la probabilidad de voltear cabezas. Elegimos un previo$\pi(\theta)=\theta^{\alpha-1}\,(1-\theta)^{\beta-1}/\SB(\alpha,\beta)$ donde$\SB(\alpha,\beta)=\RGamma(\alpha)\,\RGamma(\beta)/\RGamma(\alpha+\beta)$ se encuentra la distribución Beta. Esto da como resultado un previo normalizado$\int\limits_0^1 \!d\theta\,\pi(\theta)=1$. La distribución posterior para$\theta$ es entonces $$\pi(\theta|x\ns_1,\ldots,x\ns_N)={f(x\ns_1,\ldots,x\ns_N|\theta)\,\pi(\theta)\over\int_0^1\!d\theta'\, f(x\ns_1,\ldots,x\ns_N|\theta')\,\pi(\theta')} ={\theta^{X+\alpha-1} (1-\theta)^{N-X+\beta-1}\over\SB(X+\alpha,N-X+\beta)}\ .$$ El predictivo previo es$f(\Bx)=\int\limits_0^1\!d\theta f(\Bx|\theta)\,\pi(\theta)=\SB(X+\alpha,N-X+\beta)/\SB(\alpha,\beta)$, y el predictivo posterior para el número total de cabezas$Y$ en$M$ volteretas es $$f(\By|\Bx)=\!\!\int\limits_0^1\!d\theta\,f(\By|\theta)\,\pi(\theta|\Bx)= {\SB(X+Y+\alpha,N-X+M-Y+\beta)\over\SB(X+\alpha,N-X+\beta)}\quad.$$