4.6: Teorema de Bayes

Otro truco que ayuda a calcular las probabilidades en la práctica es el Teorema de Bayes. Hemos definido Pr (\(A|K\)) como\(\frac{\text{Pr}(A \cap K)}{\text{Pr}(K)}\), y al intercambiar las letras obtenemos Pr (\(K|A\)) =\(\frac{\text{Pr}(K \cap A)}{\text{Pr}(A)}\). Combinando estos con un poco de álgebra rinde:

\[\begin{aligned} \text{Pr}(A|K) = \dfrac{\text{Pr}(K|A) \ \text{Pr}(A)}{\text{Pr}(K)}\end{aligned}\]

Ahora bien, esta es una ecuación muy, muy poderosa que tiene multitud de usos a lo largo de la informática y la estadística. Lo que lo hace poderoso es que nos permite expresar Pr (\(A|K\)), una cantidad a menudo muy difícil de estimar, en términos de Pr (\(K|A\)), que muchas veces es mucho más fácil.

Un ejemplo sencillo y comúnmente citado es el de interpretar los resultados de los exámenes médicos para detectar la presencia de una enfermedad. Si tu médico te recomienda que te sometas a un análisis de sangre para ver si tienes alguna afección rara, podrías dar positivo o negativo en la prueba. Pero supongamos que sí da positivo en la prueba. ¿Cuál es la probabilidad de que realmente tengas la enfermedad? Ese, por supuesto, es el punto clave.

En símbolos, estamos buscando Pr (\(D|T\)), dónde\(D\) está el evento de que realmente tienes la enfermedad en cuestión, y\(T\) es el evento que da positivo por ella. Pero esto es difícil de aproximar con los datos disponibles. Por un lado, la mayoría de las personas que se someten a esta prueba no dan positivo, por lo que no tenemos un montón de ejemplos de eventos\(T\) ocurridos por los que podríamos contar los tiempos que\(D\) también ocurrieron. Pero peor, es difícil saber si un paciente tiene la enfermedad, al menos antes de que se desarrollen síntomas avanzados — ¡eso, después de todo, es el propósito de nuestra prueba!

El teorema de Bayes, sin embargo, nos permite reescribir esto como:

\[\begin{aligned} \text{Pr}(D|T) = \dfrac{\text{Pr}(T|D) \ \text{Pr}(D)}{\text{Pr}(T)}.\end{aligned}\]

Ahora tenemos Pr (\(D|T\)), la cantidad difícil de calcular, en términos de tres cosas para las que podemos obtener datos. Para estimar Pr (\(T|D\)), la probabilidad de que una persona que tenga la enfermedad dando positivo, podemos administrar la prueba a pacientes desafortunados con síntomas avanzados y contar cuántos de ellos dan positivo. Para estimar Pr (\(D\)), la probabilidad previa de tener la enfermedad, podemos dividir el número de casos conocidos por la población en su conjunto para encontrar qué tan prevalente es. Y obtener Pr (\(T\)), la probabilidad de dar positivo, es fácil ya que conocemos los resultados de las pruebas que hemos administrado.

En números, supongamos que nuestra prueba es 99% precisa, es decir, si alguien realmente tiene la enfermedad, hay una probabilidad de .99 de que dé positivo por ella, y si no la tiene, hay una probabilidad de .99 de que den negativo. Supongamos también que se trata de una enfermedad muy rara: sólo una de cada mil personas la contrae.

Cuando interpretamos esos números a la luz de la fórmula que buscamos poblar, nos damos cuenta de que Pr (\(T|D\)) = .99, y Pr (\(D\)) =\(\frac{1}{1000}\). La otra cantidad que necesitamos es Pr (\(T\)), y ya estamos todo listo. Pero, ¿cómo averiguamos Pr (\(T\)), la probabilidad de dar positivo?

Respuesta: utilizar la Ley de Probabilidad Total. Hay dos “formas” diferentes de dar positivo: (1) tener realmente la enfermedad, y (correctamente) dar positivo para ella, o (2) no tener la enfermedad, pero incorrectamente dar positivo para ella de todos modos porque la prueba fue incorrecta. Vamos a calcular esto:

\[\begin{aligned} \text{Pr}(T) &= \text{Pr}(T|D) \ \text{Pr}(D) + \text{Pr}(T|\overline{D}) \ \text{Pr}({\overline{D}}) \notag \\ &= .99 \cdot \frac{1}{1000} + .01 \cdot \frac{999}{1000} \notag \\ &= .00099 + .00999 = .01098 \label{totalprobeq}\end{aligned}\]

¿Ves cómo funciona eso? Si tengo la enfermedad (y hay una probabilidad de 1 en 1,000 de eso), hay una probabilidad de .99 de que dé positivo. Por otro lado, si no tengo la enfermedad (una probabilidad de 999 en 1,000 de eso), hay una probabilidad .01 de que dé positivo de todos modos. La suma de esas dos probabilidades mutuamente excluyentes es .01098.

Ahora podemos usar nuestra fórmula del Teorema de Bayes para deducir:

\[\begin{aligned} \text{Pr}(D|T) &= \dfrac{\text{Pr}(T|D) \ \text{Pr}(D)}{\text{Pr}(T)} \\ &= \dfrac{.99 \cdot \frac{1}{1000}}{.01098} \approx .0902\end{aligned}\]

Guau. Damos positivo en un examen médico con 99% de precisión, sin embargo, ¡solo tenemos aproximadamente un 9% de probabilidades de tener realmente la enfermedad! Grandes noticias para el paciente, pero un rascador de cabeza para el estudiante de matemáticas. ¿Cómo podemos entender esto? Bueno, la clave es mirar hacia atrás a ese cálculo de Probabilidad Total en la ecuación 4.1. Recuerda que había dos formas de dar positivo en la prueba: una donde tenías la enfermedad y otra en la que no la tuviste Mira la contribución al conjunto que produjo cada una de esas dos probabilidades. El primero fue .00099, y el segundo fue .00999, más de diez veces mayor. ¿Por qué? Simplemente porque la enfermedad es tan rara. Piénsalo: la prueba falla una vez cada cien veces, pero una persona aleatoria solo tiene la enfermedad una vez cada mil veces. Si da positivo en la prueba, es mucho más probable que la prueba haya estropeado que que realmente tenga la enfermedad, que es más rara que las lunas azules.

En fin, todo lo relacionado con enfermedades y pruebas es una nota al margen. El punto principal es que el Teorema de Bayes nos permite reformular una búsqueda de Pr (\(X|Y\)) en una búsqueda de Pr (\(Y|X\)), que a menudo es mucho más fácil encontrar números para.

Una de las muchas aplicaciones de informática del Teorema de Bayes es en la minería de textos. En este campo, analizamos computacionalmente las palabras en los documentos para clasificarlas automáticamente o formar resúmenes o conclusiones sobre su contenido. Un objetivo podría ser identificar al verdadero autor de un documento, dado muestras de la escritura de diversos autores sospechosos. Consideremos los Documentos Federalistas, el grupo de ensayos de\(18^{th}\) siglo altamente influyentes que argumentaron a favor de ratificar la Constitución. Estos ensayos fueron escritos conjuntamente por Alexander Hamilton, James Madison y John Jay, pero fue incierto durante muchos años cuál de estos autores escribió qué ensayos específicos.

Supongamos que estamos interesados en determinar cuál de estos tres Padres Fundadores escribió realmente el ensayo #84 en la colección. Para ello, el enfoque lógico es encontrar Pr (\(|\)ensayo Hamilton 84), Pr (\(|\)ensayo Madison 84) y Pr (\(|\)ensayo Jay 84), y luego elegir al autor con mayor probabilidad. Pero, ¿cómo podemos averiguar Pr (\(|\)ensayo de Hamilton 84)? “Dado que el ensayo #84 tiene estas palabras en este orden, ¿cuál es la probabilidad de que Hamilton lo haya escrito?” Imposible de saber.

Pero con el Teorema de Bayes, podemos reestructurar esto en términos de Pr (ensayo84\(|\) Hamilton) en su lugar. Eso es un caballo de otro color. Tenemos muchas muestras conocidas de la escritura de Hamilton (y la de Madison, y la de Jay), así que podemos preguntar, “dado que Hamilton escribió un ensayo, ¿cuál es la probabilidad de que hubiera elegido las palabras que aparecen en el ensayo #84?” Quizás el ensayo #84 tenga un giro de frase que es muy característico de Hamilton, y contiene ciertas palabras de vocabulario que Madison nunca usó en otro lugar, y tiene menos oraciones por párrafo de lo que es típico de la escritura de Jay. Si podemos identificar las características relevantes del ensayo y compararlas con los estilos de escritura de los candidatos, podemos usar el Teorema de Bayes para estimar las probabilidades relativas de que cada uno de ellos hubiera producido ese tipo de ensayo. Estoy pasando por alto muchos detalles aquí, pero este truco de intercambiar una probabilidad condicional por la otra es la columna vertebral de toda esta técnica.