8.2.5: Entropía máxima, forma analítica

Aquí demostramos el Principio de Entropía Máxima para el caso simple en el que hay una restricción y tres variables. Será posible pasar por todos los pasos analíticamente.

Supongamos que ha sido contratado por Carnivore Corporation, la empresa matriz de Berger's Burgers, para analizar sus ventas a nivel mundial. Usted visita los restaurantes Berger's Burgers en todo el mundo y determina que, en promedio, la gente paga $1.75 por sus comidas. (Como parte del compromiso de Carnivore con la homogeneidad global, el precio de cada comida es exactamente el mismo en todos los restaurantes, después de que las monedas locales se convierten a dólares estadounidenses).

Después de regresar, sus supervisores preguntan sobre las probabilidades de que un cliente pida cada una de las tres comidas de valor. En otras palabras, quieren saber\(p(B)\),\(p(C)\), y\(p(F)\). Te horroriza darte cuenta de que no conservaste los datos originales, y no hay tiempo para repetir tu viaje. Tienes que hacer la mejor estimación de las probabilidades\(p(B)\),\(p(C)\), y\(p(F)\) consistente con las dos cosas que sí conoces:

\(1 = p(B) + p(C) + p(F) \tag{8.17}\)

\($1.75 = $1.00p(B) + $2.00p(C) + $3.00p(F) \tag{8.18}\)

Ya que tienes tres incógnitas y sólo dos ecuaciones, no hay suficiente información para resolver para las incógnitas.

¿Qué debes hacer? Hay un rango de valores de las probabilidades que son consistentes con lo que sabes. Sin embargo, estos te dejan con diferentes cantidades de incertidumbre\(S\)

\(S = p(B) \log_2 \Big(\dfrac{1}{p(B)}\Big) + p(C) \log_2 \Big(\dfrac{1}{p(C)}\Big) + p(F) \log_2 \Big(\dfrac{1}{p(F)}\Big) \tag{8.19}\)

Si eliges uno para el que\(S\) es pequeño, estás asumiendo algo que no sabes. Por ejemplo, si tu promedio hubiera sido de $2.00 en lugar de $1.75, podrías haber cumplido con tus dos limitaciones asumiendo que todos compraron la comida de pollo. Entonces tu incertidumbre habría sido de 0 bits. O podrías haber asumido que la mitad de los pedidos eran para hamburguesas y la mitad para pescado, y la incertidumbre habría sido de 1 poco. Ninguno de estos supuestos parece particularmente apropiado, porque cada uno va más allá de lo que sabes. ¿Cómo puede encontrar esa distribución de probabilidad que no utilice más suposiciones más allá de lo que ya conoce?

El Principio de Entropía Máxima se basa en la suposición razonable de que debes seleccionar esa distribución de probabilidad que te deje la mayor incertidumbre restante (es decir, la entropía máxima) consistente con tus restricciones. De esa manera no has introducido ninguna suposición adicional en tus cálculos.

Para el caso simple de tres probabilidades y dos restricciones, esto es fácil de hacer analíticamente. Trabajando con las dos restricciones, dos de las probabilidades desconocidas se pueden expresar en términos de la tercera. Para nuestro caso podemos multiplicar la Ecuación 8.17 anterior por $1.00 y restarla de la Ecuación 8.18, para eliminar\(p(B)\). Entonces podemos multiplicar el primero por $2.00 y restarlo del segundo, eliminando así\(p(C)\):

\(p(C) = 0.75 − 2p(F) \tag{8.20}\)

\(p(B) = 0.25 + p(F) \tag{8.21}\)

A continuación, se puede determinar el posible rango de valores de las probabilidades. Dado que cada uno de los tres se encuentra entre 0 y 1, es fácil concluir a partir de estos resultados que

\(0 ≤ p(F) ≤ 0.375 \tag{8.22}\)

\(0 ≤ p(C) ≤ 0.75 \tag{8.23}\)

\(0.25 ≤ p(B) ≤ 0.625 \tag{8.24}\)

A continuación, estas expresiones pueden sustituirse en la fórmula para la entropía para que se exprese en términos de una sola probabilidad. Así