9.6.3: La Entropía Máxima
- Page ID
- 82231
Es fácil demostrar que la entropía calculada a partir de esta distribución de probabilidad es al menos tan grande como la de cualquier distribución de probabilidad que conduzca al mismo valor esperado de\(G\).
Recordemos la desigualdad de Gibbs, Ecuación 6.4, que se reescribirá aquí\(p(A_i)\)\(p'(A_i)\) e intercambiará (es válida de cualquier manera):
\(\displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p'(A_i)}\Big) \leq \displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p(A_i)}\Big) \tag{9.16}\)
donde\(p'(A_i)\) está cualquier distribución de probabilidad y\(p(A_i)\) es cualquier otra distribución de probabilidad. La desigualdad es una igualdad si y sólo si las dos distribuciones de probabilidad son las mismas.
La desigualdad de Gibbs se puede utilizar para demostrar que la distribución de probabilidad de la Ecuación 9.12 tiene la máxima entropía. Supongamos que hay otra distribución de probabilidad\(p'(A_i)\) que conduce a un valor esperado\(G'\) y una entropía\(S'\), es decir,
\(\begin{align*} 1 &= \displaystyle \sum_{i} p'(A_i) \tag{9.17} \\ G' &= \displaystyle \sum_{i} p'(A_i)g(A_i) \tag{9.18} \\ S' &= \displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p'(A_i)}\Big) \tag{9.19} \end{align*}\)
Entonces es fácil demostrar que, por cualquier valor de\(\beta\), si\(G' = G(\beta)\) entonces\(S' ≤ S(\beta)\):
\ begin {align*}
S^ {\ prime} &=\ sum_ {i} p^ {\ prime} (A_ {i})\ log _ {2} (\ frac {1} {p^ {\ prime} (A_ {i})})\\
&\ leq\ sum_ {i} p^ {\ prime} (A_ {i})\ log _ {2} (\ frac {1} {p (A_ {i})})\\
&=\ suma_ {i} p^ {\ prime} (A_ {i}) [\ alpha+\ beta g (A_ {i})]\\
&=\ alpha+\ beta G ^ {\ prime}\\
&=S (\ beta) +\ beta [G^ {\ prime} -G (\ beta)]
\ tag {9.20}\ end {align*}
donde se utilizaron las Ecuaciones 9.16, 9.13, 9.17, 9.18 y 9.15. Así, la entropía asociada a cualquier distribución alternativa de probabilidad propuesta que conduzca al mismo valor para la variable de restricción no puede exceder la entropía para la distribución que utiliza\(\beta\).