9.6.5: Ejemplos
- Page ID
- 82245
Para el ejemplo de Burgers de Berger, supongamos que le dicen que el precio promedio de la comida es de $2.50, y desea estimar las probabilidades\(p(B)\),\(p(C)\),\(p(F)\), y\(p(T)\). Esto es lo que sabes:
\(\begin{align*} 1 &= p(B) + p(C) + p(F) + p(T) \tag{9.24} \\ 0 &= $1.00p(B) + $2.00p(C) + $3.00p(F) + $8.00p(T) − $2.50 \tag{9.25} \\ S &= p(B) \log_2 \Big(\dfrac{1}{p(B)} \Big) + p(C) \log_2 \Big(\dfrac{1}{p(C)} \Big) + p(F) \log_2 \Big(\dfrac{1}{p(F)} \Big) + p(T) \log_2 \Big(\dfrac{1}{p(T)} \Big) \tag{9.26} \end{align*}\)
La entropía es la más grande, sujeta a las restricciones, si
donde
\(\alpha = \log_2(2^{−\beta $1.00} + 2^{− \beta $2.00} + 2^{− \beta $3.00} + 2^{−\beta $8.00}) \tag{9.31}\)
y\(\beta\) es el valor para el cual\(f(\beta)\) = 0 donde
\(f(\beta) = $0.50 × 2^{−$0.50\beta} + $5.50 × 2^{−$5.50\beta} − $1.50 × 2^{$1.50\beta} − $0.50 × 2^{$0.50\beta} \tag{9.32}\)
Un poco de prueba y error (o el uso de un programa de búsqueda cero) da\(\beta\) = 0.2586 bits/dólar,\(\alpha\) = 1.2371 bits,\(p(B)\) = 0.3546,\(p(C)\) = 0.2964,\(p(F)\) = 0.2478,\(p(T)\) = 0.1011, y\(S\) = 1.8835 bits. La entropía es menor que los 2 bits que se requerirían para codificar un solo orden de una de las cuatro comidas posibles usando un código de longitud fija. Esto se debe a que el conocimiento del precio promedio reduce un poco nuestra incertidumbre. Si se conoce más información sobre las órdenes entonces una distribución de probabilidad que incorpore esa información tendría aún menor entropía.
Para el ejemplo del dipolo magnético, llevamos la derivación con el campo magnético\(H\) establecido en algún valor no especificado. Todos los resultados dependen\(H\) así como\(E\).
\ begin {alinear*}
1 &=p (U) +p (D)\ tag {9.33}\
\\ tilde ancho {E} &=e (U) p (U) +e (D) p (D)\\
&=m_ {d} H [p (U) -p (D)]\ etiqueta {9.34}\\
S &=p (U)\ log _ {2} (\ frac {1} {p (A)}) +p (D)\ log _ {2} (\ frac {1} {p (D)})\ tag {9.35}
\ end {align*}
La entropía es la más grande, para la energía\(\widetilde{E}\) y el campo magnético\(H\), si
\ begin {align*}
p (U) &= 2^ {-\ alpha} 2^ {-\ beta m_ {d} H}\ tag {9.36}\\
p (D) &= 2^ {-\ alpha} 2^ {\ beta m_ {d} H}\ tag {9.37}
\ end {align*}
donde
\(\alpha=\log _{2}\Big (2^{-\beta m_{d} H}+2^{\beta m_{d} H}\Big ) \tag{9.38}\)
y\(\beta\) es el valor para el cual\(f(\beta)\) = 0 donde
\(f(\beta)=(m_{d} H-\widetilde{E}) 2^{-\beta(m_{d} H-\widetilde{E})}-(m_{d} H+\widetilde{E}) 2^{\beta(m_{d} H+\widetilde{E})} \tag{9.39}\)
Tenga en cuenta que este ejemplo con un solo dipolo, y por lo tanto solo dos estados, en realidad no requiere el Principio de Entropía Máxima porque hay dos ecuaciones en dos incógnitas,\(p(U)\) y\(p(D)\) (puedes resolver la Ecuación 9.39 por\(\beta\) usar álgebra). Si hubiera dos dipolos, habría cuatro estados y el álgebra no habría sido suficiente. Si hubiera muchos más de cuatro estados posibles, este procedimiento para calcular\(\beta\) habría sido poco práctico o al menos muy difícil. Por lo tanto, preguntamos, en el Capítulo 11 de estas notas, qué podemos decir sobre las diversas cantidades aunque en realidad no podamos calcular valores numéricos para ellas utilizando la suma sobre estados.