9.6: Entropía máxima, restricción única

Última actualización
Guardar como PDF

Page ID: 82198

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Supongamos que se conoce el valor promedio de alguna cantidad con valores\(g(A_i)\) asociados a los diversos eventos\(A_i\); llámenlo\(\widetilde{G}\) (esta es la restricción). Así hay dos ecuaciones, una de las cuales proviene de la restricción y la otra del hecho de que las probabilidades suman 1:

\(1 = \displaystyle \sum_{i} p(A_i) \tag{9.8}\)

\(\widetilde{G} = \displaystyle \sum_{i} p(A_i)g(A_i) \tag{9.9}\)

donde\(\widetilde{G}\) no puede ser menor que el más pequeño\(g(A_i)\) o mayor que el más grande\(g(A_i)\).

La entropía asociada a esta distribución de probabilidad es

\(S = \displaystyle \sum_{i} p(A_i) \log_2 \Big(\dfrac{1}{p(A_i)}\Big) \tag{9.10}\)

cuando se expresa en bits. En la derivación a continuación se utilizará esta fórmula para la entropía. Funciona bien para ejemplos con un pequeño número de estados. En capítulos posteriores de estas notas comenzaremos a utilizar la expresión más común para la entropía en sistemas físicos, expresada en Julios por Kelvin,

\(S = k_B \displaystyle \sum_{i} p(A_i) \ln \Big(\dfrac{1}{p(A_i)}\Big) \tag{9.11}\)