Saltar al contenido principal
LibreTexts Español

9.6.3: La Entropía Máxima

  • Page ID
    82231
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    Es fácil demostrar que la entropía calculada a partir de esta distribución de probabilidad es al menos tan grande como la de cualquier distribución de probabilidad que conduzca al mismo valor esperado de\(G\).

    Recordemos la desigualdad de Gibbs, Ecuación 6.4, que se reescribirá aquí\(p(A_i)\)\(p'(A_i)\) e intercambiará (es válida de cualquier manera):

    \(\displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p'(A_i)}\Big) \leq \displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p(A_i)}\Big) \tag{9.16}\)

    donde\(p'(A_i)\) está cualquier distribución de probabilidad y\(p(A_i)\) es cualquier otra distribución de probabilidad. La desigualdad es una igualdad si y sólo si las dos distribuciones de probabilidad son las mismas.

    La desigualdad de Gibbs se puede utilizar para demostrar que la distribución de probabilidad de la Ecuación 9.12 tiene la máxima entropía. Supongamos que hay otra distribución de probabilidad\(p'(A_i)\) que conduce a un valor esperado\(G'\) y una entropía\(S'\), es decir,

    \(\begin{align*} 1 &= \displaystyle \sum_{i} p'(A_i) \tag{9.17} \\ G' &= \displaystyle \sum_{i} p'(A_i)g(A_i) \tag{9.18} \\ S' &= \displaystyle \sum_{i} p'(A_i) \log_2 \Big(\dfrac{1}{p'(A_i)}\Big) \tag{9.19} \end{align*}\)

    Entonces es fácil demostrar que, por cualquier valor de\(\beta\), si\(G' = G(\beta)\) entonces\(S' ≤ S(\beta)\):

    \ begin {align*}
    S^ {\ prime} &=\ sum_ {i} p^ {\ prime} (A_ {i})\ log _ {2} (\ frac {1} {p^ {\ prime} (A_ {i})})\\
    &\ leq\ sum_ {i} p^ {\ prime} (A_ {i})\ log _ {2} (\ frac {1} {p (A_ {i})})\\
    &=\ suma_ {i} p^ {\ prime} (A_ {i}) [\ alpha+\ beta g (A_ {i})]\\
    &=\ alpha+\ beta G ^ {\ prime}\\
    &=S (\ beta) +\ beta [G^ {\ prime} -G (\ beta)]
    \ tag {9.20}\ end {align*}

    donde se utilizaron las Ecuaciones 9.16, 9.13, 9.17, 9.18 y 9.15. Así, la entropía asociada a cualquier distribución alternativa de probabilidad propuesta que conduzca al mismo valor para la variable de restricción no puede exceder la entropía para la distribución que utiliza\(\beta\).


    This page titled 9.6.3: La Entropía Máxima is shared under a CC BY-NC-SA 4.0 license and was authored, remixed, and/or curated by Paul Penfield, Jr. (MIT OpenCourseWare) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.