Saltar al contenido principal
LibreTexts Español

6.2.1: Desigualdad de Gibbs

  • Page ID
    82026
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)

    ( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\id}{\mathrm{id}}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\kernel}{\mathrm{null}\,}\)

    \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\)

    \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\)

    \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \( \newcommand{\vectorA}[1]{\vec{#1}}      % arrow\)

    \( \newcommand{\vectorAt}[1]{\vec{\text{#1}}}      % arrow\)

    \( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vectorC}[1]{\textbf{#1}} \)

    \( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)

    \( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)

    \( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)

    \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    Aquí presentamos la Desigualdad de Gibbs, que lleva el nombre del físico estadounidense J. Willard Gibbs (1839—1903)\(^1\), que nos será útil en pruebas posteriores. Esta desigualdad establece que la entropía es menor o igual a cualquier otro promedio formado usando las mismas probabilidades pero una función diferente en el logaritmo. Específicamente

    \(\displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p(A_i)}\Big) \leq \displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p'(A_i)}\Big) \tag{6.4}\)

    donde\(p(A_i)\) está cualquier distribución de probabilidad (la usaremos para eventos fuente y otras distribuciones) y\(p'(A_i)\) es cualquier otra distribución de probabilidad, o más generalmente cualquier conjunto de números tal que

    \(0 \leq p'(A_i) \leq 1 \tag{6.5}\)

    y

    \(\displaystyle \sum_{i} p'(A_i) \leq 1. \tag{6.6}\)

    Como es cierto para todas las distribuciones de probabilidad,

    \(\displaystyle \sum_{i} p(A_i) = 1. \tag{6.7}\)

    La ecuación 6.4 se puede probar señalando que el logaritmo natural tiene la propiedad de que es menor o igual a una línea recta que es tangente a él en cualquier punto, (por ejemplo el punto\(x\) = 1 se muestra en la Figura 6.2). Esta propiedad a veces se conoce como concavidad o convexidad. Así

    y por lo tanto, al convertir la base logaritmo\(e\) a la base logaritmo 2, tenemos

    Entonces

    \ [\ begin {align*}
    \ displaystyle\ sum_ {i} p (a_i)\ log_2\ Grande (\ dfrac {1} {p (a_i)}\ grande) -\ displaystyle\ sum_ {i} p (a_i)\ log_2\ grande (\ dfrac {1} {p' (a_i)}\ grande) &=\ displaystyle\ sum_ {i} p (a_i)\ log_2\ Grande (\ dfrac {p' (a_I)} {p (a_I)}\ Grande)\\
    &\ leq\ log_2 e\ displaystyle\ sum_ {i} p (a_i)\ begin {bmatrix}\ dfrac {p' (a_i)} {p (a_i)} - 1\ end {bmatrix}\\
    &=\ log_2 e\ Big (\ displaystyle\ sum_ {i} p' (a_i) -\ sum_ {i} p (a_i)\ Big)\\
    &=\ log_2 e\ Grande (\ displaystyle\ sum_ {i} '(a_i) - 1\ Grande)\\
    &\ leq 0\ tag {6.10}
    \ end {align*}\ nonumber\]

    Screen Shot 2021-05-05 a las 8.22.21 PM.png
    Figura 6.2: Gráfica de la desigualdad\(\ln x ≤ (x − 1)\)

    \(^1\)See a biography of Gibbs at http://www-groups.dcs.st-andrews.ac....ies/Gibbs.html


    This page titled 6.2.1: Desigualdad de Gibbs is shared under a CC BY-NC-SA 4.0 license and was authored, remixed, and/or curated by Paul Penfield, Jr. (MIT OpenCourseWare) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.