6.2.1: Desigualdad de Gibbs

Última actualización
Guardar como PDF

Page ID: 82026

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Aquí presentamos la Desigualdad de Gibbs, que lleva el nombre del físico estadounidense J. Willard Gibbs (1839—1903)\(^1\), que nos será útil en pruebas posteriores. Esta desigualdad establece que la entropía es menor o igual a cualquier otro promedio formado usando las mismas probabilidades pero una función diferente en el logaritmo. Específicamente

\(\displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p(A_i)}\Big) \leq \displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p'(A_i)}\Big) \tag{6.4}\)

donde\(p(A_i)\) está cualquier distribución de probabilidad (la usaremos para eventos fuente y otras distribuciones) y\(p'(A_i)\) es cualquier otra distribución de probabilidad, o más generalmente cualquier conjunto de números tal que

\(0 \leq p'(A_i) \leq 1 \tag{6.5}\)

\(\displaystyle \sum_{i} p'(A_i) \leq 1. \tag{6.6}\)

Como es cierto para todas las distribuciones de probabilidad,

\(\displaystyle \sum_{i} p(A_i) = 1. \tag{6.7}\)

La ecuación 6.4 se puede probar señalando que el logaritmo natural tiene la propiedad de que es menor o igual a una línea recta que es tangente a él en cualquier punto, (por ejemplo el punto\(x\) = 1 se muestra en la Figura 6.2). Esta propiedad a veces se conoce como concavidad o convexidad. Así

y por lo tanto, al convertir la base logaritmo\(e\) a la base logaritmo 2, tenemos

Entonces

\ [\ begin {align*}
\ displaystyle\ sum_ {i} p (a_i)\ log_2\ Grande (\ dfrac {1} {p (a_i)}\ grande) -\ displaystyle\ sum_ {i} p (a_i)\ log_2\ grande (\ dfrac {1} {p' (a_i)}\ grande) &=\ displaystyle\ sum_ {i} p (a_i)\ log_2\ Grande (\ dfrac {p' (a_I)} {p (a_I)}\ Grande)\\
&\ leq\ log_2 e\ displaystyle\ sum_ {i} p (a_i)\ begin {bmatrix}\ dfrac {p' (a_i)} {p (a_i)} - 1\ end {bmatrix}\\
&=\ log_2 e\ Big (\ displaystyle\ sum_ {i} p' (a_i) -\ sum_ {i} p (a_i)\ Big)\\
&=\ log_2 e\ Grande (\ displaystyle\ sum_ {i} '(a_i) - 1\ Grande)\\
&\ leq 0\ tag {6.10}
\ end {align*}\ nonumber\]

Screen Shot 2021-05-05 a las 8.22.21 PM.png — Figura 6.2: Gráfica de la desigualdad\(\ln x ≤ (x − 1)\)

\(^1\)See a biography of Gibbs at http://www-groups.dcs.st-andrews.ac....ies/Gibbs.html