5.8: Propiedades de la Información

Última actualización
Guardar como PDF

Page ID: 82097

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Es conveniente pensar que las cantidades físicas tienen dimensiones. Por ejemplo, las dimensiones de la velocidad son longitud a lo largo del tiempo, y así la velocidad se expresa en metros por segundo. De manera similar es conveniente pensar en la información como una cantidad física con dimensiones. Quizás esto sea un poco menos natural, porque las probabilidades son inherentemente adimensionales. Sin embargo, tenga en cuenta que la fórmula utiliza logaritmos a la base 2. La elección de la base equivale a un factor de escala para la información. En principio cualquier base\(k\) podría ser utilizada, y relacionada con nuestra definición por la identidad

\(\log_k(x) = \dfrac{\log_2(x)}{\log_2(k)} \tag{5.15}\)

Con logaritmos de base 2 la información se expresa en bits. Posteriormente, encontraremos logaritmos naturales para ser útiles.

Si hay dos eventos en la partición con probabilidades\(p\) y\((1 − p)\), la información por símbolo es

\(I = p\log_2\Big(\dfrac{1}{p}\Big) + (1-p)\log_2\Big(\dfrac{1}{1-p}\Big)\tag{5.16}\)

que se muestra, en función de\(p\), en la Figura 5.3. Es más grande (1 bit) para\(p\) = 0.5. Así, la información es máxima cuando las probabilidades de los dos eventos posibles son iguales. Además, para todo el rango de probabilidades entre\(p\) = 0.4 y\(p\) = 0.6 la información es cercana a 1 bit. Es igual a 0 para\(p\) = 0 y para\(p\) = 1. Esto es razonable porque para tales valores\(p\) del resultado es cierto, por lo que no se obtiene información al aprenderlo.

Para particiones con más de dos eventos posibles la información por símbolo puede ser mayor. Si hay eventos\(n\) posibles la información por símbolo se encuentra entre 0 y\(\log_2(n)\) bits, alcanzándose el valor máximo cuando todas las probabilidades son iguales.

Screen Shot 2021-05-04 a las 12.30.00 AM.png — Figura 5.3: Entropía de una fuente con dos símbolos en función de\(p\), una de las dos probabilidades