Search

Text Color

Margin Size

Font Type

Enable Dyslexic Font

6.20: Entropía

Última actualización

30 oct 2022
Guardar como PDF
- 6.19: Canales digitales
- 6.21: Teorema de Codificación Fuente

$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$

$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$

$\newcommand{\id}{\mathrm{id}}$ $\newcommand{\Span}{\mathrm{span}}$

( \newcommand{\kernel}{\mathrm{null}\,}\) $\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$ $\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$ $\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\id}{\mathrm{id}}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\kernel}{\mathrm{null}\,}$

$\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$

$\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$

$\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$ $\newcommand{\AA}{\unicode[.8,0]{x212B}}$

$\newcommand{\vectorA}[1]{\vec{#1}} % arrow$

$\newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow$

$\newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$

$\newcommand{\vectorC}[1]{\textbf{#1}}$

$\newcommand{\vectorD}[1]{\overrightarrow{#1}}$

$\newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}}$

$\newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}}$

$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$

$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$

$\newcommand{\avec}{\mathbf a}$

$\newcommand{\bvec}{\mathbf b}$

$\newcommand{\cvec}{\mathbf c}$

$\newcommand{\dvec}{\mathbf d}$

$\newcommand{\dtil}{\widetilde{\mathbf d}}$

$\newcommand{\evec}{\mathbf e}$

$\newcommand{\fvec}{\mathbf f}$

$\newcommand{\nvec}{\mathbf n}$

$\newcommand{\pvec}{\mathbf p}$

$\newcommand{\qvec}{\mathbf q}$

$\newcommand{\svec}{\mathbf s}$

$\newcommand{\tvec}{\mathbf t}$

$\newcommand{\uvec}{\mathbf u}$

$\newcommand{\vvec}{\mathbf v}$

$\newcommand{\wvec}{\mathbf w}$

$\newcommand{\xvec}{\mathbf x}$

$\newcommand{\yvec}{\mathbf y}$

$\newcommand{\zvec}{\mathbf z}$

$\newcommand{\rvec}{\mathbf r}$

$\newcommand{\mvec}{\mathbf m}$

$\newcommand{\zerovec}{\mathbf 0}$

$\newcommand{\onevec}{\mathbf 1}$

$\newcommand{\real}{\mathbb R}$

$\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}$

$\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}$

$\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}$

$\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}$

$\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$

$\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}$

$\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$

$\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}$

$\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}$

$\newcommand{\laspan}[1]{\text{Span}\{#1\}}$

$\newcommand{\bcal}{\cal B}$

$\newcommand{\ccal}{\cal C}$

$\newcommand{\scal}{\cal S}$

$\newcommand{\wcal}{\cal W}$

$\newcommand{\ecal}{\cal E}$

$\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}$

$\newcommand{\gray}[1]{\color{gray}{#1}}$

$\newcommand{\lgray}[1]{\color{lightgray}{#1}}$

$\newcommand{\rank}{\operatorname{rank}}$

$\newcommand{\row}{\text{Row}}$

$\newcommand{\col}{\text{Col}}$

$\renewcommand{\row}{\text{Row}}$

$\newcommand{\nul}{\text{Nul}}$

$\newcommand{\var}{\text{Var}}$

$\newcommand{\corr}{\text{corr}}$

$\newcommand{\len}[1]{\left|#1\right|}$

$\newcommand{\bbar}{\overline{\bvec}}$

$\newcommand{\bhat}{\widehat{\bvec}}$

$\newcommand{\bperp}{\bvec^\perp}$

$\newcommand{\xhat}{\widehat{\xvec}}$

$\newcommand{\vhat}{\widehat{\vvec}}$

$\newcommand{\uhat}{\widehat{\uvec}}$

$\newcommand{\what}{\widehat{\wvec}}$

$\newcommand{\Sighat}{\widehat{\Sigma}}$

$\newcommand{\lt}{<}$

$\newcommand{\gt}{>}$

$\newcommand{\amp}{&}$

$\definecolor{fillinmathshade}{gray}{0.9}$

Objetivos de aprendizaje

Shannon mostró el poder de los modelos probabilísticos para señales de valor simbólico. La cantidad dey que caracteriza tal señal es la entropía de su alfabeto.

La teoría de la comunicación se ha formulado mejor para señales de valor simbólico. Claude Shannon publicó en 1948 La teoría matemática de la comunicación, que se convirtió en la piedra angular de la comunicación digital. Mostró el poder de los modelos probabilísticos para señales de valor simbólico, lo que le permitió cuantificar la información presente en una señal. En el modelo de señal más simple, cada símbolo puede ocurrir en el índice n con una probabilidad Pr [a _k], k= {1,... , K}. Lo que dice este modelo es que por cada valor de señal se voltea una moneda de K lados (tenga en cuenta que la moneda no necesita ser justa). Para que este modelo tenga sentido, las probabilidades deben ser números entre cero y uno y deben sumar a uno.

$0\leq Pr[a_{k}]\leq 1 \nonumber$

$\sum_{k=1}^{K}Pr[a_{k}]=1 \nonumber$

Este modelo de volteo de monedas supone que los símbolos ocurren sin tener en cuenta cuáles fueron los símbolos anteriores o sucesivos, una suposición falsa para el texto mecanografiado. A pesar de la sobresimplicidad de este modelo probabilístico, las ideas que desarrollamos aquí también funcionan cuando se utilizan modelos más precisos, pero aún probabilísticos. La cantidad clave que caracteriza a una señal de valor simbólico es la entropía de su alfabeto.

$H(A)=-\sum_{kK}Pr[a_{k}]\log_{2}Pr[a_{k}] \nonumber$

Debido a que usamos el logaritmo de base 2, la entropía tiene unidades de bits. Para que esta definición tenga sentido, debemos tomar nota especial de los símbolos que tienen probabilidad cero de ocurrir. Un símbolo de probabilidad cero nunca ocurre; así, definimos

$0\log_{2}0=0 \nonumber$

para que tales símbolos no afecten a la entropía. El valor máximo alcanzable por la entropía de un alfabeto ocurre cuando los símbolos son igualmente probables

$Pr[a_{k}]=Pr[a_{l}] \nonumber$

En este caso, la entropía equivale a log ₂ K. El valor mínimo ocurre cuando solo se produce un símbolo; tiene probabilidad de que ocurra uno y el resto tiene probabilidad cero.

Ejercicio $\PageIndex{1}$

Derivar los resultados de máxima entropía, tanto el aspecto numérico (entropía equivale a log ₂ K) como el teórico (los símbolos igualmente probables maximizan la entropía). Derivar el valor del alfabeto mínimo de entropía.

Solución

Los símbolos igualmente probables tienen cada uno una probabilidad de 1/K. Por lo tanto,

$H(A)=-\sum_{kK}\frac{1}{K}\log_{2}\frac{1}{K}=\log_{2}K \nonumber$

Para demostrar que esta es la asignación de probabilidad de máxima entropía, debemos tomar explícitamente en cuenta que las probabilidades suman a uno. Enfócate en un símbolo en particular, digamos el primero. Pr [a ₀] aparece dos veces en la fórmula de entropía: los términos

$Pr[a_{0}]\log_{2}Pr[a_{0}]\; and\; (1-Pr[a_{0}]+...+Pr[a_{K-2}])\log_{2}(1-Pr[a_{0}]+...+Pr[a_{K-2}]) \nonumber$

La derivada con respecto a esta probabilidad (y todas las demás) debe ser cero. La derivada es igual a

$\log_{2}Pr[a_{0}]- \log_{2}(1-Pr[a_{0}]+...+Pr[a_{K-2}]) \nonumber$

y todos los demás derivados tienen la misma forma (solo sustituya el índice de su letra). Así, cada probabilidad debe ser igual a las demás, y estamos hechos. Para la respuesta mínima de entropía, un término es

$1\log_{2}1=0 \nonumber$

y los demás son

$0\log_{2}0 \nonumber$

que definimos como cero también. El valor mínimo de entropía es cero.

Ejemplo $\PageIndex{1}$ :

Un alfabeto de cuatro símbolos tiene las siguientes probabilidades.

$Pr[a_{0}]=\frac{1}{2} \nonumber$

$Pr[a_{1}]=\frac{1}{4} \nonumber$

$Pr[a_{2}]=\frac{1}{8} \nonumber$

$Pr[a_{3}]=\frac{1}{8} \nonumber$

Tenga en cuenta que estas probabilidades suman a uno como deberían. Como

$\frac{1}{2}=2^{-1},\log_{2}\frac{1}{2}=-1 \nonumber$

La entropía de este alfabeto equivale a

$H(A)=-\left ( \frac{1}{2} \log_{2}\frac{1}{2}+\frac{1}{4} \log_{2}\frac{1}{4}+\frac{1}{8} \log_{2}\frac{1}{8}+\frac{1}{8} \log_{2}\frac{1}{8}\right ) \nonumber$

$H(A)=-\left ( \frac{1}{2} -1+\frac{1}{4} -2+\frac{1}{8} -3+\frac{1}{8} -3\right ) \nonumber$

$H(A)=1.75\; bits \nonumber$

Objetivos de aprendizaje

Ejercicio6.20.1\PageIndex{1}

Ejemplo6.20.1\PageIndex{1}:

Support Center

How can we help?

Ejercicio $\PageIndex{1}$

Ejemplo $\PageIndex{1}$ :