9.3: Entropía

Última actualización
Guardar como PDF

Page ID: 82177

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Nuestra incertidumbre se expresa cuantitativamente por la información que no tenemos sobre el estado ocupado. Esta información es

\[S = \displaystyle \sum_{i} p(A_i) \log_2 \Big(\dfrac{1}{p(A_i)}\Big) \label{9.2} \]

La información se mide en bits, como consecuencia del uso de logaritmos para basar 2 en la Ecuación\ ref {9.2}.

Al tratar con sistemas físicos reales, con una gran cantidad de estados y por lo tanto una entropía que es un número muy grande de bits, es conveniente multiplicar la suma anterior por los constantes\(k_B = 1.381 × 10^{−23}\) Julios por Kelvin de Boltzmann, y también usar logaritmos naturales en lugar de logaritmos para basar 2. Entonces se\(S\) expresaría en Julios por Kelvin:

\(S = k_B \displaystyle \sum_{i} p(A_i) \ln \Big(\dfrac{1}{p(A_i)}\Big) \tag{9.3} \)

En el contexto tanto de los sistemas físicos como de los sistemas de comunicación la incertidumbre se conoce como la entropía. Tenga en cuenta que debido a que la entropía se expresa en términos de probabilidades, también depende del observador, por lo que dos personas con diferentes conocimientos del sistema calcularían un valor numérico diferente para la entropía.