Saltar al contenido principal
LibreTexts Español

8.2.3: Entropía

  • Page ID
    82528
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    De manera más general, nuestra incertidumbre se expresa cuantitativamente por la información que no tenemos sobre la comida elegida, o el estado ocupado. Esto es

    \(\begin{align*} S &= \displaystyle \sum_{i} p(A_i)\log_2 \Big(\dfrac{1}{p(A_i)}\Big) \\ &= p(B)\log_2\Big(\dfrac{1}{p(B)}\Big) + p(C)\log_2\Big(\dfrac{1}{p(C)}\Big) + p(F)\log_2\Big(\dfrac{1}{p(F)}\Big) \tag{8.14} \end{align*}\)

    Aquí, la información se mide en bits porque estamos usando logaritmos para basar 2.

    En el contexto de los sistemas físicos esta incertidumbre se conoce como la entropía. En los sistemas de comunicación la incertidumbre respecto a qué mensaje real se va a transmitir también se conoce como la entropía de la fuente. Obsérvese que en general la entropía, debido a que se expresa en términos de probabilidades, depende del observador. Una persona puede tener un conocimiento diferente del sistema de otra, y por lo tanto calcularía un valor numérico diferente para la entropía. El Principio de Entropía Máxima se utiliza para descubrir la distribución de probabilidad que conduce al valor más alto para esta incertidumbre, asegurando así que no se asume inadvertidamente ninguna información. La distribución de probabilidad resultante no es dependiente del observador.


    This page titled 8.2.3: Entropía is shared under a CC BY-NC-SA 4.0 license and was authored, remixed, and/or curated by Paul Penfield, Jr. (MIT OpenCourseWare) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.