4.4: Entropía e Información

Última actualización
Guardar como PDF

Page ID: 71847

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Entropía de Gibbs

Para un sistema con un número contable de microestados, una entropía de conjunto puede definirse por una suma ponderada sobre entropías de todos los microestados que a su vez se expresan como\(-k_\mathrm{B} \ln P_i\), lo cual es análogo a la definición de entropía de Boltzmann para un macroestado.

\[S = -k_\mathrm{B} \sum_i P_i \ln P_i \ .\]

Esta es la definición de entropía de Gibbs, mientras que la entropía de Boltzmann se asigna a un microestado individual. Tenga en cuenta que hemos utilizado un capital\(S\) porque la entropía de Gibbs es una entropía molecular. Usando la ecuación\ ref {eq:boltzmann_distribution}, obtenemos para la entropía del sistema\(s = N S\),

\[\begin{align} s & = -k_\mathrm{B} N \sum_i P_i \left( -\frac{\epsilon_i}{k_\mathrm{B} T} - \ln Z \right) \\ & = \frac{u}{T} + k_B \ln z \ , \label{eq:Gibbs_system_entropy}\end{align}\]

donde hemos asumido partículas distinguibles, así que eso\(\ln z = N \ln Z\). Hemos recuperado la Ecuación\ ref {eq:s_from_z} que habíamos derivado para la entropía del sistema partiendo de la entropía de Boltzmann y asumiendo un conjunto canónico. Para un conjunto canónico de partículas distinguibles, se puede utilizar cualquiera de los dos conceptos. Como se señaló anteriormente, la entropía de Gibbs lleva a la paradoja de una entropía de mezcla positiva para la combinación de dos subsistemas conformados por el mismo gas ideal. De manera más general, la entropía de Gibbs no es extensa si las partículas son indistinguibles. El problema se puede resolver redefiniendo la función de partición del sistema como en la ecuación\ ref {eq:z_indist}.

Este problema sugiere que la entropía está relacionada con la información que tenemos sobre el sistema. Considera mezclar\(\ce{^{13}CO2}\) con\(^{12}\mathrm{CO}_2\). ¹⁵ En un momento en que se desconocían los isótopos nucleares, no se podían distinguir los dos gases y la entropía de mezcla era cero. Con un espectrómetro suficientemente sensible, hoy en día se pudo observar el proceso de mezcla por\(^{13}\mathrm{C}\) RMN. Observaremos mezcla espontánea. Muy obviamente, la entropía de mezcla ya no es cero.

Esta paradoja advierte contra la interpretación filosófica de la entropía. La entropía es una cantidad que se puede utilizar para predecir el resultado de experimentos físicos. Se presume un observador y depende de la información que el observador tenga o pueda obtener. ¹⁶ La mecánica estadística proporciona recetas generales para definir la entropía, pero los detalles de una definición adecuada dependen del contexto experimental.

A diferencia de la entropía del sistema derivada de la entropía de Boltzmann a través del conjunto canónico, la entropía de Gibbs se define, en principio, para estados de no equilibrio. Debido a que se basa en el mismo concepto de probabilidad, la entropía de Gibbs en un sistema aislado es menor para los estados de no equilibrio que para los estados de equilibrio.

Entropía de von Neumann

El concepto de entropía de Gibbs para un conjunto contable de estados discretos y sus probabilidades se extiende fácilmente al espacio de fase continuo y densidades de probabilidad. Esto lleva a la entropía de von Neumann,

\[S = -k_\mathrm{B} \mathrm{Trace}\left\{ \rho \ln \rho \right\} \ , \label{eq:von_Neumann_entropy}\]

donde\(\rho\) está la matriz de densidad. Algunos libros de texto de física no distinguen la entropía de von Neumann de la entropía de Gibbs. La entropía de von Neumann es una constante de movimiento si un conjunto de sistemas clásicos evoluciona de acuerdo con la ecuación de Liouville o un sistema mecánico cuántico evoluciona de acuerdo con la ecuación de Liouville-von-Neumann. No puede describir la aproximación de un sistema aislado al equilibrio. El acoplamiento del sistema mecánico cuántico a un entorno puede describirse mediante la ecuación estocástica de Liouville

\[\frac{\partial \widehat{\rho}}{\partial t} = -\frac{i}{\hbar} \left[ \mathcal{\widehat{H}}, \widehat{\rho} \right] + \widehat{\widehat{\Gamma}} \left( \widehat{\rho} - \widehat{\rho}_\mathrm{eq} \right) \ ,\]

donde\(\widehat{\widehat{\Gamma}}\) es un operador markoviano y\(\rho_\mathrm{eq}\) la matriz de densidad en equilibrio. Esta ecuación de movimiento puede describir los sistemas disipativos cuánticos, es decir, el acercamiento al equilibrio, sin apoyarse explícitamente en el concepto de entropía, a excepción del cálculo de\(\rho_\mathrm{eq}\), que se basa en la generalización de la distribución de Boltzmann (ver Sección [subsección:q_particion]). Sin embargo, para derivar al operador markoviano\(\widehat{\widehat{\Gamma}}\), se deben hacer suposiciones explícitas sobre el acoplamiento entre el sistema mecánico cuántico y su entorno, lo que está más allá del alcance de esta clase magistral.

Entropía de Shannon

El concepto de entropía también se ha introducido en la teoría de la información. Para cualquier número aleatorio discreto que pueda tomar valores\(a_j\) con probabilidades\(P(a_j)\), la entropía de Shannon se define como

\[H_\mathrm{Shannon}\left( a \right) = -\sum_j P(a_j) \log_2 P(a_j) \ .\]

Aquí se usa un logaritmo a la base de 2 ya que se supone que la información está codificada por números binarios. A diferencia de los estados discretos en la mecánica estadística, un evento puede estar en el conjunto pero aún así tener una probabilidad\(P(a_j) = 0\). En tales casos,\(P(a_j) \log_2 P(a_j)\) se establece en cero. La entropía de Shannon es cuanto mayor es “más aleatoria” es la distribución o, más precisamente, cuanto más cerca está la distribución de una distribución uniforme. La información se considera como desviación de un flujo aleatorio de números o caracteres. Cuanto mayor sea el contenido de información, menor será la entropía.

La entropía de Shannon puede estar relacionada con la entropía reducida de Gibbs\(\sigma = S/k_\mathrm{B}\). Es la cantidad de información de Shannon que se requiere para especificar el microestado del sistema si se conoce el macroestado. Cuando se expresa con el logaritmo binario, esta cantidad de información de Shannon especifica el número de preguntas de sí/no que tendrían que ser respondidas para especificar el microestado. Observamos que este es exactamente el tipo de experimento que se presume en el segundo postulado de Penrose (Sección [Penrose_postulados]). Cuantos más microestados sean consistentes con el macroestado observado, mayor es este número de preguntas y mayores son la entropía de Shannon y Gibbs. El concepto se aplica tanto a los estados de no equilibrio como a los estados de equilibrio. De ello se desprende, lo que fue declarado ante Shannon por G. N. Lewis: “Ganar en la entropía siempre significa pérdida de información, y nada más”. El estado de equilibrio es el macroestado que carece de mayor información sobre el microestado subyacente.

Además, podemos asociar el orden con la información, ya que cualquier disposición ordenada de objetos contiene información sobre cómo se ordenan. En ese sentido, la pérdida de orden es la pérdida de información y el aumento del trastorno es un aumento de la entropía. El vínculo surge vía probabilidad, ya que el número total de arreglos es mucho mayor que el número de arreglos que se ajustan a cierto principio de orden. Sin embargo, la asociación de la entropía con el trastorno es solo coloquial, ya que en la mayoría de los casos no tenemos descripciones cuantitativas de orden.