9.5: Entropía máxima, forma analítica

Última actualización
Guardar como PDF

Page ID: 82160

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

El Principio de Entropía Máxima se basa en la premisa de que al estimar la distribución de probabilidad, debes seleccionar esa distribución que te deje la mayor incertidumbre restante (es decir, la entropía máxima) consistente con tus restricciones. De esa manera no has introducido ningún supuesto o sesgo adicional en tus cálculos.

Este principio se utilizó en el Capítulo 8 para el caso simple de tres probabilidades y una restricción. La entropía podría maximizarse analíticamente. Usando la restricción y el hecho de que las probabilidades suman 1, expresamos dos de las probabilidades desconocidas en términos de la tercera.

A continuación, se determinó el posible rango de valores de las probabilidades utilizando el hecho de que cada una de las tres se encuentra entre 0 y 1. Después, estas expresiones se sustituyeron en la fórmula para la entropía para\(S\) que se expresara en términos de una sola probabilidad. Entonces podría emplearse cualquiera de varias técnicas para encontrar el valor de esa probabilidad para la cual\(S\) es la mayor.

Esta técnica analítica no se extiende a casos con más de tres estados posibles y sólo una restricción. Sólo es práctico porque la restricción puede ser utilizada para expresar la entropía en términos de una sola variable. Si hay, digamos, cuatro incógnitas y dos ecuaciones, la entropía se dejaría en función de dos variables, en lugar de una. Habría que buscar su máximo en un plano. Quizás esto parezca factible, pero ¿y si hubiera cinco incógnitas? (¿O diez?) Sería necesario buscar en un espacio de tres (u ocho) dimensiones, y esto es mucho más difícil.

En la siguiente sección se desarrolla un enfoque diferente, uno muy adecuado para una sola restricción y muchas probabilidades.