Saltar al contenido principal
LibreTexts Español

8.2: Principio de Entropía Máxima - Forma Simple

  • Page ID
    82525
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    En la última sección, discutimos una técnica de estimación de las probabilidades de entrada de un proceso dado que se conoce el evento de salida. Esta técnica, que se basa en el uso del Teorema de Bayes, sólo funciona si el proceso es sin pérdidas (en cuyo caso la entrada se puede identificar con certeza) o se asume una distribución inicial de probabilidad de entrada (en cuyo caso se refina para tener en cuenta la salida conocida).

    El Principio de Entropía Máxima es una técnica que se puede utilizar para estimar las probabilidades de entrada de manera más general. El resultado es una distribución de probabilidad que es consistente con restricciones conocidas expresadas en términos de promedios, o valores esperados, de una o más cantidades, pero que por lo demás es lo más imparcial posible (la palabra “sesgo” se usa aquí no en el sentido técnico de la estadística, sino en el sentido cotidiano de una preferencia que inhibe el juicio imparcial). Este principio se describe primero para el caso simple de una restricción y tres eventos de entrada, en cuyo caso la técnica se puede llevar a cabo analíticamente. Entonces se describe de manera más general en el Capítulo 9.

    Este principio tiene aplicaciones en muchos dominios, pero originalmente fue motivado por la física estadística, que intenta relacionar las propiedades macroscópicas, medibles de los sistemas físicos con una descripción a nivel atómico o molecular. Se puede utilizar para acercarse a los sistemas físicos desde el punto de vista de la teoría de la información, ya que las distribuciones de probabilidad pueden derivarse evitando la suposición de que el observador tiene más información de la que realmente está disponible. La teoría de la información, particularmente la definición de información en términos de distribuciones de probabilidad, proporciona una medida cuantitativa de ignorancia (o incertidumbre, o entropía) que puede maximizarse matemáticamente para encontrar la distribución de probabilidad que mejor evite supuestos innecesarios.

    Este enfoque de la física estadística fue pionero por Edwin T. Jaynes (1922-1998), profesor de la Universidad de Washington en St. Louis, y anteriormente en la Universidad de Stanford. La publicación seminal fue

    Otras referencias de interés de Jaynes incluyen:

    • una continuación de este trabajo, E. T. Jaynes, “Teoría de la Información y Mecánica Estadística. II,” Revisión Física, vol. 108, núm. 2, pp. 171-190; 15 de octubre de 1957. (http://bayes.wustl.edu/etj/articles/theory.1.pdf)
    • un artículo de revisión, incluyendo un ejemplo de estimación de probabilidades de un dado injusto, E. T. Jaynes, “Information Theory and Statistical Mechanics”, pp. 181-218 en” Statistical Physics”, Brandeis Summer Institute 1962, W. A. Benjamin, Inc., Nueva York, NY; 1963. (http://bayes.wustl.edu/etj/articles/brandeis.pdf)
    • historia personal del enfoque, Edwin T. Jaynes, “¿Dónde nos encontramos en la máxima entropía? ,” pp. 15-118, en” El formalismo de máxima entropía”, Raphael D. Levine y Myron Tribas, editores, The MIT Press, Cambridge, MA; 1979. (http://bayes.wustl.edu/etj/articles/...on.entropy.pdf)

    La filosofía de asumir la máxima incertidumbre como aproximación a la termodinámica se discute en

    • Capítulo 3 de M. Tribas, “Termostática y Termodinámica”, D. Van Nostrand Co, Inc., Princeton, NJ; 1961.

    Antes de que pueda usarse el Principio de Entropía Máxima, es necesario configurar el dominio problemático. En los casos que involucran sistemas físicos, esto significa que es necesario identificar los diversos estados en los que puede existir el sistema, y conocer todos los parámetros involucrados en las restricciones. Por ejemplo, se asume conocida la energía, carga eléctrica y otras cantidades asociadas a cada uno de los estados. A menudo se necesita la mecánica cuántica para esta tarea. No se supone en este paso en qué estado particular se encuentra el sistema (o, como suele expresarse, qué estado está realmente “ocupado”); efectivamente se supone que desconocemos y no podemos saber esto con certeza, y así tratamos en cambio con la probabilidad de que cada uno de los estados esté ocupado. Así, utilizamos la probabilidad como medio para hacer frente a nuestra falta de conocimiento completo. Naturalmente queremos evitar asumir inadvertidamente más conocimiento del que realmente tenemos, y el Principio de Entropía Máxima es la técnica para hacer esto. En la aplicación a sistemas no físicos, los diversos eventos (posibles resultados) tienen que ser identificados junto con diversas propiedades numéricas asociadas a cada uno de los eventos. En estas notas derivaremos una forma simple del Principio de Entropía Máxima y la aplicaremos al ejemplo de restaurante establecido en la Sección 8.1.3.


    This page titled 8.2: Principio de Entropía Máxima - Forma Simple is shared under a CC BY-NC-SA 4.0 license and was authored, remixed, and/or curated by Paul Penfield, Jr. (MIT OpenCourseWare) via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.