9.6.1: Variable dual

Última actualización
Guardar como PDF

Page ID: 82213

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

En ocasiones se aclara un problema al mirar un problema más general del que el original es un caso especial. En este caso, en lugar de enfocarnos en un valor específico de\(G\), veamos todos los valores posibles de\(G\), lo que significa el rango entre los valores más pequeños y mayores de\(g(A_i)\). Así\(G\) se convierte en una variable más que en un valor conocido (el valor conocido seguirá siendo denotado\(\widetilde{G}\) aquí). Entonces en lugar de expresar las cosas en términos de\(G\) como una variable independiente, introduciremos una nueva variable dual, a la que llamaremos\(\beta\), y expresaremos todas las cantidades de interés, incluso\(G\), en términos de ella. Entonces el problema original se reduce a encontrar\(\beta\) cuyo valor corresponde al valor conocido, deseado, es decir\(\widetilde{G}\), el valor de\(\beta\) para el cual\(G(\beta) = \widetilde{G}\).

La nueva variable\(\beta\) se conoce como Multiplicador de Lagrange, que lleva el nombre del matemático francés JosephLouis Lagrange (1736—1813)\(^1\). Lagrange desarrolló una técnica general, utilizando tales variables, para realizar una maximización restringida, de la cual nuestro problema actual es un caso muy sencillo. No vamos a utilizar la técnica matemática de los multiplicadores Lagrange, es más poderosa y más complicada de lo que necesitamos.

Esto es lo que haremos en su lugar. Comenzaremos con la respuesta, que otros han derivado usando Multiplicadores Lagrange, y probaremos que es correcta. Es decir, daremos una fórmula para la distribución de probabilidad\(p(A_i)\) en términos de los\(\beta\) y los\(g(A_i)\) parámetros, y luego probaremos que la entropía calculada a partir de esta distribución,\(S(\beta)\) es al menos tan grande como la entropía de cualquier distribución de probabilidad que tenga la misma esperada valor para\(G\), a saber\(G(\beta)\). Por lo tanto, el uso de\(\beta\) automáticamente maximiza la entropía. Luego mostraremos cómo encontrar el valor de\(\beta\), y por lo tanto indirectamente todas las cantidades de interés, para el valor particular\(\widetilde{G}\) de interés (esto será posible porque\(G(\beta)\) es una función monótona de\(\beta\) así calcular su inversa se puede hacer con técnicas de búsqueda de cero) .

\(^1\)See a biography of Lagrange at http://www-groups.dcs.st-andrews.ac.uk/~history/Biographies/Lagrange.html