8: Inferencia

Última actualización
Guardar como PDF

Page ID: 82523

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

En el Capítulo 7 se introdujo el modelo de proceso como una forma de contabilizar el flujo de información a través de procesos que son discretos, finitos y sin memoria, y que pueden ser no deterministas y con pérdidas. Si bien el modelo estuvo motivado por la forma en que funcionan muchos sistemas de comunicación, es más general.

Se dieron fórmulas para información de entrada\(I\), pérdida\(L\), información mutua\(M\)\(N\), ruido e información de salida\(J\). Cada uno de estos se mide en bits, aunque en un ajuste en el que se eligen muchos símbolos, uno tras otro, pueden multiplicarse por la velocidad de selección de símbolos y luego expresarse en bits por segundo. El flujo de información se muestra en la Figura 8.1. Todas estas cantidades dependen de la distribución de probabilidad de entrada\(p(A_i)\).

Si ya se conocen las probabilidades de entrada y se observa un resultado de salida particular, es posible hacer inferencias sobre el evento de entrada que condujo a ese resultado. A veces el evento de entrada se puede identificar con certeza, pero más a menudo las inferencias son en forma de cambios en las probabilidades de entrada iniciales. Por lo general, así es como funcionan los sistemas de comunicación: se observa la salida y se infiere el evento de entrada “más probable”. La inferencia en este contexto se denomina en algún momento como estimación. Es el tema de la Sección 8.1.

Por otro lado, si no se conocen las probabilidades de entrada, este enfoque no funciona. Necesitamos una forma de obtener la distribución inicial de probabilidad. Un enfoque que se basa en el análisis de la información se discute en la Sección 8.2 y en capítulos posteriores de estas notas. Este es el Principio de Máxima Entropía.