7.6: Diagramas de información

Última actualización
Guardar como PDF

Page ID: 82275

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Un diagrama de información es una representación de uno o más procesos que muestran explícitamente la cantidad de información que pasa entre ellos. Es una manera útil de representar la entrada, la salida y la información mutua y el ruido y la pérdida. Los diagramas de información se encuentran en un alto nivel de abstracción y no muestran las probabilidades detalladas que dan lugar a estas medidas de información.

Se ha demostrado que las cinco medidas de información\(I\),\(J\),\(L\),\(N\), y no\(M\) son negativas. No es necesario eso\(L\) y\(N\) ser lo mismo, aunque son para el canal binario simétrico cuyas entradas tienen probabilidades iguales para 0 y 1. Es posible tener procesos con pérdida pero sin ruido (por ejemplo, la\(XOR\) puerta), o ruido pero sin pérdida (por ejemplo, el canal ruidoso para triple redundancia).

Es conveniente pensar en la información como una cantidad física que se transmite a través de este proceso tanto como el material físico puede procesarse en una línea de producción. El material que se produce entra en el área de fabricación, y algo se pierde por errores u otras causas, se puede agregar algo de contaminación (como ruido) y la cantidad de salida es la cantidad de entrada, menos la pérdida, más el ruido. El producto útil es la entrada menos la pérdida, o alternativamente la salida menos el ruido. El flujo de información a través de un proceso discreto sin memoria se muestra usando este paradigma en la Figura 7.9.

Surge una pregunta interesante. Las probabilidades dependen de su estado actual de conocimiento, y el conocimiento de un observador puede ser diferente del de otro, lo que significa que la pérdida, el ruido y la información transmitida son todos dependientes del observador. ¿Está bien que cantidades importantes de ingeniería como el ruido y la pérdida dependan de quién es usted y lo que sabe? Si por casualidad sabes algo sobre la entrada que

Screen Shot 2021-05-15 a las 2.14.23 PM.png — Figura 7.9: Flujo de información en un proceso discreto sin memoria

tu colega no, ¿está bien que tu diseño de un proceso no determinista sea diferente, y que aproveche tus conocimientos? Esta pregunta es algo en lo que pensar; hay momentos en los que tu conocimiento, si es correcto, puede ser muy valioso para simplificar diseños, pero hay otros momentos en los que es prudente diseñar usando alguna suposición en el peor de los casos de probabilidades de entrada para que en caso de que la entrada no se ajuste a tu supuesta probabilidades de que tu diseño aún funcione.

Los diagramas de información no se utilizan a menudo para los sistemas de comunicación. Por lo general, no hay necesidad de dar cuenta de las fuentes de ruido o lo que sucede con la información perdida. Sin embargo, tales diagramas son útiles en dominios donde el ruido y la pérdida no pueden ocurrir. Un ejemplo es la computación reversible, un estilo de cálculo en el que todo el proceso puede, en principio, ejecutarse hacia atrás. Otro ejemplo son las comunicaciones cuánticas, donde la información no puede descartarse sin afectar al medio ambiente.