7.2.2: Ejemplo- Canal binario

Última actualización
Guardar como PDF

Page ID: 82357

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

El canal binario está bien descrito por el modelo de probabilidad. Sus propiedades, muchas de las cuales fueron discutidas en el Capítulo 6, se resumen a continuación.

Considera primero un canal binario sin ruido que, cuando se presenta con uno de los dos posibles valores de entrada 0 o 1, transmite este valor fielmente a su salida. Este es un ejemplo muy sencillo de un proceso discreto sin memoria. Representamos este canal mediante un modelo de probabilidad con dos entradas y dos salidas. Para indicar el hecho de que la entrada se replica fielmente en la salida, se revelan los funcionamientos internos de la caja, en la Figura 7.6 (a), en forma de dos caminos, uno de cada entrada a la salida correspondiente, y cada uno etiquetado por la probabilidad (1). La matriz de transición para este canal es

\(\begin{bmatrix} c_{00} & c_{01} \\ c_{10} & c_{11} \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \tag{7.9}\)

La información de entrada\(I\) para este proceso es de 1 bit si los dos valores son igualmente probables, o si\(p(A_0) \neq p(A_1)\) la información de entrada es

\(I = p(A_0)\log_2\Big (\dfrac{1}{p(A_0)}\Big) + p(A_1)\log_2\Big(\dfrac{1}{p(A_1)}\Big) \tag{7.10}\)

La información de salida\(J\) tiene una fórmula similar, utilizando las probabilidades de salida\(p(B_0)\) y\(p(B_1)\). Dado que la entrada y salida son las mismas en este caso, siempre es posible inferir la entrada cuando se ha observado la salida. La cantidad de información que sale\(J\) es la misma que la cantidad en\(I: J = I\). Este canal sin ruido es efectivo para su propósito previsto, que es permitir que el receptor, en la salida, inferir el valor en la entrada.

A continuación, supongamos que este canal ocasionalmente comete errores. Así, si la entrada es 1 la salida no siempre es 1, pero con la “probabilidad de error de bit” ε se voltea al valor “incorrecto” 0, y por lo tanto es “correcto” solo con probabilidad 1 −\(\epsilon\). De igual manera, para la entrada de 0, la probabilidad de error es\(\epsilon\). Entonces la matriz de transición es