1: Bits
- Page ID
- 82175
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)La información se mide en bits, así como la longitud se mide en metros y el tiempo se mide en segundos. Por supuesto conocer la cantidad de información, en bits, no es lo mismo que conocer la información en sí, qué significa, o lo que implica. En estas notas no consideraremos el contenido o significado de la información, solo la cantidad.
Se necesitan diferentes escalas de longitud en diferentes circunstancias. A veces queremos medir la longitud en kilómetros, a veces en pulgadas, y a veces en Ångströms. Del mismo modo, a veces se utilizan otras escalas de información además de bits; en el contexto de los sistemas físicos la información a menudo se mide en Julios por Kelvin.
¿Cómo se cuantifica la información? Considera una situación o experimento que podría tener alguno de varios resultados posibles. Los ejemplos pueden ser voltear una moneda (2 resultados, cabezas o colas) o seleccionar una carta de una baraja de naipes (52 posibles resultados). ¿Cuán compacto podría una persona (por convención a menudo llamada Alice) decirle a otra persona (Bob) el resultado de tal experimento u observación?
Primero consideremos el caso de los dos resultados de voltear una moneda, y supongamos que son igualmente probables. Si Alice quiere decirle a Bob el resultado del lanzamiento de la moneda, podría usar varias técnicas posibles, pero todas son equivalentes, en términos de la cantidad de información transportada, a decir “cabezas” o “colas” o a decir 0 o 1. Decimos que la información así transportada es de un poco.
Si Alice volteaba dos monedas, podría decir cuál de los cuatro posibles resultados realmente ocurrió, diciendo 0 o 1 dos veces. De manera similar, el resultado de un experimento con ocho resultados igualmente probables podría transmitirse con tres bits, y más generalmente 2n resultados con n bits. Así, la cantidad de información es el logaritmo (a la base 2) del número de resultados igualmente probables.
Tenga en cuenta que el transporte de información requiere dos fases. Primero está la fase de “configuración”, en la que Alice y Bob coinciden en lo que van a comunicar, y exactamente lo que significa cada secuencia de bits. Este entendimiento común se llama el código. Por ejemplo, para transmitir el palo de una carta elegida de una baraja, su código podría ser que 00 significa palos, 01 diamantes, 10 corazones y 11 espadas. El acuerdo sobre el código podrá hacerse antes de que se hayan hecho observaciones, por lo que aún no hay información por enviar. La fase de configuración puede incluir informar al destinatario de que hay nueva información. Luego, está la fase de “resultado”, donde se envían secuencias reales de 0 y 1 que representan los resultados. Estas secuencias son los datos. Usando el código acordado, Alice saca la tarjeta y le dice a Bob el palo enviando dos bits de datos. Ella podría hacerlo repetidamente para múltiples experimentos, usando el mismo código.
Después de que Bob sepa que se le robaron una carta pero antes de recibir el mensaje de Alice, no está seguro sobre el traje. Su incertidumbre, o falta de información, se puede expresar en bits. Al escuchar el resultado, su incertidumbre se ve reducida por la información que recibe. La incertidumbre de Bob aumenta durante la fase de configuración y luego se reduce durante la fase de resultado.
Tenga en cuenta algunas cosas importantes sobre la información, algunas de las cuales se ilustran en este ejemplo:
- La información se puede aprender a través de la observación, el experimento o la medición
- La información es subjetiva o “dependiente del observador”. Lo que Alice sabe es diferente de lo que sabe Bob (si la información no fuera subjetiva, no habría necesidad de comunicarla)
- La incertidumbre de una persona se puede aumentar al enterarse de que hay una observación sobre qué información puede estar disponible, y luego se puede reducir al recibir esa información
- La información se puede perder, ya sea por la pérdida de los datos en sí, o por la pérdida del código
- La forma física de la información se localiza en el espacio y el tiempo. Como consecuencia, — La información puede ser enviada de un lugar a otro — La información puede ser almacenada y luego recuperada posteriormente