Prefacio

Estas notas, y el curso de primer nivel relacionado, son sobre información. Aunque es posible que tengas una idea general de qué es la información, es posible que no te des cuenta de que la información con la que tratas se puede cuantificar. Así es, a menudo puedes medir la cantidad de información y usar principios generales sobre cómo se comporta la información. Consideraremos las aplicaciones a la computación y a las comunicaciones, y también veremos las leyes generales en otros campos de la ciencia y la ingeniería.

Una de estas leyes generales es la Segunda Ley de la Termodinámica. Si bien la termodinámica, rama de la física, se ocupa de los sistemas físicos, la Segunda Ley se aborda aquí como un ejemplo de procesamiento de información en sistemas naturales y de ingeniería. La Segunda Ley, tal como se afirma tradicionalmente en la termodinámica, trata de una cantidad física conocida como “entropía”. Todo el mundo ha oído hablar de la entropía, pero pocos realmente la entienden. Sólo recientemente la entropía ha sido ampliamente aceptada como una forma de información.

La Segunda Ley es seguramente uno de los logros más gloriosos de la ciencia, pero como suele enseñarse, a través de sistemas físicos y modelos como los gases ideales, es difícil de apreciar a nivel elemental. Por otra parte, las formas de la Segunda Ley que se aplican a la computación y a las comunicaciones (donde se procesa la información) son más fáciles de entender, sobre todo hoy en día a medida que avanza la revolución de la información.

Estas notas y el curso basado en ellas están destinados a estudiantes universitarios de primer año. A pesar de que se desarrollaron en el Instituto Tecnológico de Massachusetts, una universidad que se especializa en ciencia e ingeniería, y una en la que se requiere un año completo de cálculo, el cálculo no se usa mucho en estas notas. La mayoría de los ejemplos son de sistemas discretos, no de sistemas continuos, por lo que se pueden utilizar sumas y diferencias en lugar de integrales y derivadas. En otras palabras, podemos usar álgebra en lugar de cálculo. Este curso debe ser accesible para estudiantes universitarios que no estén estudiando ingeniería o ciencias, e incluso para estudiantes de preparatoria bien preparados. De hecho, cuando se combina con uno similar sobre energía, este curso podría proporcionar una excelente formación científica para estudiantes de artes liberales.

La analogía entre la información y la energía es interesante. Tanto en los cursos de física secundaria como en los universitarios de primer año, los alumnos aprenden que existe una cantidad física conocida como energía que se conserva (no se puede crear ni destruir), pero que puede aparecer en diversas formas (potencial, cinética, eléctrica, química, etc.). La energía puede existir en una región del espacio u otra, puede fluir de un lugar a otro, puede almacenarse para su uso posterior y puede convertirse de una forma a otra. En muchos sentidos, la revolución industrial se trataba de aprovechar la energía con fines útiles. Pero lo más importante es que la energía se conserva, a pesar de que se mueve, almacena y convierte, al final del día todavía hay exactamente la misma cantidad total de energía.

A este principio de conservación de la energía se le conoce a veces como la Primera Ley de la Termodinámica. Ha demostrado ser tan importante y fundamental que cada vez que se encontró una “fuga”, la teoría se rescataba definiendo una nueva forma de energía. Un ejemplo de esto ocurrió en 1905 cuando Albert Einstein reconoció que la masa es una forma de energía, como lo expresa su famosa fórmula\(E = mc^2\). Ese entendimiento permitió posteriormente el desarrollo de dispositivos (bombas atómicas y centrales nucleares) que convierten la energía de su forma como masa a otras formas.

Pero ¿qué pasa con la información? Si la entropía es realmente una forma de información, debería haber una teoría que abarque ambas y describa cómo la información puede convertirse en entropía o viceversa. Tal teoría aún no está bien desarrollada, por varias razones históricas. Sin embargo, es exactamente lo que se necesita para simplificar la enseñanza y comprensión de conceptos fundamentales.

Estas notas presentan una visión tan unificada de la información, en la que la entropía es un tipo de información, pero en la que también hay otros tipos. Al igual que la energía, la información puede residir en un lugar u otro, se puede transmitir a través del espacio y se puede almacenar para su uso posterior. Pero a diferencia de la energía, la información no se conserva: la Segunda Ley establece que la entropía nunca disminuye a medida que pasa el tiempo, generalmente aumenta, pero en casos especiales puede permanecer constante. Además, la información es inherentemente subjetiva, porque trata de lo que sabes y lo que no sabes (la entropía, como una forma de información, también es subjetiva —este punto pone incómodos a algunos físicos). Estos dos hechos hacen que la teoría de la información sea diferente de las teorías que tratan de cantidades conservadas como la energía, diferentes y también interesantes.

El marco unificado que aquí se presenta nunca antes se había desarrollado específicamente para estudiantes de primer año. No es del todo consistente con el pensamiento convencional en diversas disciplinas, que se desarrollaron por separado. De hecho, puede que todavía no lo tengamos bien. Una consecuencia de la enseñanza en el nivel elemental es que las preguntas sin respuesta cercanas son inquietantes, y su resolución exige nuevas investigaciones sobre los fundamentos. Tratar de explicar las cosas rigurosamente pero simplemente a menudo requiere nuevos principios organizativos y nuevos enfoques. En el presente caso, el nuevo enfoque es comenzar con la información y el trabajo de ahí a la entropía, y el nuevo principio organizador es la teoría unificada de la información.

Este será un viaje emocionante. ¡Bienvenido a bordo!