7.4: Notas breves sobre la teoría de la información y la termodinámica de la computación

Ahora examinamos la termodinámica de la computación.

Energía mínima disipada por bit

Supongamos que tenemos un sistema, tal vez una computadora, con una serie de estados posibles. La incertidumbre, o entropía de la computadora es una medida del número de estados. Recordemos de la termodinámica que la entropía Boltzmann-Gibbs de un sistema físico se define como

\[ S = -k_{B} \sum_{i=1}^{N} p_{i} \ln p_{i} \label{7.4.1}, \]

donde el sistema tiene N estados posibles, cada uno con probabilidad\(p_{i}\), y\(k_{B}\) es la constante de Boltzmann.

Lo contrario de la entropía y la incertidumbre es la información. Cuando la incertidumbre del sistema disminuye, gana información.

Ahora bien, la segunda ley de la termodinámica puede reafirmarse ya que “todos los procesos físicos incrementan la entropía total del universo”. Separar el universo en la computadora, y todo lo demás. La entropía correspondiente de cada sistema viene dada por

\[ S_{universe} = S_{computer}+S_{everything\ else} \label{7.4.2}. \]

Así, la termodinámica requiere

\[ \Delta S_{universe} \geq 0 \label{7.4.3}. \]

De ello se deduce que

\[ \Delta S_{everything\ else} \geq -\Delta S_{computer} \label{7.4.4}. \]

es decir, si la información dentro de una computadora aumenta durante un cálculo, entonces la entropía disminuye. Este cambio en la entropía dentro de la computadora debe ser al menos equilibrado por un incremento en la entropía del resto del universo. El incremento de la entropía en el resto del universo se obtiene disipando calor,\(\Delta Q\), de la computadora.

Según la termodinámica el calor disipado es

\[ \Delta Q = T \Delta S_{everything\ else} \geq -T \Delta S_{computer} \label{7.4.5} \]

La incertidumbre y la entropía también se pueden medir en bits. Por ejemplo, ¿cuántos bits se requieren para describir la computadora con N estados?

\[ 2^{H} = N \label{7.4.6}. \]

Aquí, H es conocida como la entropía de Shannon. Si los estados son igualmente probables, con probabilidad\(p=1/N\), entonces la incertidumbre se reduce a:

\[ H = \log_{2}N = \log_{2}p \label{7.4.7}. \]

O más generalmente, si cada estado de la computadora tiene probabilidad\(p_{i}\).

\[ H = \left< -\log_{2}p_{i} \right> = -\sum^{N}_{i=1} p_{i} \log_{2}p_{i} \label{7.4.8} \]

Comparando la Ecuación\ ref {7.4.1} con la Ecuación\ ref {7.4.8} y señalando que\(\ln p_{i} = (\ln 2)\log_{2} p_{i}\) da

\[ \Delta Q = -k_{B} T \ln(2) \Delta H_{computer} \label{7.4.9} \]

El calor en última instancia debe provenir de la fuente de alimentación. Así, la energía mínima requerida por generación de un bit de información es:

\[ E_{min} = k_{B}T\ln(2) \label{7.4.10}. \]

Este mínimo se conoce como el límite de Shannon-von Neumann-Landauer (SNL).

Energía requerida para la transmisión de la señal

Recordemos el teorema de Shannon para la capacidad, c, en bits por segundo, de un canal en presencia de ruido.

\[ c = b \log_{2}\left( 1+\frac{s}{n} \right) \label{7.4.11}, \]

donde s y n son la potencia de señal y ruido, respectivamente, y b es el ancho de banda del canal. El ruido en el canal es al menos\(n = bk_{B}T\).

La energía requerida por bit transmitido es:

\[ E_{min} = \lim_{ s \rightarrow 0} \bigg\lbrace \frac{s}{c}\bigg\rbrace =\lim_{ s \rightarrow 0} \bigg\lbrace \frac{s}{b\ log_{2}(1+s/n)}\bigg\rbrace \label{7.4.12}. \]

La regla de L'Hôpital da

\[ E_{min} = k_{B}T\ln(2) \label{7.4.13}. \]

consistente con el cálculo previo de\(E_{min}\).

Consecuencias de\(E_{min}\).

Se ha argumentado que dado que la incertidumbre en la energía\(\Delta E\), dentro de un elemento lógico individual no puede ser mayor que\(E_{min}\), podemos aplicar las relaciones de incertidumbre de Heisenberg a un sistema que opera en el límite SNL para determinar el tiempo mínimo de conmutación, i.e.\(^{†}\)

\[ \Delta E \Delta t \geq \hbar \label{7.4.14} \]

La ecuación\ ref {7.5.14} da un tiempo mínimo de conmutación de

\[ \tau_{min} = \frac{\hbar}{\Delta E} = \frac{\hbar}{k_{B}T\ln(2)} = 0.04 \text{ ps} \label{7.4.15} \]

Suponiendo que la densidad de potencia máxima que podemos enfriar es\(P_{max} ~ 100W/cm^{2}\), la densidad máxima de integración es

\[ n_{max} = \frac{P_{max}}{E_{min}/\tau_{min}} = \frac{\hbar P_{max}}{E_{min}^{2}} \label{7.4.16} \]

A temperatura ambiente, obtenemos\(n_{max} ~< 10^{10} cm^{-2}\), equivalente a un tamaño de interruptor de 100 x 100 nm. Esto está muy cerca del valor de la hoja de ruta para 2016.

A temperaturas más bajas, la disipación de potencia en el chip disminuye, pero la disipación de potencia general en realidad aumenta debido a la necesidad de refrigeración. \(^{4}\)Dado que es probable que la restricción de ingeniería esté en la disipación de potencia del chip, la refrigeración puede ser un método para aumentar aún más la densidad de los componentes electrónicos.

\(^{†}\)Este argumento, debido a Zhirnov, et al. “Limits to Binary Logic Switch Scaling - A Gedanken Model”, Proceedings of the IEEE 91, 1934 (2003), se ha utilizado para argumentar que final de la hoja de ruta Si CMOS es tan bueno como puede obtener la computación basada en cargas.