5.39: Ley de Benford

\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\var}{\text{var}}\)\(\newcommand{\sd}{\text{sd}}\)

La ley de Benford se refiere a distribuciones de probabilidad que parecen gobernar los dígitos significativos en conjuntos de datos reales. La ley lleva el nombre del físico e ingeniero estadounidense Frank Benford, aunque la ley en realidad fue descubierta anteriormente por el astrónomo y matemático Simon Newcomb.

Para entender la ley de Benford, necesitamos algunos preliminares. Recordemos que un número real positivo\(x\) puede escribirse de manera única en la forma\(x = y \cdot 10^n\) (a veces llamada notación científica) donde\(y \in \left[\frac{1}{10}, 1\right)\) está la mantisa y\(n \in \Z\) es el exponente (ambos términos son base 10, por supuesto). Tenga en cuenta que\[ \log x = \log y + n \] donde la función logaritmo es el logaritmo común de base 10 en lugar del logaritmo\(e\) natural de base habitual. En los viejos tiempos BC (antes de las calculadoras), se calculaba el logaritmo de un número buscando el logaritmo de la mantisa en una tabla de logaritmos, y luego sumando el exponente. Por supuesto, estas observaciones se aplican a cualquier base\(b \gt 1\), no sólo a la base 10. Simplemente reemplace 10 por\(b\) y el logaritmo común con el\(b\) logaritmo base.

Distribución de la Mantisa

Funciones de distribución

Supongamos ahora que\(X\) es un número seleccionado al azar de un determinado conjunto de datos de números positivos. Con base en evidencia empírica de una serie de diferentes tipos de datos, Newcomb, y más tarde Benford, notaron que la mantisa\(Y\) de\(X\) parecía tener función de distribución\(F(y) = 1 + \log y\) para\(y \in [1/10, 1)\). Esto lo generalizaremos a una base arbitraria\(b \gt 1\).

La distribución de mantisa de Benford con base\( b \in (1, \infty) \), es una distribución continua\([1/b, 1)\) con función de distribución\( F \) dada por\[ F(y) = 1 + \log_b y, \quad y \in [1/b, 1) \] El caso especial\(b = 10\) da la distribución estándar de mantisa de Benford.

Prueba

Tenga en cuenta que\( F \) es continuo y estrictamente creciente\( [1 / b, 1) \) con\(F(1 / b) = 0 \) y\( F(1) = 1 \).

La función de densidad de probabilidad\( f \) viene dada por\[ f(y) = \frac{1}{y \ln b}, \quad y \in [1/b, 1)\]

1. \( f \)está disminuyendo con el modo\( y = \frac{1}{b} \).
2. \( f \)es cóncavo hacia arriba.

Prueba

Estos resultados se derivan del CDF\(F\) anterior y del cálculo estándar. Recordemos eso\( f = F^\prime \).

Abra el Simulador de Distribución Especial y seleccione la distribución de mantisa de Benford. Varíe la base\( b \) y anote la forma de la función de densidad de probabilidad. Para varios valores de\( b \), ejecute la simulación 1000 veces y compare la función de densidad empírica con la función de densidad de probabilidad.

La función quantile\( F^{-1} \) viene dada por\[ F^{-1}(p) = \frac{1}{b^{1-p}}, \quad p \in [0, 1] \]

1. El primer cuartil es\( F^{-1}\left(\frac{1}{4}\right) = \frac{1}{b^{3/4}} \)
2. La mediana es\( F^{-1}\left(\frac{1}{2}\right) = \frac{1}{\sqrt{b}} \)
3. El tercer cuartil es\( F^{-1}\left(\frac{3}{4}\right) = \frac{1}{b^{1/4}} \)

Prueba

La fórmula para\( F^{-1}(p) \) sigue resolviendo\( F(x) = p \) para\( x \) en términos de\( p \).

Los valores numéricos de los cuartiles para la distribución estándar (base 10) se dan en un ejercicio a continuación.

Abra la calculadora de distribución especial y seleccione la distribución de mantisa de Benford. Varíe la base y anote la forma y ubicación de las funciones de distribución y densidad de probabilidad. Para valores seleccionados de la base, compute la mediana y el primer y tercer cuartiles.

Momentos

Supongamos que\( Y \) tiene la distribución de mantisa Benford con base\( b \in (1, \infty) \).

Los momentos de\( Y \) son\[ \E\left(Y^n\right) = \frac{b^n - 1}{n b^n \ln b}, \quad n \in (0, \infty) \]

Prueba

Para\( n \gt 0 \),\[ \E\left(Y^n\right) = \int_{1/b}^1 y^n \frac{1}{y \ln b} dy = \frac{1}{\ln b} \int_{1/b}^1 y^{n-1} dy = \frac{1 - 1 \big/ b^n}{n \ln(b)} \]

Tenga en cuenta que para fijo\( n \gt 0 \),\( \E(Y^n) \to 1 \) como\( b \downarrow 1 \) y\( \E(Y^n) \to 0 \) como\( b \to \infty \). Aprenderemos más sobre la distribución limitante a continuación. La media y varianza siguen fácilmente desde el resultado del momento general.

Media y varianza

1. La media de\(Y\) es\[\E(Y) = \frac{b - 1}{b \ln b}\]
2. la varianza de\(Y\) es\[\var(Y) = \frac{b - 1}{b^2 \ln b} \left[ \frac{b + 1}{2} - \frac{b - 1}{\ln b} \right] \]

Los valores numéricos de la media y varianza para la distribución estándar (base 10) se dan en un ejercicio a continuación.

En el Simulador de Distribución Especial, seleccione la distribución de mantisa de Benford. Varíe la base\( b \) y anote el tamaño y ubicación de la barra de desviación\( \pm \) estándar media. Para los valores seleccionados de\( b \), ejecute la simulación 1000 veces y compare la media empírica y la desviación estándar con la media de distribución y la desviación estándar.

Distribuciones Relacionadas

La distribución de mantisa de Benford tiene las conexiones habituales a la distribución uniforme estándar por medio de la función de distribución y la función cuantil dadas anteriormente.

Supongamos que\( b \in (1, \infty) \).

1. Si\( U \) tiene la distribución uniforme estándar entonces\( Y = b^{-U} \) tiene la distribución de mantisa de Benford con base\( b \).
2. Si\( Y \) tiene la distribución de mantisa Benford con base\( b \) entonces\( U = -\log_b Y \) tiene la distribución uniforme estándar.

Prueba

1. Si\( U \) tiene la distribución uniforme estándar entonces también lo hace\( 1 - U \) y por lo tanto\( Y = F^{-1}(1 - U) = b^{-U}\) tiene la distribución de mantisa de Benford con base\( b \).
2. El CDF\( F \) está aumentando estrictamente en\( [b^{-1}, 1) \). De ahí\( Y \) que si tiene la distribución de mantisa de Benford con base\( b \) entonces\( F(Y) = 1 + \log_b(Y) \) tiene la distribución uniforme estándar y por lo tanto también lo hace\( 1 - F(Y) = -\log_b(Y) \).

Dado que la función quantile tiene una forma cerrada simple, la distribución de mantisa de Benford se puede simular usando el método de cuantil aleatorio.

Abra el experimento de cuantiles aleatorios y seleccione la distribución de mantisa de Benford. Varíe la base\( b \) y anote nuevamente la forma y ubicación de las funciones de distribución y densidad de probabilidad. Para los valores seleccionados de\( b \), ejecute la simulación 1000 veces y compare la función de densidad empírica, la media y la desviación estándar con sus contrapartes distribucionales.

También de interés, por supuesto, son las distribuciones limitantes de\( Y \) con respecto a la base\( b \).

La distribución de mantisa de Benford con base\( b \in (1, \infty) \) converge a

1. Masa puntual a 1 as\( b \downarrow 1 \).
2. Masa puntual a 0 as\( b \uparrow \infty \).

Prueba

Tenga en cuenta que el CDF de\(Y\) arriba se puede escribir como\( F(y) = 1 + \ln(y) \big/ \ln(b) \) para\( 1/b \le y \lt 1 \), y por supuesto que también tenemos\( F(y) = 0 \) para\( y \lt 1/b \) y\( F(y) = 1 \) para\( y \ge 1 \).

1. Como\( b \downarrow 1 \),\( 1/b \uparrow 1 \), y\( 1 + \ln(y) \big/ \ln(b) \to 1 \), así en el límite que tenemos\( F(y) = 0 \) para\( y \lt 1 \) y\( F(y) = 1 \) para\( y \gt 1 \).
2. Como\( b \uparrow \infty \),\( 1/b \downarrow 0 \), y otra vez\( 1 + \ln(y) \big/ \ln(b) \to 1 \), así en el límite que tenemos\( F(y) = 0\) para\( y \lt 0 \) y\( F(y) = 1 \) para\( y \gt 0). \)

Dado que la función de densidad de probabilidad está limitada en un intervalo de soporte limitado, la distribución de mantisa de Benford también se puede simular a través del método de rechazo.

Abra el experimento del método de rechazo y seleccione la distribución de mantisa de Benford. Varíe la base\( b \) y anote nuevamente la forma y ubicación de las funciones de densidad de probabilidad. Para los valores seleccionados de\( b \), ejecute la simulación 1000 veces y compare la función de densidad empírica, la media y la desviación estándar con sus contrapartes distribucionales.

Distribuciones de los Dígitos

Supongamos ahora que la base es un entero positivo\(b \in \{2, 3, \ldots\}\), que por supuesto es el caso en los sistemas numéricos estándar. Supongamos que la secuencia de dígitos de nuestra mantisa\(Y\) (en base\(b\)) es\(\left(N_1, N_2, \ldots\right)\), de modo que\[ Y = \sum_{k=1}^\infty \frac{N_k}{b^k} \] Así, nuestro dígito\(N_1\) inicial toma valores en\(\{1, 2, \ldots, b - 1\}\), mientras que cada uno de los otros dígitos significativos toma valores en\(\{0, 1, \ldots, b - 1\}\). Tenga en cuenta que\( \left(N_1, N_2, \ldots\right) \) es un proceso estocástico por lo que al menos nos gustaría conocer las distribuciones dimensionales finitas. Es decir, nos gustaría conocer la función de densidad de probabilidad conjunta de los primeros\(k\) dígitos para cada uno\( k \in \N_+ \). Pero comencemos, lo suficientemente apropiado, con la ley de primer dígito. El dígito principal es el más importante, y afortunadamente también el más fácil de analizar matemáticamente.

Ley de Primer Dígito

\( N_1 \)tiene función de densidad de probabilidad\( g_1 \) dada por\(g_1(n) = \log_b \left(1 + \frac{1}{n} \right) = \log_b(n + 1) - \log_b(n)\) for\(n \in \{1, 2, \ldots, b - 1\}\). La función de densidad\( g_1 \) está disminuyendo y por lo tanto el modo es\( n = 1 \).

Prueba

Tenga en cuenta que\(N_1 = n\) si y solo si\(\frac{n}{b} \le Y \lt \frac{n + 1}{b}\) para\( n \in \{1, 2, \ldots, b - 1\} \). Por lo tanto, utilizando el PDF de\(Y\) arriba,\[ \P(N_1 = n) = \int_{n/b}^{(n+1)/b} \frac{1}{y \ln b} dy = \log_b\left(\frac{n+1}{b}\right) - \log_b\left(\frac{n}{b}\right) = \log_b(n + 1) - \log_b(n) \]

Obsérvese que cuando\( b = 2 \),\( N_1 = 1 \) determinísticamente, que por supuesto tiene que ser el caso. El primer dígito significativo de un número en la base 2 debe ser 1. Los valores numéricos de\( g_1 \) para la distribución estándar (base 10) se dan en un ejercicio a continuación.

En el Simulador de Distribución Especial, seleccione la distribución de primer dígito de Benford. Varíe la base\( b \) con el control de entrada y anote la forma de la función de densidad de probabilidad. Para varios valores de\( b \), ejecute la simulación 1000 veces y compare la función de densidad empírica con la función de densidad de probabilidad.

\( N_1 \)tiene función de distribución\( G_1 \) dada por\( G_1(x) = \log_b \left(\lfloor x \rfloor + 1\right) \) for\( x \in [1, b - 1] \).

Prueba

Usando el PDF de\(N_1\) arriba nota que De manera\[ G_1(n) = \sum_{k=1}^n [\log_b(k + 1) - \log_b(k)] = \log_b(n + 1), \quad n \in \{1, 2, \ldots, b - 1\} \] más general,\( G_1(x) = G_1 \left(\lfloor x \rfloor\right) \) para\( x \in [1, b - 1] \)

\( N_1 \)tiene función cuantil\( G_1^{-1} \) dada por\( G_1^{-1}(p) = \left\lceil b^p - 1\right\rceil \) for\( p \in (0, 1] \).

1. El primer cuartil es\( \left\lceil b^{1/4} - 1 \right\rceil \).
2. La mediana es\( \left\lceil b^{1/2} - 1 \right\rceil \).
3. El tercer cuartil es\( \left\lceil b^{3/4} - 1 \right\rceil \).

Prueba

Como es habitual, la fórmula para\( G_1^{-1}(p) \) se desprende del CDF\(G\), resolviendo\( p = G(x) \) para\( x \) en términos de\( p \).

Los valores numéricos de los cuantiles para la distribución estándar (base 10) se dan en un ejercicio a continuación.

Abra la calculadora de distribución especial y elija la distribución de primer dígito de Benford. Varíe la base y anote la forma y ubicación de las funciones de distribución y densidad de probabilidad. Para valores seleccionados de la base, compute la mediana y el primer y tercer cuartiles.

En su mayor parte los momentos de\( N_1 \) no tienen expresiones simples. No obstante, sí tenemos el siguiente resultado para la media.

\( \E(N_1) = (b - 1) - \log_b[(b - 1)!] \).

Prueba

A partir del PDF de\(N_1\) arriba y usando propiedades estándar del logaritmo,\[ \E(N_1) = \sum_{n=1}^{b-1} n \log_b\left(\frac{n + 1}{n}\right) = \log_b\left[\prod_{n=1}^{b-1} \left(\frac{n + 1}{n}\right)^n\right] \] El producto en la ecuación mostrada se simplifica a\( b^{b - 1} / (b - 1)! \), y el\( b \) logaritmo base de esta expresión es\( (b - 1) - \log_b[(b - 1)!] \).

Los valores numéricos de la media y varianza para la distribución estándar (base 10) se dan en un ejercicio a continuación.

Opne el Simulador de Distribución Especial y seleccione la distribución de primer dígito de Benford. Varíe la base\( b \) con el control de entrada y anote el tamaño y la ubicación de la barra de desviación\( \pm \) estándar media. Para diversos valores de\( b \), ejecute la simulación 1000 veces y compare la media empírica y la desviación estándar con la media de distribución y la desviación estándar..

Dado que la función cuantil tiene una forma simple y cerrada, la distribución de primer dígito de Benford se puede simular a través del método cuantil aleatorio.

Abra el experimento de cuantiles aleatorios y seleccione la distribución de primer dígito de Benford. Varíe la base\( b \) y anote nuevamente la forma y ubicación de la función de densidad de probabilidad. Para valores seleccionados de la base, ejecute el experimento 1000 veces y compare la función de densidad empírica, la media y la desviación estándar con sus contrapartes distribucionales.

Dígitos más altos

Ahora, para calcular la función de densidad de probabilidad conjunta de los primeros dígitos\(k\) significativos, alguna notación adicional ayudará.

Si\(n_1 \in \{1, 2, \ldots, b - 1\}\) y\(n_j \in \{0, 1, \ldots, b - 1\}\) para\(j \in \{2, 3, \ldots, k\}\), vamos\[ [n_1 \, n_2 \, \cdots \, n_k]_b = \sum_{j=1}^k n_j b ^{k - j} \]

Por supuesto, esta es solo la\(b\) versión base de lo que hacemos en nuestro sistema base 10 estándar: representamos enteros como cadenas de dígitos entre 0 y 9 (excepto que el primer dígito no puede ser 0). Aquí hay un ejemplo de base 5:\[ [324]_5 = 3 \cdot 5^2 + 2 \cdot 5^1 + 4 \cdot 5^0 = 89 \]

La función de densidad de probabilidad conjunta\( h_k \) de\( (N_1, N_2, \ldots, N_k) \) viene dada por

\[ h_k\left(n_1, n_2, \ldots, n_k\right) = \log_b \left( 1 + \frac{1}{[n_1 \, n_2 \, \cdots \, n_k]_b} \right), \quad n_1 \in \{1, 2, \ldots, b - 1\}, (n_2, \ldots, n_k) \in \{2, \ldots, b - 1\}^{k-1} \]

Prueba

Tenga en cuenta que\(\{N_1 = n_1, N_2 = n_2, \ldots, N_k = n_k\} = \{l \le Y \lt u \}\). donde\[ l = \frac{[n_1 \, n_2 \, \cdots, n_k]_b}{b^k}, \; u = \frac{[n_1 \, n_2 \, \cdots \, n_k]_b + 1}{b^k} \] De ahí usar el PDF de\(Y\) y las propiedades de logaritmos,\[ h_k\left(n_1, n_2, \ldots, n_k\right) = \int_l^u \frac{1}{y \ln(b)} dy = \log_b(u) - \log_b(l) = \log_b\left([n_1 \, n_2 \, \cdots \, n_k]_b + 1\right) - \log_b\left([n_1 \, n_2 \, \cdots, n_k]_b\right) \]

La función de densidad de probabilidad de\( (N_1, N_2) \) en el caso estándar (base 10) se da en un ejercicio a continuación. Por supuesto, la función de densidad de probabilidad de un dígito dado se puede obtener sumando la densidad de probabilidad conjunta sobre los dígitos no deseados de la manera habitual. Sin embargo, a excepción del primer dígito, estas funciones no se reducen a expresiones simples.

La función de densidad de probabilidad\( g_2 \) de\( N_2 \) viene dada por\[ g_2(n) = \sum_{k=1}^{b-1} \log_b \left(1 + \frac{1}{[k \, n]_b} \right) = \sum_{k=1}^{b-1} \log_b \left(1 + \frac{1}{k \, b + n} \right), \quad n \in \{0, 1, \ldots, b - 1\} \]

La función de densidad de probabilidad de\( N_2 \) en el caso estándar (base 10) se da en un ejercicio a continuación.

Explicación teórica

Aparte de la evidencia empírica señalada por Newcomb y Benford (y muchos otros desde entonces), ¿por qué funciona la ley de Benford? Para una explicación teórica, véase el artículo Una derivación estadística de la ley de dígitos significativos de Ted Hill.

Ejercicios Computacionales

En los siguientes ejercicios, supongamos que\( Y \) tiene la distribución estándar de mantisa de Benford (el caso base 10 decimal), y que\( \left(N_1, N_2, \ldots\right) \) son los dígitos de\( Y \).

Encuentra cada una de las siguientes para la mantisa\( Y \)

1. La función de densidad\(f\).
2. La media y varianza
3. Los cuartiles

Contestar

1. \(f(y) = \frac{1}{0.2303 y}, \quad y \in \left[\frac{1}{10}, 1\right)\)
2. \(\E(Y) = 0.3909\),\(\var(Y) = 0.0622\)
3. \( q_1 = 0.1778 \),\( q_2 = 0.3162 \),\( q_3 = 0.5623 \)

Para\( N_1 \), encontrar cada uno de los siguientes numéricamente

1. La función de densidad de probabilidad
2. La media y varianza
3. Los cuartiles

Contestar

1. \(n\)	\(\P(N_1 = n)\)
   1	0.3010
   2	0.1761
   3	0.1249
   4	0.0969
   5	0.0792
   6	0.0669
   7	0.0580
   8	0.0512
   9	0.0458

2. \(\E(N_1) = 3.4402\),\(\var(N_1) = 6.0567\)
3. \( q_1 = 1 \),\( q_2 = 3 \),\( q_3 = 5 \)

Calcular explícitamente los valores de la función de densidad de probabilidad conjunta de\((N_1, N_2)\).

Contestar

\(\P(N_1 = n_1, N_2 = n_2)\)	\(n_1 = 1\)	2	3	4	5	6	7	8	9
\(n_2 = 0\)	0.0414	0.0212	0.0142	0.0107	0.0086	0.0072	0.0062	0.0054	0.0048
1	0.0378	0.0202	0.0138	0.0105	0.0084	0.0071	0.0061	0.0053	0.0047
2	0.0348	0.0193	0.0134	0.0102	0.0083	0.0069	0.0060	0.0053	0.0047
3	0.0322	0.0185	0.0130	0.0100	0.0081	0.0068	0.0059	0.0052	0.0046
4	0.0300	0.0177	0.0126	0.0098	0.0080	0.0067	0.0058	0.0051	0.0046
5	0.0280	0.0170	0.0122	0.0092	0.0078	0.0066	0.0058	0.0051	0.0045
6	0.0263	0.0164	0.0119	0.0093	0.0077	0.0065	0.0057	0.0050	0.0045
7	0.0248	0.0158	0.0116	0.0091	0.0076	0.0064	0.0056	0.0050	0.0045
8	0.0235	0.0152	0.0113	0.0090	0.0074	0.0063	0.0055	0.0049	0.0044
9	0.0223	0.0147	0.0110	0.0088	0.0073	0.0062	0.0055	0.0049	0.0044

Para\( N_2 \), encontrar cada uno de los siguientes numéricamente

1. La función de densidad de probabilidad
2. \(\E(N_2)\)
3. \(\var(N_2)\)

Contestar

1. \(n\)	\(\P(N_2 = n)\)
   0	0.1197
   1	0.1139
   2	0.1088
   3	0.1043
   4	0.1003
   5	0.0967
   6	0.0934
   7	0.0904
   8	0.0876
   9	0.0850

2. \(\E(N_2) = 4.1847\)
3. \(\var(N_2) = 0.8254\)

Al comparar el resultado para\(N_1\) y el resultado para\(N_2\), tenga en cuenta que la distribución de\(N_2\) es más plana que la distribución de\(N_1\). En general, resulta que la distribución de\(N_k\) converge a la distribución uniforme en\(\{0, 1, \ldots, b - 1\}\) as\(k \to \infty\). Curiosamente, los dígitos son dependientes.

\(N_1\)y\(N_2\) son dependientes.

Prueba

Este resultado se desprende del PDF conjunto, el PDF marginal de\( N_1 \), y el PDF marginal de\( N_2 \) arriba.

Encuentra cada uno de los siguientes.

1. \(\P(N_1 = 5, N_2 = 3, N_3 = 1)\)
2. \(\P(N_1 = 3, N_2 = 1, N_3 = 5)\)
3. \(\P(N_1 = 1, N_2 = 3, N_3 = 5)\)