3.3: Evaluando la Calidad del Modelo

La información que obtenemos escribiendo int00.lm nos muestra los valores básicos del modelo de regresión, pero no nos dice nada sobre la calidad del modelo. De hecho, hay muchas formas diferentes de evaluar la calidad de un modelo de regresión. Muchas de las técnicas pueden ser bastante técnicas, y los detalles de las mismas están más allá del alcance de este tutorial. Sin embargo, la función summary () extrae alguna información adicional que podemos usar para determinar qué tan bien se ajustan los datos al modelo resultante. Cuando se llama con el objeto modelo int00.lm como argumento, summary () produce la siguiente información:

> summary(int00.lm)
Call:
lm(formula = perf ~ clock)
Residuals:
Min        1Q        Median        3Q        Max
-634.61    -276.17   -30.83       75.38     1299.52
Coefficients:
               Estimate    Std. Error  t value  Pr(>|t|)
(Intercept)    51.78709    53.31513    0.971    0.332
clock           0.58635     0.02697   21.741    <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 396.1 on 254 degrees of freedom
Multiple R-squared: 0.6505, Adjusted R-squared: 0.6491
F-statistic: 472.7 on 1 and 254 DF, p-value: < 2.2e-16

Examinemos cada uno de los ítems presentados en este resumen en turno.

> summary(int00.lm)
Call:
lm(formula = perf ~ clock)

Estas primeras líneas simplemente repiten cómo se llamó a la función lm (). Es útil mirar esta información para verificar que realmente llamó a la función como pretendía.

Residuals:
    Min          1Q      Median      3Q     Max
    -634.61   -276.17    -30.83    75.38    1299.52

Los residuales son las diferencias entre los valores medidos reales y los valores correspondientes en la línea de regresión ajustada. En la Figura 3.2, el residuo de cada punto de datos es la distancia a la que el punto de datos individual está por encima (residual positivo) o por debajo (residual negativo) de la línea de regresión. Min es el valor residual mínimo, que es la distancia desde la línea de regresión hasta el punto más alejado por debajo de la línea. De igual manera, Max es la distancia desde la línea de regresión del punto más alejado por encima de la línea. La mediana es el valor medio de todos los residuos. Los valores 1Q y 3Q son los puntos que marcan el primer y tercer cuartiles de todos los valores residuales ordenados.

¿Cómo debemos interpretar estos valores? Si la línea encaja bien con los datos, esperaríamos valores residuales que normalmente se distribuyen alrededor de una media de cero. (Recordemos que una distribución normal también se llama distribución gaussiana). Esta distribución implica que hay una probabilidad decreciente de encontrar valores residuales a medida que nos alejamos de la media. Es decir, los residuos de un buen modelo deben equilibrarse aproximadamente alrededor y no muy lejos de la media de cero. En consecuencia, cuando observamos los valores residuales reportados por summary (), un buen modelo tendería a tener un valor medio cercano a cero, valores mínimos y máximos de aproximadamente la misma magnitud, y valores de primer y tercer cuartil de aproximadamente la misma magnitud. Para este modelo, los valores residuales no están muy lejos de lo que esperaríamos de los números distribuidos en Gaussianos. En la Sección 3.4, presentamos una prueba visual simple para determinar si los residuos parecen seguir una distribución normal.

Coefficients:
                Estimate     Std. Error   t value   Pr(>|t|)
(Intercept)     51.78709     53.31513     0.971     0.332
clock            0.58635      0.02697    21.741     <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Esta porción de la salida muestra los valores estimados de los coeficientes. Estos valores son simplemente los valores del modelo de regresión ajustado de la Ecuación 3.2. El Std. La columna Error muestra el error estándar estadístico para cada uno de los coeficientes. Para un buen modelo, normalmente nos gustaría ver un error estándar que sea al menos cinco a diez veces menor que el coeficiente correspondiente. Por ejemplo, el error estándar para reloj es 21.7 veces menor que el valor del coeficiente (0.58635/0.02697 = 21.7). Esta relación grande significa que hay relativamente poca variabilidad en la estimación de la pendiente, un ₁. El error estándar para la intercepción, un ₀, es 53.31513, que es aproximadamente el mismo que el valor estimado de 51.78709 para este coeficiente. Estos valores similares sugieren que la estimación de este coeficiente para este modelo puede variar significativamente.

La última columna, etiquetada Pr (>|t|), muestra la probabilidad de que el coeficiente correspondiente no sea relevante en el modelo. Este valor también se conoce como la significancia o valor p del coeficiente. En este ejemplo, la probabilidad de que el reloj no sea relevante en este modelo es de 2 × 10−16 un valor minúsculo. La probabilidad de que la intercepción no sea relevante es 0.332, o aproximadamente una probabilidad de uno en tres de que este valor de intercepción específico no sea relevante para el modelo. Hay una intercepción, claro, pero nuevamente estamos viendo indicios de que el modelo no predice muy bien este valor.

Los símbolos impresos a la derecha en este resumen, es decir, los asteriscos, periodos o espacios están destinados a dar una rápida comprobación visual de la significación de los coeficientes. La línea etiquetada Signif. codes: da significados a estos símbolos. Tres asteriscos (***) significan 0 < p ≤ 0.001, dos asteriscos (**) significan 0.001 < p ≤ 0.01, y así sucesivamente.

R usa la columna etiquetada con el valor t para calcular los valores p y los símbolos de significancia correspondientes. Probablemente no utilizará estos valores directamente cuando evalúe la calidad de su modelo, por lo que ignoraremos esta columna por ahora.

Residual standard error: 396.1 on 254 degrees of freedom 
Multiple R-squared: 0.6505, Adjusted R-squared: 0.6491 
F-statistic: 472.7 on 1 and 254 DF, p-value: < 2.2e-16

Estas últimas líneas en la salida proporcionan cierta información estadística sobre la calidad del ajuste del modelo de regresión a los datos. El error estándar residual es una medida de la variación total en los valores residuales. Si los residuos se distribuyen normalmente, los cuantiles primero y tercero de los residuales anteriores deben ser aproximadamente 1.5 veces este error estándar.

El número de grados de libertad es el número total de mediciones u observaciones utilizadas para generar el modelo, menos el número de coeficientes en el modelo. Este ejemplo tenía 256 filas únicas en el marco de datos, correspondientes a 256 mediciones independientes. Se utilizaron estos datos para producir un modelo de regresión con dos coeficientes: la pendiente y la intersección. Así, nos quedamos con (256 2 = 254) grados de libertad.

El valor de R al cuadrado múltiple es un número entre 0 y 1. Es una medida estadística de qué tan bien describe el modelo los datos medidos. La calculamos dividiendo la variación total que explica el modelo por la variación total de los datos. Multiplicar este valor por 100 da un valor que podemos interpretar como un porcentaje entre 0 y 100. El R ² reportado de 0.6505 para este modelo significa que el modelo explica 65.05 por ciento de la variación de los datos. La probabilidad aleatoria y los errores de medición se arrastran, por lo que el modelo nunca explicará todas las variaciones de datos. En consecuencia, nunca debes esperar un valor de R ² de exactamente uno. En general, los valores de R2 que están más cerca de uno indican un modelo de mejor ajuste. Sin embargo, un buen modelo no requiere necesariamente un gran valor de ^R2. Todavía puede predecir con precisión observaciones futuras, incluso con un pequeño valor de ^R2.

El valor R cuadrado ajustado es el valor R ² modificado para tener en cuenta el número de predictores utilizados en el modelo. El R ² ajustado es siempre menor que el valor de ^R2. Discutiremos la medición de la R ² ajustada en el Capítulo 4, cuando presentamos modelos de regresión que utilizan más de un predictor.

La línea final muestra el estadístico F. Este valor compara el modelo actual con un modelo que tiene uno menos parámetros. Debido a que el modelo de un factor ya tiene un solo parámetro, esta prueba no es particularmente útil en este caso. Es una estadística interesante para los modelos multifactoriales, sin embargo, como discutiremos más adelante.