Saltar al contenido principal
LibreTexts Español

26.1: Regresión lineal

  • Page ID
    150847
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)

    ( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\id}{\mathrm{id}}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\kernel}{\mathrm{null}\,}\)

    \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\)

    \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\)

    \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \( \newcommand{\vectorA}[1]{\vec{#1}}      % arrow\)

    \( \newcommand{\vectorAt}[1]{\vec{\text{#1}}}      % arrow\)

    \( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vectorC}[1]{\textbf{#1}} \)

    \( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)

    \( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)

    \( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)

    \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    También podemos usar el modelo lineal general para describir la relación entre dos variables y para decidir si esa relación es estadísticamente significativa; además, el modelo nos permite predecir el valor de la variable dependiente dado algunos nuevos valores de la (s) variable (s) independiente (s). Lo más importante es que el modelo lineal general nos permitirá construir modelos que incorporen múltiples variables independientes, mientras que la correlación solo puede decirnos sobre la relación entre dos variables individuales.

    La versión específica del GLM que usamos para esto se conoce como regresión lineal. El término regresión fue acuñado por Francis Galton, quien había señalado que cuando comparaba a los padres y a sus hijos en algún rasgo (como la altura), los hijos de padres extremos (es decir, los padres muy altos o muy bajos) generalmente se acercaban más a la media que sus padres. Este es un punto sumamente importante al que volvemos a continuación.

    La versión más simple del modelo de regresión lineal (con una sola variable independiente) se puede expresar de la siguiente manera:

    y=x*βx+β0+ϵy = x *\ beta_x +\ beta_0 +\ épsilonElβx\ beta_xvalor nos dice cuánto esperaríamos que y cambie dado un cambio de una unidad en x. La intercepciónβ0\ beta_0es una compensación general, que nos dice qué valor esperaríamos y tener cuandox=0x=0; tal vez recuerde de nuestra discusión sobre modelización temprana que esto es importante para modelar la magnitud general de los datos, incluso sixxnunca alcanza realmente un valor de cero. El término de errorϵ\ épsilonse refiere a lo que queda una vez que el modelo ha estado en forma. Si queremos saber cómo predecir y (que llamamosŷ\ sombrero {y}), entonces podemos dejar caer el término de error:

    ŷ=x*βx+β026.2 muestra un ejemplo de este modelo aplicado al ejemplo de tiempo de estudio.

    La solución de regresión lineal para los datos de tiempo de estudio se muestra en la línea continua El valor de la intercepción es equivalente al valor predicho de la variable y cuando la variable x es igual a cero; esto se muestra con una línea punteada. El valor de beta es igual a la pendiente de la línea, es decir, cuánto y cambia para un cambio unitario en x Esto se muestra esquemáticamente en las líneas discontinuas, las cuales muestran el grado de aumento de grado para una sola unidad de aumento en el tiempo de estudio.
    Figura 26.2: La solución de regresión lineal para los datos de tiempo de estudio se muestra en la línea continua El valor de la intercepción es equivalente al valor predicho de la variable y cuando la variable x es igual a cero; esto se muestra con una línea punteada. El valor de beta es igual a la pendiente de la línea, es decir, cuánto y cambia para un cambio unitario en x Esto se muestra esquemáticamente en las líneas discontinuas, las cuales muestran el grado de aumento de grado para una sola unidad de aumento en el tiempo de estudio.

    No entraremos en los detalles de cómo se estiman realmente la mejor pendiente e intercepción de ajuste a partir de los datos; si está interesado, los detalles están disponibles en el Apéndice.

    26.1.1 Regresión a la media

    El concepto de regresión a la media fue una de las contribuciones esenciales de Galton a la ciencia, y sigue siendo un punto crítico a entender cuando interpretamos los resultados de los análisis de datos experimentales. Digamos que queremos estudiar los efectos de una intervención lectora sobre el desempeño de los lectores pobres. Para probar nuestra hipótesis, podríamos ingresar a una escuela y reclutar a aquellos individuos en el 25% inferior de la distribución en alguna prueba de lectura, administrar la intervención y luego examinar su desempeño. Digamos que la intervención en realidad no tiene ningún efecto, de tal manera que las puntuaciones de lectura para cada individuo son simplemente muestras independientes de una distribución normal. Podemos simular esto:

    Cuadro 26.1: Puntajes de lectura para la Prueba 1 (que es menor, porque fue la base para seleccionar a los estudiantes) y la Prueba 2 (que es mayor porque no estaba relacionada con la Prueba 1).
    Score
    Prueba 1 88
    Prueba 2 101

    Si observamos la diferencia entre el rendimiento medio de la prueba en la primera y la segunda prueba, parece que la intervención ha ayudado sustancialmente a estos alumnos, ¡ya que sus puntuaciones han subido en más de diez puntos en la prueba! Sin embargo, sabemos que de hecho los estudiantes no mejoraron en absoluto, ya que en ambos casos los puntajes simplemente se seleccionaron de una distribución normal aleatoria. Lo que ha ocurrido es que algunos sujetos puntuaron mal en la primera prueba simplemente por azar azar. Si seleccionamos solo esas materias sobre la base de sus primeros puntajes de prueba, se garantiza que retrocedan hacia la media de todo el grupo en la segunda prueba, aunque no haya efecto del entrenamiento. Esta es la razón por la que necesitamos un grupo control no tratado para interpretar cualquier cambio en la lectura a lo largo del tiempo; de lo contrario, es probable que nos engañen por regresión a la media.

    26.1.2 La relación entre correlación y regresión

    Existe una estrecha relación entre los coeficientes de correlación y los coeficientes de regresión. Recuerde que el coeficiente de correlación de Pearson se calcula como la relación de la covarianza y el producto de las desviaciones estándar de x e y:

    r̂=covariancexysx*sy\ hat {r} =\ frac {covariance_ {xy}} {s_x * s_y}mientras que la regresión beta se calcula como:

    β̂=covariancexysx*sx\ hat {\ beta} =\ frac {covariance_ {xy}} {s_x*s_x}

    A partir de estas dos ecuaciones, podemos derivar la relación entrer̂\ sombrero {r}ybetâ\ hat {beta}:

    covariancexy=r̂*sx*sycovariance_ {xy} =\ hat {r} * s_x * s_y

    βx̂=r̂*sx*sysx*sx=r*sysx\ sombrero {\ beta_x} =\ frac {\ sombrero {r} * s_x * s_y} {s_x * s_x} = r *\ frac {s_y} {s_x}Es decir, la pendiente de regresión es igual al valor de correlación multiplicado por la relación de desviaciones estándar de y y x Una cosa que esto nos dice es que cuando las desviaciones estándar de x e y son las mismas (por ejemplo, cuando los datos se han convertido a puntuaciones Z), entonces la estimación de correlación es igual a la estimación de pendiente de regresión.

    26.1.3 Errores estándar para modelos de regresión

    Si queremos hacer inferencias sobre las estimaciones de los parámetros de regresión, entonces también necesitamos una estimación de su variabilidad. Para calcular esto, primero necesitamos calcular la varianza residual o varianza de error para el modelo, es decir, cuánta variabilidad en la variable dependiente no es explicada por el modelo. Podemos calcular los residuos del modelo de la siguiente manera:

    residual=yŷ=y(x*βx̂+β0̂)residual = y -\ hat {y} = y - (x*\ hat {\ beta_x} +\ hat {\ beta_0})Luego calculamos la suma de errores cuadrados (SSE):

    SSerror=i=1n(yiyî)2=i=1nresiduals2SS_ {error} =\ suma_ {i=1} ^n {(y_i -\ hat {y_i}) ^2} =\ suma_ {i=1} ^n {residuales^2}y a partir de esto calculamos el error cuadrático medio:

    MSerror=SSerrordf=i=1n(yiyi[2])2NpMS_ {error} =\ frac {SS_ {error}} {df} =\ frac {\ suma_ {i=1} ^n {(y_i -\ hat {y_i}) ^2}} {N - p}donde los grados de libertad (dfdf) se determinan restando el número de parámetros estimados (2 en este caso:βx[2]\ sombrero {\ beta_x}yβ0[2]\ sombrero {\ beta_0}) del número de observaciones (NN). Una vez que tenemos el error cuadrático medio, podemos calcular el error estándar para el modelo como:

    SEmodel=MSerrorSE_ {modelo} =\ sqrt {MS_ {error}}

    Para obtener el error estándar para una estimación de parámetro de regresión específica,SEβxSE_ {\ beta_x}, necesitamos reescalar el error estándar del modelo por la raíz cuadrada de la suma de cuadrados de la variable X:

    SEβx=SEmodel(xix)2SE_ {\ beta_x} =\ frac {SE_ {modelo}} {\ sqrt

    ParseError: invalid DekiScript (click for details)
    Callstack:
        at (Estadisticas/Estadisticas_Introductorias/Libro:_Pensamiento_estadístico_para_el_siglo_XXI_(Poldrack)/26:_El_modelo_lineal_general/26.01:_Regresión_lineal), /content/body/section[3]/div/p[7]/math/semantics/annotation/span, line 1, column 1
    

    26.1.4 Pruebas estadísticas para parámetros de regresión

    Una vez que tenemos las estimaciones de parámetros y sus errores estándar, podemos calcular un estadístico t para decirnos la probabilidad de las estimaciones de parámetros observados en comparación con algún valor esperado bajo la hipótesis nula. En este caso probaremos contra la hipótesis nula de no efecto (i.e.β=0\ beta=0):

    tNp=β̂βexpectedSEβ̂tNp=β̂0SEβ̂tNp=β̂SEβ̂\ begin {array} {c} t_ {N - p} =\ frac {\ hat {\ beta} -\ beta_ {esperado}} {SE_ {\ hat {\ beta}}\\ t_ {N - p} =\ frac {\ hat {\ beta} - 0} {SE_ {\ hat {\ beta}}\\ t_ {N - p} = ac {\ hat {\ beta}} {SE_ {\ hat {\ beta}}\ end {array}

    En R, no necesitamos computar estos a mano, ya que nos son devueltos automáticamente por la función lm ():

    ## 
    ## Call:
    ## lm(formula = grade ~ studyTime, data = df)
    ## 
    ## Residuals:
    ##     Min      1Q  Median      3Q     Max 
    ## -10.656  -2.719   0.125   4.703   7.469 
    ## 
    ## Coefficients:
    ##             Estimate Std. Error t value Pr(>|t|)    
    ## (Intercept)    76.16       5.16   14.76  6.1e-06 ***
    ## studyTime       4.31       2.14    2.01    0.091 .  
    ## ---
    ## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
    ## 
    ## Residual standard error: 6.4 on 6 degrees of freedom
    ## Multiple R-squared:  0.403,  Adjusted R-squared:  0.304 
    ## F-statistic: 4.05 on 1 and 6 DF,  p-value: 0.0907

    En este caso vemos que la intercepción es significativamente diferente de cero (lo cual no es muy interesante) y que el efecto del Tiempo de Estudio sobre las calificaciones es marginalmente significativo (p = .09).

    26.1.5 Cuantificación de la bondad de ajuste del modelo

    A veces es útil cuantificar qué tan bien se ajusta el modelo a los datos en general, y una forma de hacerlo es preguntar qué tanto de la variabilidad en los datos se explica por el modelo. Esto se cuantifica usando un valor llamadoR2R^2(también conocido como el coeficiente de determinación). Si solo hay una variable x, entonces esto es fácil de calcular simplemente al cuadrado del coeficiente de correlación:

    R2=r2R^2 = r^2En el caso de nuestro ejemplo de tiempo de estudio,R2R^2= 0.4, lo que significa que hemos contabilizado alrededor del 40% de la varianza en las calificaciones.

    De manera más general se nos ocurreR2R^2como medida de la fracción de varianza en los datos que es contabilizada por el modelo, que se puede calcular dividiendo la varianza en múltiples componentes:

    SStotal=SSmodel+SSerrorSS_ {total} = SS_ {modelo} + SS_ {error}dondeSStotalSS_ {total}es la varianza de los datos (yy) ySSmodelSS_ {modelo}ySSerrorSS_ {error}se computan como se muestra anteriormente en este capítulo. Usando esto, podemos entonces calcular el coeficiente de determinación como:

    R2=SSmodelSStotal=1SSerrorSStotalR^2 =\ frac {SS_ {modelo}} {SS_ {total}} = 1 -\ frac {SS_ {error}} {SS_ {total}}

    Un pequeño valor deR2R^2nos dice que aunque el ajuste del modelo sea estadísticamente significativo, solo puede explicar una pequeña cantidad de información en los datos.


    This page titled 26.1: Regresión lineal is shared under a not declared license and was authored, remixed, and/or curated by Russell A. Poldrack via source content that was edited to the style and standards of the LibreTexts platform; a detailed edit history is available upon request.