3.9: El problema de los mínimos cuadrados
- Page ID
- 119056
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
Ver el problema de los mínimos cuadrados usando matrices en YouTube
Supongamos que hay algunos datos experimentales que se sospecha que satisfacen una relación funcional. La relación más simple es lineal, y supongamos que se quiere ajustar una línea recta a los datos. Un ejemplo de tal problema de regresión lineal se muestra en la Fig. \(\PageIndex{1}\).
En general, dejar que los datos consten de un conjunto de\(n\) puntos dados por\((x_1, y_1),\: (x_2, y_2),\cdots , (x_n, y_n)\). Aquí, los\(x\) valores son exactos, y los\(y\) valores son ruidosos. Suponemos que una línea de la forma
\[y=\beta_0+\beta_1x\nonumber \]
es el que mejor se ajusta a los datos. Aunque sabemos que la línea no pasará por todos los puntos de datos, aún podemos anotar las ecuaciones resultantes. Tenemos
\[\begin{aligned}y_1&=\beta_0+\beta_zx_1, \\ y_2&=\beta_0+\beta_1x_2,\\ &\vdots \\ y_n&=\beta_0+\beta_1x_n.\end{aligned} \nonumber \]
Estas ecuaciones son un sistema de\(n\) ecuaciones en las dos incógnitas\(\beta_0\) y\(\beta_1\). La ecuación matricial correspondiente viene dada por
\[\left(\begin{array}{cc}1&x_1 \\ 1&x_2 \\ \vdots &\vdots \\ 1&x_n\end{array}\right)\left(\begin{array}{c}\beta_0 \\ \beta_1\end{array}\right)=\left(\begin{array}{c}y_1\\y_2\\ \vdots \\ y_n\end{array}\right).\nonumber \]
Se trata de un sistema sobredeterminado de ecuaciones que obviamente no tiene solución. El problema de los mínimos cuadrados es encontrar la mejor solución de estas ecuaciones para\(\beta_0\) y\(\beta_1\).
Podemos generalizar este problema de la siguiente manera. Supongamos que se nos da la ecuación matricial
\[\text{Ax}=\text{b}\nonumber \]
que no tiene solución porque no\(\text{b}\) está en el espacio de columna de\(\text{A}\). En lugar de resolver exactamente esta ecuación matricial, queremos resolver otra ecuación aproximada que minimice el error entre\(\text{Ax}\) y\(\text{b}\). El error se puede definir como la norma de\(\text{Ax} − \text{b}\), y el cuadrado del error es solo la suma de los cuadrados de los componentes. Nuestra búsqueda es la solución de mínimos cuadrados.