2.1: Introducción a la estimación de mínimos cuadrados

Última actualización
Guardar como PDF

Page ID: 85896

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Si el criterio utilizado para medir el error\(e = y - Ax\) en el caso de sistema inconsistente de ecuaciones es la suma de magnitudes cuadradas de los componentes de error, es decir\(e^{\prime}e\), o equivalentemente la raíz cuadrada de ésta, que es la norma euclidiana habitual o 2-norma\({\|e\|}_2\), entonces el problema se denomina mínimo problema de cuadrados. Formalmente se puede escribir como

\[\min _{x}\|y-A x\|_{2}\]

La x que minimiza este criterio se llama la estimación del error de mínimos cuadrados, o más simplemente, la estimación de mínimos cuadrados. La elección de este criterio y la solución del problema se remontan a Legendre (1805) y Gauss (aproximadamente al mismo tiempo).

Ejemplo 2.1

Supongamos que hacemos algunas mediciones\(y_{i}\) de una función desconocida f (t) en puntos discretos\({t}_{i},\ i= {1, \ldots N}\)

\[{y}_{i}=f({t}_{i}),\ i= {1, \ldots N}\]

Queremos encontrar la función g (t) en el espacio\(\mathcal{X}\) de polinomios de orden\(m-1< N-1\) que mejor se aproxime a f (t) en los puntos medidos\({t}_{i}\), donde

\[\chi=\left\{g(t)=\sum_{i=0}^{m-1} \alpha_{i} t^{i}, \alpha_{i} \text { real }\right\}\]

Para cualquiera\(g(t) \in \chi\), tendremos\({y}_{i}=g({t}_{i})+{e}_{i}\) para\(i= {1, \ldots N}\). Escribiendo esto en forma de matriz para los datos disponibles, tenemos

\ [\ underbrackets {\ left [\ begin {array} {l}
y_ {1}\\ vdots
\\
y_ {N}
\ end {array}\ right]} _ {y} =\ underbrackets {\ left [\ begin {array} {ccccc} 1 & t_ {
1} & t_ {1} & t_ {1} ^ {2} &\ cdots & t_ {1} ^ {m-1}\\
\ vdots & & &\ vdots\\
1 & t_ {N} & t_ {N} ^ {2} &\ cdots & t_ {N} ^ {m-1}
\ end {array}\ derecha]} _ {A}\ underbrackets {\ left [\ begin {array} {c}
\ alpha_ {0}\
\ vdots\\
\ alpha_ {m-1}
\ end {array}\ derecha] _ {x} +\ underbrackets {\ left [\ begin {array} {c}
e_ {1}\\
\ vdots\\
e_ {N}
\ end {array}\ derecha]} _ {e}\]

El problema es encontrar\(\alpha_{0}, \dots, \alpha_{m-1}\) tal que\(e^{\prime} e=\sum_{i=1}^{N} e_{i}^{2}\) se minimice.