3.3: Solución de mínimos cuadrados

Última actualización
Guardar como PDF

Page ID: 85719

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Dejar\(x\) ser una solución particular de (1a). Denote por\(x_{A}\) su proyección única en el rango de\(A\) (es decir, en el espacio abarcado por los vectores\(a_{i}\)) y dejar\(x_{A^{\perp}}\) denotar la proyección sobre el espacio ortogonal a este. Siguiendo el mismo desarrollo que en la prueba del principio de ortogonalidad en la Conferencia 2, encontramos

\[x_{A}=A \prec A, A \succ^{-1} \prec A, x \succ \ \tag{3a}\]

con\(x_{A^{\perp}}= x- x_{A}\). Ahora (1a) nos permite hacer la sustitución\(y= \prec A, x \succ\) en (3a), por lo que

\[x_{A}=A \prec A, A \succ^{-1} y\ \tag{3b}\]

que es exactamente la expresión que teníamos para la solución\(\check{x}\) que determinamos antes por inspección, véase (2b).

Ahora note de (3b) que\(x_{A}\) es lo mismo para todas las soluciones\(x\), porque está determinado enteramente por\(A\) y\(y\). De ahí que sólo sea\(x_{A^{\perp}}\) que se varíen variando\(x\). La ortogonalidad de\(x_{A}\) y nos\(x_{A^{\perp}}\) permite escribir

\[<x, x>=<x_{A}, x_{A}>+<x_{A^{\perp}}, x_{A^{\perp}}>\nonumber\]

por lo que lo mejor que podemos hacer en lo que\(<x,x>\) se refiere a minimizar es hacer\(x_{A^{\perp}}=0\). En otras palabras, la solución óptima es\(x = x_{A} = \check{x}\).

Ejemplo 3.3

Para el filtro FIR mencionado en el Ejemplo 3.1, y considerando todas las secuencias de entrada\(x[k]\) que resultan en\(y[0] = 7\), encontrar la secuencia para la que\(\sum_{i=-N}^{N} x^{2}[i]\) se minimiza. (¡Trabaja este ejemplo por ti mismo!)

Ejemplo 3.4

Considera una masa unitaria moviéndose en línea recta bajo la acción de una fuerza\(x(t)\), con posición en el momento\(t\) dada por\(p(t)\). Supongamos\(p(0)=0, \dot{p}(0)=0\), y supongamos que deseamos tener\(p(T ) = y\) (sin restricción\(\dot{p}(T )\)). Entonces

\[y=p(T)=\int_{0}^{T}(T-t) x(t) d t=<a(t), x(t)> \ \tag{4}\]

Este es un problema típico subrestringido, con muchas opciones de\(x(t)\) para\(0 \leq t \leq T\) eso resultarán en\(p(T ) = y\). Encontremos la solución\(x(t)\) para la cual

\[\int_{0}^{T} x^{2}(t) d t=<x(t), x(t)> \ \tag{5}\]

se minimiza. Evaluando la expresión en (2a), encontramos

\[\check{x}(t)=(T-t) y /\left(T^{3} / 3\right) \ \tag{6}\]

¿Cómo cambia su solución si existe la restricción adicional de que la masa debe ser llevada al descanso a tiempo\(T\), así que eso\(\dot{p}(T ) = 0\)?

Te dejamos considerar cómo se pueden minimizar las normas ponderadas.