5.4: Mínimos cuadrados totales

Anteriormente hemos examinado resolver problemas de mínimos cuadrados de la forma\(y = Ax + e\). Una interpretación del problema que ahí resolvimos es que perturbamos lo menos\(y\) posible -en el sentido de mínimos cuadrados- para que la ecuación resultante fuera\(y - e = Ax\) consistente. Es natural preguntarse qué pasa si permitimos\(A\) que también nos perturben, además de perturbarnos\(y\). Esto tiene sentido en situaciones en las que la incertidumbre en nuestro modelo y el ruido en nuestras mediciones no pueden o no deben atribuirse enteramente a\(y\), sino también a\(A\). El problema de mínimos cuadrados más simple de este tipo es aquel que permite un modelo perturbado de la forma

\[y=(A+\Delta) x+e \ \tag{5.16}\]

El llamado problema de estimación de mínimos cuadrados totales ahora se puede afirmar como

\[\min _{\Delta, e}\left(\sum_{i, j}\left|\Delta_{i j}\right|^{2}+\sum_{i}\left|e_{i}\right|^{2}\right)^{\frac{1}{2}}=\min _{\Delta, e}\|\Delta \vdots e\|_{F} \ \tag{5.17}\]

\[=\min _{\Delta, e}\|\hat{\Delta}\|_{F} \ \tag{5.18}\]

donde

\[\hat{\Delta}=[\Delta \vdots e] \ \tag{5.19}\]

También se pueden plantear versiones ponderadas de este problema, pero omitimos estas generalizaciones.

Tenga en cuenta que no se han impuesto restricciones\(\Delta\) en la declaración de problemas anterior, y esto a menudo puede limitar la utilidad directa de la formulación de mínimos cuadrados totales en problemas prácticos. En la práctica, las perturbaciones esperadas o permitidas de\(A\) suelen estar bastante estructuradas; sin embargo, la solución del problema de mínimos cuadrados totales bajo tales restricciones estructurales es mucho más dura que la del problema sin restricciones que presentamos la solución del siguiente. Sin embargo, la formulación de mínimos cuadrados totales puede proporcionar un punto de referencia útil. (Por supuesto, se pueden hacer los mismos tipos de comentarios sobre la formulación convencional de mínimos cuadrados: a menudo no es el criterio que quisiéramos utilizar, pero su trazabilidad en comparación con otros criterios la convierte en un punto de partida útil).

Si hacemos las definiciones

\ [\ hat {A} =\ left [\ begin {array} {lll}
A &\ vdots & -y
\ end {array}\ derecha],\ quad\ hat {x} =\ left [\ begin {array} {l}
x\\
1
\ end {array}\ derecha]\ etiqueta {5.20}\]

entonces el modelo perturbado en la Ecuación (5.16) puede ser reescrito como

\[(\hat{A}+\hat{\Delta}) \hat{x}=0 \ \tag{5.21}\]

Esta ecuación hace evidente que lo que buscamos es la norma\(\hat{\Delta}\) con mínima Frobenius que satisfaga la Ecuación (5.21) -la más pequeña\(\hat{\Delta}\) que hace\(\hat{A} + \hat{\Delta}\) singular.

Supongamos que\(A\) tiene full column rank (\(n\)), y que tiene más filas que columnas (que normalmente es el caso, ya que en la estimación de mínimos cuadrados normalmente tenemos muchas más mediciones que parámetros a estimar). Además, supongamos que\(\hat{A}\) tiene\(rank (n + 1)\), lo que también es generalmente cierto. Por lo que hemos aprendido sobre las perturbaciones aditivas, ahora vemos que un mínimo (en un sentido Frobenius)\(\hat{A}\) que satisface la Ecuación (5.21) es

\[\hat{\Delta}=-\sigma_{n+1} u_{n+1} v_{n+1}^{\prime} \ \tag{5.22}\]

donde el\(\sigma_{n+1}\),\(u_{n+1}\) y\(v_{n+1}\) se derivan de la SVD de\(\hat{A}\) (es decir,\(\sigma_{n+1}\) es el valor singular más pequeño de\(\hat{A}\), etc.). Dado que ahora sabemos\(\hat{A}\) y\(\hat{\Delta}\), eligiendo\(\hat{x}= v_{n+1}\), y reescalando\(\hat{x}\), tenemos

\ [(\ hat {A} +\ hat {\ Delta})\ left [\ begin {array} {l}
x\\
1
\ end {array}\ derecha] =0\ nonumber\]

lo que nos da\(x\), la solución total de mínimos cuadrados. Esta solución se debe a Golub y Van Loan (ver su texto clásico en Matrix Computations, Segunda Edición, Johns Hopkins University Press, 1989).