37.1: Ajuste de mínimos cuadrados

Última actualización
Guardar como PDF

Page ID: 115534

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)\(\newcommand{\AA}{\unicode[.8,0]{x212B}}\)

Revisar Capítulos Capítulo 13 pg 225-239 del libro de texto de Boyd.

En esta primera parte de este curso, tratamos de resolver el sistema de ecuaciones lineales\(Ax=b\) con una\(m \times n\) matriz\(A\) y un vector de columna\(b\).

Hay tres resultados posibles: una solución única, sin solución e infinitas soluciones. (Revise el material de esta parte si no está familiarizado con cuándo ocurren los tres tipos de resultados).

Cuando\(m<n\), llamamos a la matriz\(A\) subdeterminada, porque no podemos tener una solución única para ello. Cuando\(m>n\), llamamos a la matriz\(A\) sobredeterminada, porque es posible que no tengamos una solución con alta probabilidad.

Sin embargo, si aún necesitamos encontrar una mejor\(x\), incluso cuando no hay solución o infinitas soluciones utilizamos una técnica llamada ajuste de mínimos cuadrados (LSF). Los mínimos cuadrados se ajustan a encontrar\(x\) tal que\(\|Ax-b\|\) es el más pequeño (es decir, tratamos de minimizar el error de estimación).

Cuando no hay solución, queremos encontrar\(x\) tal que\(Ax−b\) sea pequeña (aquí, queremos\(\|Ax-b\|\) ser pequeños).
Si el espacio nulo de\(A\) es justo\(\{0\}\), podemos encontrar un único\(x\) para obtener el más pequeño\(\|Ax-b\|\).
- Si hay una solución única\(x^*\) para\(Ax=b\), entonces\(x^*\) es la óptima\(x\) para obtener la más pequeña\(\|Ax-b\|\), que es 0.
- Porque el espacio nulo de\(A\) es justo\(\{0\}\), no se pueden tener infinitas soluciones para\(Ax=b\).
Si el espacio nulo de no\(A\) es solo\(\{0\}\), sabemos que siempre podemos agregar un punto distinto de cero\(x_0\) en el espacio nulo de\(A\) a un mejor\(x^*\), y\(\|A(x^*+x_0)-b\|=\|Ax^*-b\|\). Por lo tanto, cuando tenemos múltiples mejores soluciones, elegimos encontrar el\(x\) en el espacio de filas de\(A\), y esto es único.

Pregunta 1

Let\(A=\begin{bmatrix}1\\2\end{bmatrix},\quad b=\begin{bmatrix}1.5 \\ 2\end{bmatrix}\). Find the best \(x\) such that \(\|Ax-b\|\) has the smallest value.

Pregunta 2

Cómputos\((A^\top A)^{-1}A^\top b\).