2.4: El problema de estimación de mínimos cuadrados

El problema de interés es encontrar la estimación del error de mínimos cuadrados (LSE) del parámetro vector x que surge en el modelo lineal\(y \approx A x\), donde A es una matriz de n vectores,\(A= [a_{1}, \dots, a_{n}]\). Definir el error e por

\[e = y - Ax\nonumber\]

lo que queremos determinar es

\[\widehat{x}=\arg \min _{x}\|e\|=\arg \min _{x}\|y-A x\|, \quad y, A\nonumber\]

(donde "\(\arg \min _{x}\)" debe leerse como “el valor del argumento x que minimiza”). Para afirmar esta otra manera, tenga en cuenta que como\(x\) es variado, se\(Ax\) extiende sobre el subespacio\(\mathcal{R}(A)\), por lo que estamos buscando el punto

\[\hat{y}=A\hat{x}\nonumber\]

que se acerque más a\(y\), medido por cualquier norma que estemos usando.

En lugar de restringir la norma en la expresión anterior para que sea la norma euclidiana 2 utilizada en la Conferencia 1, ahora permitiremos que sea cualquier norma inducida por un producto interno, entonces\(\|e\|=\sqrt{<e, e>}\). Esto nos permitirá resolver el llamado problema de mínimos cuadrados ponderados en un espacio dimensional finito sin trabajo adicional, ya que con ello se incluyen criterios de error de la forma\(e^{\prime} Se\) para hermitianos\(S\) definitivos positivos. Además, nuestra formulación de problemas se aplica entonces a espacios dimensionales infinitos que tienen un producto interno definido en ellos, con la restricción de que nuestro modelo\(Ax\) esté confinado a un subespacio dimensional finito. Esto realmente cubre los casos de mayor interés para nosotros; el tratamiento del caso más general implica introducir nuevas nociones topológicas (subespacios cerrados, etc.), y evitamos hacerlo.

También asumiremos que los vectores\(a_{i}, i=1, \ldots, n\) en A son independientes. Esta suposición es satisfecha por cualquier modelo razonablemente parametrizado, pues de lo contrario habría un número infinito de elecciones de las\(x\) que alcanzaría cualquier valor alcanzable del error\(y - Ax\). Si\(A\) se descubre que los vectores en son dependientes, entonces se necesita una reparametrización del modelo para producir un modelo bien parametrizado con vectores independientes en el nuevo\(A\). (Un problema más sutil -y del que vamos a decir algo más en el contexto del mal condicionamiento y la descomposición del valor singular- es que los vectores en\(A\) pueden ser casi dependientes, provocando diferencias prácticas en la estimación numérica de los parámetros.)

Lema de matriz de gramo

Una ruta importante para verificar la independencia de los vectores que componen las columnas de\(A\) es un lema al que nos referiremos como el Lema Gram Matrix. Esto establece que los vectores en\(A\) son independientes si la matriz Gram asociada (o Gramian)\(\prec A , A \succ= [<a_{i}, a_{j}>]\) es invertible; todas las normas son equivalentes, en lo que a este resultado se refiere, se puede escoger cualquier norma. Como se señaló anteriormente, para el caso del producto interior euclidiano habitual,\(\prec A , A \succ = A^{\prime}A\). Para un producto interno de la forma\(<a_{i}, a_{j}>=a_{i}^{\prime} S a_{j}\), donde\(S\) es hermitiano y positivo definido, tenemos\(\prec A , A \succ = A^{\prime}SA\). El lema también se aplica a la configuración dimensional infinita (por ejemplo\(\mathcal{L}^{2}\)), siempre que solo estemos considerando la independencia de un subconjunto finito de vectores.

Prueba:

Si los vectores en\(A\) son dependientes, hay algún vector distinto de cero\(\eta\) tal que\(A\eta \sum_{j} a_{j} \eta_{j}=0\). Pero entonces\(\sum_{j}<a_{i}, a_{j}>\eta_{j}=0\), por la linealidad del producto interno; en forma de matriz, podemos escribir no\(\prec A, A \succ \eta=0-\mathrm{so} \prec A, A \succ\) es invertible.

Por el contrario, si no\(\prec A, A \succ\) es invertible, entonces\(\prec A, A \succ \eta=0\) para algunos distintos de cero\(\eta\). Pero entonces\({\eta}^ \prime \prec A, A \succ \eta=0\), así por la linealidad de los productos internos\(<\sum \eta_{i} a_{i}, \sum a_{j} \eta_{j}>=0\) es decir, la norma del vector\(\sum a_{j} \eta_{j}=A \eta\) es cero, por lo que los vectores en\(A\) son dependientes.