Вы находитесь на странице: 1из 7

Formulacin formal del problema bidimensional Supngase el conjunto de puntos (xk,yk), siendo con Queremos encontrar una funcin

tal que , esto es: . Sea fj(x),

una base de m funciones linealmente independientes. combinacin lineal de las funciones base

Se trata de hallar los m coeficientes cj que hagan que la funcin aproximante f(x) sea la mejor aproximacin a los puntos (xk,yk). El criterio de mejor aproximacin puede variar, pero en general se basa en aqul que d un menor error en la aproximacin. El error en un punto (xk,yk) se podra definir como:

En este caso se trata de medir y minimizar el error en el conjunto de la aproximacin. En matemticas, existen diversas formas de definir el error, sobre todo cuando ste se aplica a un conjunto de puntos (y no slo a uno), a una funcin, etc. Dicho error podr ser: Error Mximo:

Error Medio:

Error Cuadrtico Medio: La aproximacin mnimo cuadrada se basa en la minimizacin del error cuadrtico medio, o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error cuadrtico, definido como:

Para alcanzar este objetivo, suponemos que la funcin f es de una forma particular que contenga algunos parmetros que necesitamos determinar. Por ejemplo, supongamos que es cuadrtica, lo que quiere decir que buscamos los valores de de los residuos (S): , donde no conocemos an , y . Ahora , y que minimicen la suma de los cuadrados

Esto explica el nombre de mnimos cuadrados. A las funciones que multiplican a los coeficientes buscados, esto es, a x2, x y 1, se les conoce con el nombre de funciones base de la aproximacin. Dichas funciones base pueden ser cualesquiera funciones, y para ese caso se deduce a continuacin la frmula general en el caso de que la aproximacin sea discreta y lineal. La aproximacin de mnimos cuadrados es la mejor aproximacin al conjunto de puntos (xk,yk), segn el criterio del error cuadrtico medio. Es posible generar otro tipo de aproximaciones si se toman los errores mximo o medio, pero la dificultad que entraa operar con ellos debido al valor absoluto de su expresin hace que apenas se usen. Solucin del problema de los mnimos cuadrados La aproximacin mnimo cuadrado tiene solucin general para el caso de un problema de aproximacin lineal en sus coeficientes cjcualesquiera sean las funciones base fj(x) antes expuestas. Por lineal se entiende f(x) es una combinacin lineal de dichas funciones base. Para hallar la expresin de la frmula general, es posible o bien minimizar el error cuadrtico arriba expuesto, para lo cual se hara uso del clculo multivariable (se tratara de un problema de optimizacin en cj), o alternativamente hacer uso del lgebra lineal en la llamada deduccin geomtrica. Para los Modelos estticos uniecuacionales, el mtodo de mnimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su gnero, es el que proporciona la mejor aproximacin. Deduccin analtica de la aproximacin discreta mnimo cuadrtica lineal Sean n pares con abscisas distintas, y sean m funciones

cualesquiera linealmente independientes , que se llamarn funciones base. Se desea encontrar una funcin f(x) combinacin lineal de dichas funciones base, tomando por ello la forma:

. Ello equivale por tanto a hallar los m coeficientes . En concreto, se

desea que tal funcin f(x) sea la mejor aproximacin a los n pares empleando el criterio de mnimo error cuadrtico medio de la funcin f(x) con respecto a los puntos .

El error cuadrtico medio ser para tal caso:

Minimizar el error cuadrtico medio es equivalente a minimizar el error cuadrtico, definido como el radicando del error cuadrtico medio, esto es:

As, los cj que minimizan Ecm tambin minimizan Ec, y podrn ser calculados derivando e igualando a cero este ltimo:

Siendo i=1,2, . . .,m. Se obtiene un sistema de m ecuaciones con m incgnitas, que recibe el nombre de "Ecuaciones Normales de Gauss". Operando con ellas:

Si se desarrolla el sumatorio, se visualiza la ecuacin "i" del sistema de ecuaciones normales:

. En forma matricial, se obtiene

que: Siendo (a,b)d el producto escalar discreto, definido para dos funciones dadas h(x) y g(x) como:

y para una funcin h(x) y vector cualquiera u, como:

La resolucin de dicho sistema permite obtener,para el saber de ellos para cualquier base de funciones derivables localmente, la mejor aproximacin mnimo cuadrtica f(x) al conjunto de puntos antes mencionado. La solucin es ptima esto es, proporciona la mejor aproximacin siguiendo el criterio de mnimo error cuadrtico, puesto que se obtiene al optimizar el problema. Corolario Si se tratara de hallar el conjunto {cj} tal que f(x) pasara exactamente por todos los pares que f(x)interpolara a , esto es, tales , entonces tendra que cumplirse que:

En forma matricial, ello se expresara:

Esto establece un sistema de n ecuaciones y m incgnitas, y como en general n>m, quedara sobredeterminado: no tendra solucin general. Por tanto, la aproximacin tratar en realidad de hallar el vector c que mejor aproxime . Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss coincide con , siendo A la matriz de coeficientes exactas; y e le trmino independiente de las ecuaciones normales de Gauss coincide con el vector , de manera que puede escribirse que los {cj} que mejor aproximan f(x) pueden calcularse como la solucin al sistema: , que son las ecuaciones normales de Gauss. Deduccin geomtrica del problema discreto La mejor aproximacin deber tender a interpolar la funcin de la que proviene el conjunto de pares (xk,yk), esto es, deber tender a pasar exactamente por todos los puntos. Eso supone que se debera cumplir que:

Sustituyendo f(x) por su expresin:

Esto es, se tendra que verificar exactamente un sistema de n ecuaciones y m incgnitas, pero como en general n>m, dicho sistema est sobredeterminado, no tiene solucin general. De ah surge la necesidad de aproximarlo. Dicho sistema podra expresarse en forma matricial como:

Esto es:

La aproximacin trata de hallar el vector c aproximante que mejor aproxime el sistema Ac = b. Con dicho vector c aproximante, es posible definir el vector residuo como:

De manera que el mnimo error cuadrtico supone minimizar el residuo, definiendo su tamao en base a la norma eucldea o usual del residuo, que equivale al error cuadrtico:

siendo (r,r)2 el producto interior o escalar del vector residuo sobre s mismo. Si atendemos al sistema Ac = b, entonces se ve claramente que al multiplicar A y c, lo que se realiza es una combinacin lineal de las columnas de A:

El problema de aproximacin ser hallar aquella combinacin lineal de columnas de A lo ms cercana posible al vector b. Se comprueba que el conjunto de las columnas de A engendran un Span lineal: span(A1,A2,...,Am), al que el vector b no tiene porqu pertenecer (si lo hiciera, el sistema Ac=b tendra solucin). Entonces, de los infinitos vectores del span(A1,A2,...,Am) que son combinacin lineal de los vectores de la base, se tratar de hallar el ms cercano al vector b. De entre todos ellos, el que cumple esto con respecto a la norma eucldea es la proyeccin ortogonal del b sobre span(A1,A2,...,Am), y que por tanto hace que el tamao del vector r, que ser el vector que una los extremos de los vectores b y proyeccin ortogonal de b sobre el span, sea mnimo, esto es, que minimiza su norma eucldea. Es inmediato ver que si el residuo une b con su proyeccin ortogonal, entonces es a su vez ortogonal al span(A1,A2,...,Am), y a cada uno de los vectores de la base, esto es, ortogonal a cada columna de A. La condicin de minimizacin del residuo ser:

Esto solo es cierto si:

A su vez, cada una de las m condiciones de perpendicularidad se puede agrupar en una sola:

Sustituyendo el residuo por su expresin:

Por tanto, la mejor aproximacin mnimo cuadrada lineal para un conjunto de puntos discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado: .

A esta ecuacin se le llama ecuacin normal de Gauss, y es vlida para cualquier conjunto de funciones base. Si estas son la unidad y la funcin x, entonces la aproximacin se llama regresin lineal. Mnimos cuadrados y anlisis de regresin En el anlisis de regresin, se sustituye la relacin

por

siendo el trmino de perturbacin una variable aleatoria con media cero. Obervese que estamos asumiendo que los valores x son exactos, y que todos los errores estn en los valores y. De nuevo, distinguimos entre regresin lineal, en cuyo caso la funcin f es lineal para los parmetros a ser determinados (ej., f(x) = ax2 + bx + c), y regresin no lineal. Como antes, la regresin lineal es mucho ms sencilla que la no lineal. (Es tentador pensar que la razn del nombre regresin lineal es que la grfica de la funcin f(x) = ax + b es una lnea. Ajustar una curva f(x) = ax2 + bx + c, estimando a, b y c por mnimos cuadrados es un ejemplo de regresin lineal porque el vector de estimadores mnimos cuadrticos de a, b y c es una transformacin lineal del vector cuyos componentes son f(xi) + i). Los parmetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mnimos cuadrados: se toman aquellos valores que minimicen la suma S. El teorema de Gauss-Mrkov establece que los estimadores mnimos cuadrticos son ptimos en el sentido de que son los estimadores lineales insesgados de menor varianza, y por tanto de menor error cuadrtico medio, si tomamos f(x) = ax + b estandoa y b por determinar y con los trminos de perturbacin independientes y distribuidos idnticamente (vase el artculo si desea una explicacin ms detallada y con condiciones menos restrictivas sobre los trminos de perturbacin). La estimacin de mnimos cuadrados para modelos lineales es notoria por su falta de robustez frente a valores atpicos (outliers). Si la distribucin de los atpicos es asimtrica, los estimadores pueden estar sesgados. En presencia de cualquier valor atpico, los estimadores mnimos cuadrticos son ineficientes y pueden serlo en extremo. Si aparecen valores atpicos en los datos, son ms apropiados los mtodos de regresin robusta.