Repblica Bolivariana de Venezuela.

Ministerio del Poder Popular para la Defensa.

Universidad Nacional Experimental Politcnica de la Fuerza Armada Nacional.
Ncleo Anzotegui.
San Tom Edo. Anzotegui.

PROGRAMACION
Prof: Julio Gonzlez
Realizado por: Edgar Mejas C.I.26204619

Introduccin

El mtodo de mnimos cuadrados tiene una larga historia que se remonta a los
principios del siglo XIX. En Junio de 1801, Zach, un astrnomo que Gauss haba
conocido dos aos antes, publicaba las posiciones orbitales del cuerpo celeste
Ceres, un nuevo pequeo planeta descubierto por el astrnomo italiano G. Piazzi
en ese mismo ao. Desafortunadamente, Piazzi slo haba podido observar 9
grados de su rbita antes de que este cuerpo desapareciese tras de el sol. Zach
public varias predicciones de su posicin incluyendo una de Gauss que difera
notablemente de las dems. Cuando Ceres fue redescubierto por Zach en
Diciembre de 1801 estaba casi exactamente en donde Gauss haba predicho.
Aunque todava no haba revelado su mtodo, Gauss haba descubierto el mtodo
de mnimos cuadrados. En un trabajo brillante logr calcular la rbita de Ceres a
partir de un nmero reducido de observaciones, de hecho, el mtodo de Gauss
requiere slo un mnimo de 3 observaciones y todava es, en esencia, el utilizado
en la actualidad para calcular las rbitas.

Mnimos cuadrados es una tcnica de anlisis numrico enmarcada dentro de la

optimizacin matemtica, en la que, dados un conjunto de pares ordenados:
variable independiente, variable dependiente, y una familia de funciones, se
intenta encontrar la funcin continua, dentro de dicha familia, que mejor se
aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mnimo
error cuadrtico.
En su forma ms simple, intenta minimizar la suma de cuadrados de las
diferencias en las ordenadas (llamadas residuos) entre los puntos generados por
la funcin elegida y los correspondientes valores en los datos. Especficamente, se
llama mnimos cuadrados promedio (LMS) cuando el nmero de datos medidos es
1 y se usa el mtodo de descenso por gradiente para minimizar el residuo
cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado,
con el mnimo de operaciones (por iteracin), pero requiere un gran nmero de
iteraciones para converger.
Desde un punto de vista estadstico, un requisito implcito para que funcione el
mtodo de mnimos cuadrados es que los errores de cada medida estn
distribuidos de forma aleatoria. El teorema de Gauss-Mrkov prueba que los
estimadores mnimos cuadrticos carecen de sesgo y que el muestreo de datos no
tiene que ajustarse, por ejemplo, a una distribucin. Tambin es importante que los
datos a procesar estn bien escogidos, para que permitan visibilidad en las
variables que han de ser resueltas (para dar ms peso a un dato en particular,
vase mnimos cuadrados ponderados).
La tcnica de mnimos cuadrados se usa comnmente en el ajuste de curvas.
Muchos otros problemas de optimizacin pueden expresarse tambin en forma de
mnimos cuadrados, minimizando la energa o maximizando la entropa.
Historia

Karl Friedrich Gauss

El da de Ao Nuevo de 1801, el astrnomo italiano Giuseppe Piazzi descubri el
planeta enanoCeres. Fue capaz de seguir su rbita durante 40 das. Durante el
curso de ese ao, muchos cientficos intentaron estimar su trayectoria con base en
las observaciones de Piazzi (resolver las ecuaciones de movimiento es muy
difcil). La mayora de las evaluaciones fueron intiles; el nico clculo
suficientemente preciso para permitir a Franz Xaver von Zach, astrnomo alemn,
reencontrar a Ceres al final del ao fue el de Carl Friedrich Gauss, por entonces
un joven de 24 aos (los fundamentos de su enfoque ya los haba planteado en
1795, cuando an tena 18 aos). Sin embargo, su mtodo de mnimos cuadrados
no se public sino hasta 1809, y apareci en el segundo volumen de su trabajo
sobre mecnica celeste, Theoria Motus Corporum Coelestium in sectionibus
conicis solem ambientium. El francs Adrien-Marie Legendre desarroll el mismo
mtodo de forma independiente en 1805.
En 1829, Gauss fue capaz de establecer la razn del xito maravilloso de este
procedimiento: simplemente, el mtodo de mnimos cuadrados es ptimo en
muchos aspectos. El argumento concreto se conoce como teorema de GaussMrkov.
Formulacin formal del problema bidimensional
Sea

un conjunto de n puntos en el plano real, y sea

una base de m funciones linealmente independiente en un espacio de funciones.

Queremos encontrar una funcin

que sea combinacin lineal de las

funciones base, de modo que

, esto es:

Por tanto, se trata de hallar los m coeficientes

aproximante

que hagan que la funcin

d la mejor aproximacin para los puntos dados

. El

criterio de "mejor aproximacin" puede variar, pero en general se basa en aqul

que minimice una "acumulacin" del error individual (en cada punto) sobre el
conjunto total. En primer lugar, el error (con signo positivo o negativo) de la
funcin

en un solo punto,

, se define como:

pero se intenta medir y minimizar el error en todo el conjunto de la

aproximacin,

. En matemticas, existen diversas formas de definir

el error, sobre todo cuando ste se refiere a un conjunto de puntos (y no slo a

uno), a una funcin, etc. Dicho error (el error "total" sobre el conjunto de puntos
considerado) suele definirse con alguna de las siguientes frmulas:
Error Mximo:

Error Medio:

Error cuadrtico medio:

La aproximacin por mnimos cuadrados se basa en la minimizacin del error
cuadrtico medio o, equivalentemente, en la minimizacin del radicando de dicho
error, el llamado error cuadrtico, definido como:

Para alcanzar este objetivo, se utiliza el hecho que la funcin f debe poder
describirse como una combinacin lineal de una base de funciones. Los
coeficientes de la combinacin lineal sern los parmetros que queremos
determinar. Por ejemplo, supongamos que f es una funcin cuadrtica, lo que
quiere decir que es una combinacin lineal,
funciones

, de las

(m=3 en este caso), y que se

pretende determinar los valores de los coeficientes:

, de modo que

minimicen la suma (S) de los cuadrados de los residuos:

Esto explica el nombre de mnimos cuadrados. A las funciones que multiplican a

los coeficientes buscados, que en este caso son:

y , se les conoce con el

nombre de funciones base de la aproximacin, y pueden ser funciones

cualesquiera. Para ese caso general se deduce a continuacin la frmula de la
mejor aproximacin discreta (i.e. para un conjunto finito de puntos), lineal y segn
el criterio del error cuadrtico medio, que es la llamada aproximacin lineal por
mnimos cuadrados. Es posible generar otro tipo de aproximaciones, si se toman
los errores mximo o medio, por ejemplo, pero la dificultad que entraa operar con
ellos, debido al valor absoluto de su expresin, hace que sean difciles de tratar y
casi no se usen.
Solucin del problema de los mnimos cuadrados[editar]
La aproximacin mnimo cuadrtica consiste en minimizar el error cuadrtico
mencionado ms arriba, y tiene solucin general cuando se trata de un problema
de aproximacin lineal (lineal en sus coeficientes
funciones base:

) cualesquiera que sean las

antes mencionadas. Por lineal se entiende que la

aproximacin buscada se expresa como una combinacin lineal de dichas

funciones base. Para hallar esta expresin se puede seguir un camino analtico,

expuesto abajo, mediante el clculo multivariable, consistente en optimizar los

coeficientes

; o bien, alternativamente, seguir un camino geomtrico con el uso

de el lgebra lineal, como se explica ms abajo, en la llamada deduccin

geomtrica. Para los Modelos estticos uniecuacionales, el mtodo de mnimos
cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde
principios del Siglo XIX. Se puede demostrar que, en su gnero, es el que
proporciona la mejor aproximacin.
Deduccin analtica de la aproximacin discreta mnimo cuadrtica lineal
Sea

un

sea

conjunto

de

pares

con

abscisas

distintas,

un conjunto de m funciones linealmente independientes (en un

espacio vectorial de funciones), que se llamarn funciones base. Se desea

encontrar una funcin
funciones

de dicho espacio, o sea, combinacin lineal de las

base,

tomando

por

ello

la

forma:

.
Ello equivale por tanto a hallar los m coeficientes:
desea que tal funcin

. En concreto, se

sea la mejor aproximacin a los n pares

empleando, como criterio de "mejor", el criterio del mnimo error cuadrtico medio
de la funcin

con respecto a los puntos

El

cuadrtico

error

medio

.
ser

para

tal

caso:

Minimizar el error cuadrtico medio es equivalente a minimizar el error cuadrtico,

definido

como

As, los

que minimizan

derivando

el

radicando

del

error

cuadrtico

tambin minimizan

igualando

medio,

esto

es:

, y podrn ser calculados

cero

este

ltimo:

Siendo i=1,2, . . .,m

Se obtiene un sistema de m ecuaciones con m incgnitas, que recibe el nombre
de "Ecuaciones

Normales

de

Gauss".

Operando

con

ellas:

para

i=1,2,

.,m

para

i=1,2,

.,m

Si se desarrolla la suma, se visualiza la ecuacin "i-sima" del sistema de m

ecuaciones
normales:

para

cada

i=1,2,

.,m

Lo

cual,

Siendo

en

forma

matricial,

se

expresa

como:

el producto escalar discreto, definido para dos funciones dadas

h(x)

g(x)

como:

,
y

para

una

funcin

h(x)

vector

cualquiera

u,

como:

La resolucin de dicho sistema permite obtener, para cualquier base de funciones

derivables localmente, la funcin f(x) que sea mejor aproximacin mnimo
cuadrtica al conjunto de puntos antes mencionado. La solucin es ptima esto
es, proporciona la mejor aproximacin siguiendo el criterio de mnimo error
cuadrtico, puesto que se obtiene al optimizar el problema.
Corolario
Si se tratara de hallar el conjunto de coeficientes
exactamente por todos los pares
interpole a

entonces

Que en forma matricial se expresa como:

tal que

pase

, esto es, tales que

tendra

que

cumplirse

que:

Esto establece un sistema de n ecuaciones y m incgnitas, y como en general

n>m, quedara sobredeterminado: no tendra siempre una solucin general. Por
tanto, la aproximacin tratar en realidad de hallar el vector c que mejor
aproxime

Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de

Gauss coincide con

, siendo A la matriz de coeficientes exactas, y como el

trmino independiente de las ecuaciones normales de Gauss coincide con el

vector

, se tiene que los valores

calcularse

como

la

que mejor aproximan f(x) pueden

solucin

al

sistema:

que es, precisamente, el sistema de las ecuaciones normales de Gauss.

Deduccin geomtrica de la aproximacin discreta mnimo cuadrtica lineal
La mejor aproximacin deber tender a interpolar la funcin de la que proviene el
conjunto de pares

, esto es, deber tender a pasar exactamente por todos

los puntos. Eso supone que se debera cumplir que:

Sustituyendo f(x) por su expresin como combinacin lineal de una base de m

funciones:

Esto es, se tendra que verificar exactamente un sistema de n ecuaciones y m

incgnitas, pero como en general n>m, dicho sistema estara sobredeterminado y,
por tanto, sin solucin general. De ah surge la necesidad de aproximarlo.

Dicho sistema podra expresarse en forma matricial como:

Esto es:

La aproximacin trata de hallar el vector c aproximante que mejor aproxime el

sistema

Con dicho vector c aproximante, es posible definir el vector residuo como:

De manera que el mnimo error cuadrtico supone minimizar el residuo, definiendo

su tamao segn la norma eucldea o usual del residuo, que equivale al error
cuadrtico:

siendo

el producto interior o escalar del vector residuo sobre s mismo.

Si atendemos al sistema

, entonces se ve claramente que al multiplicar A y

c, lo que se realiza es una combinacin lineal de las columnas de A:

El problema de aproximacin ser hallar aquella combinacin lineal de columnas

de la matriz A lo ms cercana posible al vector b. Se comprueba que el conjunto

de

las

columnas

de

lineal:

generan

un

espacio

vectorial

o Span

, al que el vector b no tiene porqu pertenecer (si lo

hiciera, el sistema A.c=b tendra solucin).

Entonces,

de

los

infinitos

vectores

del

que

son

combinacin lineal de los vectores de la base, se tratar de hallar el ms cercano

al vector b.
De entre todos ellos, el que cumple esto con respecto a la norma eucldea es la
proyeccin ortogonal de b sobre

, y que por tanto hace que

el tamao del vector r, que ser el vector que une los extremos de los vectores b y
proyeccin ortogonal de b sobre el span, sea mnimo, esto es, que minimiza su
norma eucldea.
Es inmediato ver que si el residuo une b con su proyeccin ortogonal, entonces es
a su vez ortogonal al

, y a cada uno de los vectores de la

base, esto es, ortogonal a cada columna de A.

La condicin de minimizacin del residuo ser:

Que es cierto si y slo si:

A su vez, cada una de las m condiciones de perpendicularidad se pueden agrupar

en una sola:

Sustituyendo el residuo por su expresin:

Por tanto, la mejor aproximacin mnimo cuadrada lineal para un conjunto de

puntos discretos, sean cuales sean las funciones base, se obtiene al resolver el
sistema cuadrado:
.
A esta ecuacin se le llama ecuacin normal de Gauss, y es vlida para cualquier
conjunto de funciones base. Si estas son la unidad y la funcin x, entonces la
aproximacin se llama regresin lineal.
Mnimos cuadrados y anlisis de regresin
En el anlisis de regresin, se sustituye la relacin

por

siendo el trmino de perturbacin una variable aleatoria con media cero.

Obsrvese que estamos asumiendo que los valores x son exactos, y que todos los
errores estn en los valores y. De nuevo, distinguimos entre regresin lineal, en
cuyo caso la funcin f es lineal para los parmetros a ser determinados (ej., f(x)
= ax2 + bx + c), y regresin no lineal. Como antes, la regresin lineal es mucho
ms sencilla que la no lineal. (Es tentador pensar que la razn del nombre
regresin lineal es que la grfica de la funcin f(x) = ax + b es una lnea. Ajustar
una curva f(x) = ax2 + bx + c, estimando a,b y c por mnimos cuadrados es un
ejemplo de regresin lineal porque el vector de estimadores mnimos cuadrticos
de a,b y c es

una transformacin

lineal del

vector

cuyos

componentes

son f(xi) + i).

Los parmetros (a, b y c en el ejemplo anterior) se estiman con frecuencia
mediante mnimos cuadrados: se toman aquellos valores que minimicen la
suma S. El teorema de Gauss-Mrkov establece que los estimadores mnimos
cuadrticos son ptimos en el sentido de que son los estimadores lineales
insesgados de menor varianza, y por tanto de menor error cuadrtico medio, si

tomamos f(x) = ax + b estando a y b por determinar y con los trminos de

perturbacin independientes y distribuidos idnticamente (vase el artculo si
desea una explicacin ms detallada y con condiciones menos restrictivas sobre
los trminos de perturbacin).
La estimacin de mnimos cuadrados para modelos lineales es notoria por su falta
de robustez frente a valores atpicos (outliers). Si la distribucin de los atpicos es
asimtrica, los estimadores pueden estar sesgados. En presencia de cualquier
valor atpico, los estimadores mnimos cuadrticos son ineficientes y pueden serlo
en extremo. Si aparecen valores atpicos en los datos, son ms apropiados los
mtodos de regresin robusta.