Quadrados Mnimos

Situao
Em diversas cincias com uma dimenso
experimental, necessrio modelizar os
fenmenos a partir de tabelas de dados
experimentais.
A modelizao consista em inmeros casos
em procurar a funo que expressa melhor a
relao entre os dados.

Problema
O objetivo do mtodo de mnimos quadrados
determinar uma funo, a partir de combinao
linear de funes simples, que aproxima um
conjunto de pontos.
Existem mtodos polinomiais (aproximao com
polinmio), mas elas no sempre fornecem
aproximaes aceitveis. O mtodo de mnimos
quadrados permite estender as aproximaes com
funes no polinomiais.

Exemplo 1

Esse conjunto de pontos aparece como uma parabola.

Exemplo 2

Caso discreto
A partir de uma tabela de valores (discretas),
que representam vrios pontos de uma
funo terica (f(x)), tentamos determinar
uma funo (x) combinao linear de
funes gi(x) ((x)=1g1(x)+...+ngn(x)) de
tal forma que o desvio de - f seja mnimo
para os valores da tabela.
O que significa mnimo nesse caso?

Caso contnuo
No caso contnuo, dada uma funo f(x)
contnua no intervalo [a,b] e escolhidas as
funes g1(x), .., gn(x), o objetivo
determinar constantes 1, ..., n de tal forma
que (x)=1g1(x)+...+ngn(x) se aproxima ao
maximo de f(x) no intervalo [a,b].
O que significa aproximar nesse caso?

Mtodo dos quadrados

mnimos
Caso discreto

Considerando um conjunto de valores {(x1,f(x1)), ...,

{(xm,f(xm))} e n (com nm) funes gn(x), o objetivo
encontrar um conjunto de coeficientes 1, .., n de
tal forma que a funo (x)=1g1(x)+..+ngn(x) se
aproxima ao mximo de f(x).
O criterio para decidir da aproximao minimizar a
soma dos quadrados da diferencia entre
as duas
m
funes nos xi ou seja minimizar: ( f ( xi ) ( xi )) 2
i 1

Mtodo dos quadrados

mnimos
Caso discreto
Minimizar ( f ( x ) ( x )) minimizar a funo:
n

i 1

F (1 ,..., n ) ( f ( xi ) 1 g1 ( xi ) ... n g n ( x)) 2

i 1

Para minimizar essa funo F, devemos

encontrar os pontos crticos da funo, ou seja os
valores (1,...,n) tal que:
F
(1 ,..., n ) 0, para i 1, 2,..., n
i

Mtodo dos quadrados

mnimos
Caso discreto
Elemento de calculo:
m
F
(1 ,..., n )
j

( f ( xi ) 1 g1 ( xi ) ... n g n ( x)) 2
i 1

Para derivar, considerando os termos com i:

m

( A( xi ) j g j ( xi )) 2
i 1

, com A( xi ) f ( xi )

k n, k j

k 1

k g k ( xi )

Mtodo dos quadrados

mnimos
Caso discreto
Elemento de calculo:
m

( A( xi ) j g j ( xi )) 2
i 1

2 g j ( xi )( A( xi ) j g j ( xi ))
i 1

2 g j ( xi ) f ( xi ) 1 g j ( xi ) g1 ( xi ) ... n g j ( xi ) g n ( xi )
i 1
m

i 1

i 1

i 1

2 g j ( xi ) f ( xi ) 1 g j ( xi )g1 ( xi ) ... n g j ( xi )g n ( xi )

Mtodo dos quadrados

mnimos
Caso discreto

F
(1 ,..., n ) 0, para i 1, 2,..., n
i

Com a condio:
obtemos assim o sistema a resolver:

k 1

k 1

k 1

k 1

k 1

k 1

k 1

k 1

k 1

[ g1 ( xk ) g1 ( xk )]1 ... [ g n ( xk ) g1 ( xk )] n f ( xk ) g1 ( xk )
[ g1 ( xk ) g 2 ( xk )]1 ... [ g n ( xk ) g 2 ( xk )] n f ( xk ) g 2 ( xk )

....

[ g1 ( xk ) g n ( xk )]1 ... [ g n ( xk ) g n ( xk )] n f ( xk ) g n ( xk )

Mtodo dos quadrados

mnimos
Caso discreto

As equaes desse sistema so chamadas

equaes normais. Ele pode ser escrito:
a11 x1 a12 x2 .... a1n xn b1
a x a x .... a x b
21 1 22 2
2n n
2

............................................
an1 x1 an 2 x2 .... ann xn bn
n

Onde aij g j ( xk )gi ( xk ) a ji e bi f ( xk ) gi ( xk )

k 1
k 1
A matriz desse sistema simtrica.

Mtodo dos quadrados

mnimos
Caso discreto

Considerando os vetores gi (g i (x1),...,g i (xm)) e

f (f(x1 ),...,f(x m )) e o produto escalar de dois vetores: m
x , y i xi yi

Os coeficientes aij podem ser escritos:

a ij = gi ,g j e bi: bi = f,gi

k 1

Demontra-se que se as funes g1(x),...,gn(x) forem tais que

os vetores: g1 ,..., g n sejam linearmente independentes, o
sistema admite uma soluo nica. Demonstra-se
tambm que esta soluo o ponto em que a funo F
atinge seu valor mnimo.

Mtodo dos quadrados

mnimos
Caso discreto

Se os vetores tiverem a propriedade suplementar

0, i j , nesse caso os vetores
seguinte:
gi , g j :

0, i j

so ortogonais entre si e a matriz A do sistema

diagonal.
Exemplo de funes ortogonais: seria de Fourier
(aproximao de funes peridicas), polinmios
de Legendre, Gram, Chebyshev.

Mtodo dos quadrados

mnimos
Caso contnuo

Para aproximar uma funo em um intervalo

[a,b] com uma combinao linear de funes
(g1,...,gn) de coeficientes (1,...,n), o mtodo de
quadrados mnimos prope de minimizar a rea
entre as curvas das duas funes, ou seja
minimizar: b ( f ( x) ( x)) 2 dx

Mtodo dos quadrados

mnimos
Caso contnuo

Aplicando o mesmo princpio que no caso

discreto, trata-se de minimizar
a funo:
b
F (1 ,..., n ) ( f ( x) ( x)) 2 dx

Obtemos um sistema de equaes lineares:

A=b, onde A=(aij), =(1,...,n) ea b=(b1,...,bn).

aij=<gi,gj> e bi=<f,gi> com gi , g j gi ( x) g j ( x)dx

a

Mtodo dos quadrados

mnimos
Caso no linear

Existem casos que precisam ser aproximados por

funes que no so resultados de combinao
linear de funes simples.
Por exemplo, podemos precisar de aproximar
x

e
uma funo com: 1
2

Mtodo dos quadrados

mnimos
Caso no linear

Para resolver o caso no linear, necessrio linear

a funo escolhida para a aproximao.
x

e
No caso de 1 , se queremos aproximar f(x)
com essa funo, podemos tentar aproximar
ln(f(x)) com ln(1e x ), ou seja ln(1 ) 2 x, que
um caso linear.
importante notar que os parmetros obtidos no
so timos em relao com o critrio de
quadrados mnimos.
2

Mtodo dos quadrados

mnimos
Teste de alinhamento

Uma vez a funo no linear em 1,..,n

escolhida, para testar se ela um bom escolhe
podemos:
Linearizar

essa funo,
Fazer o diagramo de disperso dos novos dados
E observar se os pontos do diagramo estiverem
alinhados.

Exerccio
A tabela abaixo mostra as alturas e pesos de uma amostra de nove homens
entre as idades de 25 e 29 anos, extrada ao acaso entre funcionrios
de uma grande indstria:

Altura 183 173 168 188 158 163 193 163 178 cm
Peso
a)
b)

c)

79

69

70

81

61

63

79

71

73

Faa o diagrama de disperso dosdados e observer que parece existir

uma relao linear entre a altura e o peso.
Ajuste a reta que descreva o comportamento do peso em funo da
altura, isto peso=f(altura), e ajuste a reta que descreva o
comportamento da altura em funo do peso, isto altura=f(peso).
Estime o peso de um funcionrio com 175 cm de altura; e estima a
altura de um funcionrio com 80kg com cada uma das duas equaes.

kg

Soluo
b) 52.7570x-20.0780 e 0.0159+0.6029
c) Com o primeiro ajuste: 1.75->72.2467 e
80kg->1.897
Com o segundo ajuste: 1.75->72.14 e
80kg->1.871

Exerccio
Ajuste os dados:

-8 -6 -4 -2 0

30 10 9

a) Usando a aproximao y1/(a0+a1x). Faa o grfico

para 1/y e verifique que esta aproximao vivel;
b) Idem para yabx;
c) Compare os resultados

Soluo
y=1/(0.1958+0.0185x)
y=5.5199(0.8597)x