Mtodo dos mnimos quadrados Wikipdia, a enciclopdia livre

1 de 5

http://pt.wikipedia.org/wiki/Mtodo_dos_mnimos_quadrados

Mtodo dos mnimos quadrados

Origem: Wikipdia, a enciclopdia livre.

O Mtodo dos Mnimos Quadrados, ou Mnimos Quadrados Ordinrios (MQO) ou OLS (do ingls Ordinary Least Squares) uma tcnica de otimizao
matemtica que procura encontrar o melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadrados das diferenas entre o valor
estimado e os dados observados (tais diferenas so chamadas resduos).[1]
a forma de estimao mais amplamente utilizada na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resduos da
regresso, de forma a maximizar o grau de ajuste do modelo aos dados observados.
Um requisito para o mtodo dos mnimos quadrados que o fator imprevisvel (erro) seja distribudo aleatoriamente, essa distribuio seja normal e
independente. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mnimos quadrados o estimador no-enviesado de mnima
varincia linear na varivel resposta.
Outro requisito que o modelo linear nos parmetros, ou seja, as variveis apresentam uma relao linear entre si. Caso contrrio, deveria ser usado um
modelo de regresso no-linear.
Credita-se Carl Friedrich Gauss como o desenvolvedor das bases fundamentais do mtodo dos mnimos quadrados, em 1795, quando Gauss tinha apenas
dezoito anos. Entretanto, Adrien-Marie Legendre foi o primeiro a publicar o mtodo em 1805, em seu Nouvelles mthodes pour la dtermination des
orbites des comtes. Gauss publicou suas concluses apenas em 1809.[2][3][4]

ndice
1 Regresso simples
1.1 Exemplo de regresso simples
2 Regresso mltipla
2.1 Exemplo de regresso mltipla
3 Premissas
4 Coeficiente de determinao R
4.1 Exemplo de R e R ajustado
5 Teste de significncia dos coeficientes
5.1 Exemplo de teste de significncia dos coeficientes
6 Referncias
7 Ver tambm
8 Ligaes externas

Regresso simples
Queremos estimar valores de determinada varivel . Para isso, consideramos os valores de outra varivel
conforme a frmula:

que acreditamos ter poder de explicao sobre

onde:
: Parmetro do modelo chamado de constante (porque no depende de ).
: Parmetro do modelo chamado de coeficiente da varivel .
: Erro - representa a variao de que no explicada pelo modelo.
Tambm temos uma base de dados com valores observados de e de . Perceba que, usando a base de dados, e so vetores, ou seja, representam
uma lista de valores, um para cada observao da base de dados. O mtodo dos mnimos quadrados ajuda a encontrar as estimativas de e . Como o
nome diz, sero somente estimativas desses parmetros, porque o valor real dos parmetros so desconhecidos. Portanto, ao fazer a estimativa, mudamos a
notao de algumas variveis:

Para ilustrar isso, Heij[5] menciona:

We do not know Greek but we can compute Latin
No sabemos grego, mas podemos calcular em latim
Desse modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:

onde indica cada uma das observaes da base de dados e passa a ser chamado de resduo, ao invs de erro. Em alguns livros, a notao para as
estimativas dos parmetros um pouco diferente. Ao invs de substituir a letra, apenas adiciona-se o smbolo chapu ( ).

25/12/2012 20:27

Mtodo dos mnimos quadrados Wikipdia, a enciclopdia livre

2 de 5

http://pt.wikipedia.org/wiki/Mtodo_dos_mnimos_quadrados

O mtodo dos mnimos quadrados minimiza a soma dos quadrado dos resduos, ou seja, minimiza
A ideia por trs dessa tcnica que, minimizando a soma do quadrado dos resduos, encontraremos
e o realmente observado.
Substituindo

por

que traro a menor diferena entre a previso de

, temos:

A minimizao se d ao derivar

em relao a

Distribuindo e dividindo a primeira expresso por

onde

a mdia amostral de

e igualar a zero:

temos:

a mdia amostral de .

Substituindo esse resultado na segunda expresso temos:

Alguns livros tambm usam uma frmula diferente que gera o mesmo resultado:

Exemplo de regresso simples

Considere a seguinte base de dados:

Consumo Renda
1

122

139

114

126

86

90

134

144

146

163

107

136

68

61

117

62

71

41

10

98

120

25/12/2012 20:27

Mtodo dos mnimos quadrados Wikipdia, a enciclopdia livre

3 de 5

http://pt.wikipedia.org/wiki/Mtodo_dos_mnimos_quadrados

Aplicando as frmulas acima, chega-se em:

portanto,

Interpretao: Tirando a parte do Consumo que no influenciada pela Renda, o incremento de $ 1 na Renda causa um incremento esperado de $ 0,4954
no Consumo.

Regresso mltipla
A regresso mltipla apresenta um funcionamento parecido com o da regresso simples, porm, leva em considerao diversas variveis explicativas
influenciando ao mesmo tempo:

Ao usar a base de dados com

, onde

variveis explicativas e

observaes, o modelo pode ser escrito na forma matricial:

representa o valor da -sima varivel da -sima observao. A frmula tambm pode ser escrita na forma resumida:

A soluo de mnimos quadrados continua sendo alcanada atravs da minimizao da soma do quadrado dos erros

, que pode ser reescrito como

, onde o apstrofe significa que a matriz foi transposta.

Substituindo

por

, temos:

A minimizao se d ao derivar
em relao a e igualar a zero. O primeiro termo no depende de , os segundo e terceiro termos so iguais e o
terceiro termo uma forma quadrtica dos elementos de .

Exemplo de regresso mltipla

Considere a base de dados usada no exemplo da regresso simples, porm, acrescente mais uma varivel explicativa (taxa de juros):

Consumo Renda Taxa de Juros

1

122

139

11,5%

114

126

12,0%

86

90

10,5%

134

144

9,0%

146

163

10,0%

107

136

12,0%

68

61

10,5%

117

62

8,0%

71

41

10,0%

10

98

120

11,5%

25/12/2012 20:27

Mtodo dos mnimos quadrados Wikipdia, a enciclopdia livre

4 de 5

http://pt.wikipedia.org/wiki/Mtodo_dos_mnimos_quadrados

Aplicando a frmula acima, chega-se em:

portanto,

Interpretao: Tirando a parte do Consumo que no influenciada pela Taxa de Juros, o incremento de $ 1 na Renda causa um incremento esperado de $
0,6136 no Consumo; alm disso, o incremento de 1 ponto percentual (0,01) na Taxa de Juros causa um decrscimo esperado de $ 10,3441 no Consumo.

Premissas
Ao usar o mtodo dos mnimos quadrados, assumimos algumas premissas a respeito das variveis:
Os regressores so fixos: As variveis da matriz
no so estocsticas.
Erro aleatrio com mdia 0: O erro aleatrio e sua esperana
Homoscedasticidade: A varincia do erro constante.
Ver tambm: heteroscedasticidade

Sem correlao: No existe correlao entre os erros das observaes, ou seja,

para qualquer
Parmetros so constantes: e so valores fixos desconhecidos.
Modelo linear: Os dados da varivel dependente foram gerados pelo processo linear
.
Erro tem distribuio normal: O erro distribudo conforme a curva de distribuio normal.

Caso alguma dessas premissas no seja verdadeira, o mtodo pode gerar resultados sub-timos ou com vis.

Coeficiente de determinao R
O Coeficiente de determinao, tambm chamado de R uma medida de qualidade do modelo em relao sua habilidade de estimar corretamente os
valores da varivel resposta .
, sendo SQres o Somatrio dos Quadrados dos Resduos e SQtot o Somatrio dos Quadrados Total
ou R ajustado:

Exemplo de R e R ajustado
Usando os dados do exemplo de regresso mltipla, podemos calcular:

Isso significa que 88,729% da varincia de

explicada pela varincia de

Teste de significncia dos coeficientes

Se uma varivel
realmente possui poder explicativo sobre , seu coeficiente deve ser estatsticamente diferente de zero. Ou seja, deve ser
suficientemente maior ou menor do que zero para que tenhamos confiana de que a varivel realmente possui poder explicativo. Caso isso no seja
verdade, a varivel poderia ser retirada do modelo sem que exista grande perda da sua qualidade. Para verificar se os coeficientes so significantes,
levamos em considerao que o estimador tem distribuio normal centrada em e com varincia
, onde
a varincia do erro . Ou
seja:

Porm, como o erro no observado, usamos a aproximao amostral

, onde

representa o nmero de variveis explicativas mais a constante.

Considerando que a hiptese nula a de que

, ento a estatstica t para a varivel j :

25/12/2012 20:27

Mtodo dos mnimos quadrados Wikipdia, a enciclopdia livre

5 de 5

, onde

o j-simo elemento da diagonal de

http://pt.wikipedia.org/wiki/Mtodo_dos_mnimos_quadrados

Aplicando o valor de na curva acumulada da distribuio t de Student com

necessrio para que a hiptese nula seja rejeitada.

graus de liberdade, pode-se obter o nvel de confiana

Ver tambm: Testes de hipteses

Exemplo de teste de significncia dos coeficientes

Usando os dados do exemplo de regresso mltipla, podemos calcular:

Na distribuio t de Student com 7 (10-2-1) graus de liberdade, o valor de

que garante um nvel de confiana de 95% 2,3646. Como
2,3646, a hiptese nula de que
rejeitada com, pelo menos 95% de confiana. O mesmo tambm ocorre para
.

maior que

Referncias
1. Universidade de Berkeley, Econometrics Laboratory Software Archive. Regression Analysis (http://elsa.berkeley.edu/sst/regression.html) (em Ingls). Pgina
visitada em 18/05/2011.
2. (em ingls) Indiana University Bloomington, Human Intelligence, Karl Friedrich Gauss (1777-1855), German Mathematician [1] (http://www.indiana.edu/~intell
/gauss.shtml)
3. Memria, Jos M. P. (2004). Breve Histria da Estatstica (http://www.im.ufrj.br/~lpbraga/prob1/historia_estatistica.pdf) (em Ingls). Embrapa Informao
Tecnolgica. Pgina visitada em 11/05/2011.
4. Stigler, S. M.. The History of Statistics: The Measurement of Uncertainty before 1900. [S.l.]: Harvard University Press, 1986. 410 p.
5. HEIJ, Christiaan; DE BOER, Paul; FRANSES, Philip Hans; KLOEK, Teun; VAN DIJK, Herman K. Econometric Methods with Applications in Business and
Economics. OXFORD, 2004

Ver tambm
Mnimos quadrados generalizados - MQG
Mxima verossimilhana
Mtodo dos momentos generalizados - MMG
Regresso
Econometria
Decomposio em Valores Singulares - a tcnica computacional moderna para regresso e projeo ortogonal.
As funcoes Scilab: svd , sva e contra-barra (backslash)

Ligaes externas
(em ingls) - http://www.physics.csbsju.edu/stats/least_squares.html
(em ingls) - http://zunzun.com
(em ingls) - http://www.orbitals.com/self/least/least.htm
(em ingls) - O operador contrabarra ou '\' no Scilab http://help.scilab.org/docs/5.3.3/en_US/backslash.html
Obtida de "http://pt.wikipedia.org/w/index.php?title=Mtodo_dos_mnimos_quadrados&oldid=32520782"
Categorias: Econometria lgebra linear Estatstica

Menu de navegao
Esta pgina foi modificada pela ltima vez (s) 17h57min de 10 de outubro de 2012.
Este texto disponibilizado nos termos da licena Atribuio-Partilha nos Mesmos Termos 3.0 no Adaptada (CC BY-SA 3.0); pode estar sujeito a
condies adicionais. Consulte as condies de uso para mais detalhes.

25/12/2012 20:27