M.

Mendes de Oliveira Excerto das notas pessoais sobre:

MODELOS DE REGRESSO NO LINEARES

Observao 1 Nos modelos de regresso ditos lineares, a varivel dependente expressa como funo linear dos coeficientes de regresso. irrelevante, nessa classificao, o facto de a forma funcional da relao entre a varivel dependente e as independentes ser no linear nestas, embora, frequentemente, os modelos lineares (quanto aos coeficientes de regresso) sejam tambm lineares quanto s variveis independentes. H uma segunda classe de modelos que possvel escrever, mediante uma transformao adequada das variveis, como funo linear dos coeficientes. Diz-se, desses modelos, que so linearizveis. Um exemplo da funo de produo de Cobb-Douglas. O modelo original Q = L K eu e, nele, Q no uma funo linear dos coeficientes , e . No entanto, se forem positivos Q, , L e K, o modelo logaritmizado lnQ = + lnL + lnK + u tal que a varivel dependente, lnQ, linear em , e . No importante que a nova varivel dependente no seja linear em : uma vez que = ln, h uma transformao biunvoca que permite determinar a partir de . Numa terceira classe de modelos, por vezes chamados intrinsecamente no lineares, no existe nenhuma transformao finita exacta que permita expressar a relao numa forma linear quanto aos coeficientes de interesse. Seria esse o caso, por exemplo, se, na funo de CobbDouglas as perturbaes aleatrias fossem de natureza aditiva: Q = L K + u. Outros exemplos de modelos no lineares so a funo de produo CES (de elasticidade de substituio constante) Q = 1 [2 L3 + (1 2) K3]4 eu (Judge et al. (1985), p. 195) e a funo-consumo C = 1 + 2 Y3 + u

2 (Greene (1993), p. 318). Notem-se, nas ilustraes apresentadas, dois aspectos interessantes: a no linearidade do modelo pode decorrer da forma como as perturbaes aleatrias so nele integradas, por um lado, e, por outro, no so necessariamente idnticos o nmero de coeficientes de regresso e o nmero de regressores, ao contrrio do que acontece no modelo linear de regresso. Definio 1 (Modelo de regresso no linear) Chamar-se- no linear um modelo de regresso da forma Y = f(X,) + u, em que Y designa um vector (n1) de observaes de uma varivel aleatria Y, X uma matriz (np) de observaes de p variveis no aleatrias (que inclui, possivelmente, uma varivel identicamente igual a 1), um vector (k1) de parmetros desconhecidos, u um vector (n1) de perturbaes aleatrias e f(X,) um vector (n1) de funes no lineares de , contnuas e diferenciveis no espao dos parmetros, B. Definio 2 (Estimador no linear de mnimos quadrados) Seja a funo S() = [Y f(X,)]' [Y f(X,)]. O estimador no linear de mnimos quadrados (NLS, abreviadamente) a funo (X,Y) tal que S( ) S( ), B. Proposio 1 Se o mnimo de S() ocorrer num ponto interior de B, o estimador NLS verifica a condio em Z' [Y f(X, )] = 0, em que

f( X 1 , ) 1 f( X 2 , ) Z= 1 ... f( X n , ) 1

f( X 1 , ) 2 f( X 2 , ) 2 ... f( X n , ) 2

f( X 1 , ) k f( X 2 , ) ... . k ... ... f( X n , ) ... k ...

___________________________________________________________________________________________________ Modelos de Regresso No Lineares M. Mendes de Oliveira, 2311-2004

Z designa uma matrix (nk) de elemento genrico

f ( X i , ) , sendo j

f ( X i , ) a i linha do vector f(X,) e j a j componente do vector , i = 1, 2, ..., n, j = 1, 2, ..., k. Para verificar o resultado acima, note-se que S() = [Y f(X, )]' [Y f(X, )] = = Y' Y 2 [f(X,)]' Y + [f(X,)]' [f(X,)]. A condio de 1 ordem para minimizao de S( ) requer o anulamento do vector (k1) de derivadas parciais
S( ) f ( X, ) =2
f ( X, ) =2 Ento, S( ) =0
'

f ( X, ) Y+2
[Y f(X,)].

'

f(X,) =

'

Z' [Y f(X,)] = 0.

Observao 2 Note-se que o sistema de equaes normais do modelo de regresso linear, X'X X'Y = 0, um caso particular da condio da f ( X, ) proposio anterior. No modelo linear, f(X,) = X e Z = = X e, portanto, Z' [Y f(X,)] = 0 equivalente a X' (Y X ) = 0. Observao 3 Como se sabe, a condio Z' [Y f(X,)] = 0 no suficiente para a identificao do mnimo de S(). Para investigar a condio de 2 ordem para minimizao, comece-se S( ) por recordar que o j elemento do vector 2 f( X i , ) Yi f ( X i , ) . i =1 j
n

A matriz de derivadas parciais de 2 ordem de S() a matriz (kk) 2 2 S( ) S( ) se pode calcular como , cujo elemento genrico j s
{ 2 s

f( X i , ) Yi f ( X i , ) } = i =1 j
n

___________________________________________________________________________________________________ Modelos de Regresso No Lineares M. Mendes de Oliveira, 2311-2004

4 f( X i , ) f( X i , ) 2 i =1 j s
n

=2

2 f( X i , ) Yi f ( X i , ) . i =1 j s
n

Portanto, 2 S( ) = j s =2
n i =1

f( X i , ) j

f( X i , ) 2 s

2 f( X i , ) Yi f ( X i , ) , i =1 j s
n

para j, s = 1, 2, ..., k. Avaliada para o vector que minimiza S(), dever ser definida 2 S( ) . Para algumas amostras e para algum positiva a matriz B, pode acontecer que essa matriz, cujo elemento genrico se acaba de calcular, no seja definida positiva. A proposio seguinte estabelece as condies em que tal no suceder com o verdadeiro vector de parmetros. Proposio 2 Se for * o vector de coeficientes do modelo Y = f(X,) + u, em que X no aleatria e E(u) = 0, e se a caracterstica da matriz Z, avaliada para = *, for igual a k < n, ento, para = *, E

S( ) =0

e 2 S( ) E = 2 Z' Z uma matriz definida positiva.

Demonstrao: Mostrou-se atrs que o elemento genrico do vector gradiente de S() n f( X , ) S( ) i =2 Yi f ( X i , ) . i =1 j j

Se for = *, Yi f ( X i , ) = ui e, portanto, E Yi f ( X i , ) = 0, para todo i. imediato terem valor esperado nulo todas as S( ) componentes de . Quanto matriz Hessiana de S(), o seu elemento genrico foi identificado acima como

___________________________________________________________________________________________________ Modelos de Regresso No Lineares M. Mendes de Oliveira, 2311-2004

5 2 S( ) = j s =2
n i =1

f( X i , ) j

f( X i , ) 2 s

2 f( X i , ) Yi f ( X i , ) , i =1 j s
n

Por ser E Yi f ( X i , ) = 0, o segundo somatrio na expresso tem valor esperado nulo. Resulta, ento, que 2 S( ) E j s e, para a matriz E =2
n i =1

f( X i , ) j

f( X i , ) s

2 S( ) ,
E

2 S( )

= 2 Z' Z.

Utilizando o resultado de lgebra Linear segundo o qual, se Z uma matriz (nk) de caracterstica k < n, Z' Z definida positiva (Johnston (1984), p. 153), fica provado que o verdadeiro vector de coeficientes, *, tal que, em mdia, verifica as condies de 1 e 2 ordem para minimizao de S(). Observao 4 No possvel resolver analiticamente a condio Z' [Y f(X,)] = 0 para determinar a soluo, NLS, e h que recorrer a tcnicas de optimizao numrica para encontrar o mnimo de S(). Conhecem-se vrios algoritmos para ajudar nessa busca. Um deles, o de GaussNewton, baseia-se na aproximao chamada regresso linearizada. Definio 3 (Aproximao de 1 ordem do modelo no linear) Numa vizinhana de 0 B, o modelo no linear Y = f(X,) + u pode ser aproximado pelo modelo linear (em )
Y0 = Z0 + u,

em que Z0 a matriz Z, avaliada para = 0, e

Y0 = Y f(X,0) + Z0 0.

Observao 5 De acordo com o desenvolvimento em srie de Taylor, numa vizinhana de um ponto 0 B,

f(X,) f(X,0) + Z0 ( 0),
___________________________________________________________________________________________________ Modelos de Regresso No Lineares M. Mendes de Oliveira, 2311-2004

em que se designou por Z0 a matriz (nk) Z, avaliada para = 0. Ento,

f(X,) [f(X,0) Z0 0] + Z0

e, como Y = f(X,) + u, vem ou

Y [f(X,0) Z0 0] + Z0 + u Y f(X,0) + Z0 0 Z0 + u.

Na ltima expresso, figura no primeiro membro um vector (n1) que observvel, uma vez definido o ponto 0. Sob o mesmo pressuposto, tambm observvel a matriz de regressores Z0 no segundo membro. No modelo linearizado
Y0 = Z0 + u,

pode ser estimado por OLS = (Z0' Z0)-1 Z0' Y0. No algoritmo de Gauss-Newton, para a iterao seguinte o modelo seria linearizado numa vizinhana de 1 = (Z0' Z0)-1 Z0' Y0. (...)

___________________________________________________________________________________________________ Modelos de Regresso No Lineares M. Mendes de Oliveira, 2311-2004