Вы находитесь на странице: 1из 28

Escuela Colombiana de Ingeniera

Programa de Economa
Econometra I

PARTE I. EL MODELO CLASICO DE REGRESION LINEAL


Notas de Clase
(Versin Preliminar)
Por: Alvaro Hernando Chaves Castro

Introduccin
Un estudio economtrico comienza con un conjunto de proposiciones
tericas respecto a algn aspecto de la economa. La teora especifica un
conjunto de relaciones entre variables. Los ejemplos tpicos son ecuaciones
de demanda, funciones de produccin, y modelos macroeconmicos. La
investigacin emprica ofrece estimaciones de los parmetros desconocidos
en el modelo, tales como elasticidades o propensin marginal a consumir y
frecuentemente mide la validez de las proposiciones utilizando los datos
observados.
Especificacin de un modelo de regresin
Un ejemplo estndar del modelo de regresin lineal es la conocida
propensin marginal a consumir de la Teora General de Keynes. La teora
propone una relacin estable entre el consumo y el ingreso.
C f (X )

Keynes en su Teora General, argument que la propensin marginal a


consumir (PmC) es positiva pero menor que la unidad, es decir que est
entre 0 y 1, esto es

dC
0 1
dX
En el prrafo final afirma que la propensin media al consumo (PMC), es
decir la relacin entre el consumo y el ingreso, disminuye cuando el ingreso
aumenta.
d (C / X ) ( PmC PMC )

0
dX
X
Luego PmC < PMC
La formulacin ms comn de la funcin consumo es una relacin lineal
C X

Que satisface la ley de Keynes si es positivo pero menor que la unidad, 0 <
y si es menor que cero.
Estos resultados tericos ofrecen la base para un estudio emprico. En
particular, dado un conjunto apropiados de datos, podramos investigar a
travs de una funcin lineal, la relacin existente entre el consumo y el
ingreso.
La relacin lineal es slo una aproximacin, de hecho es inverosmil que el
consumo y el ingreso puedan ser conectados por una simple relacin.
La relacin deterministica como en (5-1) es claramente inadecuada. El
modelo as postulado, slo describe lo principal de la economa y deja de
lado otros factores que pueden estar afectando las decisiones de consumo de
los individuos.
El siguiente paso es incorporar en el modelo las aleatoriedades inherentes
de la contraparte real, luego

C f (X ,)

Donde es un elemento estocstico que se puede incorporar en la ecuacin


de regresin. La forma de incorporar este trmino de perturbacin
estocstico, es suponer que el trmino es aditivo, luego:
C X

La ecuacin (5-2) es la contraparte emprica del modelo terico postulado en


(5-1). El trmino cobra relevancia por varias razones.
La principal razn es que el trmino permite capturar influencias sobre el
consumo, tales como por ejemplo las expectativas de los individuos, factores
estacionales, moda, y todas las aleatoriedades inherentes al comportamiento
humano. El efecto neto, el cual puede ser positivo o negativo, de estos
factores omitidos, se capturan entonces en el trmino de perturbacin.
Otra contribucin de en un modelo emprico son los errores de medicin.
La literatura sobre el modelo del ingreso permanente del consumo
(Friedman, 1957), ofrece un ejemplo interesante.
Supongamos que cada una de las observaciones en la muestra (C i, Xi), i=
1, ....., n, est generada por un proceso descrito por:

C i X i i

El consumo observado es la suma de dos componentes, una parte


deterministica, X, y el componente aleatorio,
El objetivo es estimar los parmetros desconocidos del modelo, utilizar los
datos para estudiar la validez de las proposiciones tericas, y tal vez para
usar el modelo estimado para pronosticar el valor del consumo.
SUPUESTOS DEL MODELO CLASICO DE REGRESION
En general el modelo a ser estimado tiene la forma
y i x i i

i = 1, ...., n
Donde y es la variable endgena, dependiente, explicada o de inters, x es la
variable independiente, exgena o explicativa, e i indica la observacin de
cada variable en la muestra.
La anterior ecuacin se conoce como ecuacin de regresin lineal
poblacional de y sobre x.
El conjunto bsico de supuestos que comprende el modelo clsico de
regresin lineal es:
1. Se establece una relacin lineal de la forma:
y i x i i

2. El valor esperado (promedio) del trmino de perturbacin estocstico es


cero, E(
3. Homocedasticidad: Var(una constante para todo i.
4. No hay autocorrelacin de los trminos de perturbacin estocstico,
COV(i, j) = 0, si i es diferente de j. Implica que los trminos de error
sean independientes.
5. No correlacin de los regresores y el trmino de perturbacin: COV(x i,
Se necesita que exista independencia entre las variables para todo
i y j.
La perturbacin aleatoria o estocstica, se supone que es la suma de varios
y pequeos efectos individuales, sin importancia, algunos positivos y otros
negativos. Luego es conveniente utilizar el teorema central del lmite e incluir
un supuesto adicional.
6. Los trminos de error son normales, se distribuye normal
independientemente con media cero (0) y varianza constante 1.

Si las perturbaciones se encuentran normalmente distribuidas, luego el


supuesto 4 implica que estas tambin son independientes.
Forma funcional y modelos no lineales
1

Cuando el trmino de perturbacin estocstico cumple con todos estos supuestos se dice que es
ruido blanco.

Se especifican sobre la parte deterministica del modelo de regresin lineal.


La linealidad del modelo de regresin clsico implica, que a parte de las
perturbaciones aleatorias, las observaciones de x e y sern graficadas sobre
una lnea recta, en el plano x-y.
En el contexto de la regresin, la linealidad se refiere a la manera en la cual
los parmetros entran en la ecuacin y no necesariamente a la relacin
entre variables x e y.
Por ejemplo dada la relacin lineal entre x e y,
y x

Si z = ex, r = (1/x), y q = lnx, obtenemos:


y be x
y b 1 / x
y b ln x
y bz
y br
y bq

Una forma funcional comnmente utilizada tiene la forma:


y Ax

Es el conocido modelo log lineal. Podemos linealizarlo aplicando logaritmo


natural a ambos lados de la ecuacin, as:
Teniendo en cuenta que:
Ln(A*B) = lnA + lnB, lnxa = alnx
ln y ln( Ax )
ln y ln A ln( x )
ln y ln A ln x
ln y ln x

La ltima expresin tambin se conoce como la forma de elasticidad


constante. En esta ecuacin la elasticidad de y con respecto a x es:

dy / y d ln y

dx / x d ln x

En contraste, la elasticidad en el modelo lineal es:

dy / y dy x
x

*
dx / x dx y x

El modelo log lineal es muy utilizado para estimar ecuaciones de demanda


y funciones de produccin. A pesar de su gran flexibilidad, el modelo no
involucra todas las situaciones que encontramos en la prctica.
El regresor
Un supuesto adicional que se realiza sobre el regresor x i, es que este no es
estocstico. Luego el valor de xi es una constante conocida en la distribucin
probabilidad de yi. La implicacin es que cada valor de yi es una realizacin
de una distribucin de probabilidad con media:

y i x i i
E(

yi

xi

) E ( x i i )

E ( x i ) E ( )
x i
y la varianza

Var (

yi

xi

) Var ( x i i )

Var ( i ) 2
Adicionalmente hay que suponer que para n mayor que uno

1
1
S xx
n
n

(x
i 1

x) 2

es un nmero finito positivo. Este supuesto se conoce como condicin de


identificacin.
El trmino de perturbacin estocstico (
El supuesto de linealidad del modelo de regresin lineal, incluye el trmino
de perturbacin estocstico en forma aditiva. Para que la regresin sea lineal
en el sentido anteriormente descrito toma la siguiente forma:
y i x i

Por ejemplo, el modelo


y Ax e
ln y ln A ln x

es lineal. Mientras que el modelo


no lo es.
y Ax
Luego la variable dependiente observada es la suma de dos componentes o
lo que es lo mismo posee dos fuentes de variabilidad. Un componente
deterministico (no estocstico) y el segundo una variable aleatoria ().
El supuesto de valor esperado o media cero del trmino de perturbacin
estocstico, E()=0, es natural. Dado que cada se asocia como la suma de
varios efectos individuales, cuyo signo es desconocido, no existe razn para
esperar otro valor.
Cada perturbacin es una realizacin de una variable aleatoria con una
distribucin de probabilidad continua. Se supone que todos estos trminos
tienen la misma varianza, es decir son homocedasticos.

Var ( i ) 2
Los componentes aleatorios de estas observaciones se suponen que no se
encuentran correlacionados
E ( i j ) 0

para todo i diferente de j. A esto se le denomina no autocorrelacin de los


errores o trminos de perturbacin estocasticos. El supuesto es que las

desviaciones de las observaciones de sus valores esperados no estn


correlacionados.
La correlacin serial es una situacin en la cual, en promedio, cada
perturbacin tiende a seguir a la otra con el mismo signo. Esta inercia es
precisamente lo que se ha llegado a denominar autocorrelacin.
Resulta conveniente suponer que las perturbaciones son independientes y
estn normalmente distribuidas, con media cero y varianza constante 2.
Los mnimos cuadrados
Los parmetros desconocidos de la ecuacin estocstica

y i x i i
E(

yi

xi

) x i

son objeto de estimacin.


En este punto es necesario distinguir entre cantidades poblacionales, tales
como y y las estimaciones muestrales, denotadas como a y b. La
regresin poblacional es

E(

yi

xi

) x i

Mientras que la estimacin de la anterior ecuacin es

y i a bx i

La perturbacin asociada con el i-esimo dato es

i y i x i
Para cualquier valor de a y b, estimaremos el error como el residuo, as

Cuando el trmino de perturbacin estocstico cumple con los anteriores supuestos se dice que es
Ruido Blanco.
2

ei y i a bx i

Los coeficientes de mnimos cuadrados


Las cantidades poblacionales y son parmetros desconocidos de la
distribucin de probabilidad de yi, cuyos valores se espera estimar con base
en los datos muestrales. Este es un problema de estadstica inferencial.
Resulta muy prctico, sin embargo, comenzar por considerar el problema
algebrico puro de encontrar los valores de a y b que ajusten la linea, a + bx.
La medicin de estas cercanas constituyen un criterio de ajuste y una
forma de realizarlo es a travs de mnimos cuadrados.
Para cualquier par de valores a y b, la suma de los residuos al cuadrado,
dada la ecuacin de regresin, es:
e i y i a bx i

e
i

2
i

( y i a bx i ) 2
i

Los coeficientes mnimo cuadrticos son los valores de a y b que minimizan


este criterio de ajuste. En el siguiente grfico se puede observar el mtodo de
mnimos cuadrados para estimar los parmetros a y b.

e
a bx

y a bx

E ( y ) x

X
Se trata de un problema de optimizacin que consiste en minimizar la suma
de los residuos al cuadrado y por tanto las condiciones de primer orden del
problema son:

( e i2 )
a

0 2( y i a bx i )(1) 0
i

2 ( y i a bx i ) 0
i

( y i a bx i ) 0
i

ei
i

( e i2 )
b

0 2 ( y i a bx i )( x i ) 0
i

2 x i ( y i a bx i ) 0
i

x i ei 0
i

Expandiendo estos resultados y recogiendo trminos obtenemos las


ecuaciones normales.

na ( x i )b, (5 12)
i

y i ( x i )a ( x i2 )b, (5 13)
i

Dado

y i a bx i x i y i x i a bx i ( x i )a ( x i2 )b
i

Para obtener una solucin, primero dividimos (5-12) por el resultado es:
1
n

1
n

x b
i

y a bx

10

Donde

1
1
y i , x xi

n i
n i

Por tanto
a y b x, (5 14)

Podemos resolver

1
x i n x i x i
n i

Resolvemos para b despejando de (5-13) y utilizando la definicin (5-14), as:

y i ( x i )a ( x i2 )b

x i y ( x i )a ( x i2 )b
i

y ( x i )( y b x) ( x i2 )b

y n x( y b x) ( x )b

y n x y nb x ( x i2 )b
2

y n x y ( x i2 )b nb x

y n x y b( x i2 n x )
2

2
i

y nx y

2
i

nx

(x
i

x )( y i y )

(x

x) 2

11

La solucin est dada solamente en trminos del promedio muestral, la


suma de los cuadrados, y productos cruzados, por consiguiente b se puede
estimar con independencia de a.
Una vez explcita la solucin para b, podemos obtener el valor para a, a
partir de (5-14).
Ejercicio:
Dado los siguientes datos anuales sobre consumo e ingreso durante 1970
1979, obtener los valores de a y b, que minimizan la suma de los errores al
cuadrado, de la ecuacin de consumo C = a + Bx + Utilice el mtodo de
Mnimos Cuadrados Ordinarios M.C.O y las ecuaciones normales descritos
anteriormente.
Ingreso Disponible y Gastos de Consumo
Ao
1970
1971
1972
1973
1974
1975
1976
1977
1978
1979

Ingreso Disponible
751.6
779.2
810.3
864.7
857.5
874.9
906.8
942.9
988.8
1015.7

Gastos en Consumo
672.1
696.8
737.1
767.9
762.8
779.4
823.1
864.3
903.2
927.6

Slo queda por verificar, que hemos encontrados un mnimo (condiciones


suficientes de segundo orden) para la suma de los residuos al cuadrado.
La matriz de segundas derivadas (Hessiano) de la suma de los residuos al
cuadrado con respecto a a y b es:

2 ( ei2 ) a 2

2 ( ei2 ) ab

( e ) ba

( e ) b

2
i

2
i

2n
2i x i

2i x i

2i x i2

12

Se puede mostrar que esta matriz es definida positiva. Los dos elementos de
la diagonal principal son siempre positivos, es decir, que solo se necesita
verificar que el determinante de la matriz hessiana sea positivo, as:
( 4n) x i2 4( x i2 ) 2 4n( x i2 n x ) 4n( ( x i x) 2 )
2

Donde se sabe que

nx

Por consiguiente, los valores a y b son los que minimizan la suma de los
residuos al cuadrado.
BIBLIOGRAFIA
Econometric Analysis, William H. Greene, Segunda Edicin. Editorial
Prentice Hall International Editions.

13

PARTE II. REGRESION MULTIPLE

Forma General:
y i 1 x i1 2 x i 2 ... k x ik i

La nica diferencia con el modelo de regresin simple es el nmero de


variables explicativas (exgenas, independientes) del lado derecho de la
ecuacin. El modelo es lineal en las variables x k y tiene un trmino de
perturbacin estocstico de forma aditiva.
El vector columna Xk contiene las n observaciones de la variable xk , k =
1,...., K, que se pueden recoger en una matriz de tamao T x (p+1). La
primera columna de X est formada por unos, lo que implica que es el
trmino constante (intercepto) del modelo. Finalmente, sea Y un vector
columna de observaciones de la variable dependiente (endgena, de inters o
explicada), podemos escribir el modelo en forma matricial como:
Supuesto1.Y X

El principal inters es la estimacin y la inferencia sobre el vector de


parmetros
Es conveniente reformular los supuestos del modelo de regresin lineal
clsico, respecto a las perturbaciones en notacin matricial.
E ( i ) 0

E ( 1 )
E ( 2 )
Supuesto2.E ( )

.
.
.
E ( n )

14

Lo cual implica que


E (Y ) X

El supuesto de varianza constante (homocedasticidad), y no correlaciones


cruzadas implica que3:
1
2
.
E( T )
.
.
T
2
0
.
.
0

0
2
.
.
0

.
.
.
.
.

. . . T

E( 12 ) E( 1 2 )
E( 2 1 ) E( 22 )

.
.
E( T 1 ) E( T 2 )

.
.

.
.

E( 1 T )
E( 2 T )

E( T2 )

1 0 . . 0
. 0
0 1 . . 0
. 0
2
. . . . . Supuesto3. 2 I
. .
. . . . .
. .
2
0 0 . . 1
.

Para poder factorizar se debe utilizar los supuestos de igualdad de


varianzas (homocedasticidad) e independencia.
Supuesto 4.E ( / X ) 0

Se supone que no existe informacin respecto a contenida en X, note que:

COV X , COV X , E ( / X )
Por tanto el supuesto 4 implica que
COV X , 0

Tambin se supone que no existen relaciones lineales exactas entre las


variables.
Supuesto5: La matriz X es una matriz deterministica no estocstica de
dimensin T x (p+1) con rango = k. Significa que X tiene rango completo, las
3

Recordemos que los supuestos bsicos del modelo clsico de regresin lineal sobre el trmino de
perturbacin son: normalidad, homocedasticidad, independencia y valor esperado cero.

15

columnas de X son linealmente independientes (condicin de no


singularidad). Esto permite la estimacin del determinante de la matriz, el
cual debe ser diferente de cero (0) para garantizar la existencia de la inversa
de una matriz.
Regresin Mnimo Cuadrtica: Vector de Coeficientes de M.C.O (b)
Este vector minimiza la suma de los cuadrados de los residuos:

2
i

( y i ' xi ) 2
i

Donde es la seleccin arbitraria para el vector de coeficientes. El problema


de minimizacin, se reduce a elegir sujeto a:
MinimizarS ( ) T ( y X ) T ( y X )

Dado que
y X

Entonces
y X

Matricialmente la suma de los cuadrados de , la expreso a travs de la


siguiente operacin:

T ( y X )T ( y X )

Expandiendo esto se tiene4:


T y T y y T X T X T y T X T X

T y T y 2 T X T y T X T X S ( )
4

Es importante recordar algunas propiedades de la transpuesta de una matriz, por ejemplo:

( A B ) T ( A T B T ) , ( A * B ) T B T * A T , ( A T ) T A , ( A 1 ) T ( A T ) 1 .

16

Una condicin necesaria ms no suficiente para la existencia de un mnimo,


se puede obtener al derivar parcialmente la suma de los residuos al
cuadrado S() con respecto a y luego igualar a cero.
S ( )
2 X T y 2 X T X 0

2( X T y X T X ) 0
X T y X T X

Sea b la solucin, entonces b satisface las ecuaciones normales. Suponiendo


que la inversa de la matriz X TX existe, es decir (XTX)-1, podemos
premultiplicar a ambos lados para obtener
( X T X ) 1 X T y ( X T X ) 1 ( X T X )

( X T X ) 1 X T y b

Para llegar a la anterior solucin se debe tener en cuenta que A-1A = AA-1 = I.
Con el fin de identificar la existencia de un mnimo, debemos conseguir la
condicin suficiente para este, hallando la segunda derivada parcial de la
suma de los residuos al cuadrado con respecto a as:
2 S ( ) 2 S ( )

2X T X
2
bb T
Se requiere que sea una matriz definida positiva. Sea q = c TXTXc, para algn
vector arbitrario no nulo c, entonces:

q v T v v i2
i

Donde v = Xc y vT = cTXT , donde por lo menos cada elemento de v es cero (0),


y q es positivo.
ASPECTOS ALGEBRAICOS DE LA SOLUCION
Resulta til examinar algunos aspectos algebraicos de la solucin de M.C.O.
Las ecuaciones normales son:

17

S ( )
2 X T y 2 X T X 0

2( X T y X T X ) 0
X T y X T X 0

Al factorizar por la izquierda se tiene:


X T ( y X ) 0
X T 0

Significa que para cada columna de xk de X, XT


En particular, si la primera columna de X es una columna de unos, la suma
de los residuos de M.C.O (es cero.
Se destacan dos implicaciones:
1). El hiperplano regresin pasa a travs del punto de promedio de datos. La
primera ecuacin normal implica que:
y bT X ; b

donde X barra es el vector de promedios de regresores.


2). El promedio de los valores ajustados de la regresin es igual al promedio
(valor esperado) de los valores actuales.
y Xb

Por definicin el vector de M.C.O de residuos es


y Xb
y Xb

Al reemplazar b = (XTX) -1XTy en la anterior ecuacin, se tiene:

y X ( X T X 1 ) X T y
Al factorizar a y por la derecha se tiene

18

I X ( X T X 1 ) X T y
My

Donde
M I X ( X T X 1 ) X T

Es una matriz cuadrada de tamao n x n y es fundamental en el anlisis de


regresin. Adems, esta matriz posee las propiedades de simetra e
idempotencia.
Ejercicio: mostrar algebraicamente que la matriz M es simtrica e
idempotente.
La operacin matricial My, podemos interpretarla como una matriz que al
premultiplicarla por cualquier vector y, produce el vector de residuos de
M.C.O de la regresin y = X
Finalmente, el producto matricial My implica que:
y Xb

Los resultados de M.C.O divide a y en dos partes: los vectores ajustados


y Xb

y los residuos
Dado My y y = Xb + entonces
y Xb y
y y

Como My se tiene

19

y y My
y I M y
y Py

Donde P = (I M)
La matriz P, tambin tiene las propiedades de simetra e idempotencia y se
conoce con el nombre de matriz proyeccin. Esta es la matriz formada por
X tal que, cuando un vector y es premultiplicado por P, su resultados son los
valores ajustados en la regresin de M.C.O de y sobre X.
Por tanto PX = X y PM = MP = 0
Las siguientes expresiones equivalen a la suma de los residuos al cuadrado
y son sumamente tiles:

T My My y T M T My y T My y T T y
T

y Xb y Xb y T b T X T T
T

T y T b T X T y Xb y T y y T Xb b T X T y b T X T Xb

Ejercicio: Utilizando el estimador (XTX)-1XTy y la informacin contenida


en la siguiente tabla, matricialmente estime los parmetros que acompaan
a las variables explicativas del siguiente modelo de determinantes de la
inversin real.

I f (T , PIB, R, )

La estructura estocstica lineal y en forma totalmente aditiva de la anterior


forma funcional del modelo es de la siguiente forma:
I t 0 1T 2 PIBt 3 Rt 4 t t

Donde:
I = Inversin Real

20

T= Tendencia
PIB: Producto Interno Bruto Real
R= Tasa de Inters Nominal
Tasa de Inflacin medida como la variacin porcentual del IPC.

Tabla de Datos para las Variables del Modelo

I
Constante
T
PIB
R
0.161
1
1
1.058
5.16
4.40
0.172
1
2
1.088
5.87
5.15
0.158
1
3
1.086
5.95
5.37
0.173
1
4
1.122
4.88
4.99
0.195
1
5
1.186
4.50
4.16
0.217
1
6
1.254
6.44
5.75
0.199
1
7
1.246
7.83
8.82
0.163
1
8
1.232
6.25
9.31
0.195
1
9
1.298
5.50
5.21
0.231
1
10
1.370
5.46
5.83
0.257
1
11
1.439
7.46
7.40
0.259
1
12
1.479
10.28
8.64
0.225
1
13
1.474
11.77
9.31
0.241
1
14
1.503
13.42
9.44
0.204
1
15
1.475
11.02
5.99
Nota: es importante tener en cuenta para las operaciones matriciales la
dimensin de cada una de las matrices del modelo en forma matricial.
Propiedades Estadsticas del Estimador de M.CO
El estimador de M.C.O es el Mejor Estimador Linealmente Insesgado MELI
de bajo los supuestos clsicos de normalidad, homocedasticidad,
independencia y valor esperado de los errores igual a cero.
Regresores no Estocsticos:

21

Dados los valores contenidos en la matriz X, entonces las propiedades de


M.C.O se pueden derivar tratando a X como una matriz de constantes.
Bajo el supuesto de que y = Xy b = (XTX)-1XTy
Al reemplazar y en b se tiene
b ( X T X ) 1 X T X
b ( X T X ) 1 X T X ( X T X ) 1 X T
b ( X T X ) 1 X T

Si X no es estocstico o E(XT) = 0, el valor esperado del segundo trmino es


cero. Por tanto el estimador de M.C.O b es insesgado es decir, E(b) =
Al aplicar el operador de valor esperado a la anterior relacin se tiene

E (b) E ( X T X ) 1 X T

E (b) E ( ) E ( X X )
T

E (b) E ( ) ( X X )
T

X T

X E ( )
T

E (b) E ( )

La matriz de covarianzas es:

Var (b) E (b )(b ) T

E ( X
E( X X )

E (b )(b )
T

X ) X ( T T X ( X T X ) 1 T )

X T T X ( X T X ) 1

( X X ) X E
T

X (X

( X X ) X IX ( X X )
T

X)

( X T X ) 1 X T X 2 I ( X T X ) 1
Var (b) 2 ( X T X ) 1

Para llegar al anterior resultado se debe tener presente las siguientes


propiedades:
E(T) = y A-1A = AA-1 = I

22

Entonces el teorema de Gauss Markov implica que para un caso especial (k


= 2), b es el Mejor Estimador Linealmente Insesgado - MELI ms eficiente de

Un anlisis ms general de este resultado:


Sea
b Cy

otro estimador MELI de donde C es una matriz de tamao K x n, si b es


insesgado entonces:
E (Cy ) E C ( X )
E (Cy ) E CX C
E (Cy )

Lo cual implica que CX = I. La matriz de covarianzas de b se puede


encontrar reemplazando (XTX)-1X con C, as:

Var (b) E (b )(b ) T

Var (b) E (b )(b T )

Var (b) E (Cy )( y C


T

Var (b) C ( I )C
2

T)

CC
2

Dado que CT = X(XTX)-1


Ahora sea D = C (XTX)-1XT, entonces (**)
Var (b) 2 CC T

Al despejar C = D + (XTX)-1XT de (**) y reemplazar en Var(b) obtenemos

Var (b) 2 D ( X T X ) 1 X T D ( X T X ) 1 X T

Antes de expandir esta suma de 4 trminos, notemos que

CX I D ( X T X ) 1 X T X
1

I DX ( X X ) X X DX 0
T

23

Entonces

DD
DD

Var (b) 2 D ( X T X ) 1 X T D T X ( X T X ) 1
Var (b) 2
Var (b)

DX ( X T X ) 1 ( X T X ) 1 X T D T ( X T X ) 1 X T X ( X T X ) 1

(X X )
T

X D (X X )
T

Var (b) 2 DD T 2 ( X T X ) 1

Dado que (CX)T = XTCT = XT(D + (XTX)-1XT)T = XTDT + XTX(XTX)-1


XTCT = XTDT = I = 0
Por tanto
Var (b) 2 DD T Var (b); Var (b) 2 ( X T X ) 1

La matriz de varianzas de b barra es igual a la de b ms una matriz definida


no negativa. Entonces cada forma cuadrtica en Var(b) barra es ms grande
que la forma cuadrtica correspondiente en Var(b), esto implica que:
El teorema de Gauss Markov: para un vector de constantes w dado, la
varianza mnima de un MELI wTen el modelo de regresin clsico es wTb,
donde b es el estimador de M.C.O.
Regresores Estocasticos: Con el fin de dar mayor generalidad a las
propiedades del estimador mnimo cuadrtico, es necesario extender los
anteriores resultados, a los casos en los cuales algunas o todas las
variables independientes provienen aleatoriamente de una distribucin
de probabilidad.
Un mtodo conveniente de obtener las propiedades estadsticas de b es
obtener primero los resultados deseados condicionados a X. Esto es
equivalente al caso de regresores no estocsticos. Entonces hay que
encontrar el resultado no condicionado por promedio (integrando todo) a
las distribuciones condicionales. La idea del argumento es que si podemos
establecer insesgamientos condicionados a una matriz X , podemos
promediar todas las observaciones de X para obtener un resultado no
condicionado.
Como antes

24

b ( X T X ) 1 X T

Entonces al condicionar a la matriz X observada


E (b / X ) ( X T X ) 1 X T E ( / X )
E (b / X ) ( X T X ) 1 X T 0

Aplicando la ley de las expectativas iteradas

E b E x E (b / X )

E ( / X )

E b E x ( X T X ) 1 X T E ( / X )

E b E x ( X T X ) 1 X T

Dado E(X) = 0 por el supuesto 4 del modelo clsico, b es tambin un MELI


no condicionado. Entonces

E b E x E (b / X ) E x
El insesgamiento de M.C.O es robusto en los supuestos sobre la matriz X.
La varianza de b nuevamente condicionada a X es
Var b / X E (b )(b ) T

Var b / X E ( ( X

X ) X T )( ( X T X ) 1 X T ) T
1

Var b / X ( X X ) X E ( ) X ( X X )
T

Var b / X ( X T X ) 1 X T X 2 ( X T X ) 1
Var b / X 2 ( X T X ) 1

Dado el concepto de la varianza exacta, la podemos descomponer as

Var (b / X ) E x Var (b / X ) Var x E (b / X )


El segundo trmino es cero dado que E(b/X) = entonces la varianza de una
constante es igual a cero

Var (b) E 2 ( X T X ) 1 2 E ( X T X ) 1

INFERENCIA ESTADISTICA

25

El supuesto sobre normalidad de es muy til para construir estadsticas


para contrastar pruebas de hiptesis.
Pruebas de Hiptesis Respecto a un Coeficiente:
En la ecuacin b = (XTX)-1XTb es una funcin lineal del vector de
perturbacin estocstico si suponemos que tiene una distribucin
normal multivariada, de tal forma que

b N , 2 ( X T X ) 1

Esta es una distribucin normal multivariada, donde cada elemento de b


est normalmente distribuido.

bk N k , 2 ( X T X ) kk1
Sea S

kk

el k esimo elemento diagonal de (XTX)-1, entonces

bk k

zk

2 S kk

Tiene una distribucin normal estndar. Si la es conocida, la inferencia


estadstica respecto a k podra estar basada en zk. Sin embargo, la varianza
tiene que ser estimada.
Recordemos que los residuos de M.C.O son iguales a
e y X ; ( X T X ) 1 X T y
e y X ( X T X ) 1 X T y

Al factorizar a y por la derecha se tiene

e I X ( X T X ) 1 X T y
Si M = I X(XTX)-1XT, entonces
e My

26

Como y = Xpodemos reemplazarlo para obtener


e M ( X ) MX M ; MX 0
e M
Un estimador de estar basado en la suma de los residuos al cuadrado

eTe = eTM
El valor esperado de esta forma cuadrtica es

E e T e e T M
Utilizando la propiedad de permutaciones cclicas tenemos

E tra ( T M ) E tra ( M T )

Dado que M es fija, esto es

tra ME ( T ) tra ( M 2 I ); E ( T ) 2 I
E (e e) tra ( M )
T

La traza de la matriz M es igual a

tra( M ) tra I X ( X T X ) 1 X T

) tra ( X

tra( M ) tra ( I n ) tra X ( X T X ) 1 X T


tra( M ) tra ( I n

X ) 1 X T

tra( M ) tra ( I n ) tra( I k ) n k


Entonces
E (e T e) ( n k )

Un estimador insesgado de es

27

E (e T e )
eT e
S2
(n k )
(n k )

La desviacin estndar de la regresin es S, la raz cuadrada de S 2 y la


podemos computar
Est.Var (b) S 2 ( X T X ) 1

Utilizando S2 en vez de podemos derivar un estadstico para reemplazarlo


en lugar de zk
S2

eT e
(n k ) S 2 e T e
(n k )

Dividiendo ambos lados por tenemos

(n k ) S 2 e T e
2
2

Al reemplazar eTe = TMen la anterior relacin se tiene

(n k ) S 2 T M

2
2
(n k ) S 2

( )T M ( )
2

Es una forma cuadrtica idempotente en un vector normal estndar ().


Entonces tiene una distribucin chi cuadrado con un rango (M) = tra(M) =
n-k grados de libertad.
La variable chi cuadrado es independiente de la variable normal estndar.
Para probar esto es suficiente mostrar que:

b ( X T X ) 1 X T

( X T X ) 1 X T ( )

Que es independiente de (n k)S /

28