Mnimos Cuadrados Ordinarios

Teora Econometrica-I
Agosto, 2016
Profesor
TA

:
:

Tom
as Rau B.
Martn Carrasco N.

1.Conceptos claves
2.Ejercicios
1. Suponga que el modelo de regresi
on lineal
yi = 1 + 2 xi + i
donde

1 i
e con i 0

Esto significa que los errores, en promedio, son positivos.

f (i ) =

a Muestre que el estimador MCO de 2 es insesgado, pero que el estimador

MCO de 1 es sesgado.
Es necesario antes de contestar la pregunta que la funcion de densidad corresponde a
una funci
on exponencial con parametro 1 , luego es necesario tener claro que E(u) =
. Luego, para mayor manejo usamos el modelo con desviaciones, as
y = 2 x
+u

Luego, aplicamos MCO resultando

Pn
xi yi

2 = Pi=1
n
i 2
i=1 x
Pn
xi (2 xi + ui )

2 = i=1Pn
i 2
i=1 x
Pn
xi ui
2 = 2 + Pi=1
n
i 2
i=1 x
Pn
i E(ui )
i=1 x
E(2 ) = 2 + P
n
i 2
i=1 x
Luego,
E(ui ) = E(ui u
) = = 0
1

As,
E(2 ) = 2
(Es un estimador condicional e incondicionalmente insesgado ) Para el caso de 1 sabemos que, dado que tiene una columna de 1s
= 1 + 2 X
+u

1 = Y 2 X
2 X
+ E(

E(1 ) = 1 + 2 X
u) E(2 )X
Usando el resultado anterior de 2 , y dado que E(
u) =
1 = 1 +
b Es consistente el estimador MCO de 1 ? Si no lo es bajo qu
e condiciones
es el estimador 1 consistente?
Para ver la consistencia usamos las propiedades de la convergencia en probabilidad. As,

plim1 = plim(Y 2 X)
+u

= plim(1 + 2 X
2 X)
+ plim(
= plim(1 ) + plim((2 2 )X)
u)
= 0. Usando
As, usando WLLN sabemos que plim(
u) = , y que plim((2 2 )X)
esto y el hecho de que 1 es una constante
plim1 = 1 +
Luego, 1 es inconsistente.
La u
nica opci
on para que no lo sea es que el = 0 Es posible eso? Para responder esto
es necesario tener bien claro que ese no es cualquier constante, sino que viene de una
funci
on de probabilidad y que esta definida para > 0.
2. Usted dispone la siguiente informaci
on obtenida de un modelo de regresi
on lineal
con una constante y dos regresores para una muestra de tama
no 30

5
= 4
2

s2 (X 0 X)1

3
= 0
1

0
2
0

1
0
2

a Usando estos resultados construya un intervalo de confianza a un 95% de

confianza para el par
ametro = 1 + 2 + 3 Est
a = 1 en el intervalo?
Tenemos la siguiente matriz de varianzas y covarianzas

s2 (X 0 X)1

3
= 0
1

0
2
0

1
0
2

2
Luego, para este problema usamos

1
R0 = 1
1
Luego, usamos el siguiente intervalo de confianza:

1 = P r tnk p

s2 R(X 0 X)1 R0

1
tnk2

Luego, un intervalo al 95% de confianza, y en donde

= 1 + 2 + 3 = 3
= 1 + 2 + 3
1 5%
2

5%

2
t303 = t303
= 2, 052
p

s2 R(X 0 X)1 R0 = 9

Nos queda


5%
3
1 5%
2
2
1 5% = P r t27
t27
9


3

0, 95 = P r 2, 052
2, 052
9


3
0, 95 = P r 3 2, 052
3 2, 052
9
0, 95 = P r (3 3 2, 052 3 + 3 2, 052)
0, 95 = P r (9, 156 3, 156)
0, 95 = P r (9, 156 3, 156)

Luego, bajo un 95% de confianza

(3 2, 052

9)

(9, 156; 3, 156)

Luego, el 1 si pertenece al intervalo.
b Realice un test de hip
otesis para H0 : 1 + 2 = 1.
Para esto vamos a usar el test F, el cual es de la siguiente manera, en donde la H0 es la
del enunciado.
Pr

(R q)0 [s2 R(X 0 X)1 R0 ]1 (R q)

r

En donde


R=

1
0

1
1

0
1

!
=1


.

R =
4

q=

1
Luego,
R q =

Y
0

s R(X X)

2
3


R =

(s2 R(X 0 X)1 R0 )1 =

5
3

.
3
4

4
11
3
11


.
3
11
5
11

Por lo que el test nos queda, para un r = 2

 172+213 
11

Pr

=1

As,
0,95
Fc = 4, 409 > 3, 354 = F2,27

Se rechaza la Hip
otesis Nula.
4


.

3. Sea el modelo de regresi

on lineal
Y = XB +
, donde se cumplen los supuestos del teorema de Gauss-Markov. Suponga que
se sabe que R = 0, en donde R es una matriz de q x k no estoc
astica. Considere
el estimador
= (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R
en donde es el estimador de MCO.
a) Demuestre que R = 0
= (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R
R = R R(X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R
R = R R = 0

b) Encuentre E()

Como = M CO , sabemos que

E() = E() (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 RE()

E() = . As,
= (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R
E()
Con el supuesto R = 0,
=
E()
c) Encuentre la varianza de
= (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R
= {I (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R}
Sea A = {I (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R}, luego
= AV ar()A
0
V ar()
As,
0
= {I(X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R}V ar(){I(X

V ar()
X)1 R0 [R(X 0 X)1 R0 ]1 R}0

= {I(X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R}[ 2 (X 0 X)1 ]{IR0 [R(X 0 X)1 R0 ]1 R(X 0 X)1 }
V ar()

= 2 {(X 0 X)1 (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R(X 0 X)1 }{IR0 [R(X 0 X)1 R0 ]1 R(X 0 X)1 }
V ar()
Reordenando , y en particular usando que
(X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R(X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R(X 0 X)1
= (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R(X 0 X)1
LLegamos a que
= 2 {(X 0 X)1 (X 0 X)1 R0 [R(X 0 X)1 R0 ]1 R(X 0 X)1 }
V ar()
5

4. Sea el modelo de regresi

on lineal expresado de la siguiente forma particionada
Y = X1 1 + X2 2 +
donde Y es un vector de n x 1, X1 es una matriz de nxk1 , la matriz X2 es una
matriz de nxk2 , los vectores 1 , 2 son de dimensi
on k1 y k2 respectivamente, es
un vector n x 1 y se cumplen todos los supuestos del teorema de Gauss-Markov.
Suponga que Ud. dispone de un estimador de 1 : b1 . Sea
Y = Y X1 b1
Suponga que Ud.estima el modelo
Y = X2 2 +
a) Encuentre formalmente las condiciones estadsticas que debe satisfacer b1
para que el estimador de 2 del modelo anterior sea insesgado.
Al estimar 2 para ese problema resulta
2 = (X20 X2 )1 (X20 Y )
2 = (X20 X2 )1 (X20 [Y X1 b1 ])
2 = (X20 X2 )1 (X20 [X1 1 + X2 2 + X1 b1 ])
Reordenando,
2 = (X20 X2 )1 X20 X1 [1 b1 ] + 2 + (X20 X2 )1 (X2 )
Luego, aplicando el operador esperanza y dado que se cumplen los supuestos de GM (x
no estoc
asticas, esperanza del error igual a 0...)
E(2 ) = (X20 X2 )1 X20 X1 E([1 b1 ]) + 2 + (X20 X2 )1 (X2 E())
0

E(2 ) = (X20 X2 )1(X2 X1 E([1 b1 ])+2

Luego, (2 ) = 2 si y solo si (mirando solamente condiciones estadsticas del estimador)
E([1 b1 ]) = 0
E(b1 ) = 1 que sea un estimador insesgado
b) Asumiendo que la condici
on anterior se cumple, encuentre una expresi
on
para su matriz de varianzas y covarianzas.
Para responder esto, es necesario tener claro que no esta correlacionado con nada bajo
los supuesto de GM. As,
V ar(2 ) = V ar[(X20 X2 )1 X20 X1 [1 b1 ]] + V ar[(X20 X2 )1 (X20 )]
Descomponiendo terminos,
V ar[(X20 X2 )1 X20 X1 [1 b1 ]] = (X20 X2 )1 X20 X1 V ar(b1 )X10 X2 (X20 X2 )1
6

V ar[(X20 X2 )1 (X20 )] = 2 (X20 X2 )1

As,
V ar(2 ) = (X20 X2 )1 X20 X1 V ar(b1 )X10 X2 (X20 X2 )1 + 2 (X20 X2 )1
V ar(2 ) = [(X20 X2 )1 X20 X1 V ar(b1 )X10 X2 + 2 ](X20 X2 )1
c) Muestre que si
X1 V (b1 )X10 = 2 X2 (X20 M1 X2 )1 X20 2 I
el estimador de 2 es BLUE.
El enunciado sugiere que
X1 V ar(b1 )X10 = 2 X2 (X20 M1 X2 )1 X20 2 I
Incluyendo esto en la expresi
on anterior para varianza,
V ar(2 ) = [(X20 X2 )1 X20 [ 2 X2 (X20 M1 X2 )1 X20 2 I]X2 + 2 ](X20 X2 )1
V ar(2 ) = 2 (X20 M1 X2 )1
Es MELI?
Para contestar esto, y dado que se cumplen los supuestos de GM, hay que ver si : es
lineal, insesgado y tiene mnima varianza (en este caso chequear que tenga la misma del
MCO).
Es trivial notar que es un estimador lineal, basta con escribir el estimador de una manera
acorde.
2 = (X20 X2 )1 (X20 [X1 1 + X2 2 + X1 b1 ])
Si (X20 X2 )1 (X20 = A, y volvemos a toamr Y
2 = AY
Luego, ya fue demostrado que es insesgado, y dada la condicion anterior la varianza de
la regresi
on es la MCO del modelo original. As, el estimador es BLUE .
5. Considere el modelo lineal y = 1 + 2 x + u y los efectos que se pueden producir en
el R2 cuando se hacen transformaciones lineales a la ecuaci
on verdadera. Suponga
que x es una variable aleatoria escalar, que la varianza de u es igual a 2 y suponga
que los valores verdaderos de los par
ametros son 1 = 0 y 2 = 1
a) Demuestre que
plim2 =

y
cov(x, y)
=
x2
x

donde es el coeficiente de correlaci

on entre x e y, x2 = V ar(x) , y y2 = V ar(y).
Para esto hay dos caminos. Uno es usando propiedades de plim y otro es viendo el
estimador de otra forma. Para ambos, es necesario saber que al regresionar
Pn
i Y )
(Xi X)(Y
Pn
2 = i=1
2
i=1 (Xi X)
Luego, usando las propiedades de convergencia en probabilidad, tenemos que
 Pn


i=1 (Xi X)(Yi Y )

Pn
plim2 = plim
2
i=1 (Xi X)
Pn
i Y )]
plim[ i=1 (Xi X)(Y
Pn
plim2 =
2]
plim[ i=1 (Xi X)
Pn
1

i=1 (Xi X)(Yi Y )]

N plim[

Pn
plim2 =
1
2
i=1 (Xi X) ]
N plim[
Luego, se puede demostrar que
n
X
1
2 ] = V ar(x) = 2
plim[ (Xi X)
x
N
i=1
n
X
1
i Y )] = cov(x, y)
plim[ (Xi X)(Y
N
i=1

Usando la definici
on del coeficiente de correlacion
cov(x, y)
=
x y
x y
Luego,
plim2 =

1
N

Pn
i Y )]
plim[ i=1 (Xi X)(Y
Pn
1
2
i=1 (Xi X) ]
N plim[

plim2 =

y
x y
=
x2
x

La otra forma de resolver esto, es basicamente usar un arreglo en la expresion del 2

y)
cov(x,
2 =

var(x)
Luego,
plim2 =

y)
plimcov(x,

plimvar(x)

y) = cov(x, y), plimvar(x)

Luego, plimcov(x,
= x2 . Luego, analogamente a la forma
anterior se llega a
y
plim2 =
x
8

b) Muestre que y2 = V ar(y) = V ar(x) + u2 . Usando

algebra de plims y ley de
grandes n
umeros, demuestre que adem
as
plimR2 = 2 = 1

u2
=1
y2

1
2
x
2 +1
u

A la expresi
on plimR2 se le conoce como R2 poblacional Discuta qu
e ocurre
2
2
con dicho plim cuando x2 = 1 y cuando x2 = 10?
u
u
En primer lugar, es necesario tener claro la nueva informacion que nos entregan. El
hecho de que 1 = 0, 2 = 1 entonces
y =x+u
Luego, aplicando varianza
V ar(y) = V ar(x) + V ar(u) + 2Cov(x, u)
Como u no covara con nada, tenemos
V ar(y) = V ar(x) + V ar(u)
y2 = V ar(x) + u2
Ahora, usamos la definici
on de R2
u2i
)2
i (yi y
P 2 

u
plimR2 = plim 1 P i i 2
)
i (yi y
 P 2 
u
plimR2 = 1 plim P i i 2
)
i (yi y
P 2
plim( i ui )
P
plimR2 = 1
plim( i (yi y)2 )
P
1
plim( i u2i )
P
plimR2 = 1 1 n
)2 )
i (yi y
n plim(
R2 = 1 P

Usando

X
1
plim(
u2i ) = u2
n
i
X
1
plim( (yi y)2 ) = y2
n
i

Luego, al inicio del ejercicio se llego a y2 = V ar(x) + u2 , usando esto

plimR2 = 1
plimR2 = 1

u2
y2

u2
V ar(x) + u2

Sea V ar(x) = x2
plimR2 = 1

x2

u2
+ u2

Luego, usando algebra (multiplicando por un 1 conveniente)

plimR2 = 1

u2
2
x + u2

2
x
2
u

1
2
u
1
2
u

plimR2 = 1
Que ocurre cuando

2
x
2
u

+1

= 1?

Eso nos indica, usando la formula anterior, que

plimR2 = 1

1
2
x
2
u

+1

1
2

Esto nos da un R2 poblacional de 0.5, lo cual resulta logico recordando lo que es el R2

(la variabilidad contenida en el modelo). El que sea esta razon igual a 1 , nos se
nala
que la variabilidad de los errores es igual a la variabilidad de los x, y como nos interesa
la variabilidad del modelo, est
a (haciendo la descomposicion) esta distribuda de igual
forma entre las x y el error.
Que ocurre cuando

2
x
2
u

= 10?
plimR2 = 1

1
2
x
2
u

+1

10
11

Esto nos da un R2 poblacional de 10

11 . Luego, es interesante notar que en este caso las
variabilidades de las x y del error no son iguales. Es interesante notar como cambia esto
respecto del caso anterior, en donde eran iguales.
En este caso, vemos que una disminucion de la varianza del error relativa a las x,
provoca un aumento en el R poblacional. Esto se debe, nuevamente a la definicion del
R2 (variabilidad explicada por el modelo). Al aumentar la razon, lo que ocurre es que
las x est
an explicando m
as! , esto genera que nuestra prediccion o variabilidad contenida
del modelo sea mejor, de ah el por que aumenta el R2 .

10

6. Sea Xi una variable binaria, y considere la siguiente regresi

on
Yi = 0 + 1 Xi + ui
Sea Y0 la media muestral de las observaciones con X = 0 e Y1 la media muestral
para las observaciones con X = 1
a) Muestre que 0 = Y0
Sea x una variable binaria definida por

1 con P (x = 1) = p;
x=
0 con P (x = 0) = (1 p).
Luego, el problema de optimizacion lo podemos escribir
min

1 ,2

n
X

u
2i = min

1 ,2

i=1

(yi 0 )2 +

xi :x=0

(yi 0 1 )2

xi :x=1

Luego, si definimos como k el n

umero de terminos en que x toma el valor 0 , y por
ende n-k terminos en donde la x toma el valor 1 , luego derivando e igualando a cero
obtenemos :
X
X
S
= 2
(yi 0 ) 2
(yi 0 1 ) = 0
0
x :x=0
x :x=1
i

X
S
= 2
(yi 0 1 ) = 0
1
x :x=1
i

S
0

y tenemos que
Para esto ocupamos la CPO de
X
X
yi k0 +
yi (n k)0 (n k)1 = 0
xi :x=0

xi :x=1

X
xi :x=0

Y dado que la CPO de

yi +

yi n0 (n k)1 = 0

xi :x=1

S
1

nos entrega que

X
yi (n k)0 (n k)1 = 0

xi :x=1

Remplanzando esto en la anterior tenemos que

X
X
X
yi +
yi n0
yi + (n k)0 = 0
xi :x=0

xi :x=1

xi :x=1

yi k 0 = 0

xi :x=0

0 =

11

xi :x=0

yi

= Y0

b) Muestre que 0 + 1 = Y1
Para esto ocupamos la CPO de

S
1

la cual nos queda

(yi 0 1 ) = 0

xi :x=1

yi (n k)0 (n k)1 = 0

xi :x=1

0 + 1 =
De la CPO

S
1

0 + 1 =

xi :x=1

yi

nk
P

xi :x=1

yi

nk

= Y1

= Y1

y agregando esto con la alternativa a) tenemos que

1 = Y1 0 = Y1 Y0
7. En el modelo de regresi
on con k variables, demuestra que el estimador de 2 es
u
0 u

2
insesgado, es decir E( ) = 2 donde 2 = nk
Sea
u
= M Y = M [X + u] = M X + M u = M u
ya que M X = 01 . Luego,
u
0 u
= (M u)0 M u = u0 M 0 M u = u0 M u
Es necesario notar que u0 M u es un escalar, por lo que u0 M u = tr(u0 M u). As,
E(
u0 u
) = E(u0 M u) = E(tr(u0 M u))
= E(tr(u0 M u))
Usando propiedades de la traza (tr(AB) = tr(BA))
E(tr(u0 M u)) = E(tr(M u0 u))
Como solo hay incertidumbre en u, y como la traza es un escalar
E(tr(M u0 u)) = tr(M E(u0 u))
Usando E(u0 u) = 2 I
tr(M E(u0 u)) = 2 tr(M )
Solamente queda calcular tr(M), para esto usaremos propiedades de la traza (tr(AB) =
tr(BA))
tr(M ) = tr(In X(X 0 X)1 X 0 ) = tr(In ) tr(X(X 0 X)1 X 0 )
1M X

= (I X(X 0 X)1 X 0 )X = X X(X 0 X)1 X 0 X = X X = 0

12

Usando tr(In ) = n y que tr(AB) = tr(BA)

tr(M ) = n tr(X(X 0 X)1 X 0 ) = n tr((X 0 X)1 X 0 X) = n tr(Ik ) = n k
Lo anterior se debe a que (X 0 X)1 es un matriz de kxk.
De esta manera
E(
u0 u
) = E(u0 M u) = E(tr(u0 M u)) = 2 (n k)
Con esto, resulta f
acil demostrar que el estimador es insesgado, ya que
u
0 u

2 =
nk
 0 
u
u

1
E(2 ) =
=
2 (n k) = 2
nk
nk
8. Considere una regresi
on de Y en K variables explicativas X. Imagine un regresor
alternativo Z = XP , donde P es una matriz no singular, de tal forma que cada
columna de Z es una mezcla de columnas de X. Prueba que los residuros de la
regresi
on de Y en X e Y en Z son id
enticos.
Dado que P es no singular, entonces es cuadrada e invertible. Luego, los residuos de la
regresi
on de Y en X vienen dados por
uX = Y X = Y X(X 0 X)1 X 0 Y = (I X(X 0 X)1 X 0 )Y
Y los residuos de la regresi
on de Y en Z
uZ = Y Z = Y Z(Z 0 Z)1 Z 0 Y = (I Z(Z 0 Z)1 Z 0 )Y
Luego, como Z = XP entonces
uZ = (I Z(Z 0 Z)1 Z)Y = (I XP ((XP )0 XP )1 (XP )0 )Y
= (I XP (P 0 X 0 XP )1 P 0 X 0 )Y = (I XP (P 0 (X 0 X)P )1 P 0 X 0 )Y
Como (X 0 X) y P son invertibles
uZ = (I XP P 1 (X 0 X)1 P 01 P 0 X 0 )Y = (I X(X 0 X)1 X)Y = uX
9. En el contexto de MCO bajo los supuesto de Gauss-Markov, encuentre la matriz
de residual makers y la matriz de proyecci
on. Muestre que las matrices son
ortogonales y que ambas son sim
etricas e idempotentes.
Seg
un MCO, el estimador queda
= (X 0 X)1 XY
Usando el
Dada la forma lineal Y = X + u u = Y X, por lo que u
= Y X .
estimador de MCO
u
= Y X = Y X(X 0 X)1 X 0 Y = (I X(X 0 X)1 X 0 )Y
13

Sea M = (I X(X 0 X)1 X 0 ), luego

u
= MY
La matriz M es la matriz de residual makers, y es la que si premultiplica al vector Y nos
entrega los errores de la regresi
on.
Esta matriz es simetrica, ya que M = M t
M t = (I X(X 0 X)1 X 0 )t = I 0 X 00 (X 0 X)10 X 0 = I X(X 0 X)1 X 0 = M
Lo anterior se debe a que si una matriz es simetrica, entonces su invers tambien lo es.
Adem
as, M es idempotente (M = M 2 )
M 2 = M M = (I X(X 0 X)1 X 0 )(I X(X 0 X)1 X 0 )
= I I X(X 0 X)1 X 0 X(X 0 X)1 X 0 + X(X 0 X)1 X 0 X(X 0 X)1 X 0
= I 2X(X 0 X)1 X 0 + X(X 0 X)1 X 0 = I X(X 0 X)1 X 0 = M
La otra matriz que falta encontrar es la matriz de proyeccion, es decir aquella que nos entrega
los fitted values (Y ) de la regresi
on. Luego,
Y = X = X(X 0 X)1 X 0 Y = (X(X 0 X)1 X 0 )Y = P Y
en donde P = (X(X 0 X)1 X 0 ).
Esta matriz es simetrica
P 0 = (X(X 0 X)1 X 0 )0 = X 00 (X 0 X)10 X 0 = X(X 0 X)1 X = P
Adem
as, esta matrz es idempotente
P 2 = P P = X(X 0 X)1 X 0 X(X 0 X)1 X 0 = (X(X 0 X)1 X 0 ) = P
Por u
ltimo, ambas matrices son ortogonales entre si, esto es P M = M P = 0
P M = X(X 0 X)1 X 0 (I X(X 0 X)1 X 0 ) = X(X 0 X)1 X 0 X(X 0 X)1 X 0 X(X 0 X)1 X 0
= X(X 0 X)1 X 0 X(X 0 X)1 X 0 = 0
10. Suponga que la regresi
on involucra dos clases de variables X1 y X2 , esto es
y = X + = X1 1 + X2 2 +
a) Encuentre las ecuaciones normales al problema
De la condici
on de primer orden del problema de minimizacion tenemos que
X 0 X = X 0 Y
Como hay dos set de clases, particionamos X en
X = [X1 X2 ]
14

Luego, X 0 queda


X10
X20

Por lo que X 0 X queda



X10 X1
X20 X1

X10 X2
X20 X2

As, la condici
on de primero orden (o ecuaciones normales) quedan
X 0 X = X 0 Y


X10 X1
X20 X1

X10 X2
X20 X2

 
  0 
1
X1 y

=
2
X20 y

b) Encuentre las expresiones algebr

aicas para los estimadores.
Desarrollando el producto de matrices nos quedan dos ecuaciones
X10 X1 1 + X10 X2 2 = X1 y 0
X20 X1 1 + X20 X2 2 = X20 y
Al igual que todo sistema de dos ecuaciones y dos incognitas lo que hacemos lo que
sabemos: despejar uno en funci
on de la otra variable y remplazar.
As, de la primera ecuaci
on
X10 X1 1 + X10 X2 2 = X10 y
X10 X1 1 = X10 y X10 X2 2
X10 X1 1 = X10 (y X2 2 )
1 = (X10 X1 )1 X10 (y X2 2 )
Remplazando esto en la segunda ecuacion X20 X1 1 + X20 X2 2 = X20 y tenemos que
X20 X1 ((X10 X1 )1 X10 (y X2 2 )) + X20 X2 2 = X20 y
Ordenando,
X20 X1 (X10 X1 )1 X10 y X20 X1 (X10 X1 )1 X10 X2 2 + X20 X2 2 = X20 y
Factorizando por 2
X20 X1 (X10 X1 )1 X10 y (X20 X1 (X10 X1 )1 X10 X2 X20 X2 )2 = X20 y
X20 X1 (X10 X1 )1 X10 y X20 y = (X20 X1 (X10 X1 )1 X10 X2 X20 X2 )2
(X20 X1 (X10 X1 )1 X10 X20 )y = (X20 X1 (X10 X1 )1 X10 X2 X20 X2 )2
X20 (X1 (X10 X1 )1 X10 I)y = X20 (X1 (X10 X1 )1 X10 X2 X2 )2
X20 (X1 (X10 X1 )1 X10 I)y = X20 (X1 (X10 X1 )1 X10 I)X2 2
15

Multiplicando por -1
X20 (I X1 (X10 X1 )1 X10 )y = X20 (I X1 (X10 X1 )1 X10 )X2 2
2 = (X20 (I X1 (X10 X1 )1 X10 )X2 )1 (X20 (I X1 (X10 X1 )1 X10 )y)
Sea M1 = I X1 (X10 X1 )1 X10
2 = (X20 M1 X2 )1 (X20 M1 y)
Para encontrar 1 hay dos opciones: hacer lo mismo que con 2 o remplanzar la expresion
de 2 en alguna ecuaci
on. De ambas maneras se llega a que
1 = (X10 M2 X1 )1 (X10 M2 y)
c) Existe alguna diferencia entre realizar una estimaci
on larga a una corta, si
es que ambos set de variables son ortogonales?
No. Si son ortogonales entonces X10 X2 = X20 X1 = 0, por lo que
X10 X1 1 + X10 X2 2 = X10 y
X10 X1 1 = X10 y X10 X2 2
X10 X1 1 = X10 y
1 = (X10 X1 )1 X10 y
11. Si e0 e es la suma de cuadrados de los residuos cuando se est
a regresionado en X
y u0 u es la suma de cuadrados de los residuos cuando es regresionado en (X,z).
Muestre que
u0 u = e0 e c2 (z0 z ) e0 e
donde c es el coeficiente en la regresi
on larga, y z = [I X(X 0 X)1 X 0 ]z es el
vector de residuos cuando z es regresionado en X.
Sea u = y Xd zc el vector de residuos cuando y esta regresionado en X,z. Como en
el ejercicio anterior, sabemos que salvo que X 0 z = 0 o que c = 0, d no va a ser igual a
b = (X 0 X)1 X 0 y.
Al igual que el ejercicio anterior, sabemos que
d = (X 0 X)1 X 0 (y zc) = (X 0 X)1 X 0 y (X 0 X)1 X 0 zc
d = b (X 0 X)1 X 0 zc
Ahora, insertando la expresi
on anterior en u = y Xd zc tenemos que
u = y X(b (X 0 X)1 X 0 zc) zc
u = y Xb + X(X 0 X)1 X 0 zc zc
Sabemos que e = Y Xb
u = e + X(X 0 X)1 X 0 zc zc
16

u = e (I X(X 0 X)1 X 0 )zc = e M zc

Lo que queremos encontrar u0 u por lo que
u0 u = (e M zc)0 (e M zc) = (e0 cz0 )(e z c)
En donde z = M z

u0 u = e0 e + c2 (z0 z ) 2cz0 e

Sabemos que
e = M y = y
Luego,
z0 e = z0 y
Adem
as, como
c = (z0 z )1 (z0 y ) z0 y = c(z0 z )
Entonces
u0 u = e0 e + c2 (z0 z ) 2cz0 e
= e0 e + c2 (z0 z ) 2c2 (z0 z )
= e0 e c2 (z0 z )
Luego,
u0 u = e0 e c2 (z0 z ) e0 e
12. Suponga que b es el vector de estimadores de mnimos cuadrados ordinarios de
la regresi
on de y en X, y sea c otro vector de estimadores de Kx1. Demuestre
que la diferencia entre ambas sumas de residuos al cuadrado es
(y Xc)0 (y Xc) (y Xb)0 (y Xb) = (c b)0 X 0 X(c b)
Sea c = (c b) + b. Luego, la suma de residuos al cuadrado en la regresion de y con el
estimador c
(yXc)0 (yXc) = (yX((cb)+b))0 (yX((cb)+b)) = (yXbX(cb))0 (yXbX(cb))
= (y Xb)0 (y Xb) + (c b)0 X 0 X(c b) 2(c b)X(y Xb)
Luego, dada la CPO del problema de MCO entonces X 0 e = X(y Xb) = 0. As,
(y Xc)0 (y Xc) = (y Xb)0 (y Xb) + (c b)0 X 0 X(c b)
(y Xc)0 (y Xc) (y Xb)0 (y Xb) = (c b)0 X 0 X(c b)

17

13. En la estimaci
on de MCO de y en K variables (con una constante) X, para
computar los coeficientes de la regresi
on podemos transformar y en desviaciones
respecto a su media y y, podemos transformar cada columna de X en desviaciones
con la respectiva media de la columna, y segundo regresionar la y transformada
en las Xs transformadas sin la constante Obtenemos los mismo si solo transformamos y? Qu
e ocurre si solo transformamos X?
De la regresi
on de las desviaciones de y en las desviaciones de X, resultan los coeficientes de
X
b = (X 0 M 0 X)1 X 0 M 0 y
en donde M 0 = I i(i0 i)1 i0 es la matriz que transforma las observaciones en sus desviaciones
con respecto a sus medias. Dado que M 0 es idempotente y simetrica 2 podemos escribir los
coeficientes de la siguiente manera
b = [(X 0 M 00 )(M 0 X)]1 [X 0 M 00 M 0 y]
Si solamente transformamos X en sus desviaciones tendramos
b = [(X 0 M 00 )(M 0 X)]1 [X 0 M 00 y]
El cual es identico al anterior ya que M 0 es simetrica e idempotente.
Ahora, si solamente transformamos a y, entonces
b = [(X 0 X)]1 [X 0 M 0 y]
el cual es diferente.
14. Suponga que la regresi
on involucra dos clases de variables X1 y X2 , esto es
y = X + = X1 1 + X2 2 +
Cu
al es el resultado del producto de las matrices M1 M en donde M es la matriz
de residuos?
M1 M = (I X1 (X10 X1 )1 X10 )(I X(X 0 X)1 X 0 ) = M X1 (X10 X1 )1 X10 M
No es necesario multiplicar el segundo termino. Ya que este es un caso particular a M X = 0,
ya que regresionar las X en las X da un perfecto ajuste.
Luego, como X1 X ocurre exactamente lo mismo, por lo que
M1 M = M
2M 0

es sim
etrica ya que
M 00 = (I i(i0 i)1 i0 )0 = I 0 i00 (i0 i)10 i0 = I i(i0 i)1 i0 = M 0

Adem
as es idempotente ya que
M 0 M 0 = (I i(i0 i)1 i0 )(I i(i0 i)1 i0 ) = I 2i(i0 i)1 i0 + i(i0 i)1 i0 i(i0 i)1 i0 = I i(i0 i)1 i0 = M 0

18