ESTADSTICA E INTR.

A LA ECONOMETRA
Curso 2009-2010
UNIDAD TEMTICA IV: ECONOMETRA
Tema 16
EL MODELO DE REGRESIN EL MODELO DE REGRESIN
LINEAL SIMPLE LINEAL SIMPLE
Notas y resmenes
de clase de clase
ESTRUCTURA DEL CAPTULO
1. El modelo de regresin lineal simple
2. El estimador de mnimos cuadrados ordinarios 2. El estimador de mnimos cuadrados ordinarios
3. Medidas de bondad de ajuste
4 Propiedades de los estimadores de MCO Supuesto de 4. Propiedades de los estimadores de MCO. Supuesto de
Normalidad
5. Intervalos de confianza y contrastes de hiptesis y p
6. Prediccin
Bibliografa bsica: Bibliografa bsica: g f g f
Canavos, G.C. (1992): Probabilidad y Estadstica: Aplicaciones y Mtodos, McGraw Hill
Newbold, P. (1997): Estadstica para los Negocios y la Economa. Prentice Hall.
Novales, A. (1996): Estadstica y Econometra. McGraw-Hill.
1. El modelo de regresin lineal
Propsito de la regresin t i d l Propsito de la regresin: construir un modelo para
representar la relacin o dependencia de una variable respuesta
respecto a otra u otras que se denominan explicativas.
F G l (1 1 11)
Adrien M Adrien M..Legendre Legendre
(1752 (1752 1833) 1833)
Carl F Carl F.. Gauss Gauss
(1777 (1777 1855) 1855)
Pierre S. de Laplace Pierre S. de Laplace
(1749 (1749 1827) 1827)
Sir Francis Galton (1822-1911)
introduce el trmino regresin al determinar la
dependencia entre las alturas de los hijos y los
padres probando que la altura de los hijos
(1752 (1752--1833) 1833) (1777 (1777--1855) 1855) (1749 (1749--1827) 1827)
padres, probando que la altura de los hijos
regresaba hacia la media de la altura de la
poblacin a travs de sucesivas generaciones.
1. El modelo de regresin lineal simple
F d l i Formas de relacin:
1. Relacin funcional o exacta ( )
k
X X X g Y , , ,
2 1
K =
2. Independencia estadstica: No existe relacin
3. Relacin estadstica o estocstica ( ) + =
k
X X X g Y , , ,
2 1
K
anlisis de la regresin anlisis de la regresin
i bl d di d i bl Y: variable dependiente, regresando o variable respuesta
X: variable independiente, explicativa o regresor
Simple / Mltiple
1. El modelo de regresin lineal simple
Objetivo: Estimar el valor
medio poblacional de la variable
d d l
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a

n
i

o
s
)
dependiente, con base en los
valores fijos o conocidos de la
i bl li ti
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Y

(
A
l
t
u
r
a
variable explicativa.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
E Y X x g x
i i
( / ) ( ) = =
F i d R i P bl i l
X (edad)
d
Funcin de Regresin Poblacional
f t l f i ?
curva de
regresin
poblacional
qu forma toma la funcin g ?
1. El modelo de regresin lineal simple
LINEAL
Funcin de Regresin Poblacional Lineal
Lineal en los
E Y X x x
i i
( / ) = = +
0 1
Lineal en los
parmetros
i i
( )
0 1
C fi i nt d l in Coeficientes de la regresin
(Parmetros desconocidos pero fijos)
..
.
.
.


i i i i i
y E Y X x y x = = = + ( / ) ( )
0 1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Y
Especificacin estocstica de la FRP
y E Y X x x
i i i i i
= = + = + + ( / )
0 1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
y E Y X x x
i i i i i
= = + = + + ( / )
0 1
Perturbacin estocstica o trmino de error
..
X
1. El modelo de regresin lineal simple
FRM Y

Y

FRM Y
..
.
.
.
.
.
.
.
FRP
.
.
.
Y
FRP
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. .
.
X
..
X
1. El modelo de regresin lineal simple
( ) { }
n
Funcin de Regresin Muestral
Muestra
x y

+ =
( ) { }
i
i i
y x
1
,
=
x y
i i 1 0
+ =
Estimadores de los coeficientes de Estimador de f
la regresin E(Y/X=x
i
)
.
.
Y
FRM
Residuo
e y y y x +
$
(
$ $
)
Funcin de Regresin Muestral
.
.
.
.
.
Y
FRP
e y y y x
i i i i i
= = + ( )
0 1
g
en su forma estocstica
y x e
i i i
= + +
$ $

0 1
.
.
.
.
.
y
i i i 0 1
X
1. El modelo de regresin lineal simple
y E Y X x x
i i i i i
= = + = + + ( / )
0 1
( ) { }
n
FRM
( ) { }
n
i
i i
y x
1
,
=
.
.
.
.
.
Y
FRM
FRP
+ +
$ $
.
.
.
.
.
y x e
i i i
= + +
0 1
.
XX
2. Estimadores de mnimos-cuadrados ordinarios
Mtodo de mnimos cuadrados Mtodo de mnimos cuadrados
Las estimaciones de mnimos cuadrados estimaciones de mnimos cuadrados de
los coeficientes y son los valores y
.
Y
x y
i i

1 0
+ =

1
+

los coeficientes
0
y
1
son los valores y
que minimizan la suma de los cuadrados de los
errores
.
.
.
.
.
.
.
y
i
e
i
y
i

1
+
0

( )

= =
=
n
i
i i
n
i
i
x y e
1
2
1 0
1
2


.
SCE=
X
x
i
n

Sistema de ecuaciones normales

$ $
= y x

=
=
n
n
i
i
e
1
0

+ =

= =
n n n
n
i
i
n
i
i
x n y
1
1
1
0



0 1
= y x
$
( )( )

1
=

=

y y x x
S
i i
xy

=
=
i
i i
x e
1
0

+ =

= = = i
i
i
i
i
i i
x x y x
1
2
1
1
0
1

( )

1
2
2
=

x x
S
i
x
Estimadores MCO
Ejemplo
Mara F., presidenta de la compaa Jardn Verde, quiere ver si el , p mp J , q
volumen semanal de ventas de su empresa se relaciona con alguna
otra variable. Para ello selecciona ocho semanas al azar de los dos
ltimos aos y registra el volumen semanal de ventas en miles de ltimos aos y registra el volumen semanal de ventas en miles de
dlares (Y) y el nmero de anuncios en televisin de la compaa cada
semana (X). Analice la relacin entre estas variables.
y x
125 3 180
152 5
131 4
133 4
140
160
y
133 4
142 5
116 3
100
120
140
127 3
163 6
100
2 3 4 5 6 7
x
Ejemplo: Estimacin de los parmetros del modelo
2
180
y x xy x2
125 3 375 9
152 5 760 25
160
180
152 5 760 25
131 4 524 16
133 4 532 16
140
133 4 532 16
142 5 710 25
116 3 348 9 100
120
x y 056 , 13 268 , 82

+ =
127 3 381 9
163 6 978 36
2 3 4 5 6 7
1089 33 4608 145
109 , 1 125 , 4
2
= =
x
S x
056 , 13
109 1
4843 , 14

1
= =
4843 , 14 125 , 136
, ,
= =
xy
x
S y
268 , 82 125 , 4 056 , 13 125 , 136

109 , 1
0
= =
3. Medidas de bondad de ajuste
Descomposicin de la suma de cuadrados y Descomposicin de la suma de cuadrados y
Coeficiente de determinacin
y y y y e
i i i
= + (
$
)
( ) ( )

+ =
n
i
n
i
n
i
e y y y y
2
2 2

Y
y
i
e
i
.
y y
i
Desviacin Total
Desviacin no
explicada

= = = i i i 1 1 1
SCT = SCR + SCE SCT = SCR + SCE
Suma de
y
i

y
)
y y
i

i
Desviacin
Explicada
Suma de
Cuadrados
Totales
Suma de
Cuadrados de
la Regresin
Suma de
Cuadrados
residual o del
Error
x y
i i

1 0
+ =
X x
i
Variabilidad total en la muestra= variabilidad explicada + variabilidad no explicada
3. Medidas de bondad de ajuste
Coeficiente de determinacin Coeficiente de determinacin
SCT = SCR + SCE SCT = SCR + SCE
R
SCR SCE
2
1
SCT SCR SCE SCT SCR SCE
R
SCT SCT
2
1 = =
R
2
mide la proporcin de la variabilidad de
la variable dependiente explicada por su
relacin lineal con la variable independiente
Es no negativo
p
0 R
2
1
Es el cuadrado del coeficiente de correlacin lineal ( r)
2
S

2 2
r
S S
S
R
y x
xy
=

=
Ejemplo: Bondad de ajuste del modelo
y x y
2
125 3 15625
152 5 23104 152 5 23104
131 4 17161
133 4 17689
956 , 0 = r
Coeficiente de
Correlacin Lineal
133 4 17689
142 5 20164
116 3 13456
127 3 16129
163 6 26569
913 , 0
2
= R
Coeficiente de
Determinacin
109 , 207
2
=
y
S
1089 33 149897
y
4. Propiedades de los estimadores de MCO
Supuestos estndar para el modelo de regresin lineal Supuestos estndar para el modelo de regresin lineal
y E Y X x x
i i i i i
= = + = + + ( / )
0 1
1. Sobre la variable explicativa
Cada x
i
es un nmero fijo,no estocstico,
Cov x
i i
( , ) = 0
La realizacin de una variable aleatoria X
i
incorrelacionado de forma contempornea
con el trmino de error
i.
2 Sobre la perturbacin aleatoria
Cov x
i i
( , ) 0
( ) n i x x Y E
i i
, , 1 ,
1 0
K = + =
( )
( ) n i E
i
, , 1 , 0 K = =
( )
2. Sobre la perturbacin aleatoria
( ) n i x Y Var
i
, , 1 ,
2
K = =
( ) 0 , =
j i
y y Cov
( ) n i Var
i
, , 1 ,
2
K = =
( ) 0 , =
j i
Cov
Para ij
3. Sobre el modelo El modelo de regresin est correctamente especificado
Propiedades de los estimadores de mnimos cuadrados
4. Propiedades de los estimadores de MCO
Propiedades de los estimadores de mnimos cuadrados
(
$
)
1 1
2
= E
(
$
)
0 0
=

E
(
$
)
( )

1
2
2
=

Var
x x
i
(
$
)
( )

0
2
2
2
1
= +

V
n
x
x x
i
Estimadores lineales
( )

i
ptimos Dados los supuestos del modelo clsico de
Insesgados
ptimos Dados los supuestos del modelo clsico de
regresin lineal, los estimadores de MCO son los
estimadores lineales insesgados de mnima varianza estimadores lineales insesgados de mnima varianza
de los coeficientes del modelo de regresin
(Teorema de Gauss (Teorema de Gauss- -Markov) Markov)
4. Propiedades de los estimadores de MCO
Supuesto de normalidad
( ) N
i
0
2

Cada
i
se distribuye
( ) E
i
, 0 =
Supuesto de normalidad
( ) N
i
, 0
Cada
i
se d str buye
normalmente normalmente con:
( ) Var
i
,
2
=
( ) 0 , =
j i
Cov
independientes
y
Los estimadores MCO son estimadores
eficientes eficientes y consistentes. consistentes. Adems se Adems se
distribuyen distribuyen normalmente normalmente distribuyen distribuyen normalmente. normalmente.
$

2
2
1
+

N
x
,
( )

0 0
2
+

N
n
x x
i
2

x
$
,
( )


1 1
2
2

N
x x
i
Estimador de la varianza de las perturbaciones
4. Propiedades de los estimadores de MCO
Estimador de la varianza de las perturbaciones
( ) n i Var
i
, , 1 ,
2
K = =
Varianza residual
Error estndar de
la estimacin
( )
$ $

2
0 1
2

e
y x
i
i i
Varianza residual
la estimacin
$

e
i
2
( )
$

2
0 1
2 2
=

=

e
n
y x
n
i
i i
$
=

n
i
2
Bajo las hiptesis del modelo clsico Bajo las hiptesis del modelo clsico, es
un estimador insesgado de la varianza estimador insesgado de la varianza
E(
$
)
2 2
=
de la perturbacin aleatoria de la perturbacin aleatoria
E( )
Ejemplo: Error estndar de la estimacin.

2
e
y x
125 3 121,44 3,56 12,70
152 5 147 55 4 45 19 81
y
y y e =
e
152 5 147,55 4,45 19,81
131 4 134,49 -3,49 12,20
133 4 134 49 -1 49 2 23
Error estndar de
la estimacin
133 4 134,49 1,49 2,23
142 5 147,55 -5,55 30,79
116 3 121,44 -5,44 29,56
898 , 4

=
la estimacin
127 3 121,44 5,56 30,95
163 6 160,61 2,39 5,73

2
995 23
97 , 143

2
= =
1089 33 143,97
=

2
i
e
995 , 23
6
= =
5. Intervalos de confianza y contrastes de hiptesis
Base para la inferencia Base para la inferencia
$
( )

0 0
01

N
2
0 0 0 0

t

( )
( , )

2
2
1
01
+

n
x
x x
N
i
2
2
2
0
) (
1

n
i
t
S
x x
x
n

)
0

S
Error estndar del estimador de la ordenada en el origen de la
recta de regresin
0
2
1 1 1 1

n
t
S

) 1 , 0 (
) ( /

2
1 1
N

2
2
1
) ( /

n
i
S
x x

) ) ( /
2
x x
i

S
Error estndar del estimador de la pendiente de la recta de
regresin
$
=

e
n
i
2
2
1

regresin
1
5. Intervalos de confianza y contrastes de hiptesis
Intervalos de confianza Intervalos de confianza

P t S t S
i
n
i i
n
i i
$ $
,
$
,
$

=

2
2
2
2
1

2 2
Expresin general del intervalo
de confianza
$
t S
1-
/2 /2
,
$

i
n
t S
i

2
2
2 ,
2

n
t

2 ,
2
n
t

5. Intervalos de confianza y contrastes de hiptesis

Prueba t Prueba t
t
S
t
n H
=

$
( )

1
2
0
Estadstico de Prueba
y x
i i i
= + +
0 1
S
$
( )

1
0
Regla de decisin
H
H
0 1
0
0
: =
$
$
,

1
2
2
1
S
t
n
>

$
$
,

1
2
2
1
S
t
n
<

Rechazar H
0
si:
H
1 1
0 :
Regin crtica
con nivel de
..
..
..
..
.
..
...
..
..
..
Regin de
aceptacin de H
0
con nivel de
significacin
.
..
.
...
..
..
.
..
..
.
..
...
..
..
..
...
2 ,
2

n
t

2 ,
2
n
t

.
5 Intervalos de confianza y contrastes de hiptesis 5. Intervalos de confianza y contrastes de hiptesis
Tabla ANOVA Tabla ANOVA
Fuentes de Fuentes de Fuentes de Fuentes de
variacin variacin
Suma de Cuadrados Suma de Cuadrados g.l. g.l. Cuadrado Medio Cuadrado Medio Razn F Razn F
Regresin 1
( )
SCR y y
i
=

$
2
( )
CMR y y
i
=

$
2
CME CMR F / =
Error n-2
Total n-1
SCE e
i
=

2
( )
SCT y y
i
=

2
) 2 /(
2
=

n e CME
i
( )
SCT y y
i
Contraste simultneo de los parmetros de la regresin
( )

( )
( )

+ = =
= =
x x X Y E H
x X Y E H
1 0 1
0 0
:
:

Estadstico de Prueba
= F
CMR
F
Regla de decisin
2 , 1
=
n
F
CME
F
En regresin
simple, las
F
1,n-2,
Se rechaza H
0
si
, 2 , 1
>
n
F F
pruebas t y F
son anlogas
Ejemplo. Resultados de la regresin
coeficiente error estndar
Constante 82,268 7,000
2
2

0
S
x
S + =

pendiente 13,056 1,644

2
0
x
S n n

Expresin de la recta de regresin

2

1
x
S n
S

=
) 644 1 ( ) 00 7 (
056 , 13 268 , 82

x y + =
) 644 , 1 ( ) 00 , 7 (
Contrastes sobre la pendiente de la regresin

= 0 :
1 0
H
Estadstico de Prueba
6
1
940 , 7
644 1
056 , 13

t
S
t = = =

0 :
1 1
H
6

,
644 , 1
1
S

Regla de decisin
Rechazar H
0
si: 447 , 2

447 , 2

1
< >


S

S
Intervalo de confianza de la
1 1

Regin de
aceptacin
R.C =5%
Intervalo de confianza de la
pendiente de la regresin
(1-=95%)
de H
0
95%
2,447
-2,447
I.C [ 9,033; 17,080]
Contraste simultneo de los parmetros de la regresin
Modelo Modelo
Suma de Suma de
Cuadrados Cuadrados
g.l. g.l.
Cuadrado Cuadrado
Medio Medio
Razn F Razn F
Regresin 1512 903 1 1512 903 63 05 Regresin 1512,903 1 1512,903 63,05
Error 143,972 6 23,995
Total 1656 875 7 Total 1656,875 7
( ) ( )
( )

+ = =
= =
x x X Y E H
x X Y E H
1 0 1
0 0
:
:

Se rechaza H
0
si F > 5 99
Regla de decisin
Se rechaza H
0
si F > 5,99
99 , 5
05 , 0 , 6 , 1
= F
Resultados del SPSS
Resumen del modelo
b
,956
a
,913 ,899 4,89850
Modelo
1
R R cuadrado
R cuadrado
corregida
Error tp. de la
estimacin
Variables predictoras: (Constante), n anuncios semanales
a.
en televisin
Variable dependiente: ventas semanales (miles de dolares)
b.
ANOVA
b
1512,903 1 1512,903 63,050 ,000
a
143,972 6 23,995
1656,875 7
Regresin
Residual
Total
Modelo
1
Suma de
cuadrados gl
Media
cuadrtica F Sig.
Variables predictoras: (Constante), n anuncios semanales en televisin
a.
Variable dependiente: ventas semanales (miles de dolares)
b.
Coeficientes
a
(C t t )
Modelo
1
B Error tp.
Coeficientes no
estandarizados
Beta
Coeficientes
estandarizad
os
t Sig. Lmite inferior
Lmite
superior
Intervalo de confianza para
B al 95%
82,268 7,000 11,752 ,000 65,138 99,397
13,056 1,644 ,956 7,940 ,000 9,033 17,080
(Constante)
n anuncios semanales
en televisin
1
Variable dependiente: ventas semanales (miles de dolares)
a.
6. Prediccin
Objetivo: obtener predicciones de la variable dependiente Objetivo: obtener predicciones de la variable dependiente
correspondiente a un valor dado de la variable independiente
Prediccin individual Prediccin individual
y x
p p p
= + +
0 1
Prediccin media Prediccin media E Y X x x
p p
( / ) = = +
0 1
Estimacin puntual
E l ti d d E(Y/ )
Est mac n puntua
Es el estimador de E(Y/ x
p
)
Es el mejor estimador lineal
insesgado (Teorema Gauss-Markov)
$
$ $
y x
p p
= +
0 1
insesgado (Teorema Gauss-Markov)
6. Prediccin
P di i di P di i di Prediccin media Prediccin media
$ $
( / ) (
$
) (
$
) e y E Y x x
p p p p
= = +
0 0 1 1
Error de
prediccin prediccin
Estimadores insegados g
E e
p
(
$
) = 0
$
( / ) y E Y x
t
p p
n

2
Varianza del error de prediccin es
Var e
n
x x
p
p
(
$
)
( )
( )
= +

2
2
2
1
$
( )
( )
n
x x
t
p
n
+

1
2
2
2
Bajo el supuesto de normalidad
n
x x
i
( )

$ $
( / ) e y E Y x
p p p

( )
n
x x
i

2
(
$
)
( )
(
$
)
( , )
Var e
y
Var e
N
p
p
p p
p
= 01
6. Prediccin
I t l d fi l di i d l Intervalo de confianza para la prediccin de la esperanza
condicional E(Y/ x E(Y/ x
pp
))
$
$
( ) x x
p

2
1
$
$
( )
( )
,
y t
n
x x
p
n
p
i
+

2
2
2
1
x y
i i

1 0
+ =
Banda de confianza
para E(Y/x) para E(Y/x)
x
6. Prediccin
P di i i di id l P di i i di id l Prediccin individual Prediccin individual
Error de
prediccin
$ $
(
$
) (
$
) e y y x
p p x p p
p
= = +
0 0 1 1
prediccin
p
Estimadores insegados g
E e
p
(
$
) = 0
$
y y
p x
p

Varianza del error de prediccin es

Var e
n
x x
x x
p
p
(
$
)
( )
( )
= + +

2
2
2
1
1
$
( )
( )
x x
t
p
n
p
+ +

1
1
2
2
2
Bajo el supuesto de normalidad
n
x x
i
( )

$
$
( )
e
y y
N
p
p x
p

01
( )
n
x x
i

2
(
$
) (
$
)
( , )
Var e Var e
N
p
p
p
p
p

= 01
6. Prediccin
I t l d fi l di i i di id l di i i di id l Intervalo de confianza para la prediccin individual prediccin individual
)
)
x x
p

2
1
1
( )
)
)
y t
n
x x
p
n
p
i
+ +

2
2
2
1
,
( )
x y
i i

1 0
+ =
Banda de
confianza
Banda de
confianza
para y
para E(Y/x)
para y
x
x
Validacin del modelo de regresin
Estudio sobre los residuos
Normalidad:
d l d b l
Estudio sobre los residuos
- Test de ajuste a la distribucin normal
- Histograma, asimetra y curtosis de los residuos
Homocedasticidad
- Representacin grfica de los residuos al p g
cuadrado (o en valor absoluto) frente a los valores
de la variable dependiente y de las variables
explicativas
Independencia
R t i fi d l id
explicativas
- Representacin grfica de los residuos
D t i d l Deteccin de la
heterocedasticidad
Independencia de los residuos

i
2
+e
X
i
-e
tiempo
A l i i i

i
2

i
2
Autocorrelacin positiva
+e
X
i
X
i
e
tiempo
-e
Autocorrelacin negativa