Академический Документы
Профессиональный Документы
Культура Документы
Curso 2009/10
Contenidos
I
La especificaci
on de un modelo de regresi
on lineal simple
I
I
I
I
Objetivos de aprendizaje
I
Referencias en la bibliografa
I
Captulo
Pe
na, D. Regresi
on y analisis de experimentos(2005)
I
Captulo 5
Introduccion
Un modelo de regresi
on es un modelo que permite describir como influye
una variable X sobre otra variable Y .
Introduccion
Ejemplos
I
Estudiar c
omo influye la estatura del padre sobre la estatura del hijo.
Aproximar la calificaci
on obtenida en una materia seg
un el n
umero
de horas de estudio semanal.
Introduccion
Tipos de relacion
Determinista: Conocido el valor de X , el valor de Y queda
perfectamente establecido. Son del tipo:
y = f (x)
Ejemplo: La relaci
on existente entre la temperatura en grados
centgrados (X ) y grados Fahrenheit (Y ) es:
y = 1,8x + 32
Plot of Grados Fahrenheit vs Grados centgrados
112
Grados Fahrenheit
92
72
52
32
0
10
20
Grados centgrados
30
40
Introduccion
Tipos de relacion
No determinista: Conocido el valor de X , el valor de Y no queda
perfectamente establecido. Son del tipo:
y = f (x) + u
donde u es una perturbaci
on desconocida (variable aleatoria).
Ejemplo: Se tiene una muestra del volumen de produccion (X ) y el
costo total (Y ) asociado a un producto en un grupo de empresas.
Plot of Costos vs Volumen
80
60
Costos
40
20
0
26
31
36
41
Volumen
Existe relaci
on pero no es exacta.
46
51
56
Introduccion
Tipos de relacion
Lineal: Cuando la funci
on f (x) es lineal,
f (x) = 0 + 1 x
I
I
10
10
-2
-2
-6
-6
-2
-1
-2
-1
Introduccion
Tipos de relacion
No lineal: Cuando la funci
on f (x) no es lineal. Por ejemplo,
f (x) = log (x), f (x) = x 2 + 3, . . .
Relacin no lineal
2
1
0
-1
-2
-3
-4
-2
-1
Introduccion
Tipos de relacion
Ausencia de relaci
on: Cuando f (x) = 0.
Ausencia de relacin
2,5
1,5
0,5
-0,5
-1,5
-2,5
-2
-1
cov (x, y ) =
(xi x) (yi y )
i=1
n1
Si hay relaci
on lineal positiva, la covarianza sera positiva y grande.
Si hay relaci
on lineal negativa, la covarianza sera negativa y grande
en valor absoluto.
n
X
sx2 =
(xi x)
i=1
n1
cov (x, y )
sx sy
n
X
sy2 =
(yi y )
i=1
n1
-1 cor (x, y ) 1
0 : intercepto
1 : pendiente
Costos
60
40
20
0
26
31
36
41
46
51
56
Volumen
Se estima que una empresa que produce 25 mil unidades tendra un costo:
costo = 15,65 + 1,29 25 = 16,6 mil euros
Recta de
regresin
estimada
Linealidad: La relaci
on existente entre X e Y es lineal,
f (x) = 0 + 1 x
Costos
60
40
20
0
26
31
36
41
46
51
56
Volumen
24
14
-6
-5
-3
-1
Costos
60
40
20
0
26
31
36
41
46
51
56
Volumen
Nm. Obs
(i)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
no lineal
observaci
on- Relacin
no debe
dar
Una
informaci
on sobre las demas.
Relacin
Habitualmente, - se
sabelineal
por el tipo de datos si son adecuados o no
para el analisis. Regresin lineal simple
19
20
21
22
En general,
las series temporales no cumplen la hip
otesis de
2
Regresin Lineal
independencia.
23
24
25
26
27
28
29
30
Regresin
Normalidad
I
Se asume que
los datos son normales a priori.
Modelo
yi
E 0 E 1 xi u i ,
u i o N (0, V 2 )
yi
In
E 0 E1 x
xi
Regresin Lineal
yi = 0 + 1 xi
El metodo consiste en minimizar la suma de los cuadrados de las
distancias verticales entre los datos y las estimaciones, es decir, minimizar
la suma deResiduos
los residuos al cuadrado,
n
X
ei2 =
yi
n
X
n
2
X
2
(yi yi ) E=
x
0 E1 xyi i 0 +
ei 1 i
N i=1
N
i=1
i=1
Valor Observado Valor Previsto Residuo
ei
yi
yi
xi
E0 E1xi
E 0 E 1 xi u i ,
u i o N (0, V
i nimos
Estimadores de ym
cuadrados
yi : Variable dependiente
El resultado que se obtiene
es:
xi : Variable independiente
n
ui : Parte aleatoria X
(xi V x) (yi y )
cov (x, y )
i=1
=
1 =
n 0
X
sx2
2
Regresin Lineal
(xi x) 6
yi
Regresin Lineal
i=1
0 = y 1 x
Recta de regresin
y
Residuos
y
Ni
Valor Observ
E 0 E1 x
yi
Pendiente
E1
E 0
y E1 x
x
Regresin Lineal
Regresin Lineal
30
25
28
30
32
27
25
40
25
42
25
40
22
50
24
45
35
30
Resultados
10
X
xi yi n
x y
1 =
i=1
10
X
xi2 n
x2
i=1
40
25
30
25
28
30
32
27
25
40
25
42
25
40
22
50
24
45
35
30
Resultados
10
X
xi yi n
x y
1 =
i=1
10
X
xi2 n
x2
i=1
40
25
Precio en ptas.
50
45
40
35
30
25
22
25
28
31
34
37
40
Produccion en kg.
Analysis of Variance
----------------------------------------------------------------------------Source
Sum of Squares
Df Mean Square
F-Ratio
P-Value
----------------------------------------------------------------------------Model
528,475
1
528,475
20,33
0,0020
Residual
207,925
8
25,9906
----------------------------------------------------------------------------Total (Corr.)
736,4
9
Correlation Coefficient = -0,84714
R-squared = 71,7647 percent
Standard Error of Est. = 5,0981
Estimacion de la varianza
Para estimar la varianza de los errores, 2 , podemos utilizar,
n
X
2 =
ei2
i=1
sR2 =
i=1
n2
Estimacion de la varianza
Ejercicio 4.2
Calcula la varianza residual en el ejercicio 4.1.
Resultados
Calculamos primero los residuos, ei , usando la recta de regresi
on,
yi = 74,116 1,3537xi
xi
yi
yi
ei
30
25
33.5
-8.50
28
30
36.21
-6.21
32
27
30.79
-3.79
25
40
40.27
-0.27
25
42
40.27
1.72
25
40
40.27
-0.27
22
50
44.33
5.66
sR2 =
i=1
n2
207,92
= 25,99
8
24
45
41.62
3.37
35
30
26.73
3.26
40
25
19.96
5.03
Estimacion de la varianza
Ejercicio 4.2
Calcula la varianza residual en el ejercicio 4.1.
Resultados
Calculamos primero los residuos, ei , usando la recta de regresi
on,
yi = 74,116 1,3537xi
xi
yi
yi
ei
30
25
33.5
-8.50
28
30
36.21
-6.21
32
27
30.79
-3.79
25
40
40.27
-0.27
25
42
40.27
1.72
25
40
40.27
-0.27
22
50
44.33
5.66
sR2 =
i=1
n2
207,92
= 25,99
8
24
45
41.62
3.37
35
30
26.73
3.26
40
25
19.96
5.03
Estimacion de la varianza
Analysis of Variance
----------------------------------------------------------------------------Source
Sum of Squares
Df Mean Square
F-Ratio
P-Value
----------------------------------------------------------------------------Model
528,475
1
528,475
20,33
0,0020
Residual
207,925
8
25,9906
----------------------------------------------------------------------------Total (Corr.)
736,4
9
Correlation Coefficient = -0,84714
R-squared = 71,7647 percent
Standard Error of Est. = 5,0981
s R2
Hasta ahora s
olo hemos obtenido estimaciones puntuales de los
coeficientes de regresi
on.
n
n
X
X
(xi x)
w i yi
yi =
(n 1)sX2
i=1
i=1
donde yi = 0 + 1 xi + ui , que cumple que yi N 0 + 1 xi , 2 .
Ademas, 1 es un estimador insesgado de 1 ,
n
h i X
(xi x)
E 1 =
E [yi ] = 1
(n 1)sX2
i=1
y su varianza es,
2
n
h i X
(xi x)
2
Var [yi ] =
Var 1 =
2
(n 1)sX
(n 1)sX2
i=1
Por tanto,
1 N 1 ,
2
(n 1)sX2
sR2
(n 1)sX2
tn2
Aumenta el tama
no de la muestra.
Resultados
1. tn2,/2 = t8,0,025 = 2,306
2,306
1,3537 1
q
2,306
25,99
932,04
2,046 1 0,661
2. Como el intervalo no contiene al cero, rechazamos que 1 = 0 al nivel 0.05.
De hecho:
1
1,3537
p
q
=
= 4,509 > 2,306
sR2 / (n 1) sX2
25,99
932,04
Resultados
1. tn2,/2 = t8,0,025 = 2,306
2,306
1,3537 1
q
2,306
25,99
932,04
2,046 1 0,661
2. Como el intervalo no contiene al cero, rechazamos que 1 = 0 al nivel 0.05.
De hecho:
1
1,3537
p
q
=
= 4,509 > 2,306
sR2 / (n 1) sX2
25,99
932,04
1
s /( n 1) s X2
2
R
Analysis of Variance
----------------------------------------------------------------------------Source
Sum of Squares
Df Mean Square
F-Ratio
P-Value
----------------------------------------------------------------------------Model
528,475
1
528,475
20,33
0,0020
Residual
207,925
8
25,9906
----------------------------------------------------------------------------Total (Corr.)
736,4
9
Correlation Coefficient = -0,84714
R-squared = 71,7647 percent
Standard Error of Est. = 5,0981
xwi yi
0 =
n
i=1
x) /nsX2
2
donde wi = (xi
y i N 0 + 1 x i ,
n
h i X
1
E 0 =
xwi E [yi ] = 0
n
i=1
y su varianza es,
2
n
h i X
x2
1
1
2
y por tanto,
1
x2
2
0 N 0 ,
+
n (n 1)sX2
x2
1
+
n (n 1)sX2
tn2
0 tn2,/2 s 2 1 + x 2
R
Aumenta el tama
no de la muestra.
(n1)sX
r
> tn2,/2
s 2 1 + x2
R n
(n1)s 2
X
r
p-valor = 2 Pr
t
>
n2
s 2 1 + x2
2
R n
(n1)s
X
Resultados
1. tn2,/2 = t8,0,025 = 2,306
74,1151 0
2,306 r
2,306 53,969 0 94,261
28,62
1
25,99 10
+ 932,04
2. Como el intervalo no contiene al cero, rechazamos que 0 = 0 al nivel 0.05.
De hecho:
0
74,1151
r
= r
= 8,484 > 2,306
25,99 1 + 28,62
s 2 1 + x2
R
n
10
932,04
(n1)s 2
X
Resultados
1. tn2,/2 = t8,0,025 = 2,306
74,1151 0
2,306 r
2,306 53,969 0 94,261
28,62
1
25,99 10
+ 932,04
2. Como el intervalo no contiene al cero, rechazamos que 0 = 0 al nivel 0.05.
De hecho:
0
74,1151
r
= r
= 8,484 > 2,306
25,99 1 + 28,62
s 2 1 + x2
R
n
10
932,04
(n1)s 2
X
2
R
0
2
1
x
s R2 +
n (n 1) s X2
Analysis of Variance
----------------------------------------------------------------------------Source
Sum of Squares
Df Mean Square
F-Ratio
P-Value
----------------------------------------------------------------------------Model
528,475
1
528,475
20,33
0,0020
Residual
207,925
8
25,9906
----------------------------------------------------------------------------Total (Corr.)
736,4
9
Correlation Coefficient = -0,84714
R-squared = 71,7647 percent
Standard Error of Est. = 5,0981
)
0
y0 tn2,/2 tsR2
+
n (n 1) sX2
Precio en ptas.
50
45
40
35
30
25
22
25
28
31
Produccion en kg.
34
37
40