1

Pronsticos, Series
de Tiempo y
Regresin
Captulo 3: Regresin Lineal
Simple
2
Temas
Modelo de Regresin Lineal Simple
Estimaciones puntuales de los mnimos
cuadrados
Estimaciones puntuales y predicciones
puntuales
Suposiciones del modelo y el error estndar
Prueba de la significancia de la pendiente y la
ordenada al origen
Intervalos de confianza y de prediccin
Coeficientes de determinacin y correlacin
simples
Una prueba F para el modelo
3
Modelo de Regresin Lineal
Simple
Supuesto bsico: la relacin entre la
variable dependiente (y) y la variable
independiente (x) es aproximadamente
una linea recta.
4
Modelo de Regresin Lineal
Simple
Consumo de combustible segn temperatura
28.00, 11.70
32.50, 12.40
39.00, 10.80
45.90, 9.40
57.80, 9.50
62.50, 7.50
28.00, 12.40
58.10, 8.00
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00
Temperatura media por hora (Fahrenheit)
C
o
n
s
u
m
o

d
e

c
o
m
b
u
s
t
i
b
l
e

(
t
o
n
e
l
a
d
a
s

p
o
r

s
e
m
a
n
a
)
Diagrama
de
dispersin
5
Modelo de Regresin Lineal
Simple
Consumo de combustible segn temperatura
28.00, 11.70
32.50, 12.40
39.00, 10.80
45.90, 9.40
57.80, 9.50
62.50, 7.50
28.00, 12.40
58.10, 8.00
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00
Temperatura media por hora (Fahrenheit)
C
o
n
s
u
m
o

d
e

c
o
m
b
u
s
t
i
b
l
e

(
t
o
n
e
l
a
d
a
s

p
o
r

s
e
m
a
n
a
)
Diagrama
de
dispersin
observamos:
- tendencia negativa
- puntos dispersados alrededor de la lnea
6
Modelo de Regresin Lineal
Simple
y =
y|x
+ c =
0
+
1
x + c
Donde

y|x
=
0
+
1
x es el valor medio de la variable dependiente
y cuando el valor de la variable independiente es x.

0
= ordenada al origen (valor medio de y cuando x = 0)

1
= pendiente (A valor medio de y cuando | x una unidad)
c es un trmino de error: describe los efectos de todos los
factores no incluidos en el modelo
7
Modelo de Regresin Lineal
Simple
Si
0
= 15.77 y
1
= -0.1281, entonces
cuando la temperatura x = 28, el valor
medio de consumo de combustible
que observamos es

y|x
=
0
+
1
x = 15.77 0.1281(28)
= 12.1832 MMcf de gas natural.
8
Modelo de Regresin Lineal
Simple
Si
0
= 15.77 y
1
= -0.1281, entonces
cuando la temperatura x = 29, el valor
medio de consumo de combustible
que observamos es

y|x
=
0
+
1
x = 15.77 0.1281(29)
= 12.0551 MMcf de gas natural.
La diferencia = 12.0551 - 12.1832 = -0.1281
9
Modelo de Regresin Lineal
Simple

0
y
1
se llaman parmetros de regresin.
Ya que no conocemos los valores reales de

0
y
1
, debemos estimarlos con los datos
de la muestra.
(Nota: la interpretacin de
0
a veces no es
aplicable.)
Importante: observamos que estas
variables se mueven juntas, mas no
podemos deducir una relacin causa-
efecto.
10
Estimaciones puntuales de los
mnimos cuadrados
estimacin puntual de los mnimos cuadrados de la
pendiente
1

( )( )
( )
( )

= =
= =
=
n
x
x x SS
y
n
y x
y x y y x x SS
donde
SS
SS
b
i
i xx
i i
i i i i xy
xx
xy
2
2
1
11
Estimaciones puntuales y
predicciones puntuales
Estimacin puntual del valor medio de la
variable dependiente cuando el valor de la
variable independiente es x
0



se predice c = 0
0 1 0

x b b y + =
12
Estimaciones puntuales y
predicciones puntuales
Se puede demostrar que estas estimaciones
puntuales dan un valor de la suma de los
residuos cuadrticos (SSE) que es menor
que la que se obtiene con cualesquiera otros
valores de b
0
y b
1
. Se les llaman
estimaciones puntuales de los mnimos
cuadrados.
la recta se llama recta de regresin de
mnimos cuadrados
la ecuacin se llama ecuacin de predicccin
de mnimos cuadrados.
13
Suposiciones del modelo y el
error estndar
Suposiciones
1. A cualquier valor dado de x, la media de la
poblacin de los valores potenciales del trmino
error es igual a cero.
2. Suposicin de la varianza constante. A cualquier
valor dado de x, c tiene una varianza que no
depende del valor de x.
3. Suposicin de la normalidad. A cualquier valor
dado de x, c tiene una distribucin normal.
4. Suposicin de la independencia. Cualquier valor
del trmino error c es estadsticamente
independiente de cualquier otro valor de c.
14
Suposiciones del modelo y el
error estndar
En otras palabras,
dado un valor de x, la poblacin de valores
potenciales del trmino de error tiene una
distribucin normal, con valor medio 0 y varianza
2

que no depende de x.
La poblacin de valores potenciales de y|x tiene
distribucin normal con valor medio de
0
+
1
x y
varianza
2
que no depende de x.
Es ms probable que la suposicin de
independencia se viole cuando se utilizan series
temporales en un estudio de regresin.
15
Suposiciones del modelo y el
error estndar
Error cuadrtico medio = estimacin puntual
de
2


error estndar = estimacin puntual de
2
2

=
n
SSE
s
2
=
n
SSE
s
( )

= = = =
(

+ = =
n
i
n
i
n
i
n
i
i i i i i i
y x b y b y y y SSE
1 1 1 1
1 0
2
2

var
y|x
16
Prueba de la significancia de la
pendiente y la ordenada al origen
Hiptesis nula:
1
= 0
nivel de significancia (0.10, 0.05, 0.01)
los valores p se basan en n-2 grados de
libertad
Se rechaza la hiptesis nula si se
cumple la condicin de punto de rechazo
de alguna de las hiptesis alternativas, o
si p <
17
Prueba de la significancia de la
pendiente y la ordenada al origen
Si se cumplen los supuestos de la regresin,
entonces la poblacin de todos los valores
posibles de b
1
es normalmente distribuida con
valor medio
1
y desviacin estndar


cuya estimacin puntual es

xx
b
SS
o
o =
1
xx
b
SS
s
s =
1
18
Prueba de la significancia de la
pendiente y la ordenada al origen
y la poblacin de todos los valores posibles
de la estadstica de prueba t




tiene una distribucin t con n 2 grados de
libertad.

1
1
b
s
b
t =
19
Prueba de la significancia de la
pendiente y la ordenada al origen
Hiptesis
alternativa

Condicin de
punto de
rechazo
Valor p
H
a
:
1
0 2 (rea bajo la curva t a
la derecha de |t|)
H
a
:
1
> 0 rea bajo la curva t a la
derecha de t
H
a
:
1
< 0 rea bajo la curva t a la
izquierda de t
| |
) 2 (
2 /
| |

>
n
t t
o
| |
( ) 2
>
n
t t
o
| |
( ) 2
<
n
t t
o
20
Intervalos de confianza y de
prediccin
Si se cumplen las suposiciones de la
regresin, un intervalo de confianza de
100(1-)% para la pendiente verdadera

1
es
| |
( )
| |
1
2
2 / 1 b
n
s t b

o
21
Intervalos de confianza y de
prediccin
Si se cumplen las suposiciones de la
regresin, un valor de distancia (v.d.)
para un valor particular x
0
de x (para la
regresin lineal simple) es
( )
xx
SS
x x
n
d v
2
0
1
. .

+ =
22
Intervalos de confianza y de
prediccin
Si se cumplen las suposiciones de la
regresin, un intervalo de confianza de
100(1-)% para el valor medio de y
cuando la variable independiente es x
0

es
| |
( )
. .

2
2 /
d v s t y
n

o
23
Intervalos de confianza y de
prediccin
La poblacin de todos los errores
posibles de prediccin est normalmente
distribuida con media cero y desviacin
estndar
1 + valor de distancia
La estimacin puntual es
s1 + valor de distancia
Se llama error estndar del error de
prediccin

24
Intervalos de confianza y de
prediccin
Si se cumplen las suposiciones de la
regresin, un intervalo de prediccin
100(1-)% para un valor individual de y
cuando la variable independiente es x
0

es
| |
( )
. . 1

2
2 /
d v s t y
n
+

o
25
Intervalos de confianza y de
prediccin
Ntese que el intervalo de prediccin es
mayor que el intervalo de confianza:
mayor incertidumbre acerca del trmino
de error.
Entre ms alejado del valor medio es x
i
,
mayores son los intervalos de confianza
y de prediccin.
26
Coeficientes de determinacin
y correlacin simples
En el caso del modelo de regresin lineal simple,
1. Variacin total = (y
i
-y)
2
2. Variacin explicada = (y
i
-y)
2
3. Variacin inexplicada = (y
i
-y
i
)
2

4. Variacin total = Variacin explicada + Variacin
inexplicada
5. El coeficiente de determinacin simple es
r
2
= (variacin explicada)/(variacin total)
6. El r
2
es la proporcin de la variacin total en los n
valores observados de la variable dependiente que
explica el modelo de regresin lineal simple

27
Coeficientes de determinacin
y correlacin simples
Coeficiente de correlacin simple (r)
entre y y x
si b
1
> 0
si b
1
< 0
donde b
1
es la pendiente de la recta
de mnimos cuadrados que relaciona y
con x. Este coeficiente de correlacin
mide la fuerza de la relacin lineal
entre y y x.
2
2
r r
r r
=
+ =
28
Coeficientes de determinacin
y correlacin simples
Tambin se puede calcular mediante
la frmula
yy xx
xy
SS SS
SS
r =
29
Coeficientes de determinacin
y correlacin simples
La correlacin de la poblacin de
todas las combinaciones posibles de
valores observados de x e y se
denomina
Para probar la hiptesis nula H
0
: = 0,
utilizamos la estadstica de prueba
2
1
2
r
n r
t

=
30
Una prueba F para el modelo
estadstica F global

F(modelo) = Variacin inexplicada
(Variacin explicada)/(n-2)

Podemos rechazar H
0
:
1
=0 y aceptar H
a
:
1
0 en el nivel de
significancia si se cumple alguna de:
F(modelo)>F
[]
Valor p <
En el punto F
[]
se basa en 1 grado de libertad para el
numerador y n-2 grados de libertad para el denominador.