Unidad 4

Regresin lineal Mltiple

Modelo de Regresin Lineal Mltiple

El Modelo de regresin Lineal puede

extenderse a mas de una variable
explicativa:
yi Y / X i 0 1 X 1i 2 X 2i ... k X ki i
0

Difcilmente puede ser manejado a

mano, se requiere utilizar matrices
EL MODELO DE REGRESIN EN
FORMA MATRICIAL
y1 0 1 x11 2 x21 k x1k
y2 0 1 x12 2 x22 k x2 k
EQ1

yn 0 1 x1n 2 x2 n k x pn

y1 1 x11 xk 1 x1
T
1 0
y 1 x x T
x2
y 2 X 12 k2
2 y 1


yn 1 x1n xkn
T
x
n n
p

y X Es equivalent e a EQ1
Estimador de mnimos cuadrados
ordinarios (MCO)

e y y
n
SCE ( y y ) ( y y ) ( yi y i )
T 2

i 1

SCE ( y X ) ( y X )
T

SCE y y y X X y X X
T
T
T T
T T
Estimador de mnimos cuadrados
ordinarios (MCO)
SCE y y 2 y X X X
T T
T T

SCE
y y 2 X y X X
T
T T
T T

SCE y y 2 X y X X
T
T T
T T


SCE
2 X y 2 X X
T T

Estimador de mnimos cuadrados
ordinarios (MCO)
SCE
2 X y 2 X X
T T

Igualando a 0
2 X y 2 X X 0
T T

X X X y
T
T
Estimador de mnimos cuadrados
ordinarios (MCO)

X X X y
T
T

Son Conocidas como las ecuaciones

normales
Despejando el vector de Parmetros:

X X
T
1 T
X y
PROPIEDADES DEL ESTIMADOR DE
MINIMOS CUADRADOS:

X X T
1
X y T

E X XT
1
X X
T

Var ( ) X X
1
T 2
Ejemplo: El propietario de La cadena de
cines CINE PLANET desea estimar el ingreso
semanal neto en funcin de los gastos de
publicidad. Los datos histricos de una
muestra de 8 semanas son los siguientes:

Ingresos Brutos Anuncios en

Anuncios en TV
semanales (en peridicos
(en miles de dlares)
miles de dlares) (en miles de dlares)

96 5.0 1.5
90 2.0 2.0
95 4.0 1.5
92 2.5 2.5
95 3.0 3.3
94 3.5 2.3
94 2.5 4.2
94 3.0 2.5
Regresin mltiple en InfoStat
Regresin mltiple en InfoStat

MODELO
ESTIMADO:
y 81.94 2.77 A_TV 1.29A_periodic
 Anlisis de Residuales
Verificacin de supuestos
Relacin Funcional
Normalidad
Homogeneidad de varianzas
Independencia
Seleccin de Variables
PROBLEMA FUNDAMENTAL
DE LA REGRESION:

LA CONTRIBUCION DE UNA VARIABLE X

PARA EXPLICAR LA VARIABLIDAD DE LA
VARIABLE Y, DEPENDE DE LAS VARIABLES
QUE HAYAN SIDO INCLUIDAS EN EL
MODELO.
La importancia de una variable depende
de que otras variables estn en el modelo
PROBLEMA FUNDAMENTAL
DE LA REGRESION:

LA CONTRIBUCION DE UNA VARIABLE X

PARA EXPLICAR LA VARIABLIDAD DE LA
VARIABLE Y, DEPENDE DE LAS VARIABLES
QUE HAYAN SIDO INCLUIDAS EN EL MODELO.
PROBLEMA:
ENCONTRAR UN MODELO DE REGRESION QUE
CONTENGA EL MEJOR SUBCONJUNTO DE
VARIABLES DE REGRESION.
 CRITERIOS PARA
COMPARAR MODELOS:
1) R Cuadrado

SCM p SCEp
R
2
p 1
SCT SCT
El R cuadrado mientras mas
grande mejor
 CRITERIOS PARA
COMPARAR MODELOS:
2) R Cuadrado ajustado
n 1 2
R 1
2
ap Rp
np
El R cuadrado ajustado
mientras mas grande mejor
 CRITERIOS PARA
COMPARAR MODELOS:
3) CP de Mallows
SCEp
Cp n 2p

El cp mejor ser aquel que este

mas cerca de p (el numero de
variables)
E(Cp/ SESGO CERO) = p
Criterio de informacin de
Akaike AIC
AIC= -2*mximo de la log likelihhod +2p

AIC=nlog[SSEp/n]+2p

Un buen modelo es aquel con bajo AIC.

BIC

Schwarz (1978), y est basado en argumentos bayesianos.

Se define por:
BIC=nlog[SSEp/n]+2plog(n)

Observacin
Los criterios AIC y Cp de Mallows tienden a dar modelos
ptimos ms grandes que el criterio BIC.
METODOS DE SELECCIN
DE VARIABLES

1) Forward

2) Backward

3) Stepwise

4) Mximo R
 PROCEDIMIENTO FORWARD

Este procedimiento empieza sin ninguna variable y

paso a paso va incrementando las variables que
son significativas.

PASO 0. No hay variables en el modelo.

PASO 1. Se corren los modelos con cada una

de las variables en forma individual y se
selecciona la variable que contribuye mas a
explicar el modelo (la variable con mayor R 2)
PASO 2. Se realiza prueba de hiptesis
sobre la variable seleccionada (su
contribucin dado que ya estn las dems)

*Si es significativa la variable es incluida

en el modelo y se sigue al paso 3.

*Si no es significativa se para el proceso

y el modelo seleccionado es aquel que
contenga las variables seleccionadas
sin contemplar la ltima que probamos.
PASO 3. Se selecciona la variable que ms
contribuye al modelo (dentro de las variables
que no han sido incluidas al modelo dado que
ya estan incluidas las variables que ha han
sido seleccionadas).

*Se repite el paso 2.

EJEMPLO: Se piensa que la energa elctrica consumida
al mes por una por una planta qumica (y) est relacionada
con la temperatura ambiente promedio (X1), el numero de
das del mes (X2), la pureza del producto (X3) y las
toneladas de producto producidas (X4)
PROCEDIMIENTO BACKWARD

Este procedimiento empieza con todas las

variable y paso a paso va eliminando las
variables que son significativas.

PASO 0. Todas las variables son

incluidas en el modelo.

PASO 1. Se selecciona la variable que

menos contribuye a explicar la variable
respuesta
PASO 2. Se realiza prueba de hiptesis sobre la
variable seleccionada (su contribucin
dadas las variables que no han sido
eliminadas del modelo)

Si es significativa el proceso para y el

modelo seleccionado es aquel que contiene
todas las variables que no han sido
eliminadas incluyendo la ltima que se
probo.

Si no es significativo se elimina la variable,

se sigue al paso # 3.
PASO 3. Si an hay variables en el modelo se
selecciona el que ya contribuye menos a explicar la
variable respuesta (dentro de las que an
permanece en el modelo)
Ejemplo:
Los siguientes datos corresponden a un estudio donde se estudiaba la relacin
entre tiempo de suministro de refrescos, con el volumen siniestrado, numero de
maquinas que tiene el distribuidor y el numero de ubicaciones diferentes de las
maquinas.
RECOMENDACIN:

Se debe buscar el modelo que

contenga el menor nmero posible de
variables explicativas cumpliendo:

1) Tenga un buen ajuste

2) Sea plausible (se deben incluir
variables relevantes
independientemente de su contribucin
al modelo).
RAZONES PARA SELECCIONAR
MODELOS PEQUEOS

1) Es mas probable que sea numricamente

estable.
A medida que el modelo tiene mas variables
mas grande se vuelve el error standard y el
modelo es mas dependiente de los datos
observados.

2)El modelo es ms fcil de generalizar e

interpretar.