Arbeleche2005

Pronsticos de Negocios
PNSem15I.ppt
1
Pronsticos de Negocios

Enero - Mayo 2005

Lunes y Mircoles 17:30-19:00 hrs
Dr. Santiago Arbeleche Grela

Semana 15-I Anlisis de Regresin Mltiple
Consecuencia de Violacin de
Supuestos
Multicolinealidad
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
2
Supuestos del MCRL
Sup. 1 El modelo de regresin es lineal en parmetros.
Sup. 2 Los valores de los regresores X, son fijos en muestreo repetido.
Sup. 3 Para unas Xs dadas, el valor medio de los residuales u
i
es cero.
Sup. 4 Para unas Xs dadas, la varianza de u
i
es homoscedstica.
Sup. 5 Para unas Xs dadas, no hay autocorrelacin de los residuales.
Sup. 6 Si las Xs son estocsticas, el residual u
i
y las Xs son
independientes o por lo menos no estan correlacionadas.
Sup. 7 Nmero de observaciones mayores a que el nmero de
regresores.
Sup. 8 Debe de existir suficiente variabilidad en los valores tomados por
los regresores.
Sup. 9 El modelo de regresin esta correctamente especificado.
Sup. 10 No existe una relacin lineal exacta entre los regresores (i.e.
Multicolinealidad).
Sup. 11 El trmino residual estocstico, u
i
, se distribuye normalmente.


Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
3
Supuesto 2 y 6
Sup. 2 Los valores de los regresores X, son fijos en muestreo
repetido.
Sup. 6 Si las Xs son estocsticas, el residual y las Xs son
independientes o por lo menos no estan correlacionadas.
Los regresores son no estocsticos y se asume que toman valores
fijos en muestreo repetido.

Pero se puede continuar operando con Xs estocsticas e
independientes:
Al relajar el supuesto de que las Xs son no estocsticas y
reemplazarlo por el supuesto de Xs estocsticas pero
independientes de u
i
, no cambia las propiedades y feasibilidad de
la estimacin por mnimos cuadrados.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
4
Supuesto 3
w X X X u E
ki i i i
= ) ,..., , (
2 1
Sup. 3 Para unas Xs dadas, el valor medio de los residuales u
i
es cero.
i ki k i i i
u X X X Y + + + + + = | | | |
2 2 1 1 0
Vamos a asumir: Donde w es una
constante
En el modelo estndar, w es igual a cero.

ki k i i
ki k i i
ki k i i ki i i i
X X X
X X X w
w X X X X X X Y E
| | | o
| | | |
| | | |
+ + + + =
+ + + + + =
+ + + + + =

2 2 1 1
2 2 1 1 0
2 2 1 1 0 2 1
) (
) ,..., , (
No podemos estimar el intercepto original, lo que se obtiene es alpha, la
cual incluye beta 0 y E(u
i
)=w. En resumen obtenemos un intercepto
sesgado. Los coeficientes de pendiente son ms importantes, y no se ven
afectados al violar el sup. 3.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
5
Supuesto 11
Sup. 11 El trmino residual estocstico, u
i
, se distribuye normalmente.
Este supuesto no es esencial si el objetivo es estimacin
unicamente.

Los estimadores OLS son BLUE independientemente de que las
u
i
s se distribuyan normalmente o no. Sin embargo con este
supuesto, se asegura que:

I. Los estimadores de los coeficientes de regresin se distribuyen
normalmente.
II. Que se distribuye como .
III. Que uno puede utilizar la prueba t o F para realizar pruebas de
hiptesis.
2 2
/

) ( o o k n
2
_
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
6
Supuesto 11
Sup. 11 El trmino residual estocstico, u
i
, se distribuye normalmente.
Si las u
i
s no se distribuyen normalmente, entonces hacemos uso del
TCL.

Si los residuales son independientes y se distribuyen normalmente,
con media cero y varianza constante, y si las variables explicativas
son constantes en muestreo repetido, los estimadores de MCO se
distribuyen asintticamente como una Normal, con los valores
medios iguales a las betas correspondientes.

Los procedimientos de pruebas de hiptesis (prueba t y prueba F),
Siguen siendo vlidos asintticamente, es decir en muestras grandes,
no en pequeas.

Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
7
Definicin Multicolinealidad
Sup. 10 No existe una relacin lineal exacta entre los regresores (i.e.
Multicolinealidad).
Una relacin lineal exacta se dice que sucede cuando la siguiente
condicin queda satisfecha:
0
2 2 1 1
= + + +
k k
X X X
Las lambdas son constantes de tal manera que no todas son cero
simultaneamente. (i) se refiere a multicolinealidad perfecta.

Multicolinealidad no perfecta cumple con las siguientes condiciones:
0
2 2 1 1
= + + + +
i k k
X X X u
=
i
u
error estocstico
(i)
(ii)
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
8
Definicin Multicolinealidad
Sup. 10 No existe una relacin lineal exacta entre los regresores (i.e.
Multicolinealidad).
X
1
X
2
X
3
10 50 52
15 75 75
18 90 97
24 120 129
30 150 152
X
2
= 5X
1
X
3
= X
2
+
2
0
7
9
2

Multicolinealidad
perfecta
Multicolinealidad
no perfecta
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
9
Definicin Multicolinealidad
Sup. 10 No existe una relacin lineal exacta entre los regresores (i.e.
Multicolinealidad).
0
2 2 1 1
= + + +
k k
X X X
0
2 2 1 1
= + + + +
i k k
X X X u
(i)
(ii)
Si existe multicolinealidad perfecta como en el caso de (i), los
coeficientes de regresin de las variables X se indeterminan y sus
errores estandar son infinitos.

Si existe multicolinealidad no perfecta como en (ii), los coeficientes de
regresin, aun determinados, poseen grandes errores estndar (en
relacin con los coeficientes), lo cual quiere decir que estos no pueden
ser estimados con gran precisin o exactitud.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
10
Fuentes de Multicolinealidad
I. La recoleccin de datos empleados. Realizar muestreos sobre un rango
limitado de valores que toman los regresores en la poblacin. Muestreo no
representativo.
II. Restricciones en el modelo o en la poblacin de donde se muestrea.
Con un modelo de consumo electrico con regresores como X
1
ingreso y X
2

tamao de casa, existe una restriccin fisica en la poblacin de tal forma
que las familias con alto ingreso generalmente van a tener hogares de
mayor tamao que las familias con bajo ingreso
III. Especificacin del modelo. Aadir trminos polinomiales a un modelo de
regresin, cuando el rango de la variable X es muy pequeo.
IV. Un modelo sobre-especificado. Sucede cuando el modelo tiene mas
variables explicativas que nmero de observaciones. Ejemplo:
investigacin mdica, pocos pacientes y muchas variables medidas.
V. Tendencias comunes. Sucede cuando por ejemplo, ingreso, riqueza y
poblacin, crecen todas a lo largo del tiempo, mas o menos a las misma
tasa.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
11
Consecuencias de Multicolinealidad

1. An siendo BLUE, los etimadores OLS tienen grandes varianzas
y covarianzas, haciendo la estimacin precisa muy difcil.
2. Debido a la consecuencia 1, los intervalos de confianza tienden a
ser muy grandes, y esto provoca el no rechazo (aceptacin) de
la hiptesis nula (de que el valor poblacional es cero) ms
fcilmente.
3. Tambien por la consecuencia 1, las ts de uno o ms coeficientes
tienden a ser estadsticamente insignificantes.
4. An cuando las ts calculadas de uno o ms coeficientes sean
estadsticamente insignificantes, la R
2
, la medida general de
bondad de ajuste, puede ser muy alta.
5. Los estimadores OLS y sus errores estndar pueden ser muy
sensitivos a pequeos cambios en los datos.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
12
Consecuencias de Multicolinealidad

Uno de los signos ms evidentes de multicolinealidad es que
existan valores t insignificantes al mismo tiempo de que existe un
R
2
muy alta (y un valor F significante estadsticamente!).
4 . 92 7 9635 . 0
) 53 . 0 ( ) 14 . 1 ( ) 66 . 3 (
0424 . 0 9415 . 0 77 . 24

2
2 1
= = = =

+ =
MSSe
MSSr
F gl R
t
X X Y
i i i
Gasto = Y
Ingreso = X
1
Riqueza = X
2
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
13
Consecuencias de Multicolinealidad

9979 . 0 ) 04 . 62 ( ) 25 . 0 (
19 . 10 54 . 7

2
1 2
=
+ =
R t
X X
i i
Gasto = Y
Ingreso = X
1
Riqueza = X
2
9621 . 0 ) 24 . 14 ( ) 81 . 3 (
5091 . 0 45 . 24

2
1
=
+ =
R t
X Y
i i
9567 . 0 ) 29 . 13 ( ) 55 . 3 (
0498 . 0 41 . 24

2
2
=
+ =
R t
X Y
i i
Al eliminar la variable colineal, la otra variable X se vuelve
estadsticamente significante
Regresiones
Auxiliares
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
14
Deteccin de Multicolinealidad

1. Alta R
2
pero pocas ts significantes.
2. Correlaciones pares altas entre los regresores.
3. Regresiones auxiliares. Correr regresiones de las X
i
s con las
dems Xs y comparar los coeficientes de determinacin, R
2
.
La regla de Klien dice que existe multicolinealidad si la R
2

obtenida de una regresin auxiliar es mayor que la R
2
calculada
para la regresin original con todos los regresores.
4. Examinacin de correlaciones parciales.
5. Eigenvalues e indce de condicin, conditional index.
IC = Raz{Max EigenValue/Min EigenValue}.
Eigenvector: A vector which, when acted on by a particular
linear transformation produces a scalar multiple of the
original vector. The scalar in question is called the
eigenvalue corresponding to this eigenvector.

Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
15
Medidas Remediales de Multicolinealidad

1. No hacer nada. La multicolinealidad es un problema
esencialmente de deficiencia de los datos, y a veces no tenemos
mayor opcin en los datos que tenemos disponibles para realizar
anlisis emprico.

2. Procedimientos:
i) Informacin a priori
1 2
2 2 1 1 0
10 . 0 | |
| | |
=
+ + + =
i i i i
u X X Y
Gasto = Y
Ingreso = X
1
Riqueza = X
2
i i i i i
i i i i
X X X donde u X
u X X Y
2 1 1 0
2 1 1 1 0
1 . 0
10 . 0
+ = + + =
+ + + =
| |
| | |
Una vez obtenida beta 1, podemos obtener beta 2 de la relacin
establecida.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
16
Medidas Remediales de Multicolinealidad

2. Procedimientos:
ii) Eliminar la variable colineal. Puede haber el problema de sesgo
de especificacin, el cual surge de una especificacin incorrecta
del modelo utilizado en el anlisis.
Recordar que los estimadores OLS son BLUE an con colinealidad
no perfecta.
iii) Transformacin de variables. Primeras diferencias y
transformaciones de ratio o tasa.
1
1 2 2 2 1 1 1 1 1
1 1 2 2 1 1 1 0 1
2 2 1 1 0
donde
) ( ) (

=
+ + =
+ + + =
+ + + =
t t t
t t t t t t t
t t t t
t t t t
u u
X X X X Y Y
u X X Y
u X X Y
u
u | |
| | |
| | |
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
17
Medidas Remediales de Multicolinealidad

2. Procedimientos:
iii) Transformacin de variables. Primeras diferencias y
transformaciones de ratio o tasa.
|
|
.
|

\
|
+ +
|
|
.
|

\
|
+
|
|
.
|

\
|
=
+ + + =
t
t
t
t
t t
t
t t t t
X
u
X
X
X X
Y
u X X Y
2
2
2
1
1
2
0
2
2 2 1 1 0
1
| | |
| | |
iv) Datos nuevos o adicionales. A veces simplemente con
incrementar el tamao de la muestra se reduce el problema.
v) Reducir colinealidad en regresiones polinomiales. Las variables
independientes aparecen elevadas a diferentes potencias.
vi) Anlisis de factores y componentes principales.
vii) Combinar datos croseccionales con datos de series de tiempo.
Arbeleche2005
Pronsticos de Negocios
PNSem15I.ppt
18
Medidas Remediales de Multicolinealidad

Si el objetivo de el anlisis de regresin es prediccin o pronstico,
la multicolinealidad no es un problema serio pues mientras ms
alta la R
2
es mejor la prediccin.

Sin embargo, si el objetivo no solo es la prediccin sino la
estimacin confiable de los parmetros, una multicolinealidad alta
va a ser un problema pues va a originar errores estndar de los
estimadores muy altos.

Regresin Stepwise; con esta regresin se van aadiendo variables
Xs (forward) o se van eliminando (backward), tomando en cuenta
la aportacin de la variable en cuestin a la ESS (explained sum of
squares) o suma de cuadrados explicada (SCE).