Академический Документы
Профессиональный Документы
Культура Документы
"REGRESIN Y CORRELACIN"
353
6.1.1 Introduccin
Regresin es una palabra un tanto rara. La utilizan los bilogos, los mdicos, los psiclogos... y suena como "ir hacia atrs", "volver al pasado", y realmente este es verdadero significado del vocablo. Fue un bilogo y estadstico ingls, SIR FRANCIS GALTON*, quien introdujo en 1889 el trmino regresin en Estadstica. Emple este concepto para indicar la relacin que exista entre la estatura de los nios de una muestra y la estatura de su padre. Observ, que si los padres son altos, los hijos generalmente tambin lo son, y si los padres son bajos los hijos son tambin de menor estatura. Pero ocurra un hecho curioso: cuando el padre es muy alto o muy bajo, aparece una perceptible "regresin" hacia la estatura media de la poblacin, de modo que sus hijos retroceden hacia la media de la que sus padres, por cierto, estn muy alejados. Hoy da, el trmino no se utiliza en ese sentido. En muchas ocasiones, se desea conocer algo acerca de la relacin o dependencia entre dos caractersticas cuantitativas, o msde una, consideradas sobre la misma poblacin objeto de estudio (por ejemplo la talla y el peso). Hay muchos casos en los que ya de antemano se "sospecha" que puede existir algn tipo de relacin, y por consiguiente, se pretende saber por ejemplo, en el caso de que tengamos nicamente dos variables: 1.- Si ambas variables estn realmente relacionadas entre s o si, por el contrario, pueden considerarse independientes. 2.- Si existe dependencia, es necesario conocer el "grado de relacin", as como el "tipo" de relacin entre ambas. 3.- Si puede predecirse la variable que es considerada como dependiente a partir de los valores de la otra, que es considerada independiente, y si es as, con qu precisin.
354
355
El caso de la figura 6.1a se corresponde con el de ausencia de relacin, o independencia. En la dependencia estocstica, se distinguen dos tipos de tcnicas: 1.- Anlisis de Regresin 2.- Anlisis de Correlacin* El Anlisis de correlacin, tiene como fin dar respuesta a las preguntas: a.- Existe dependencia estocstica entre las variables? b.- Cul es el grado de dicha dependencia?
*
El orden de exposicin de los dos Anlisis es arbitrario. El orden para su estudio puede invertirse.
356
El Anlisis de regresin, : a.- Cul es el tipo de dependencia entre las dos variables? b.- Pueden estimarse los valores de Y a partir de los de X?. Con qu precisin?. De modo general, diremos que existe regresin de los valores de una variable con respecto a los de otra, cuando hay alguna lnea, llamada lnea de regresin que se ajusta ms o menos claramente a la nube de puntos. Si existe regresin, a la ecuacin que nos describe la relacin entre las dos variables la denominamos ecuacin de regresin. Por ejemplo: Y=a+bX Y=a+bX+cX2 En general, la variable X se conoce como variable independiente, y la Y como variable dependiente. Evidentemente puede ser arbitrario el determinar la existencia de regresin as como el tipo de la misma, ya que depende del autor o del estado de nimo de la persona en un momento determinado. Por lo tanto, se hacen necesarios mtodos estadsticos objetivos, independientes del investigador, para determinar la existencia o no de relacin y el tipo de la misma.
357
en el apartado 6.2. A las variables Xi, se las denomina, regresoras, predictoras o independientes.
SXY = i =1
" (x i ! x)( yi ! y ) n
Si cada pareja de observaciones (xi,yi) se repitiese un nmero de veces, deberamos introducir en la expresin anterior la correspondiente frecuencia, anlogamente a como se hace en la expresin de la varianza. La covarianza, puede ser utilizada como una medida inicial de la asociacin lineal entre las dos variables. Para ello, observaremos detenidamente el grfico de la figura 6.2.
358
Figura 6.2: Grfico que pone de manifiesto la importancia de la covarianza como medida de la asociacin lineal
En ella aparece la nube de puntos para un par de variables X e Y. Se pone de manifiesto cmo aquellos pares de valores que ocupan el cuadrante superior derecho (tomando como origen el punto de medias) nos dan como resultado sumandos positivos en la expresin de la covarianza. Lo mismo ocurre con aquellos que se encuentran en el cuadrante inferior izquierdo. Sin embargo, los del cuadrante superior izquierdo e inferior derecho, nos dan sumandos negativos. Ello tiene como consecuencia, que dependiendo del nmero de observaciones situado en cada uno de dichos cuadrantes, obtendremos un signo diferente en la covarianza, de modo que si predominan las diferencias positivas, esta ser positiva, y si predominan las negativas, la covarianza tambin lo ser. Esto nos lleva a utilizar la covarianza como una medida de la asociacin lineal entre las variables, de modo que si sta es positiva, nos indica una relacin directa entre ellas y si es negativa, nos indica una relacin inversa. Si las variables son independientes, entonces la covarianza es aproximadamente 0. Un ejemplo, de este ltimo caso se correspondera con la figura 6.3a.
359
SIGNIFICADO DE a y b a es la ordenada en el origen, es decir, es la altura a la que la recta corta al eje Y. Se denomina tambin trmino independiente. b, tambin denominada pendiente es la inclinacin de la recta, es decir, es el incremento que se produce en la variable Y cuando la variable X aumenta una unidad. Por ejemplo, en el caso anterior Y=3+2X:
360
En la recta de regresin -como ya veremos- b recibe el nombre de Coeficiente de regresin. Si b>0, entonces cuando X aumenta Y tambin lo hace (relacin directa). Si b<0, entonces, cuando X aumenta Y disminuye (relacin inversa). Ver figura 6.4a y b respectivamente.
ESTIMACIN DE LA RECTA DE REGRESIN POR EL MTODO DE LOS MNIMOS CUADRADOS Sean X e Y dos variables aleatorias medidas sobre los mismos individuos, y sean (xi,yi) los pares de observaciones sobre dichos individuos. En primer lugar procederemos a representar el diagrama de dispersin, o nube de puntos. Supongamos que es la obtenida en la figura 6.5. Aunque la nube revele una gran dispersin, podemos observar una cierta tendencia lineal al aumentar X e Y (tendencia que no es del todo exacta; por ejemplo si suponemos que X es la edad e Y es la talla, obviamente, la talla no slo depende de la edad, adems tambin puede haber errores de medida). Por esa nube de puntos podemos hacer pasar infinitas rectas. De todas ellas debemos elegir una cual?... Obviamente elegiremos la mejor de todas en algn sentido. La recta de regresin debe tener carcter de lnea media, debe ajustarse bien a la mayora de los datos, es decir, pasar lo ms cerca posible de todos y cada uno de los puntos.
361
Llamaremos a la mejor de todas Y*=a+bX (Y* para distinguir los valores de la tabla de los que se habran producido con la recta si la relacin fuese funcional).
Figura 6.5: Nube de puntos y posibles rectas que pueden pasar por ella.
Que pase lo ms cerca posible de todos los puntos, es decir que diste poco de todos y cada uno de ellos significa que hemos de adoptar un criterio particular que en general se conoce como MNIMOS CUADRADOS. Este criterio significa que la suma de los cuadrados de las distancias verticales de los puntos a la recta debe ser lo ms pequea posible (ver figura 6.6). (Obviamente, este es uno de los posibles criterios a adoptar, pero es el ms utilizado).
Y yi
xi
Figura 6.6: Recta de regresin mostrando los residuos o errores que se minimizan en el procedimiento de ajuste de los Mnimos cuadrados.
362
Estas distancias verticales se denominan errores o residuos. Entonces el criterio puede expresarse:
D = ! ei
i=1
mnima
Dado que la recta de regresin deber tener carcter de lnea media, esa suma de distancias deber anularse (lo mismo que suceda, como veamos en la primera unidad didctica al tratar de hallar la suma de las diferencias con respecto a la media aritmtica). Por las mismas razones que entonces, para evaluar la dispersin, trabajaremos con esas distancias, pero al cuadrado, de modo que la funcin que deberemos minimizar ser:
D = ! e 2 = ! yi " y# i i
i=1
( i=1
n
donde y! son los valores estimados segn el modelo Y=a+bX i En la anterior expresin lo conocemos todo, excepto a y b. Para encontrar dichos valores, con la condicin de que D sea mnima, deberemos hallar las derivadas parciales de D con respecto a a y a b, y resolver el sistema resultante, al igualar las ecuaciones obtenidas a 0. Es decir, el problema se reduce a un problema de mnimos. As, obtendremos:
n !D = 2 # (y i " a " bxi )("1) = 0 !a i=1 n !D = 2 # (y i " a " bxi )(" xi ) = 0 !b i=1
i =1 n i =1
363
a ! x i + b ! x2 = ! x iy i i
i =1 i=1 i =1
a = y ! bx S b = XY s2 X
La interpretacin de a y b, es anloga a la que comentbamos en el apartado 6.1.3.2, slo que como ya dijimos entonces, b recibe el nombre de Coeficiente de Regresin. Como podemos observar, en el numerador de b, aparece la covarianza, y en el denominador la varianza de la variable independiente. Esto hace que el signo de b sea el mismo signo que el de la covarianza, por lo que si b>0, entonces, existe una relacin directa entre las variables, y si b<0 entonces la relacin es inversa. En nuestro ejemplo de talla y edad, b sera el incremento medio que se produce en la talla, por cada incremento unitario de edad; si la edad est en aos, por cada ao aumente la edad. Si queremos predecir un valor yi a partir de un valor concreto de xi, utilizaremos la expresin de la ecuacin donde ahora ya, a y b son conocidos. No olvidemos que ese era uno de los objetivos del anlisis, tratar de conocer valores de Y a partir de los de X: y*i = a+bxi
364
La recta de regresin, tiene carcter de lnea media, como ya se ha sealado con anterioridad, tratando por lo tanto de resumir o sintetizar la informacin suministrada por los datos. Si tiene carcter de linea media (de promedio, en definitiva), deber ir acompaada siempre de una medida que nos hable de su representatividad, es decir, de lo buena que es la recta, ya que el haber obtenido la mejor de todas no da garantas de que sea buena. Necesitamos, por tanto, una medida de dispersin, que tenga en cuenta la dispersin de cada observacin con respecto a la recta, es decir, lo alejado que se encuentra cada punto de la recta. Es decir, deberemos evaluar esas distancias verticales a la recta, es decir, los errores o residuales. Si las dispersiones son pequeas, la recta ser un buen representante de la nube de puntos, o lo que es lo mismo, la bondad de ajuste del modelo ser alta. Si la dispersin es grande, la bondad de ajuste ser baja. Una forma de medir dicha bondad de ajuste es precisamente evaluando la suma de los cuadrados de los errores. Por tanto, llamaremos Varianza residual a la expresin:
Se =
( i =1
n
# yi ! y" i n
Si la varianza residual es grande, el modelo ser malo, es decir, la recta no explicar el comportamiento general de la nube. La frmula prctica para el clculo de la varianza residual, si el procedimiento de ajuste es el de los mnimos cuadrados es la siguiente:
S2 = i =1 e
La cota mxima de la varianza residual es la varianza que tratamos de explicar mediante el modelo de regresin, es decir, la varianza de la variable dependiente. Por tanto, sin ms que hacer relativa la varianza residual respecto de su mximo valor, y
365
Ahora, ya es fcil obtener una media que nos indique el porcentaje de variaciones controladas o explicadas mediante el modelo, que se conoce como Coeficiente de Determinacin, que denotaremos con R2. Su expresin en tantos por 1, ser:
S2 e R 2 = 1! 2 sy
Como puede observarse, a partir de la expresin anterior: 0< R2 <1. Por tanto: Si R2=1, entonces no hay residuos, habr una dependencia funcional. Cuanto ms se acerque dicho valor a la unidad, mayor poder explicativo tendr el modelo de regresin. Si R2=0, X no explica en absoluto ninguna de las variaciones de la variable Y, de modo que o bien el modelo es inadecuado, o bien las variables son independientes. Cuanto ms cercano a 0 est dicho valor, menor poder explicativo.
Poder explicativo vs poder predictivo Un modelo de regresin con un alto porcentaje de variaciones explicado, puede no ser bueno para predecir, ya que el que la mayora de los puntos se encuentren cercanos a la recta de regresin, no implica que todos lo estn, y puede ocurrir, que justamente para aquel rango de valores en el que el investigador est interesado, se alejen de la recta, y por tanto, el valor predecido puede alejarse mucho de la realidad. La nica forma de poder evaluar el poder predictivo del modelo es tras la observacin y el anlisis de los grficos de residuales, es decir, de diagramas de dispersin, en los que en el eje de ordenadas se colocan los residuales, y en el eje de abscisas se colocan o bien X, Y, o Y*.
366
Slo si la banda de residuales es homognea, y se encuentran todos los puntos no demasiado alejados del 0 (aunque depende de la escala de medida), diremos, que un modelo con un alto poder explicativo, tambin es bueno para predecir. Un anlisis detallado de los residuales se realizar en la seccin 6.2. CAUSALIDAD Es muy importante resaltar el hecho, de que un modelo sea capaz de explicar de manera adecuada las variaciones de la variable dependiente en funcin de la independiente, no implica que la primera sea causa de la segunda. Es un error muy comn confundir causalidad con casualidad. El hecho de que las variables estn relacionadas no implica que una sea causa de la otra, ya que puede ocurrir el hecho de que se est dando una variacin concomitante, por el simple hecho de que las dos son causa de una tercera. Por ejemplo, si realizamos un estudio en el que se analice el nmero de canas (X) y la presin arterial (Y), podramos encontrar una relacin lineal casi perfecta. Eso no significa que el tener canas aumente la presin arterial, lo que verdaderamente est ocurriendo es que es la edad, la causante, de que se tengan ms canas y una tendencia a tener ms alta la presin arterial.
EXTRAPOLACIN Es importante, resaltar el hecho de que a la hora de hacer predicciones, no deben extrapolarse los resultados ms all del rango de la variable X utilizado para ajustar el modelo, ya que ms all de ese rango no sabemos qu puede estar ocurriendo. Por todos es conocido que las plantas necesitan abono para poder crecer. Desde pequeos hemos aprendido que hay que abonarlas, de modo que en principio, cuanto ms abono se les suministre ms crecern. Pero... qu ocurrira si abonsemos demasiado el suelo?. Obviamente la planta morira. Bien, esto se traduce, en que conforme aumenta la cantidad de abono, el crecimiento es ms notable, pero a partir de un punto, la planta deja de crecer, y es ms se muere. Esto queda reflejado en la figura 6.7. De ah el peligro de extrapolar los resultados.
367
Figura 6.7: Comparacin de una posible verdadera relacin entre cantidad de abono y crecimiento de una planta, con los resultados de una recta de regresin obtenida mediante el estudio de un rango limitado de valores de abono.
PARBOLA DE REGRESIN En muchos casos, es una funcin de segundo grado la que se ajusta lo suficiente a la situacin real dada. La expresin general de un polinomio de 2 grado es:
368
Y=a+bX+cX2 donde a, b y c son los parmetros. El problema consiste, por tanto, en determinar dichos parmetros para una distribucin dada. Seguiremos para ello, un razonamiento similar al que hicimos en el caso del modelo de regresin lineal simple, utilizando el procedimiento de ajuste de los mnimos cuadrados, es decir, haciendo que la suma de los cuadrados de las desviaciones con respecto a la curva de regresin sea mnima:
D = # (y i ! y" )2 i
i=1
donde, siguiendo la notacin habitual, yi son los valores observados de la variable dependiente, e y! los valores estimados segn el modelo; por tanto, podemos escribir D i de la forma:
Para encontrar los valores de a, b y c que hacen mnima la expresin anterior, deberemos igualar las derivadas parciales de D con respecto a dichos parmetros a cero y resolver el sistema resultante. Las ecuaciones que forman dicho sistema se conocen como ecuaciones normales de Gauss (igual que en el caso de la regresin lineal simple).
i =1 n
! yi = na + b ! x i + c ! x 2 i
i=1 i =1
i =1 n ! x2 yi i i =1
! xi yi = a ! xi + b ! x2 + c ! x 3 i i =
369
FUNCIN EXPONENCIAL, POTENCIAL Y LOGARTMICA El problema de ajustar un modelo potencial, de la forma Y=AXb y uno exponencial Y=ABX se reduce al de la funcin lineal, con solo tomar logaritmos. Modelo potencial: Si tomamos logaritmos en la expresin de la funcin potencial, obtendremos: logY = logA +b logX Como vemos es la ecuacin de una recta: Y=a+bX, donde ahora a = logA. De modo que el problema es sencillo, basta con transformar Y en logY y X en logX y ajustar una recta a los valores transformados. El parmetro b del modelo potencial coincide con el coeficiente de regresin de la recta ajustada a los datos transformados, y A lo obtenemos mediante el antilog(a).
Modelo exponencial: Tomando logaritmos en la expresin de la funcin exponencial, obtendremos: logY = logA + logB X Tambin se trata de la ecuacin de una recta Y=a+bX, pero ahora ajustndola a logY y a X; de modo que, para obtener el parmetro A del modelo exponencial, basta con hacer antilog(a), y el parmetro B se obtiene tomando antilog(b).
Modelo logartmico: La curva logartmica Y = a + b logX es tambin una recta, pero en lugar de estar referida a las variables originales X e Y, est referida a logX y a Y.
Hemos visto, cmo, a pesar de ser inicialmente modelos mucho ms complejos que el de una recta, estos tres ltimos se reducen al modelo lineal sin ms que transformar adecuadamente los datos de partida.
370
6.1.4 Correlacin
Como hemos visto con anterioridad, al analizar las relaciones existentes entre dos variables aleatorias cuantitativas, deberemos responder a las preguntas, de si existe dependencia estocstica entre ellas y de qu grado. El anlisis de correlacin nos dar respuesta a dichas preguntas.
de
dos
Dos variables X e Y son independientes, es decir, no estn relacionadas, cuando la variable Y tiene el mismo valor, en media, sea cual sea el valor de la variable X y viceversa. (Ver por ejemplo la figura 6.1a). Como vimos en la seccin 6.1.3.1, la covarianza poda ser un medida que nos habla de la dependencia entre las dos variables. Sin embargo, la covarianza presenta el inconveniente de que no se trata de una medida adimensional, y por lo tanto se hace necesario conocer la fuerza de la relacin -si existe- as como poder realizar comparaciones entre parejas de variables que vienen medidas en unidades diferentes. Por ello, y dado que viene medida en unidades de la variable X por unidades de la variable Y, la dividimos entre las correspondientes desviaciones tpicas, obteniendo as, el denominado Coeficiente de correlacin lineal de Pearson y que denotamos con una r minscula:
r=
Sxy sxsy
Es importante fijarnos en que hemos denominado a dicho coeficiente: coeficiente de correlacin lineal de Pearson. El "apellido lineal" es conveniente utilizarlo porque dicho coeficiente solo tiene potencia para analizar si la relacin entre las dos variables es o no de tipo lineal. Si las variables son independientes, es un hecho de que el coeficiente de correlacin lineal debe ser cero. Sin embargo, si el coeficiente de correlacin lineal es 0, no implica que las variables sean independientes, simplemente que la relacin no es lineal.
371
Como vemos, el coeficiente de correlacin lleva asociado el mismo signo que la covarianza, por lo que si ste resulta ser positivo, indicar que se trata de una relacin lineal directa, mientras que si es negativo, la relacin ser inversa.
r 2 = R2
En el apartado 6.1.3.2 vimos que el coeficiente de determinacin era un valor acotado entre 0 y 1. Teniendo en cuenta la relacin anterior, podemos asegurar que el coeficiente de correlacin es un valor acotado entre -1 y +1. Si r=+1, existe una correlacin positiva perfecta, y si r=-1, analogamente pero negativa (en ambos casos R2=1, por lo tanto no hay errores, sera una dependencia funcional). A nivel muestral, es difcil encontrarnos con un valor de r = 0 aun cuando las variables sean independientes, de modo que podramos pensar que cuanto ms se acerque r a 1, el grado de relacin entre X e Y ser ms fuerte. Sin embargo, a partir de qu valor muestral de r decidiremos que las variables son independientes, y a partir de cul diremos que estn relacionadas?
372
5% .997 .950 .878 .811 .754 .707 .666 .632 .602 .576 .553 .532 .514 .497 .482 .468 .456 .444 .433 .423 .413 .404 .396
1% 1.000 .990 .959 .917 .874 .834 .798 .765 .735 .708 .684 .661 .641 .623 .606 .590 .575 .561 .549 .537 .526 .515 .505
grados de libertad (n-2) 24 25 26 27 28 29 30 35 40 45 50 60 70 80 90 100 125 150 200 300 400 500 1000
5% .388 .381 .374 .367 .361 .355 .349 .325 .304 .288 .273 .250 .232 .217 .205 .195 .174 .159 .138 .113 .098 .088 .062
1% .496 .487 .478 .470 .463 .456 .449 .418 .393 .372 .354 .325 .302 .283 .267 .254 .228 .208 .181 .148 .128 .115 .081
Realmente no se trata ms que de un contraste de hiptesis. La hiptesis nula es: Ho: =0, de modo que la hiptesis se rechaza slo si el coeficiente de correlacin muestral es, en valor absoluto, mayor que el valor crtico de la tabla, al nivel de significacin elegido, y con los grados de libertad adecuados, ya que slo rechazaremos Ho si el valor muestral encontrado es poco probable que ocurra cuando =0.
373
6.2 Ampliacin
374
6.2.1 Introduccin
En la investigacin prctica nos encontramos frecuentemente con situaciones en las que una variable, Y, viene determinada por otra u otras variables, X1, X2, ... , Xk , sin que a su vez la primera determine las ltimas. Podemos escribir la relacin como Y = f(X1, X2, ... , Xk). La variable Y es denominada dependiente, respuesta endgena mientras que las variables X se denominan independientes, predictoras o regresoras. Utilizaremos este tipo de relaciones para: - Predecir los valores de la respuesta (a partir de los de las regresoras). - Determinar el efecto de cada predictora (sobre la respuesta). - Confirmar, sugerir o refutar relaciones tericas. Conocida la posible dependencia entre las variables tendremos que determinar la forma de la relacin, generalmente sugerida a travs de la teora de la materia objeto de estudio o travs de la revisin de experimentos anteriores. La forma ms usada en la prctica es aquella en la que podemos suponer que el modelo es lineal en sus parmetros o al menos que podemos linealizarlo. Y = 0 + 1 X1 + 2 X2 + ... + k Xk Debido a la naturaleza de los fenmenos estudiados es necesario introducir un error procedente de: -No incluir variables importantes. -Errores aleatorios y errores de medida. -Especificacin incorrecta de la forma de la ecuacin. En realidad solamente el segundo de los supuestos es realmente admisible como trmino de perturbacin aleatoria.
375
El modelo real ser entonces: Y = 0 + 1 X1 + 2 X2 + ... + k Xk + donde es el error o perturbacin aleatoria y los coeficientes 0, 1, 2, ... , k son los parmetros estructurales o estructura paramtrica de la relacin propuesta. El modelo propuesto en el que las Xi son variables observables no aleatorias y los
i son constantes fijas desconocidas se denomina Modelo Lineal General (MLG). Se presenta aqu
relevantes de la teora as como algunos aspectos prcticos importantes olvidados generalmente en los libros de teora. No olvidemos que el objeto final de lo que vamos a ver es la aplicacin a datos reales en la investigacin aplicada en campos tan diversos como el Diseo de Experimentos o la Econometra. Para ampliar el tema, una excelente revisin terica puede encontrarse en SEBER (1977)* ; una versin ms aplicada dirigida tanto a profesionales de la Estadstica como a investigadores puede encontrarse en el libro de FOX (1984)** . En castellano podemos encontrar el tema dirigido especialmente al campo de la Economa en libros sobre Econometra, pueden consultarse, PEA (1994)*** .
! 1 x11 x1k $ ! x1 $ # 1 x 21 x2 k & # x2 & X =# = ! " ! & #! & #! & # & " 1 x n1 x nk % " x n %
SEBER, G.A.F. (1977); Linear Regression Analysis. Wiley. New York. FOX, J. (1984): Linear Statistical Models and Related Methods. With Applications to Social Researh. Wiley. New York. *** PEA, D. (1994) Estadstica: Modelos y Mtodos. Vols. I y II. Alianza Universidad. Textos.
**
376
Se ha incluido una columna de unos para tener en cuenta el trmino independiente del modelo. El modelo para cada una de las n observaciones muestrales es:
Obsrvese que los estimadores muestrales se han denotado con ! i , los errores
aleatorios desconocidos con i y los errores estimados una vez que se han estimado los parmetros (residuales) con ei.
377
error puro con media nula. 3.- Linealidad de la relacin: E(y)=X. Las medias de la distribucin de Y condicionadas a cada valor de X se encuentran sobre una lnea (en el caso simple). 4.Esperanza matemtica nula del trmino de perturbacin: La
especificacin correcta del modelo hace que no se introduzca ninguna componente sistemtica en los errores al compensarse, en promedio, los positivos y negativos. Esta hiptesis es consecuencia directa de la anterior. 5.- Homocedasticidad: Varianza constante de los errores: Var(i) = 2, para todo i. 6.- No autocorrelacin: Ausencia de covarianza (o correlacin) entre los errores: Cov(i , j) = 0 si i j. 7.- Variables explicativas deterministas o no aleatorias:. Variables controladas por el investigador y medidas sin error. De esta forma el modelo lineal general est especialmente indicado en el anlisis de experimentos diseados en los que se controlan las condiciones experimentales. Esta hiptesis se puede relajar suponiendo que las variables regresoras son independientes del error aunque no sean constantes. En la mayor parte de las aplicaciones del modelo lineal las variables regresoras son aleatorias. 8.- No multicolinealidad: Es decir la variables explicativas no son linealmente dependientes. (ninguna de ellas puede obtenerse como combinacin lineal de las dems). El problema ser estudiado posteriormente con ms detalle. 9.- Constancia de los parmetros: Debemos admitir una nica estructura vlida para el periodo de observacin y el horizonte de prediccin. 10.- Normalidad: Los errores tienen distribucin normal, de media nula y desviacin tpica . En estas condiciones iniciales, pasaremos a la estimacin de los parmetros del modelo as como a la comprobacin de las hiptesis bsicas que permiten la validez de los resultados. Trataremos tambin de hacer inferencias sobre los parmetros del modelo suponiendo que disponemos de una muestra de una poblacin ms general.
378
La ecuacin del plano que buscamos es de la forma Y = 0 + 1X1 + 2X2 que para una muestra concreta ser Y = ! 0 + !1X1 + ! 2 X2 . Los parmetros a los que tenemos que dar valor son 0, 1 y 2. La interpretacin es simple 0 es lo que vale la variable dependiente cuando todas las independientes son cero y i es lo que aumenta la variable dependiente cuando la variable Xi aumenta en una unidad, manteniendo el resto constantes, es por esto por lo que se les denomina coeficientes de regresin parcial.
379
Llamando
y* = ! 0 + !1x i1 ++ ! k xik i
siendo
380
los residuales del modelo. Hemos descompuesto as el valor observado en dos partes, el valor esperado (o ajustado) sobre el hiperplano de regresin y* que representa la parte i controlada por el modelo y el residual ei que representa la parte no controlada. En forma matricial y* = X ! , e = y ! X" .
(X! X)" = X! y
La hiptesis de no multicolinealidad es necesaria para que (X! X) sea invertible. Obsrvese que de momento es la nica de las hiptesis previas que hemos utilizado. Esto quiere decir que si lo que se pretende es simplemente ajustar un hiperplano de regresin a un conjunto de datos de forma descriptiva, puede utilizarse el criterio de los mnimos cuadrados sin ninguna suposicin adicional.
381
f(yi ) =
1 e ! 2"
La funcin de verosimilitud de los datos es la funcin de densidad conjunta de los valores muestrales que, como son independientes, coincide con el producto de las funciones de densidad individuales.
& (yi $ x %!) 2 ) i ($ 2 "2 + ' * e
L(y1, , y n / !,") = ,
& -i (y i $ x %!)2 ) i ($ + 2 2" ' * e
1 i=1 " 2# 1
("
2# )
(2#"2 )
n/ 2
382
! log L 1 = # 2 (2 X% X" # 2X%y) = 0 !" 2$ ! log L n& 1 ( 1 2 = # 2 ' $ 2 ) + 2$ 4 (y # X" )%(y # X") = 0 !$
2.- El estimador es insesgado: La esperanza matemtica del estimador coincide con el parmetro a estimar.
383
Hemos utilizado aqu la hiptesis de homocedasticidad. Las varianzas de los estimadores estn contenidas en la diagonal de la matriz de covarianzas. El siguiente resultado justifica la eleccin de los estimados dentro de todos los estimadores lineales e insesgados. Se muestra solamente el resultado sin la correspondiente demostracin que puede consultarse en los libros citados anteriormente.
Teorema de Gauss-Markov El estimador mnimo cuadrtico es entre todos los estimadores lineales insesgados el que tiene la varianza mnima (eficiente).
4.- La distribucin muestral del estimador es normal Basta tener en cuenta que una combinacin lineal de variables independientes, todas con distribucin normal, tiene tambin distribucin normal.
384
5.- Estimacin de la varianza de los errores: El estimador de la varianza del error obtenido a partir del mtodo de mxima verosimilitud era sesgado. El estimador insesgado que utilizaremos es:
S2 = e
# e2 i
6.2.7 Contraste de significacin del modelo global: anlisis de la varianza en los modelos lineales
El primer paso que debemos realizar una vez ajustado el modelo es comprobar si existe realmente una relacin entre las variables, lo que se traduce en que alguno de los parmetros del modelo sea distinto de cero en la poblacin. El contraste para el ajuste global es de la forma
Es decir, comparamos el modelo reducido que tiene solamente el trmino independiente frente al modelo completo con todas las variables consideradas. La comparacin la realizaremos comprobando si las variables regresoras consiguen explicar una parte significativa en la variabilidad de la variable dependiente. Ilustraremos el procedimiento con grficos para el caso de una sola variable regresora.
385
Estudiemos primero el comportamiento del modelo reducido Y = ! 0 en el que el estimador del parmetro es ! = y la media de los valores en y. Luego si no tenemos
0
ninguna informacin sobre las variables regresoras, la cantidad que mejor explica el comportamiento de la variable dependiente es la media de sus valores. A la suma de las desviaciones cuadrticas de cada valor con respecto a la media la denominaremos Suma de Cuadrados Total (SCT) ya que mide la dispersin mxima cuando no se tiene informacin sobre las regresoras.
SCT = "in=1 (yi ! y )2 = y#y ! ny 2
El valor de la suma de cuadrados total es el objetivo que trataremos de explicar al introducir la informacin de las variables regresoras. Introducimos ahora las regresoras y ajustamos el modelo completo, Y = ! 0 + !1X1 ++!k X k . La Suma de Cuadrados de los Residuales (SCR) del modelo completo
mide la dispersin en torno al hiperplano ajustado, es decir, mide la dispersin que todava queda despus de haber introducido las variables regresoras o dispersin residual no explicada. La suma de cuadrados de los residuales mide tambin la dispersin intrnseca de los datos. La figura 6.10 muestra esquemticamente la situacin descrita en los prrafos anteriores.
386
A la vista del grfico es claro que dispersin es mayor en torno a la media que en torno al modelo de regresin, ya que este posee mayor informacin. La diferencia entre ambas ser la parte de la dispersin que se ha conseguido explicar mediante la introduccin de las variables regresoras. Llamaremos Suma de Cuadrados Explicada (SCE) dicha diferencia (SCE = SCT - SCR). Obtenemos as la descomposicin de la variabilidad total de la variable dependiente en dos partes, una parte explicada por las variables regresoras y una parte residual que todava queda sin explicar despus de haber ajustado el modelo.
2 *! * 2 y !y " ny = (y y " ny ) + [(y " X# )!(y " X#)]
y !y " ny2 = (# !X!y " ny 2 ) + [(y " X#)! (y " X#)] SCT = SCE + SCR
El problema es ahora saber si la dispersin explicada es lo suficientemente grande como para considerarla estadsticamente significativa. El patrn de comparacin ser la dispersin residual o dispersin intrnseca. Las sumas de cuadrados no son estrictamente comparables ya que estn referidas a un nmero distinto de grados de libertad, concretamente k para la suma explicada, (n-k-1) para la residual y (n-1) para la total. Podemos construir estimadores de la variabilidad dividiendo la suma de cuadrados por los correspondientes grados de libertad, el cociente entre el estimador de la variabilidad explicada y la variabilidad residual ser utilizado como medida de la importancia de la parte explicada, adems dicho cociente sigue una distribucin F de Snedecor con k y (n-k-1) grados de libertad en el numerados y en el denominados
387
respectivamente. Obtenemos as el estadgrafo para el contraste que habamos planteado al principio, que hemos convertido en un contraste de comparacin de variabilidades.
Estimadores
F experimental
Conclusin
SCE
SCE/k
(SCE/SCR)((n-k1)/k)
n.s.= no significativo * = Probablemente sign. (al 5%) ** = Altamente sign. (al 1%)
Residual Total
SCR SCT
n-k-1 n-1
SCR/(n-k-1)
El anlisis de la varianza para el modelo de regresin forma parte de la salida estndar de cualquier programa de ordenador. En algunos casos es posible dividir la suma de cuadrados explicada en diversas partes explicadas por una o varias variables. En general, si las variables regresoras no son independientes no es posible separar la parte explicada debida a cada una de ellas. En los experimentos diseados es habitual tomar combinaciones de las variables explicativas con valores prefijados de forma que sean independientes para poder separar el efecto de cada una de ellas.
388
R2 =
Est acotado entre 0 y 1 y multiplicado por 100 representa el porcentaje de la variabilidad de la variable dependiente explicado por la introduccin de las regresoras en el modelo lineal modelo lineal. Para el modelo de regresin simple en el que se dispone de una sola variable regresora, el coeficiente de determinacin coincide con el cuadrado del coeficiente de correlacin de Pearson, para el modelo general, el coeficiente de determinacin puede interpretarse tambin como el cuadrado del coeficiente de correlacin entre los valores de y y los de y*. A dicho coeficiente de correlacin se le denomina Coeficiente de Correlacin Mltiple. El coeficiente de determinacin es sencillo y fcil de interpretar aunque tiene un problema importante, aumenta con el nmero de variables regresoras, estn o no relacionadas con la dependiente, de forma que es posible conseguir una bondad del ajuste prxima a 1 simplemente introduciendo en el modelo un nmero elevado de variables. Para evitar este problema se define el Coeficiente de Determinacin Ajustado, en el que las sumas de cuadrados se dividen por sus correspondientes grados de libertad.
R2 aj.
= 1!
SCR
(n ! k ! 1) SCT n !1
389
6.2.9 Suma de cuadrados explicada por un grupo de variables: contraste para un grupo de parmetros
En algunas situaciones es importante conocer, no solo la variabilidad explicada por el conjunto total de regresoras sino tambin la variabilidad explicada por un subconjunto de los mismos, para contrastar si consiguen explicar significativamente parte de la variabilidad. El contraste es ahora que los coeficientes de un subgrupo de p regresoras son todos iguales a cero frente a la alternativa de que alguno es distinto de cero. Sin prdida de generalidad podemos suponer que el subconjunto est formado por las p primeras variables y escribimos el modelo completo como
El procedimiento ser similar al del contraste global y consiste en la comparacin de las sumas de cuadrados explicadas en el modelo completo y un modelo reducido en el que se eliminan las variables que se quieren contrastar. La suma de cuadrados explicada en el modelo completo (con todas las variables) la vamos a dividir en dos partes, una parte explicada por las k-p, variables no incluidas en el subconjunto a contrastar y una parte explicada por las p variables a contrastar y que no ha sido explicada por el resto. La descomposicin de la suma de cuadrados en el modelo completo es SCT=SCE+SCR, donde SCE es la variabilidad explicada por todas las variables regresoras. La descomposicin al ajustar el modelo reducido la denotaremos como SCT=SCE0+SCR0, donde SCE0 representa la parte explicada por las k-p variables que no estn en el subconjunto objetivo. La diferencia entre ambas sumas de cuadrados explicados ser la parte explicada por las p variables objetivo y que no ha sido ya explicada por el resto. Denotaremos esta ltima suma de cuadrados como SCEp = SCE - SCE0. Los grados de libertad asociados son p.
390
sigue una distribucin F de Snedecor con p y n-k-1 grados de libertad en el numerados y denominados respectivamente. Obsrvese que se ha utilizado en el contraste la parte explicada por las p variables del subconjunto objetivo y que no ha sido ya explicada por el resto, en lugar de utilizar la suma de cuadrados explicada por las p variables sin tener en cuenta el resto. Ambas sumas de cuadrados slo coinciden cuando las p variables y el resto son independientes.
R2 Y,(1,,p)/(p+1,,k) =
Representa la parte que se ha conseguido explicar de la suma de cuadrados residual del modelo reducido al introducir el subconjunto de p variables en el modelo. La raz cuadrada del coeficiente de determinacin parcial se denomina Coeficiente de Correlacin Parcial
391
el signo de la raz cuadrada ha de ser el mismo que el signo del coeficiente de regresin estimado. Puede interpretarse como una medida de la relacin entre la variable dependiente y un subconjunto de las regresoras dadas. todas las dems. La interpretacin es similar a la del coeficiente de correlacin de Pearson cuando el subconjunto objetivo est formado por una nica variable, aunque slo coincide con ste cuando la variable objetivo y el resto son independientes.
6.2.11 Contrastes e intervalos de confianza para cada uno de los parmetros por separado
Hasta el momento hemos visto como realizar contrastes para el modelo completo o para un subconjunto de parmetros. Cuando el subconjunto est formado por un nico parmetro existe una forma alternativa de realizar el contraste individual basndose en la combinacin de la distribucin normal de los estimadores de los parmetros del modelo y en la distribucin ji-cuadrado asociada a la varianza de los residuales, para construir una distribucin t de Student. Las hiptesis del contraste individual son
H0 :! i = 0 Ha :!i " 0
y las correspondientes versiones unilaterales. La cantidad
! " !i ti = i Se a ii
donde aii es el i-simo elemento de la diagonal de (X'X)-1, sigue una distribucin t de Student con n-k-1 grados de libertad. La construccin del contraste es inmediata. Es necesario hacer notar que si el nmero de parmetros es elevado y cada uno se realiza al nivel , el contraste global de igualdad a cero de todos los parmetros a partir
392
de los contrastes individuales, tiene un considerable incremento en el riesgo tipo I. Es por esto por lo que puede ocurrir que el anlisis de la varianza global resulte ser no significativo y alguno de los parmetros individuales sea significativamente distinto de cero. El contraste, basado en la F, para un subgrupo formado por una sola variable es completamente equivalente al descrito aqu ya que se verifica que
t 2 = F Y, (i )/ (1,,i !1,i +1,,k ) i
Este valor es el que aparece en muchos programas de ordenador como F parcial. Los intervalos de confianza para los parmetros por separado calculados a partir de la distribucin t de Student son de la forma
393
Figura 6.11: Bondad del ajuste y Anlisis de la varianza para el modelo lineal.
Figura 6.12: Estimadores de los parmetros y contrastes individuales para el modelo lineal
394
descendente
(backward
-Comenzamos con el modelo completo. -Eliminamos aquella variable que al ser sacada fuera del modelo produce la menor prdida no significativa. -El proceso termina cuando todas las variables dentro del modelo producen una prdida (incremento) significativa.
395
INCONVENIENTES: -El subconjunto final obtenido no es ptimo, en general. -Si las variables estn relacionadas entre si (existe multicolinealidad) los procesos son muy inestables ya que no es posible separar el efecto debido a cada una de ellas. -El orden de entrada es irrelevante.
Es posible calcular intervalos de confianza para la prediccin en los dos casos mencionados:
396
!1
Han de tenerse las siguientes precauciones para la validez de la predicciones: 1.-Se supone que la estructura paramtrica no ha variado en el momento de la prediccin. 2.-Las predicciones han de realizarse para valores dentro del intervalo en el que las regresoras han sido medidas, es decir no deben extrapolarse los resultados. 3.-Los intervalos de confianza para las predicciones son menos precisos a medida que nos alejamos de los valores medios de las regresoras. 4.-El hecho de que un modelo presente un alto porcentaje de variaciones controladas no implica que sea siempre un buen modelo predictivo. Distinguiremos as entre lo que denominaremos poder explicativo, medido a travs del coeficiente de determinacin, y poder predictivo o capacidad de prediccin. Alcanzaremos un poder predictivo aceptable cuando adems de tener una explicacin correcta el modelo verifique las hiptesis bsicas y no se detecte la presencia de observaciones extraas, grupos con estructuras diferentes, etc. Este punto se tratar ms ampliamente en los apartados siguientes.
397
niveles de un factor cualitativo. La introduccin de este tipo de variables la haremos a travs de lo que denominaremos variables ficticias que describimos a continuacin.
Blancos
Negros Educacin
Figura 6.14: Relacin entre el nivel de ingresos y el de educacin para blancos y negros.
Es claro que si no incluimos la variable raza de alguna manera, el modelo conjunto que relaciona ingresos y educacin no se ajusta bien ni al grupo de los blancos
398
ni al de los negros. Una solucin sera ajustar un modelo por separado para cada grupo y compararlos, sin embrago, vamos a buscar una solucin que explique correctamente la situacin con un solo modelo. En lugar de ajustar el modelo conjunto
Y = ! 0 + !1 X
podemos ajustar el modelo
Y = ! 0 + !1 X + " D
donde la variable D se define de la siguiente manera
Y = ! 0 + !1 X + " 0 = !0 + !1 X
En el grupo de los blancos (D = 1)
399
de ! es el contraste de que no hay diferencias en el nivel de ingresos entre los dos grupos de la raza, sea cual sea el nivel de educacin. La situacin esquematizada se muestra en la figura 6.15.
Ingresos
"
Y = ! 0 + !1X Negros
(! 0 + " )
"
!0
Figura 6.15: Interpretacin de un modelo con variables ficticias.
Educacin
Cuando la variable cualitativa tiene ms de dos grupos tenemos que introducir varias variables ficticias.
Y = ! 0 + !1 X + " n Dn + " b Db
donde las variables Dn y Db se define de la siguiente manera
400
La interpretacin de los parmetros y el modelo para los distintos grupos es clara a partir del grfico de la figura 6.16.
Luego !1 es la pendiente (comn) de los modelos para los tres grupos. ! 0 es la constante en el modelo para el grupo de los hispanos, ! 0 + " n es la constante en el modelo para el grupo de los negros y ! 0 + " b es la constante en el modelo para el grupo de los blancos; entonces ! n es la diferencia entre el grupo de los negros y el de los hispanos, ! b es la diferencia entre el grupo de los blancos y el de los hispanos y ! b " ! n es la diferencia entre blancos y negros.
ficticias
en
presencia
de
Supongamos ahora que, en el ejemplo anterior, las diferencias entre los ingresos para las dos razas, aumentan a medida que aumenta el nivel de educacin, es decir, los efectos de la raza y del nivel de educacin no son aditivos, existe lo que se denomina interaccin entre la raza y el nivel de educacin. El concepto de interaccin es clave en la investigacin aplicada, ya que implica que las relacin de la variable dependiente con otra variable depende de los valores de una tercera. No debe confundirse
401
interaccin con relacin, en el ejemplo, raza y educacin interactan en el efecto que manifiestan sobre el nivel de educacin, pero no tienen porqu estar relacionadas entre si. La interaccin se traduce en que las pendientes de las rectas para ambos grupos no son las misma. La situacin se representa en la figura 6.17.
En este caso no es vlido el modelo anterior con variables ficticias, ya que, all suponamos que las pendientes de las rectas eran iguales y, por tanto, la diferencia entre blancos y negros era constante. Tomaremos ahora el modelo
Y = ! 0 + !1 X + " D + # DX
donde la variable D se define como antes, y DX es el producto de las variables D y X, es decir
402
Y = ! 0 + !1 X + " 0 + # 0 = !0 + !1 X
En el grupo de los blancos (D = 1)
! 0 es la constante en el modelo para el grupo de los negros, ! 0 + " es la constante en el modelo para el grupo de los blancos. ! ya no es la diferencia entre los ingresos de los blancos y los negros, ya que esta depende del nivel de educacin (ver figura 6.18).
Contrastar la presencia de interaccin en el modelo consiste en contrastar la nulidad del parmetro ! . Si se dispone de varios grupos es necesario introducir en el
403
modelo el producto de la variable continua por todas las variables ficticias. Si se dispone de dos variables cualitativas y se desea introducir la interaccin de las mismas en el modelo hay que multiplicar todos los pares posibles de variables ficticias resultantes. Si se desea introducir la interaccin entre dos variables continuas basta con introducir el producto de las mismas.
404
ASCOMBE, F.J. (1973) Graphs in Statistical Analysis. Am. Statist. 27, 17-21.
405
X 10 8 13 9 11 14 6 4 12 7 5
Y1 8,04 6,95 7,58 8,81 8,33 9,96 7,24 4,26 10,84 4,82 5,68
Y2 9,14 8,14 8,74 8,77 9,26 8,10 6,13 3,10 9,13 7,26 4,74
Y3 7,46 6,77 12,74 7,11 7,81 8,84 6,08 5,39 8,15 6,42 5,73
X4 8 8 8 8 8 8 8 19 8 8 8
Y4 6,58 5,76 7,71 8,84 8,47 7,04 5,25 12,50 5,56 7,91 6,89
Los cuatro conjuntos de datos presentan los mismos estimadores de los parmetros y la misma bondad del ajuste. A priori parece que el modelo lineal se ajusta igualmente bien en todos los casos, sin embargo, los ajustes son muy diferentes y solamente uno de ellos est en buenas condiciones. La figura 6.19 muestra los diagramas de dispersin.
11 10 9 8 y 1 = 3 + ,5 * x; R 2 = ,67 11 10 9 8 y 2 = 3 + ,5 * x; R 2 = ,67
y1
6 5 4 3 2 2 4 6 8 x y 3 = 3 + ,5 * x; R 2 = ,67 12 10 10 12 14 16
y2
7 6 5 4
(a)
3 2 2 4 6 8 x y 4 = 3 + ,5 * x4; R 2 = ,67 12 10 10 12
(b)
14 16
y3
6 4 2 2 4 6 8 x 10 12
y4
8 6 4
(c)
14 16
2 2 4 6 8 10 12 14 16 18 20 x4
(d)
406
El poder explicativo de todos los conjuntos de datos es el mismo, sin embrago, el nico en el que el ajuste es razonable es en el caso (a) en el que los datos varan de forma aleatoria alrededor de la recta de regresin. En el caso (b) se observa claramente como debera ajustarse una parbola a los datos. En el caso (c) existe una relacin casi perfecta entre las dos variables que est modificada por el punto aislado que, probablemente, es un outlier. En el caso (d) la relacin est completamente determinada por el punto aislado, si lo suprimimos, las variables seran independientes. Hemos descrito aqu problemas en regresin simple que pueden verse directamente sobre el diagrama de dispersin, en el caso mltiple la bsqueda es ms compleja al no poder representar directamente los grficos. Realizaremos los diagnsticos de forma indirecta utilizando grficos de residuales en diversas versiones.
407
Los residuales pueden servir para detectar diversos problemas como posibles datos aberrantes (outliers), desviaciones de la linealidad, heteroscedasticidad, autocorrelacin entre las observaciones, etc.
Y = !X
El ajuste de esta ecuacin por mnimos cuadrados conducira a un sistema de ecuaciones no lineales que ha de resolverse, generalmente, mediante mtodos numricos como por ejemplo el de Newton-Raphson. El problema puede tratarse de una forma mucho ms simple con la transformacin logartmica. Tomando logaritmos en ambos lados de la igualdad tenemos que el modelo original se convierte en un modelo
408
lineal el las variables log(Y) y log(X). log(Y ) = log(!) + " log(X) A cambio de trabajar en escala logartmica, podemos utilizar los mtodos de los modelos lineales. Los efectos de ajustar un modelo lineal a datos que no lo siguen estn relacionados con problemas de ajuste y prediccin.
incluidas. Se observarn relaciones entre las variables externas y los residuales. Grficos de residuales frente a las variables regresoras, la variable
dependiente o los valores ajustados. Se observarn tendencias en los residuales. Bandas no homogneas con tendencia curva definida (ver figura 6.21). Grficos de residuales parciales, que representan los residuales del ajuste del modelo completo frente al residual ms la componente de los valores ajustados debida a cada una de las variables regresoras e i + ! k x ik . El grfico se interpreta como la relacin entre Y y Xk pero ajustada para el resto de las variables, es decir cuando las otras variables han sido ya consideradas en el modelo. Se observarn tendencias en los residuales.
Figura 6.21: Grfico de residuales mostrando una tendencia no lineal y diagrama de dispersin correspondiente.
TRATAMIENTO
409
Inclusin de las variables externas que expliquen la componente no lineal. Transformacin de las variables regresoras causantes de la no linealidad o de la variable dependiente. En muchos casos, como el del ejemplo mencionado antes la transformacin de las variables regresoras, de la dependiente o de ambas, convierte un modelo no lineal en uno que lo es. Las transformaciones ms habituales son: Inclusin de trminos de orden mayor (cuadrticos, cbicos). Logaritmos de las regresoras o de la dependiente. Transformaciones inversas.
Para el investigador aplicado el proceso de transformacin de los datos y de seleccin del modelo ms adecuado suele ser un proceso interactivo en el que se van probando distintos modelo seleccionando aquel que proporcione un mejor ajuste, no solo en cuanto al poder explicativo sino tambin en cuanto al poder predictivo.
410
de ambas. En general, bandas de residuales con distintas anchuras para distintos valores ajustados (ver figura 6.22).
Figura 6.22: Grfico de residuales con problemas de heteroscedasticidad y diagrama de dispersin corresponden en el caso de la regresin simple.
sobre la naturaleza de la heteroscedasticidad. Por ejemplo cuando los datos son medias de distinto nmero de observaciones tomadas todas ellas de una poblacin con la misma varianza. Sabemos entonces que la varianza es inversamente proporcional al tamao muestral para cada caso. El estudio de los mnimos cuadrados generalizados est fuera del alcance de este trabajo. varianza. Por ejemplo si las observaciones variable dependiente son recuentos de Poisson es claro que media y varianza coinciden, de forma que si la media aumenta linealmente con las regresoras, tambin lo har la variabilidad. Tomar la raz cuadrada de la variable dependiente en lugar de la propia variable suele estabilizar la varianza. Transformaciones de la variable dependiente estabilizadoras de la
411
6.2.16.4 Autocorrelacin
El problema se produce cuando los errores de las distintas observaciones no son independientes. Es frecuente cuando se trabaja con datos temporales o recogidos con un determinado orden.
EFECTOS -Los estimadores mnimo cuadrticos son insesgados pero no tienen varianza mnima. -Varianza del error subestimada. -Varianza de los estimadores subestimada. -La inferencia (t y F) no es estrictamente aplicable.
DIAGNOSTICO: Grficos de residuales que muestran tendencias cclicas, tendencias lineales o no lineales o alternancia positivo-negativo (ver figura 6.23).
para cada momento del tiempo frente a residuales en el momento anterior) que mostrarn tendencias lineales (ver figura 6.24).
412
413
6.3 Ampliacin
414
415
Para que los estimadores de los coeficientes de regresin estn definidos, la matriz X'X debe ser no singular, ya que si no (X'X) !1 no estara definida. El rango de la matriz X es el mismo que el de X'X, siendo el nmero de variables regresoras (k); si tenemos 'n' observaciones debe cumplirse lo siguiente:
416
As la comn interpretacin de los coeficientes de regresin como medida del cambio en el valor esperado de la variable dependiente cuando la correspondiente variable independiente se incrementa en una unidad, cuando todas las dems variables regresoras permanecen constantes, no es totalmente aplicable cuando existe colinealidad.
417
2.-
Debe verificarse que n k+1, ya que sino el rango no sera k sino n, y por
tanto podramos detectar una falsa colinealidad. Siguiendo a GALINDO (1987), dividiremos el anlisis de esta problemtica en tres grandes apartados. El primero de ellos consistir en encontrar los indicios que nos puedan hacer sospechar sobre la existencia de colinealidad. Pasaremos en un segundo punto a estudiar cmo realizar el diagnstico adecuado de la misma, y en ltimo lugar analizaremos las tcnicas existentes para tratar de paliar dicho problema.
6.3.3 Sintomatologa
El primer paso para poder actuar frente a la colinealidad, es tomar conciencia de su posible existencia. Hay una serie de sntomas o indicios que pueden presentarse cuando se da el problema de la colinealidad. Entre otros citaremos los siguientes: 1.- El valor absoluto de la correlacin emprica entre dos variables regresoras vara entre 0 y 1 (en el caso de que no exista colinealidad o que sta sea total, respectivamente). Por ello, si al analizar la matriz de correlaciones, se detecta que un subconjunto de dichas variables est altamente correlacionado, ser un sntoma a tener en cuenta. 2.- Si las pruebas de nulidad de los coeficientes de regresin, conducen a eliminar del modelo variables que el investigador, basndose en su experiencia, considera relevantes. 3.- Si el signo de un coeficiente de regresin es opuesto al que cabra esperar. 4.- Si las varianzas de los estimadores de los coeficientes de regresin tienen valores anormalmente grandes, disminuyendo drsticamente al eliminar una o varias variables regresoras del modelo. 5.- Encontrar un coeficiente de correlacin mltiple entre cada regresora y las dems muy elevado. 6.- Intervalos de confianza grandes para los coeficientes de regresin que representan a variables importantes en el modelo.
418
De todas formas, puede haber colinealidad sin que estos sntomas se hagan patentes.
6.3.4 Diagnstico
Solamente la diagonalizacin de la matriz de correlaciones y el examen de los ltimos valores propios proporcionar una informacin precisa. Si tenemos k variables regresoras y llamamos 1, 2 , ... , k a los k valores propios de su matriz de correlaciones en orden descendente, es decir 1 > 2 > ... > k. Supondremos -sin prdida de generalidad- que las variables estn estandarizadas de forma que X'X sea proporcional a la matriz de correlaciones; entonces:
1.- El tamao relativo de estos valores propios nos puede servir como indicador
de la presencia de colinealidad, ya que como se verifica:
2.- Hemos visto que los estimadores mnimo cuadrticos de regresin para variables estandarizadas son ! = (X' X)"1 X' y con matriz de varianzas-covarianzas V ! = " 2 (X'X) #1 .
()
El j-simo valor de la diagonal de (X'X) !1 es precisamente 1 1! R j siendo R j el cuadrado del coeficiente de correlacin mltiple para la variable regresora Xj con el
2 2
resto de las variables. Al trmino 1 1! R j se le denomina Factor de Inflacin de la Varianza (VIF) y es la cantidad que aumenta el error estndar del estimador j-simo por efecto de la correlacin entre Xj y el resto de las variables regresoras. En condiciones ptimas (ausencia de colinealidad) VIFj = 1 (ya que R j = 0). Conforme aumenta el problema de colinealidad el valor VIF se va haciendo cada vez
2 2
419
mayor
haciendo cada vez ms inestable. (THEIL, 1971). Por lo tanto, un VIF grande nos indica que el coeficiente de regresin asociado se encuentra afectado por el problema de colinealidad. Realizando la descomposicin espectral de la matriz de correlaciones, tenemos:
X'X = ALA'
donde: A es la matriz de vectores propios L es la matriz diagonal de valores propios
Por lo tanto, podemos escribir: (X'X) !1 = AL!1A' Utilizando la anterior expresin, el VIFj se pueden expresar en funcin de los valores propios de la matriz de correlaciones como sigue: VIF j = ! A jr " r donde
r =1 k 2
A jr es la j-sima componente del l-simo vector propio, de modo que aquellos valores
propios ms pequeos son los que ms contribuyen a que las varianzas sean ms grandes, pero slo para aquellas regresoras que tienen coeficientes grandes asociados a vectores propios con valores propios muy pequeos. Por lo tanto, regresoras con coeficientes grandes para componentes cortas, son la implicadas en la colinealidad. Por ello, basta con realizar la descomposicin espectral de la matriz de correlaciones entre las regresoras, analizar los valores propios, cuando uno de ellos sea prximo a cero, nos est indicando un posible problema de colinealidad, de modo que aquellas regresoras cuyos coeficientes del vector propio asociado al valor propio cercano a cero, sean muy grandes sern las que se encuentren implicadas en la colinealidad.
3.- Adems, la relacin entre los valores propios nos sirve como indicador del
grado de colinealidad existente en nuestros datos. De este modo, la raz cuadrada de la razn existente entre el primer autovalor y el ltimo (mayor y menor respectivamente):
K=
!l
!k
se denomina "Condition number", y es un ndice de la inestabilidad global de los coeficientes de regresin mnimo cuadrticos (BELSLEY, KUH & WELSCH, 1980).
420
Los autores manifiestan que un "Condition number" grande, indica que, cambios relativamente pequeos en los datos, tienden a producir grandes cambios en la solucin mnimo cuadrtica; en este caso X'X ser casi singular, de modo que valores de K >30 se consideran como "peligrosos".
P jr
( A2jr ! r ) = (A2jr !r ) =
VIF j
k r=1
" A2 ! r jr
Si Pjr es grande (estudios de simulacin llevan a pensar en valores prximos a 0.5) y tambin Kr entonces la j-sima regresora est implicada en la colinealidad. Cuando hay varias relaciones de colinealidad coexistentes, no siempre es fcil separar las variables involucradas en cada una. Sin embargo, en la mayora de las situaciones es suficiente determinar: 1- Si est presente una colinealidad importante. 2- Qu coeficientes de regresin estn afectados por la colinealidad 3- Qu regresoras estn involucradas en cada cuasi-dependencia El punto 1 se sigue del "condition ndices"; el punto 2 del VIF; y el punto 3 de la contribucin de cada componente al factor de inflacin.
421
6.3.5 Tratamiento
6.3.5.1 Anlisis del origen de la colinealidad
En primer lugar hay que asegurarse de que lo que se detecta no es una colinealidad aparente, debida quizs a: - Una muestra sesgada, dndose relaciones en ella que realmente no son ciertas en la poblacin y que al elegir otra muestra quizs no las encontraramos. - Que tengamos en nuestro estudio menor n de individuos que de variables, con lo que la inversa de la matriz X'X no estara definida. Supongamos que el examen de los valores propios, mediante las pruebas sealadas en el apartado 'Diagnostico', nos indican la existencia de colinealidad, entonces la actitud a tomar depender de cul es su posible origen:
422
pueden identificar por distintos procedimientos como: Estudio del R2, el factor de tolerancia, los mtodos Biplot (GABRIEL, 1971; GALINDO, 1985, 1986), o con otros distintos como la REGRESIN RIDGE (HOERL Y KENNARD, 1970a, b), el mtodo de MALLOWS (1964), o bien con los procedimientos PASO A PASO. CARBONELL y cols (1983), propone el siguiente rbol de decisiones (figura 6.28) a la hora de analizar la problemtica de la colinealidad:
423
Pero hay algo que hay que tener muy en cuenta, y es que esta seleccin debe hacerse siempre despus de un detallado estudio de la colinealidad. Este problema puede estudiarse en profundidad en NETER, WASSERMAN & KUTNER, 1985 y CARBONELL y cols. (1983). Supongamos que se desea establecer una ecuacin de regresin lineal de la variable dependiente Y en funcin de las variables regresoras X1, X2, ... , XK, que sera el grupo total de variables entre las cuales estarn aquellas que formarn parte de la ecuacin buscada. Para que el modelo encontrado sea el ms adecuado, deberemos incluir en l el mayor nmero de variables posible, cuyo efecto en la variable dependiente pueda ser interpretado, para as poder evitar un modelo con una gran varianza en las predicciones. Obviamente, no existe un nico procedimiento estadstico para llevar a cabo esta tarea, y es ms, generalmente los diferentes mtodos no conducen a la misma solucin, por lo cual bajo nuestra experiencia, se deber tener cierta cautela a la hora de utilizarlos, y sobre todo nunca debe menospreciarse el criterio del investigador a la hora de la seleccin del subconjunto de variables ms adecuado, ya que su conocimiento sobre las variables en estudio puede ser vital a la hora de decidirse por la inclusin o exclusin de una de ellas en el modelo.
MTODO DE TODAS LAS REGRESIONES POSIBLES Este mtodo de seleccin consiste en calcular todas las posibles ecuaciones de regresin, combinando el nmero total de variables regresoras y luego hacer una seleccin de la ecuacin ptima. Como se puede intuir, se trata de un procedimiento laborioso y slo es posible cuando se puede acceder a un ordenador de alta velocidad. Por ello hay otros ms utilizados en la actualidad y que veremos con posterioridad. El procedimiento consiste en lo siguiente: El nmero de posibles ecuaciones de regresin es: 2 ! 1, lo cual nos da ya una idea de la magnitud del mismo, de modo que cada variable regresora Xi (i = 1, 2, ... , K), puede estar o no incluida en la ecuacin.
K
424
En primer lugar se separan las ecuaciones por grupos, de modo que tengamos un grupo con una variable regresora solamente, otro con dos, otro con tres, y as sucesivamente, hasta uno con K , que ser Y = ! 0 + !1X1 + ! 2 X2 +!+!K XK + " Si denotamos con p al nmero de variables que hay en un modelo, entonces habr p+1 parmetros en la funcin de regresin para ese grupo. Por lo tanto se verifica: 1pK Hay distintos criterios que pueden ser utilizados para comparar los distintos modelos de regresin obtenidos:
Criterio R p Lo que se hace es examinar el coeficiente de determinacin R p , para seleccionar uno o varios subconjuntos de las variables regresoras, y donde p 2 es el nmero de parmetros en el modelo. As R p nos indica que hay p parmetros o p-1 variables en el mismo, y se va observando cmo vara R p al pasar de un modelo a otro. Lo que se intenta es encontrar el modelo en el 2 que aadindole ms variables, no es ya til, porque el incremento en R p es nfimo.
2 2
Criterio Cp de Mallows. Nos permite seleccionar de entre todas las ecuaciones de regresin posibles cul es la que tiene mejor bondad de ajuste. Con Cp denotamos el "error cuadrtico medio total" definido por MALLOWS (1964) y lo componen: la suma de las desviaciones al cuadrado respecto del modelo completo, y el cuadrado de los errores aleatorios en Y, para el conjunto total de n observaciones, es decir:
425
Cp =
SCE p !2
+ 2p " n
**
Como estimador generalmente se utiliza el cuadrado medio del error del modelo de regresin completo, bajo la hiptesis de que este modelo es verdadero. El Cp de aquellos modelos con poco sesgo tiende a ser cercano a p, de modo que podremos identificar los modelos que tengan un pequeo valor (Ver figura 6.29)
MTODOS PASO A PASO Como hemos apuntado anteriormente, debido al alto grado de complejidad que posee el mtodo de todas las regresiones posibles, se hacen necesarios otros que evalen solamente un pequeo nmero de subconjuntos de variables, adicionando o eliminando stas segn determinados criterios. Se han desarrollado algunas tcnicas de estas caractersticas, que generalmente se denominan MTODOS PASO A PASO (Stepwise Methods), y que consisten en
**
426
variaciones de dos ideas bsicas: Eliminacin descendente* y Seleccin Ascendente**. Se ha hecho una breve referencia a estos mtodos en el apartado 6.13. Aqu comentaremos un poco ms.
Seleccin ascendente
Se comienza sin ninguna variable en el modelo y se va aadiendo una a una hasta que se obtenga una ecuacin satisfactoria -segn un determinado criterio- o bien hasta que se haya completado la inclusin de todas ellas. Generalmente el criterio de entrada, consiste en introducir aquella variable que proporcione el mximo incremento en el coeficiente de correlacin mltiple. HOCKING, propone en 1976, incluir la variable i-sima en la ecuacin con p trminos si:
F i = max i
> Finput
donde: SCRp es la suma de cuadrados de los residuales con un subconjunto p de variables SCRp+i es la suma de cuadrados de los residuales aadiendo la i-sima variable a un subconjunto p de variables.
Se calcula, por lo tanto el trmino Fi aadiendo una a una las variables que no estn en el modelo y se busca la variable para la cual ese valor es mximo, esa es precisamente la que entra en el modelo si Fi > Finput. Si para todo i, Fi < Finput el proceso termina.
Eliminacin descendente Se parte del modelo contrario, es decir, con todas las variables regresoras incluidas en el mismo, y segn un determinado criterio vamos eliminando variables del modelo hasta encontrar aquella ecuacin ms adecuada.
*
**
Del trmino ingls: Backward Elimination (BE) Del trmino ingls: Forward Selection (FS)
427
F i = min i
< F out
donde: SCRp-i denota la suma de cuadrados de los residuales cuando la variable i es borrada de la ecuacin en la que haba p trminos
Se calcula la expresin Fi, eliminando una a una las variables que forman parte del modelo, y se busca la variable para la cual es mnima esa expresin; esa variable es la que se elimina si Fi < Fout. Si para todo i, Fi > Fout el proceso termina.
El mtodo de inclusin de variables en el modelo de regresin (seleccin ascendente), presenta la ventaja de que slo se maneja el nmero de variables estrictamente necesario, pero en ningn caso se estudia el efecto que puede producir la inclusin de una variable en el papel que desempean las ya incluidas en modelos anteriores. "Regresin Stepwise" (EFROMYSON, 1960)
Para solventar el problema citado anteriormente, EFROMYSON propuso en 1960 el mtodo de Regresin Stepwise que se corresponde ms con lo que entendemos como mtodos paso a paso. Consiste en una seleccin ascendente (FS), pero en cada paso consideramos la posibilidad de eliminar una variable, de modo similar a como se hace en el mtodo de eliminacin descendente (BE). Una variable que fue la mejor candidata para ser incluida en el modelo en una fase anterior, puede resultar superflua en una fase posterior, debido a las relaciones existentes entre dicha variable y aquellas otras que se encuentran actualmente en el modelo.
428
El proceso Stepwise continua hasta que ninguna variable pueda ser introducida y ninguna eliminada. Es menos riguroso estadsticamente que los anteriores (CARBONELL y cols, 1983). Es el que se emplea normalmente al utilizar programas estndar. Una crtica a los mtodos FS y BE es que los investigadores, generalmente dan un grado de importancia a las variables, dependiendo del orden en el que entran (FS) o en el que salen (BE), lo cual no es correcto, ya que no es raro encontrarnos con que la primera que entra en uno es la primera que sale en el otro* , o que incluso en el mtodo stepwise entra en un paso y sale en el siguiente. Tambin se critican porque no proporcionan resultados ptimos, ya que puede que no identifiquen aquellos subconjuntos de regresoras de determinado tamao, de modo que maximicen R2, incluso cuando es ste el criterio utilizado para la inclusin en el modelo. Ms detalladamente se pueden encontrar estos mtodos en DRAPER y SMITH (1966) CHATTERJEE y PRICE (1977).
Regresin Ridge Hasta ahora el mtodo de ajuste de los coeficientes de regresin utilizado ha sido el de los mnimos cuadrados, y segn el teorema de Gauss-Markov, este mtodo de ajuste nos proporciona estimadores eficientes, es decir, insesgados y de varianza mnima, bajo las condiciones del modelo de regresin. En presencia de colinealidad, como hemos visto, se incrementa notablemente la varianza muestral de los estimadores, con lo que disminuye, por lo tanto, su eficiencia. Para intentar paliar esto, utilizaremos un mtodo mediante el cual podramos encontrar estimadores sesgados de modo que disminuya la varianza muestral, ya que el error cuadrtico medio de un estimador es la suma de su varianza muestral y el cuadrado del sesgo.
*
En el trabajo de investigacin correspondiente a este captulo veremos cmo, efectivamente, la primera de las variables que entra utilizando el mtodo de seleccin ascendente, y a la que por lo tanto, el investigador no familiarizado con estas tcnicas le dara la mxima importancia, es precisamente la que sale en primer lugar utilizando el mtodo de eliminacin descendente.
429
La Regresin Ridge fue originalmente propuesta por HOERL (1962)y posteriormente elaborada por HOERL y KENNARD (1970a,b) . Consiste en un mtodo de estimacin sesgado que busca mejorar la accin de la estimacin mnimocuadrtica en presencia de colinealidad. Se propone como vector de estimadores de los coeficientes de regresin:
k>0
Dando valores a k se encuentra una familia de estimadores denominada ESTIMADORES RIDGE. El mdulo del estimador Ridge es menor que el del estimado por el mtodo mnimo-cuadrtico, ya que stos son demasiado grandes cuando X'X es casi singular (HOERL & KENNARD, 1970 a). El principal problema al aplicar la regresin Ridge est en encontrar aquel valor de k de modo que se compense el sesgo y la reduccin de varianza. Se han desarrollado muchos mtodos para seleccionar el valor de k. Algunos son aproximativos y otros proporcionan frmulas especficas. HOERL & KENNARD (1970, a,b ) sugieren el "TRAZADO RIDGE", en el que se representan valores de los estimadores dependiendo del valor de k. En el se pone de manifiesto la inestabilidad de los coeficientes de regresin y el incremento de la suma de los cuadrados. (Veremos en el trabajo de investigacin este tipo de trazado grficamente) Llega un momento, cuando se contina incrementando k, en que los coeficientes se estabilizan. Durante este proceso los VIF decrecen, al principio rpidamente y luego de modo ms gradual.
2 2 La estimacin de la varianza de los errores SE! = " # ! aumenta suavemente cuando se incrementa k.
Entonces, para seleccionar k podremos tener en cuenta el trazado Ridge, los VIFs y la varianza del error.
430
HOERL & KENNARD, proponen en el mismo trabajo elegir k de modo que los coeficientes de regresin estn estabilizados y la varianza del error no se incremente desde su valor mnimo MARQUARDT & SNEE (1975) sugieren elegir k de modo que el mximo VIF sea menor de 10, y preferiblemente no mucho mayor que 1. La regresin Ridge tambin puede ser utilizada como mtodo de seleccin de variables, eliminando aquellas regresoras cuyos coeficientes de regresin tiendan a 0 tan rpidamente como se incremente k (MARQUARDT & SNEE (1975); HOCKING, 1976). Pone de manifiesto aquellos coeficientes inestables que deben ser eliminados del modelo porque no son capaces de mantener su poder predictivo. En la figura 6.30 puede verse un ejemplo de trazado Ridge (que ser el del ejemplo que
utilizaremos en el trabajo de investigacin)
Figura 6.30: Trazado Ridge correspondiente al ejemplo del trabajo de investigacin de este captulo
BIBLIOGRAFIA CITADA BELSLEY, D.A.; KUH, E. & WELSCH, R.E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. Wiley. New York.
431
CARBONELL, E.; DENIS, J.B; CALVO, R; GONZALEZ, F. y PRUONOSA, V. (1983). Regresin Lineal: Un enfoque conceptual y prctico. I.N.I.A. CHATTERJEE, S & PRICE, B (1977). Regression Analysis by Example. Wiley. New York. DRAPER, N.R. & SMITH, H. (1966). Applied Regression Analysis. Wiley. New York. EFROMYSON, M.A. (1960). 'Multiple regression analysis'. In A. Ralston & H.S. Wilf (eds.) Mathematical Methods for Digital Computers. Vol. 1: 191-203. FOX, J. (1984). Linear Statistical Models and Related Methods. New York. Wiley. GABIEL, K.R. (1971). 'The biplot graphic display of matrices with applications to principal component analysis'. Biometrika, 58: 543-467. GALINDO, M.P. (1985). 'Contribuciones a la representacin simultnea de datos multidimensionales'. Ser. Resum. Tesis Doct. T.D. 395/1985. pgs 1-38. Universidad de Salamanca. GALINDO, M.P. (1986). 'Una alternativa de representacin simultnea: HJ-Biplot'. Questiio. Vol.10, n1: 13-23. GALINDO, M.P. (1987). 'Diagnstico y tratamiento de los problemas en los modelos lineales'. Cuadernos de Bioestadstica y su Aplicacin Informtica. Vol. 5, n1: 116-128. HOCKING, R.R. (1976). 'The analysis and selection fo variables in linear regression'. BIOMETRICS. 32: 1-49. HOERL, A.E. (1962). 'Application of Ridge Analysis to regression problems'. Chemical Engineering Progress, 58: 54-59. HOERL, A.E. & KENNARD, R.W. (1970a). 'Ridge Regression: Biased estimation for nonorthogonal problems'. Technometrics, 12: 55-67. HOERL, A.E. & KENNARD, R.W. (1970a). 'Ridge Regression applications to nonorthogonal problems'. Technometrics, 12: 69-82. MALLOWS, C.L. (1964). 'Choosing variables in a linear regression: a graphical aid'. Presented at the central Regional Meeting of the Inst. of Math. Statist. Manhattan, Kansas. MARQUARDT, D.W; & SNEE, R.D. (1975). 'Ridge regression in practice'. The American Statistician, 29: 3-20 NETER, J.; WASSERMAN, W. & KUTNER, M.H. (1985). Applied Linear Statistical Models. (2nd. Ed.) Richard D. Irwin, INC THEIL, H. (1971). Principles of Econometrics. New York. Wiley
432
433
En este apartado trabajaremos sobre un estudio de simulacin que nos permita poner de manifiesto cmo en presencia de colinealidad, los estimadores clsicos de Gauss-Marcov proporcionan estimaciones sesgadas e inestables que no son interpretables. Asimismo, se pretende poner de manifiesto la cautela con la que debe trabajarse al utilizar los mtodos de regresin paso a paso, tan profusamente utilizado por los investigadores en todos los mbitos cientficos.
6.4.2 Sintomatologa
6.4.2.1 Estimacin de los coeficientes de regresin
La matriz de correlaciones X'X entre las variables independientes es la que aparece a continuacin (ver tabla 6.2). 1 1 2 3 4 5 6 1.000 0.057 0.130 -0.115 0.048 0.152 2 0.057 1.000 0.231 0.063 0.051 -0.264 3 0.130 0.231 1.000 -0.956 0.010 -0.238 4 -0.115 0.063 -0.956 1.000 0.004 0.165 5 0.048 0.051 0.010 0.004 1.000 -0.245 6 0.152 -0.264 -0.238 0.165 -0.245 1.000
Vemos como el coeficiente de correlacin entre las variables X4 y X3 es prximo a 1, lo cual es ya un primer indicio sobre la posible existencia de colinealidad.
434
Los estimadores mnimo-cuadrticos para el modelo de regresin son los que aparecen en la tabla 6.3: Nmero Corte 1 2 3 4 5 6 Coeficiente Error estndar Estadstico t 21789.6569 -2.7580 1.8872 -1.4614 130.8591 32.0335 4.0851 -393.3484 102.6947 -3.8303 -3.0357 4.9657 -0.6113 23.4743 1.4740 15.9253 -15.1239 1.7799 -8.4971
Tabla 6.3: Parmetros del modelo de regresin
Los errores estndar para las variables 2. 3 y 4 son muy grandes lo cual es tambin un sntoma de una potencial colinealidad. Resumen del anlisis Varianza residual: % de variaciones no controladas: Coeficiente de determinacin: % de variaciones controladas Coeficiente de correlacin mltiple: 69992.3431 0.0293 0.9991 99.91% 0.9996
Obsrvese cmo a pesar de que el porcentaje de variaciones explicadas es 99.91%. los valores de los estimadores de algunos de los coeficientes de regresin difieren sensiblemente de los verdaderos coeficientes (ver tabla 6.2). siendo incluso en alguno de los casos de signo contrario al que debera (lo que ocurre con el de la variable 4). lo cual es tambin un sntoma del posible problema de colinealidad. Vemos asimismo cmo el coeficiente de correlacin mltiple es muy alto.
435
6.4.3 Diagnstico
Para hacer un efectivo diagnstico del problema. deberemos conocer: 1.- Si est presente una colinealidad importante 2.- Qu coeficientes de regresin estn afectados por la misma. 3.- Qu regresoras est involucradas en la cuasi-dependencia. Para ello deberemos. respectivamente. conocer el "condition number". los factores de inflacin de la varianza y la contribucin de cada componente al factor de inflacin. Seguiremos los siguientes pasos:
2 1.3341
3 1.0419
4 0.9634
5 0.5682
6 0.0001
Vemos como el ltimo valor propio es muy prximo a cero. lo cual nos indica ya que deberemos estar alerta por un posible problema de colinealidad. pues nos est indicando que la matriz X'X es casi singular.
6.4.3.2 Estudio de los vectores propios de la matriz de correlaciones entre las regresoras
Analizaremos ahora la matriz de vectores propios de las regresoras. puesto que deberemos localizar cules son las variables con coeficientes grandes en componentes
436
cortas (ver tabla 6.5) (vimos en el paso anterior. cmo el ltimo vector propio era prximo a cero).
1 1 2 3 4 5 6 0.1198 0.1838 0.6745 -0.6366 0.0854 -0.2905 2 -0.2757 0.4696 -0.1377 0.2813 0.4813 -0.6113 3 0.8602 0.3232 -0.0567 0.1517 0.3082 0.1856 4 -0.0337 0.6869 0.0593 0.1427 -0.7084 0.0375 5 -0.4107 0.3579 0.1697 -0.0644 0.4054 0.7113 6 0.0024 -0.2033 0.7004 0.6842 -0.0009 -0.0009
La tabla anterior (tabla pone de manifiesto que las variables X3 y X4 son las que estn implicadas en la colinealidad. (Vemos como esta afirmacin coincide con la construccin del
modelo. adems el siguiente coeficiente ms grande se corresponde con la variable X2).
"Condition
Index"
del
El valor para el "condicin number" es 135.21 lo cual evidencia la inestabilidad global de los coeficientes mnimo-cuadrticos (recordemos que se considera peligroso para valores mayores de 30). Los "condition index" para las distintas componentes principales aparecen en la tabla 6.6:
1 2 3 1 4 1.2523 5 1.4171 6 1.4737 1.9188 135.2131
El alto valor para el index correspondiente a la variable indica una vez ms que una colinealidad importante est presente.
437
6.4.3.4
Los factores de inflacin (V I F) para cada regresora son los que aparecen en la tabla 6.7:
1 1.1229 2 362.0870 3 4287.0318 4 4090.7179 5 1.0849 6 1.2528
Los V I F para las variables 2. 3 y 4 son muy grandes; valdran 1 en el caso de ser ortogonales. Nos estn indicando que. efectivamente. son los coeficientes para dichas variables los que se ven afectados por el problema de colinealidad. La misma informacin se obtiene estudiando el incremento en el error estndar de cada regresora.
Tabla 6.8: Incremento relativo en el error estndar del coeficiente para cada regresora
Obsrvese cmo el error estndar para las variables 2. 3 y 4 se ha incrementado sensiblemente por efecto de la colinealidad (ver para la comparacin la tabla 6.3) como cabra esperar. ya que la variable X4 se haba construido como combinacin de X2 y X3.
438
Tabla 6.9: Contribuciones proporcionales de las componentes a los VIF (los valores superiores a 0.5 se consideran peligrosos)
Como la contribucin proporcional de los componentes a los V I F son muy grandes para las variables 2.3.4. es evidente que estas tres variables estn implicadas en la cuasi-dependencia representada por la 6 componente.
6.4.4 Conclusiones
Segn hemos podido comprobar los estimadores mnimo cuadrticos son inestables y pierden. por tanto. su poder predictivo. poniendo de manifiesto la importancia de llevar a cabo un estudio sobre la posible colinealidad a la hora de llevar a cabo un anlisis de regresin mltiple. pues dicho problema puede llevarnos a conclusiones totalmente errneas.
439
En el paso nmero 2 entra la variable 5 y la tabla 6.11 recoge la prueba de significacin y los parmetros del modelo:
Var Corte X4 X5 Coeficiente -2847.09 15.92 27.51 0.14 2.93 Tabla 6.11 107.41 9.39 p=0.0001 p=0.0000 Error Est. Estadstico t Significac.
En el paso nmero 3 la variable introducida es la 5. En el paso nmero 4, la variable 2 y en el paso nmero 5 la variable 3. La prueba de significacin y los parmetros para el modelo de regresin aparecen en la tabla siguiente (tabla 6.12):
Var Corte X2 X3 X4 X5 X6 Coeficiente 22648.48 135.43 -408.95 15.92 27.51 -15.70 32.28 103.44 0.14 2.93 1.75 4.19 -3.95 107.41 9.39 -8.93 p=0.0001 p=0.003 p=0.0000 p=0.0000 p=0.0000 Error Est. Estadstico t Significac.
440
Tabla 6.12
El tanto por ciento de variaciones controladas es del 99.09% y el coeficiente de correlacin mltiple es altamente significativo. Sin embargo. los estimadores estn muy alejados de los valores reales. que recordemos. son los siguientes:
Var Corte X1 X2 X3 X4 X5 X6
Error Est.
Estadstico t
Significac.
Tabla 6.13: Parmetros del modelo de regresin con todas las variables.
El porcentaje de variaciones controladas fue del 99.91%. En el primer paso la variable eliminada es la 4; conviene destacar que era la primera que entraba en la seleccin ascendente; lo cual evidencia que el orden de entrada de las variables en ningn caso implica su grado de importancia en el modelo.
441
El modelo con todas las variables excepto la cuarta, es el que se muestra a continuacin:
Var Corte X1 X2 X3 X5 X6 Coeficiente 17942.8551 -2.8750 111.3014 -330.5757 23.5596 -15.0869 1.8641 1.6131 1.5204 1.4569 1.7662 -1.5424 68.9997 -217.4230 16.1707 -8.5422 p=0.1300 p=0.0000 p=0.0000 p=0.0000 p=0.0000 Error Est. Estadstico t Significac.
En el paso nmero 2 se elimina la variable 1. La prueba de significacin y los parmetros para el modelo de regresin resultante son:
Var Corte X2 X3 X5 X6 Coeficiente 17863,4888 111,1179 -330,9589 23,3354 -15,6846 1,6331 1,5228 1,4717 1,7493 68,0394 -217,3356 15,8560 -8,9660 p=0.0000 p=0.0000 p=0.0000 p=0.0000 Error Est. Estadstico t Significac.
Ya nos salen ms variables, por lo que le modelo final es: Y= 17863,4888 + 111,1179 X2 - 330,9589 X3 + 23,3354 X5-15,6846 X5 Como puede observarse las variables implicadas en la colinealidad no desaparecen del modelo y los estimadores siguen siendo muy diferentes. aunque si tienen el mismo signo que los verdaderos coeficientes del modelo. El tanto por ciento de variaciones controladas tambin en este caso supera el 99%. pero el tratamiento de la colinealidad no es bueno.