2.

1 Modelo de regresin mltiple

El modelo que se plantea en regresin mltiple es el siguiente:
y i = 0 + 1 x 1 i + 2 x 2 i + ... + k xki + u i
Donde x 1, x 2,...,x k son las variables independientes o explicativas.
La variable respuesta depende de las variables explicativas y de una componente
de error que se distribuye segn una normal: u i = N(0, 2 )
El ajuste del modelo se realiza por el mtodo de mxima verosimilitud o el mtodo
de mnimos cuadrados. En el caso de distribucin normal de errores, ambos
mtodos coinciden, como ya se vio en regresin simple.
El valor que el modelo estimado predice para la observacin i-sima es:
y i = 0 + 1 x 1 i + 2 x 2 i + ... + k xki
y el error cometido en esa prediccin es:
e i = y i y i = y i ( 0 + 1 x 1 i + 2 x 2 i + ... k xki )
Donde son los valores estimados del modelo. 0, 1,..., k
El criterio de mnimos cuadrados asigna al valor que minimiza la suma de errores
al cuadrado de todas las observaciones. 0, 1,..., k
Notacin

X es la denominada matriz de diseo, de dimensin n x (k+1)

Forma matricial del modelo

La expresin matricial del modelo de regresin mltiple es la siguiente:

Y=X+U
El modelo estimado tambin puede expresarse en forma matricial:
Y = X
Y Y = e

2.2 Estimacin de la ecuacin de regresin mltiple

Para i = 1,2,.n. Escribiendo el modelo para cada una de las observaciones, ste
puede ser considerado como un sistema de ecuaciones lineales de la forma.
En la correlacin simple (bivariada, entre dos variables) tenemos una recta de
regresin, que es el mejor ajuste de la nube de puntos del diagrama de dispersin.
Ya hemos visto que de manera intuitiva nos permite ver la posibilidad de predecir
Y a partir de X, o dicho desde otra perspectiva, podemos ver el impacto de X
sobre Y. El coeficiente b nos dice en cuntas unidades aumenta Y (criterio) al
aumentar X (predictor o variable independiente) en una unidad; lo mismo nos dice
cada coeficiente beta, pero en puntuaciones tpicas.
En la regresin mltiple tenemos una nica variable criterio (Y) y mltiples
variables predictoras o independientes (X1, X2, etc.) y no es tan fcil visualizarla
grficamente porque requiere un espacio multidimensional.
La ecuacin de regresin mltiple incluye un coeficiente por cada predictor: 1,
2, etc. La constante a ha desaparecido porque ahora es igual a 0 (es la media de
las puntuaciones tpicas).
La ecuacin de regresin es ahora:
zy (predicha) = 1z1 + 2z2 + kzk
Como ya se ha indicado, la utilidad de esta ecuacin para el investigador est en
que puede comparar entre s los distintos coeficientes beta () y ver cules tienen
un mayor poder predictivo o explican una mayor proporcin de la varianza de la
variable criterio.

2.3 Matriz varianza covarianza

Una matriz que representa la covarianza entre pares diferentes de variables
aleatorias. A lo largo de las columnas, la matriz contendr los nombres de
las variables en orden secuencial (por ejemplo, x,, x2, x3, etc.). A lo largo de las
filas, la matriz contendr los mismos nombres de las variables en el
mismo orden secuencial (por ejemplo, x,, x,,, x3, etc.). En cada punto de
interseccin entre una fila y una columna habr una covarianza. Por ejemplo, el

nmero que aparece en la interseccin de las variables x, y x2 es

la covarianza entre la variable x, y la variable x.,. A lo largo de la diagonal principal
de la matriz hay pares emparejados de variables (por ejemplo, x, y x,; x, y x2). Los
nmeros asociados con estos pares emparejados son varianzas. Las matrices de
varianza-covarianza son simtricas. Esto es, el tringulo superior derecho es la
imagen especular del tringulo inferior izquierdo.
Si las entradas del vector-columna

Son variables aleatorias, cada una con varianza finita, entonces la matriz de
covarianza es la matriz cuya entrada (i, j) es la covarianza

Donde

Es el valor esperado de la entrada i-sima del vector X. En otras palabras,

tenemos

Como una generalizacin de la varianza

La anterior definicin es equivalente a la igualdad matricial

Por tanto, se entiende que esto generaliza a mayores dimensiones el concepto de

varianza de una variable aleatoria escalar X, definida como

Donde

Propiedades
Para
y
fundamentales se demuestran correctas:
1.
2.

, las siguientes propiedades

es semi definida positiva

3.
4.
5.
6. Si

los

vectores

son

de

igual

dimensin,

entonces

7.
8. Si
Donde

son independientes, entonces

y

aleatorio

son vectores aleatorios de dimensin

,

es

son matrices de

es un vector

La matriz de covarianza (aunque muy simple) es una herramienta muy til en

varios campos. A partir de ella se puede derivar una transformacin lineal que
puede de-correlacionar los datos o, desde otro punto de vista, encontrar una base
ptima para representar los datos de forma ptima (vase cociente de
Rayleigh para la prueba formal y otras propiedades de las matrices de
covarianza). Esto se llama anlisis del componente principal (PCA por sus siglas
en ingls) en estadstica, y transformada de Karhunen-Love en procesamiento de
la imagen.

2.4 Pruebas de hiptesis para los coeficientes de regresin

H0:

= 0 (equivale a plantear que no hay relacin entre Y y Xi)

H1:

0 (equivale a plantear que s hay relacin entre Y y Xi)

Si se acepta la de hiptesis nula, se est aceptando que no hay relacin entre Y y

Xi, por lo tanto, sta variable se debe sacar del modelo.
La estadstica de trabajo se resuelve suponiendo que la hiptesis nula (H0) es
verdadera. Dicha estadstica de trabajo es:

Regla de decisin. Si el nmero de observaciones es mayor que 30, los valores de

Z se hallan en la distribucin normal. Si el nmero de observaciones es menor o
igual a 30 , los valores de Z se hallan en la distribucin t con n-k-1 grados de
libertad. Siendo k el nmero de variables independientes en el modelo.

Figura 4.6, Regla de decisin, prueba de hiptesis para

Si
<T<
4.6).

se acepta la hiptesis nula, en caso contrario se rechaza (figura

Una vez elegidas las variables independientes que realmente influyen en el

comportamiento de Y, se pueden construir intervalos de confianza para cada uno
de los coeficientes de regresin poblacional ( )
Este intervalo nos proporciona, con una confiabilidad del (1- ) %, los valores
dentro de los cuales variar Y si Xi vara en una unidad y las dems variables
permanecen constantes. El intervalo se construye as:

Como en el caso de la prueba de hiptesis, si n 30 los valores de Z se hallan en

la distribucin normal, y si n < 30 los valores de Z se hallan en la distribucin t con
n-k-1 grados de libertad.

2.5 Correlacin lineal Mltiple

Una correlacin mltiple (R) es el coeficiente de correlacin entre una variable
criterio (Y) y la combinacin linear de las variables llamadas predictoras (X) que
tambin se pueden denominar, y es ms claro, variables independientes. El
trmino predictor es habitual aunque segn la finalidad que se busque puede
resultar ambiguo (podemos estar explicando ms que prediciendo).
La combinacin linear es la suma algebraica de las variables predictoras o
independientes ponderadas por sus coeficientes beta; estos coeficientes son
anlogos a los coeficientes b y se calculan utilizando puntuaciones tpicas.

La correlacin mltiple se simboliza como R e incluye el clculo de los coeficientes

beta de cada variable. Una expresin sencilla de esta correlacin mltiple es:
R = i 1i r
Se multiplica el coeficiente beta de cada variable independiente por su correlacin
con la variable Y y se suman los productos. La raz cuadrada de esta suma es el
coeficiente de correlacin mltiple.
R2, como sucede con r2 (el coeficiente de determinacin) expresa la proporcin
de varianza en la variable criterio (Y) explicada por la correlacin mltiple.
Habitualmente lo que se comunica e interpreta no es R sino R2
En el caso de que las variables independientes (o predictoras) correlacionaran
cero entre s, R2 sera igual a la suma de las correlaciones elevadas al cuadrado
de las variables independientes con la variable dependiente.