Captulo 3

Regresin y correlacin
3.1.

Planteamiento del problema

Consideremos una v.a. bidimensional (X; Y ). Los dos casos extremos que se pueden dar
respecto a la relacin entre X e Y son los siguientes:
- Independencia. Si X e Y son independientes, la variable X no ofrece ninguna
informacin sobre Y (ni Y sobre X). Todas las distribuciones condicionadas (Y =X = x)
coinciden con la distribucin marginal de Y .
- Dependencia funcional. Decimos que hay dependencia funcional cuando existe
una funcin h tal que Y = h(X) (o una funcin g con X = g(Y )). Conociendo el valor x
que ha tomado X se conoce el valor y que ha tomado Y : se tiene que y = h(x). Esto es,
P fY = h(x)=X = xg = 1. De este modo, la variable X ofrece informacin completa sobre
Y . Las distribuciones condicionadas (Y =X = x) son degeneradas: (Y =X = x)

h(x). Por

ejemplo, si X es el resultado del lanzamiento de un dado e Y es el cuadrado del resultado

se tiene que Y = X 2 .
En este captulo construiremos funciones h tiles para analizar la relacin entre X e
Y en los casos intermedios, en los que no hay ni independencia ni dependencia funcional.
Esta funcin h permite obtener una aproximacin (una prediccin) para el valor que toma
Y conociendo el valor que ha tomado X. Por ejemplo, si X es el peso e Y la altura de los
nios de cierto colectivo, qu se puede decir sobre la altura de los nios que pesan 35 Kg?
1

3. Regresin y correlacin

Aqu solo se presenta el estudio probabilstico, a partir de la distribucin conjunta de

(X; Y ), y no el estudio estadstico, que sirve para realizar inferencias a partir de un conjunto
de datos (los datos de n nios elegidos al azar, en el ejemplo anterior).
El procedimiento para construir la funcin h consiste en elegirla de modo que Y tome
valores cercanosa h(X). Consideramos como medida (promedio) de cercana la esperanza
h
i
E (Y h (X))2 , y entonces, buscamos la funcin h : R ! R con la que se alcanza el
mnimo

h
m n E (Y

h (X))2

(3.1)

Empezamos con la obtencin de h en el caso restringido en el que imponemos que h

sea una funcin lineal, y despus estudiaremos el caso general, cuya solucin involucra la
esperanza condicionada. En el primer caso se dice que h es la recta de regresin y en el
caso general se dice que h es la curva de regresin.

Podemos estar interesados en la relacin de la altura, ahora no solo con el peso, sino
con el peso, el dimetro torcico, y el dimetro craneal, considerados conjuntamente. Estudiaremos los planos de regresin y las supercies de regresin, que son la extensin
de la recta y la curva de regresin en el caso en que X no es unidimensional.

3.2.

Rectas de regresin

Buscamos la funcin lineal y = h(x) = a + bx con la que se alcanza el mnimo en (3.1),

o sea, buscamos los valores (reales) a y b con los que se minimiza
(a + bX))2 ] .

L(a; b) = E[(Y

(3.2)

Desarrollando el cuadrado y teniendo en cuenta que la esperanza es un operador lineal, se

obtiene
L(a; b) = E[Y 2 ] + a2 + b2 E[X 2 ]

2bE[XY ] + 2abE[X]
2

2aE[Y ] .

(3.3)

3.2 Rectas de regresin

Para obtener los valores a y b con los que se minimiza L(a; b) derivamos e igualamos a cero
las derivadas:
dL
= 2a + 2bE[X] 2E[Y ] = 0
da
dL
= 2bE[X 2 ] 2E[XY ] + 2aE[X] = 0 .
db

(3.4)
(3.5)

La solucin de este sistema de ecuaciones, denominadas ecuaciones normales, es la siguiente:

a = E[Y ]
b=

E[X]

Cov(X; Y )
2
X

XY
2
X

E[XY ] E[X]E[Y ]
Cov(X; Y )
=
=
2
2
2
E[X ] (E[X])
X

XY
2
X

(3.6)
=

(3.7)

Por tanto, la funcin lineal y = h(x), con h(x) = a + bx, con la que se alcanza el mnimo
h
i
m na;b L(a; b) = m nh E (Y (a + bX))2 es
y=

XY
2
X

XY
2
X

x.

(3.8)

A esta recta se la denomina recta de regresin de Y sobre X.

La recta de regresin de Y sobre X se puede expresar del siguiente modo utilizando el
coeciente de correlacin:
y

(3.9)

Esta expresin es muy fcil de memorizar, y a partir de ella se obtiene (3.8) de un modo
inmediato.
De un modo similar se obtiene la recta de regresin de X sobre Y :
x=

XY
2
Y

XY
2
Y

y,

(3.10)

que se puede expresar como

x

(3.11)

Tngase en cuenta que en la recta de regresin de Y sobre X la variable es x, e y

son los valores que toma la funcin h(x) (lineal), al contrario de lo que ocurre con la otra
recta. Para representar ambas rectas en el mismo grco hay que tener en cuenta este
hecho. Si las representamos en el plano (x; y), como es habitual, la recta de X sobre Y
se obtiene representando, para cada valor y en el eje de ordenadas, el punto (x; y) tal que
3

3. Regresin y correlacin

x es la imagen de y por la correspondiente recta de regresin. A efectos prcticos, para

representar esta recta de X sobre Y en el plano (x; y), se despeja y en (3.10) y se representa
la funcin de x as obtenida (que es la funcin inversa para esa recta).
Las dos rectas de regresin intersecan en el punto (

X;

Y ).

Ejemplo 1. Consideremos una v.a. con funcin de densidad

f (x; y) = 6y si 0 < y < x < 1 .

(3.12)

Determina las dos rectas de regresin.

Solucin: Calculamos los momentos. Las funciones de densidad marginales son
f1 (x) = 3x2 si 0 < x < 1

f2 (y) = 6y(1

y) si 0 < y < 1 .

Resolviendo las correspondientes integrales se obtiene E [X] =

de aqu, V [X] = E X 2
V [Y ] =

1
20 .

E [X]2 =

3
80

, y E [Y ] =

1
2

3
4

(3.13)

y E X 2 = 35 , y a partir

y E Y2 =

3
10 ,

y a partir de aqu,

Se tiene que
Z

E [XY ] =

y entonces la covarianza vale

1Z x

xyf (x; y)dydx =

= Cov (X; Y ) = E [XY ]

XY

2
,
5
E [X] E [Y ] =

(3.14)
1
40 .

La recta de regresin de Y sobre X es y = 23 x :

y=

XY
2
X

XY
2
X

La recta de regresin de X sobre Y es x =

x=

XY
2
Y

Para representar la recta x =

obteniendo y = 2x

1
2

XY
2
Y

1=40 3 1=40
2
+
x= x.
3=80 4 3=80
3

(3.15)

1+y
2

3
4

1=40 1 1=40
1 1
+
y= + y.
1=20 2 1=20
2 2

(3.16)

x=

y=

1
2

+ 12 y, de X sobre Y , en el plano (x; y), despejamos y,

1.

Es inmediato comprobar que el punto de interseccin de ambas rectas es

(x; y) =

3 1
;
4 2

= (E [X] ; E [Y ]) .

(3.17)

3.3 El coeciente de correlacin

A la pendiente

XY
2
X

de la recta de regresin de Y sobre X se la denomina coeciente

de regresin de Y sobre X, y se denota por

Y =X ,

y a la pendiente

XY
2
Y

de la recta de

regresin de X sobre Y se la denomina coeciente de regresin de X sobre Y , y se denota

por

X=Y .

Y =X

XY
2
X

X=Y

XY
2
Y

En el ejemplo anterior, el coeciente de regresin de Y sobre X es

coeciente de regresin de X sobre Y es

X=Y

(3.18)

Y
Y =X

2
3,

y el

= 12 .

Tambin se puede obtener la parbola de regresin (no lo hacemos), o considerar

incluso un polinomio de grado mayor que 2.

3.3.

El coeciente de correlacin

Proposicin 2. El coeciente de correlacin

12

1 2

satisface las siguientes propiedades:

a) Se tiene que j j

1, esto es,

Cov(X; Y )
p
,
V [X] V [Y ]

=p

(3.19)

1, con igualdad si y solo si el soporte de

(X; Y ) est contenido en una recta del plano, o sea, si Y = a + bX para algn a y b.
b) Se tiene que

(aX + b; cY + d) = (X; Y ), con a; c > 0.

Demostracin
a) Es inmediato a partir de la desigualdad de Cauchy-Schwartz.
b) Se tiene que
Cov (aX + b; cY + d)
(3.20)
(aX + b) (cY + d)
E [(aX + b E [aX + b]) (cY + d E [cY + d])]
=r h
ir h
i (3.21)
2
2
E (aX + b E [aX + b])
E (cY + d E [cY + d])

(aX + b; cY + d) =

acE [(X E [X]) (Y E [Y ])]

h
ir
h
i = (X; Y ) .
2
2
2
2
a E (X E [X])
c E (Y E [Y ])

=r

(3.22)

3. Regresin y correlacin

Una consecuencia importante de este resultado es que el coeciente de correlacin no

depende de las unidades de medida usadas, esto es,

(cX; dY ) = (X; Y ). Por ejemplo, si

X es un peso, en Kg, e Y es una longitud, en metros, entonces para expresar el peso en

gramos y la longitud en cm se consideran las v.a. 1000X y 100Y , y se tiene que
(1000X; 100Y ) = (X; Y ) .
El resultado

(aX + b; cY + d) =

(3.23)

(X; Y ) involucra aplicaciones lineales en general. Por

ejemplo, si X Y son mediciones de temperatura, entonces

no depende de las unidades

de medida, puesto que todas las escalas usadas habitualmente se relacionan linealmente: x
grados centgrados son 59 x + 32 grados Fahrenheit y x + 2730 16 grados Kelvin.
Las rectas de regresin de Y sobre X,

y EY
Y

x EX
X

, y de X sobre Y ,

x EX
X

y EY
Y

coinciden solo cuando j j = 1.

Si

= 0 las rectas son y = EY y x = EX, constantes. La representacin grca en el

plano (x; y) consiste en una recta horizontal y la otra vertical.

Otras formas de expresar la recta de regresin de Y sobre X, utilizando el coeciente
de correlacin, son:
y=

(x

X)

Y
Y

x.

(3.24)

Del mismo modo, la recta de regresin de X sobre Y se puede expresar como

x=

(y

Y)

El coeciente de correlacin

X
X

Y
Y

y.

(3.25)

entre X e Y es una cantidad til para medir el ajuste

de la recta de regresin.
Una medida del ajuste debe indicar hasta que punto se cumple el objetivo de aproximar
bien Y mediante h(X) = a + bX. Las cantidades a y b se han obtenido de modo que
minimizan la esperanza L(a; b) en (3.2). La medida que consideramos es precisamente ese
valor, minimo, de L(a; b) = E (Y

(a + bX))2 , que calculamos a continuacin como

funcin de los momentos.

6

3.3 El coeciente de correlacin

Proposicin 3. Sea (X; Y ) una v.a. bidimensional. Se tiene que

(a + bX))2 = (1

E (Y
siendo y = a + bx =

Y
X

Y
X

2
Y

(3.26)

x la recta de regresin de Y sobre X.

Demostracin Se tiene que

2

L(a; b) = E (Y
=E

"

(a + bX))

(Y

=E

= E (Y

Y)

(X

2
Y

(X

X)

(X

X)

2 (Y

Y)

2 2
Y

2 2
Y

Y
X

V [X]

(3.27)
(3.28)

X)

= V [Y ] +
2
Y

"

Y)

"

Cov(X; Y )

(X

X)

#
(3.29)

X
Y

(3.30)

X Y
X
2 2
Y

2
Y

Si j j = 1 se tiene que L(a; b) = (1

2 2
Y

1)

2
Y

= 1

2
Y

= 0, esto es, E (Y

(3.31)

(a + bX))2 = 0,

y entonces Y = a + bX. Por tanto, como caba esperar, en el caso j j = 1 la recta de

regresin y = ax + b determina la relacin funcional lineal establecida por la proposicin
(2): Y = a + bX con esos mismos a y b.
Por qu si E (Y
Z = (Y

(a + bX))2 = 0 entonces Y = a + bX?: la variable aleatoria

(a + bX))2 es no negativa, y entonces EZ

0, con EZ = 0 si y solo si Z = 0, y

de aqu se obtiene el resultado. Para ser mas precisos, tendramos que sustituir la condicin
Z = 0 por P fZ = 0g = 1, pero sto es irrelevante a efectos prcticos.
Si X e Y son incorreladas (por ejemplo, cuando son independientes), entonces se tiene
que L(a; b) = (1

0)

2
Y

2
Y.

sto corresponde al caso ms desfavorable, en el que a + bX

no tiene utilidad para aproximar Y .

El error cuadrtico medio que se comete aproximando el valor de una observacin de
Y por EY es E (Y

EY )2 =

2
Y

.
7

3. Regresin y correlacin

El error cuadrtico medio que se comete aproximando el valor de una observacin de

Y por a + bX, una vez observado X = x, es
(a + bx))2 =X = x = E (Y

E (Y

(a + bX))2 =X = x .

(3.32)

Promediando este error sobre todos los valores x, segn la distribucin de X, obtenemos
(a + bX))2 =X

E E (Y

(a + bX))2 = (1

= E (Y

2
Y

(3.33)

por la proposicin 1. A esta cantidad se la denomina varianza residual.

Podemos medir la bondad del ajuste de Y mediante a + bX a traves del cociente de
estos errores, que vale
E (Y (a + bX))2
(1
=
2
E [(Y EY ) ]
Obsrvese que 0
1

= 1 si

1 , con 1

2) 2
Y
2
Y

=1

(3.34)

= 0 si j j = 1 (dependencia funcional lineal) y

= 0 (incorrelacin).

Ejemplo 4. Calcula el coeciente de correlacin y la varianza residual en el ejemplo 1.

Solucin: Se obtiene

= 00 577, y de aqu 1

recta de regresin de Y sobre X vale 1

recta de regresin de X sobre Y vale 1

2
2

2
2
Y
2
X

= 00 667. La varianza residual para la

= 00 0334 . La varianza residual para la

= 00 0250 .

Tambin se pueden considerar transformaciones sobre Y , como Z = log Y , con el n de

mejorar el ajuste, si la bondad del ajuste de Z sobre X es mejor que la de Y sobre X.

3.4.

Curvas de regresin

Resolvemos ahora el problema general de obtener la funcin h : R ! R, sin restricciones, que minimiza E (Y

h(X))2 .

Se verica que
h
E (Y

i
h h
h(X))2 = E E (Y
8

h(X))2 =X

ii

(3.35)

3.4 Curvas de regresin

La variable aleatoria E[(Y

E[(Y

h(X))2 =X] toma los valores

h(X))2 =X = x] = E[(Y

h(x))2 =X = x] .

(3.36)

Por tanto, el problema se reduce a obtener, para cada x, un valor h(x) tal que esperanza
h
i
E (Y h(x))2 =X = x es mnima.
Teniendo en cuenta que, para una v.a. Z, se tiene que E[(Z

c = E [Z], obtenemos que

c)2 ] se minimiza con

i
h(x)) =X = x
2

E (Y

(3.37)

se minimiza con h(x) = E [Y =X = x], que proporciona entonces la solucin del problema
h(X))2 se minimiza con h(X) = E [Y =X].

que hemos planteado: se tiene que (Y

A la curva y = h(x) se la denomina curva de regresin de Y sobre X. Esta funcin

h(x) se suele denotar por m2 (x). De este modo, la curva de regresin de Y sobre X es la
funcin
y = m2 (x)

(3.38)

con m2 (x) = E[Y =X = x].

La curva de regresin de X sobre Y es la funcin h que minimiza E[(X

h(Y ))2 ].

Razonando del mismo modo que antes se obtiene que la curva de regresin de X sobre Y
es
x = m1 (y) ,

(3.39)

con m1 (y) = E[X=Y = y].

Una propiedad til es la siguiente: si la curva de regresin es una recta entonces coincide
con la recta de regresin. El hecho de que la curva coincida con la recta de regresin permite
obtener la recta sin necesidad de calcular los momentos de (X; Y ).
Pueden darse todas las posibilidades: que ambas curvas sean rectas, que lo sea solo una
de ellas, o que ninguna curva sea una recta.
Ejemplo 5. Consideremos una variable aleatoria (X; Y ) continua con funcin de densidad
f (x; y) =

1
2x

si 0 <
9

y
<x<1.
2

3. Regresin y correlacin

Determina las rectas y las curvas de regresin.

Solucin: Comenzamos obteniendo las curvas, y si alguna es una funcin lineal
coincidir con la recta de regresin, que ya no habr que calcular. En la solucin del
examen del 31-10-12 se calcularon para esta distribucin las esperanzas condicionadas que
determinan las rectas de regresin: se tiene que E [Y =X = x] = x y E [X=Y = y] =
1 y=2
log(y=2) .

Entonces, las curvas de regresin son:

y=x
x=

(Y sobre X),
1 y=2
log (y=2)

(3.40)

(X sobre Y ).

(3.41)

Puesto que la curva de regresin de Y sobre X es una recta, y = x, entonces es tambin

la recta de regresin. Adems, sirve para calcular algunos momentos, como explicamos a
continuacin. Puesto que la recta de Y sobre X es y =
XY
2
X

XY
2
X

=0 y

XY
2
X

XY
2
X

x , debe ser

=1.

(3.42)

Conociendo tres de los cinco momentos que intervienen en las dos ecuaciones, los otros dos
pueden ser obtenidos despejando. En este caso, en la solucin del examen se calculan todos
los momentos de orden 1 y 2, por lo que no necesitamos las ecuaciones. Comprueba que
los valores all calculados satisfacen estas ecuaciones. La recta de X sobre Y es
x=
=

XY
2
Y

XY
2
Y

y=

1
2

1=12 1 1=12
+
y
7=36 2 7=36

2 3
+ y.
7 7

(3.43)
(3.44)

Ejemplo 6. Consideremos una v.a. con funcin de densidad

f (x; y) = 6y si 0 < y < x < 1

(3.45)

(igual que en el ejemplo 1). Determina las dos curvas de regresin.

Solucin: Las funciones de densidad marginales son
f1 (x) = 3x2 si 0 < x < 1

f2 (y) = 6y(1
10

y) si 0 < y < 1 ,

(3.46)

3.4 Curvas de regresin

y entonces las funciones de densidad condicionadas son:

2y
si y 2 (0; x) .
x2
1
- Para 0 < y < 1, f (x=y) =
si x 2 (y; 1) ,
1 y
- Para 0 < x < 1, f (y=x) =

esto es, (X=Y = y)

(3.47)
(3.48)

U (y; 1).

Calculando la correspondiente integral se obtiene E [Y =X = x] =

2
3 x,

y entonces la

curva de regresin de Y sobre X es

2
y= x,
3

(3.49)

que es una recta, y coincide por tanto con la recta de regresin de Y sobre X. El hecho de
que la curva coincida con la recta de regresin permite obtener la recta sin necesidad de
calcular los momentos de (X; Y ), como se hizo en el ejemplo 1.
Se tiene que E [X=Y = y] = E [U (y; 1)] =

y+1
2

, y entonces la curva de regresin de X

sobre Y es
x=

1 1
+ y,
2 2

(3.50)

que es una recta, y coincide por tanto con la recta de regresin de X sobre Y , que ya se
calcul tambin en el ejemplo 1.
Aunque no se pide, explicamos como obtener algunos de los momentos de primer y
segundo orden, ya calculados en el ejemplo 1, aqu a partir de las rectas de regresin,
obtenidas de un modo indirecto. La recta de regresin de Y sobre X tiene la forma y =
Y

XY
2
X

XY
2
X

x , y entonces, puesto que y = 32 x es dicha recta, se tiene que

XY
2
X

La recta de regresin de X sobre Y tiene la forma x =

puesto que x =

1
2

XY
2
X

=0,y

2
.
3

(3.51)
XY
2
Y

XY
2
Y

y , y entonces,

+ 12 y es dicha recta, se tiene que

X

XY
2
Y

1
,y
2

XY
2
Y

1
.
2

Despus de calcular uno cualquiera de los cinco momentos involucrados (mejor

(3.52)
X

Y,

que

son los que requieren menos clculos), los otros cuatro momentos se obtienen resolviendo
el sistema formado por las cuatro ecuaciones en (3.51) y (3.52).

11

3. Regresin y correlacin

Ejemplo 7. Consideremos dos v.a.i.i.d. X e Y con distribucin Beta Be(2; 1). Sea
T = m n fX; Y g

Z = max fX; Y g .

(3.53)

Calcula las rectas y las curvas de regresin para (T; Z).

Solucin: La funcin de densidad de la Beta Be(2; 1) es f (x) = 2x si 0 < x < 1. La
funcin de densidad de (T; Z) es
g(t; z) = 2(2
= 8tz

1) [F (z)

F (y)]2

f (t)f (z)

si 0 < t < z < 1 .

(3.54)
(3.55)

Calculamos las curvas en primer lugar. Si alguna es una recta, entonces coincide con la recta
de regresin, que queda con ello ya obtenida. Las distribuciones marginales y condicionadas
son:
g1 (t) = 4t(1
g2 (z) = 4z 3
- Para 0 < t < 1, g(z=t) =

t2 ) si 0 < t < 1 .
si 0 < z < 1 .

(3.56)
(3.57)

2z

si z 2 (t; 1) .
1 t2
2t
- Para 0 < z < 1, g(t=z) = 2 si t 2 (0; z) .
z
Las esperanzas condicionadas valen:
2 1 t3
2 t2 + t + 1
=
,y
2
31 t
3 t+1
2
E [T =Z = z] = z .
3
E [Z=T = t] =

(3.58)
(3.59)

Por tanto, la curva de regresin de Z sobre T es

z=

2 t2 + t + 1
,
3 t+1

(3.60)

2
t= z ,
3

(3.61)

y la curva de regresin de T sobre Z es

que es adems la recta de regresin de T sobre Z.

12

3.5 Razn de correlacin

Para calcular la otra recta de regresin debemos calcular los momentos

2
T.

T,

Z,

TZ

Podemos ahorrarnos algunas cuentas utilizando la recta de T sobre Z, ya calculada: la

recta de T sobre Z tiene la forma

t=

TZ
2
Z

TZ
2 z
Z

TZ
2
Z

2
,
3

(3.63)

2
3

2
Z

(3.64)

(3.62)

2
y puesto que esta recta es t = z, se tiene que
3
T

TZ
2
Z

=0

2
3

y por tanto
T

Calculamos

Z,

2
T

TZ

2
Z.

Para i = 1; 2 se obtiene E[Z i ] = 4=(4 + i), y de aqu se obtiene

Por (3.64) se obtiene

TZ

= 4=225 y

Calculamos E[T 2 ] para obtener

T
2
T.

= 4=5 y

2
Z

= 2=75.

= 8=15.
Se obtiene E[T 2 ] = 1=3 y de aqu,

2
T

= 11=225.

La recta de regresin de Z sobre T es

z=
=

3.5.

TZ
2
T

TZ
2 t
T

(3.65)

20 12
+ t.
33 33

(3.66)

Razn de correlacin

Hemos obtenido en el apartado 3.4 que la esperanza E[(Y

h(X))2 ] se minimiza con

h : R ! R dada por h(x) = E [Y =X = x].

Obsrvese que el mnimo de la esperanza en (3.37), que se obtiene con h(x) = E [Y =X = x],
es justamente la varianza condicionada V [Y =X = x]:
h
i
h
i
m n E (Y h(x))2 =X = x = E (Y E [Y =X = x])2 =X = x = V [Y =X = x] . (3.67)
h

sto es similar a lo que ocurre con el valor mnimo de E[(Z

varianza de Y :

h
m n E (Y
c

i
h
c)2 = E (Y
13

c)2 ], que es justamente la

i
E [Y ])2 = V [Y ] .

(3.68)

3. Regresin y correlacin

Se tiene que el valor mnimo de m nh E (Y

h(X))2 (el anlogo a la varianza residual

para la recta de regresin) es E [V [Y =X]]:

m n E (Y
h

h
i
h(X))2 = E (Y E [Y =X])2
h h
ii
= E E (Y E [Y =X])2 =X

(3.69)
(3.70)

= E [V [Y =X]] ,

h
puesto que la v.a E (Y
h
E (Y

E [Y =X])2 =X

i
h
E [Y =X])2 =X = x = E (Y

(3.71)

toma los valores

i
E [Y =X = x])2 =X = x = V [Y =X = x] . (3.72)

Podemos medir la bondad del ajustede Y mediante E[Y =X] a traves de un cociente
de errores anlogo al que se obtuvo en (3.34) para la recta de regresin, que vale
2
E (Y E[Y =X])2
E[V [Y =X]]
Y
=
=
2
E [(Y EY )2 ]
Y
V [E[Y =X]]
,
=1
2

V [E[Y =X]]

(3.73)

2
Y

(3.74)

teniendo en cuenta que

2
Y

= V [Y ] = E [V [Y =X]] + V [E [Y =X]] .

La comparacin entre la bondad del ajuste para la recta, dada por 1

curva, dada por (3.74), lleva a considerar al cociente en (3.74), denotado por
2

el anlogo para la curva de lo que es

(3.75)
2,

y para la

2
Y =X ,

como

para la recta. De hecho, cuando la curva es una

recta ambas cantidades coinciden. A esta cantidad

2
Y =X

V [E[Y =X]]
2
Y

(3.76)

se la denomina razn de correlacin de Y sobre X.

Se verica que
0
con
2
Y =X

2
Y =X

2
Y =X

1,

(3.77)

= 0 si y solo si X e Y son independientes (y en este caso V [E [Y =X]] = 0), y con

= 1 si y solo si hay dependencia funcional (lineal o no) entre X e Y (y en este caso

E [V [Y =X]] = 0).
14

3.6 Planos de regresin

Se verica que
2

0
con

2
Y =X

2
Y =X

1,

(3.78)

solamente en el caso de que la curva de regresin sea una recta, que coincide
2
Y =X

entonces con la recta de regresin. Si

= 0 se tiene que
2

de que la independencia implica la incorrelacin, y si

= 0, lo que reeja el hecho

= 1 se tiene que

2
Y =X

= 1, lo que

reeja el hecho de que la dependencia funcional lineal implica, por supuesto, la dependencia
funcional.
La razn de correlacin de X sobre Y es
2
X=Y

que no coincide en general con

2
Y =X ,

V [E[X=Y ]]
2
X

(3.79)

a diferencia de lo que ocurre en el caso lineal, en el

que (X; Y )2 = (Y; X)2 .

3.6.

Planos de regresin

Estudiamos aqu la regresin lineal de Y sobre X en el caso de que X sea un vector

aleatorio.
Consideremos una v.a.

X
Y

= (X1 ; : : : ; Xk ; Y )0 , con X = (X1 ; : : : ; Xk )0 . Buscamos la

funcin h : Rk ! R lineal con la que se alcanza el mnimo

h
m n E (Y

h (X))2

(3.80)

Una tal funcin h lineal tiene la forma h (x1 ; : : : ; xk ) = a +

Pk

i=1 bi xi

, o, vectorialmente,

h (x) = a + bx, con x = (x1 ; : : : ; xk )0 , y b = (b1 ; : : : ; bk ). La funcin y = a + bx es la

ecuacin de un (hiper)plano k-dimensional. Obsrvese que

dh
dbi

d
bi bx

= xi .

Buscamos entonces los valores a; b1 ; : : : ; bk que hacen mnima la esperanza

h
L (a; b) = E (Y

(a + bX))2

(3.81)

Para ello, planteamos k + 1 ecuaciones igualando a cero la derivada de L (a; b) respecto de

cada uno de sus argumentos. Se tiene en este caso que la derivada de la esperanza coincide
15

3. Regresin y correlacin

con la esperanza de la derivada, lo que simplica los clculos. Calculamos las derivadas de
(y

(a + bx))2 :
d
(y
da
d
(y
dbi

(a + bx))2 = 2 (y

(a + bx))2

(a + bx))2 = 2 (y

(a + bx))

d
(y
da

d
(y
dbi

(a + bx)) = 2 (y
(a + bx)) = 2 (y

(a + bx)) , (3.82)
(a + bx)) xi .

(3.83)

Tomando esperanzas e igualando a cero obtenemos las ecuaciones

a + b1 E [X1 ] +
aE [X1 ] + b1 E X12 +

+ bk E [Xk ] = E [Y ]

(3.84)

+ bk E [Xk X1 ] = E [X1 Y ]

(3.85)

aE [Xk ] + b1 E [X1 Xk ] +

..
.

(3.86)

+ bk E Xk2 = E [Xk Y ]

(3.87)

Estas ecuaciones se pueden expresar matricialmente, de una forma compacta. Consideremos el vector aleatorio Z =

1
X

= (1; X1 ; : : : ; Xk )0 y sea c = (a; b) = (a; b1 ; : : : ; bk ). Es

inmediato comprobar que el sistema se expresa como

E ZZ0 c0 = E [ZY ] .

(3.88)

Deniendo la esperanza de una matriz de variables aleatorias como la matriz de las correspondientes esperanzas, queda denida E [ZZ0 ]. Es inmediato comprobar que E [ZZ0 c0 ] =
E [ZZ0 ] c0 , y por tanto E [ZY ] = E [ZZ0 ] c0 . Despejando se obtiene c0 = E [ZZ0 ]

E [ZY ],

y entonces
c = E Z0 Y E ZZ0

(3.89)

que es entonces la solucin del sistema.

El plano de regresin de Y sobre X es
y = a + bx = cz = E Z0 Y E ZZ0

z.

(3.90)

En el siguiente ejemplo se realizan los clculos para k = 1, obtenindose la recta de regresin

ya estudiada en el apartado 3.2.
16

3.6 Planos de regresin

Ejemplo 8. Con k = 1, y llamando X a X1 , se tiene que Z = (1; X1 )0 = (1; X)0 . Realizando
los clculos se obtiene
0

E [X] C
B 1 X C
B 1
0
ZZ0 = @
A , E ZZ = @
A ,
X X2
E [X] E X 2
E ZZ0

E ZZ0

= E X2
0

E [X]2 =

2
1 B E X
@
2
X
E [X]

Adems,

2
X

(3.91)

,y
1

(3.92)

E [X] C
A .
1

(3.93)

Z0 Y = (Y; XY ) , E Z0 Y = (E [Y ] ; E [XY ]) ,

(3.94)

y entonces
c = E Z0 Y E ZZ0
=
=

1
2
X

1
2
X

(3.95)

E X 2 E [Y ]

E [X] E [XY ] ; E [X] E [Y ] + E [XY ]

(3.96)

E X 2 E [Y ]

E [X] E [XY ] ; E [X] E [Y ] + E [XY ] .

(3.97)

Simplicando, obtenemos
E X 2 E [Y ]

E [X] E [XY ]
2
X

+ E [X]2 E [Y ]

2
X

= E [Y ] +
= E[Y ]
1
2
X

( E [X] E [Y ] + E [XY ]) =
c=

XY
2
X

(3.98)

2
X

= E [Y ] +

E [X] E [XY ]

E [X]2 E [Y ]

E [X] E [XY ]

(3.99)

2
X

E [X] (E [X] E [Y ]

E [XY ])

2
X

E[X]

XY
2
X

(3.100)
(3.101)

, y entonces

XY
2
X

XY
2
X

(3.102)

Por tanto, el plano de regresin, en este caso una recta, es (con x = x y z = (1; x)0 )
y = h (x) = a + bx = cz =

17

XY
2
X

XY
2
X

x.

(3.103)

3. Regresin y correlacin

Por (3.88) y la linealidad de la esperanza, se tiene que

0 = E ZZ0 c0
= E Z Z0 c0

E [ZY ] = E ZZ0 c0
Y

E [(Y

(3.104)

ZY

cZ) Z] ,

(3.105)

siendo 0 un vector de ceros. Puesto que la primera componente del vector Z es 1, se

tiene que la primera componente del vector E [(Y

cZ) Z] es E [(Y

cZ)], que debe ser

entonces 0, por (3.104) y (3.105). Por tanto, E [Y ] = E [cZ] = E [a + bX] = a + bE [X].

Este resultado permite obtener la primera componente, a, del vector c = E [Z0 Y ] E [ZZ0 ]

sin necesidad de realizar los clculos: se tiene que

a = E [Y ]

bE [X] .

(3.106)

A las variables X1 ; : : : ; Xk se las denomina variables explicativas.

3.7.

Plano de regresin de Y sobre (X1 ; X2 ). Coecientes de

correlacin parciales y multiple.

Estudiamos aqu con mayor detalle el caso k = 2 del apartado anterior.

Consideremos una v.a. (X1 ; X2 ; Y ). Buscamos la funcin h : R2 ! R lineal,
h (x1 ; x2 ) = a + b1 x1 + b2 x2 ,
h
con la que se alcanza el mnimo m nh E (Y

(3.107)

i
h (X1 ; X2 ))2 .

La expresin y = a + b1 x1 + b2 x2 es la ecuacin de un plano bidimensional (un plano

propiamente dicho).
Buscamos entonces los valores a; b1 ; b2 que hacen mnima la esperanza
h
L (a; b1 ; b2 ) = E (Y

(a + b1 X1 + b2 X2 ))2

(3.108)

Particularizamos a este caso k = 2 la solucin obtenida en el apartado anterior. Se

tiene que Z = (1; X1 ; X2 )0 y c = (a; b1 ; b2 ). Denotamos por
X1 ; X2 ; Y , respectivamente, y por

2
1;

2
2;

2
Y

1;

2;

las esperanzas de

las varianzas. Denotamos las covarianzas por

18

3.7 Plano de Y sobre (X1 ; X2 ). Correlacin parcial y multiple.

ij ,

con i; j = 1; 2; Y , y por ij los coecientes de correlacin. Se tiene que

0
1
0
X1
X2 C
1
E [X1 ]
E [X2 ]
B 1
B
B
C
B
0
B
2
ZZ0 = B
X12
X1 X2 C
E [X1 X2 ]
B X1
C , E ZZ = B E [X1 ] E X1
@
A
@
X2 X2 X1
X22
E [X2 ] E [X2 X1 ] E X22

y el determinante vale jE [ZZ0 ]j = 1

2
12

2 2
1 1

. La expresin de E [ZZ0 ]

C
C
C ,
C
A

(3.109)

es aparatosa,

y no la presentamos. Presentamos directamente el vector c = (a; b1 ; b2 ) con el que se

minimiza (3.108). Por (3.106) se tiene que a = E [Y ]

bE [X] =

12 1Y
2
12

b1

b2

2.

Los

valores de b1 y b2 son:
b1 =

1Y

12 2Y
2
12

b2 =

2Y

(3.110)

A estas cantidades b1 y b2 se las denomina coecientes de regresin parcial. A las cantidades

p
2
1
12 2Y
1Y
12 1
q
=q
b1 y
(3.111)
1Y .2 = p
2
2
2
Y
1
1
12 1
2Y
2Y
p
2
1
2Y
12 2
q12 1Y
=q
b2
(3.112)
2Y .1 = p
2
2
2
Y
1
1
1
12
1Y
1Y

se las denomina coecientes de correlacin parcial.

Calculamos la varianza residual:
h
E (Y

i
h
(a + b1 X1 + b2 X2 ))2 = E ((Y
2
Y

+ b21

2
1

+ b22

2
2

2b1

1Y

2
Y .12

2b2

Y)

b1 (X1

2Y

+ 2b1 b2

2
2Y

12

1)

2
Y

2
2 ))

b2 (X2
1

2
Y .12

(3.113)
(3.114)

con

Y .12

2
1Y

2 2
12 1Y
2
12

2
2Y

(3.115)

se le denomina coeciente de correlacin mltiple.

Del mismo modo que la bondad del ajuste con la recta de regresin se mide mediante
1

, la bondad del ajuste con el plano de regresin se mide mediante 1

Apuntes sobre variable aleatoria multidimensional

Vctor M. Ruiz Morcillo

19

2
Y .12