REGRESION Y CORRELACION

LINEALES

1
 Relaciones entre variables y regresión
• El término regresión fue introducido por Galton (1889)
refiriéndose a la “ley de la regresión universal”:

– “Cada peculiaridad en un hombre es compartida por

sus descendientes, pero en media, en un grado
menor.”
• Regresión a la media
– Su trabajo se centraba en la descripción de los rasgos
físicos de los descendientes (una variable) a partir de
los de sus padres (otra variable). Francis Galton

– Pearson realizó un estudio con más de 1000 registros

de grupos familiares observando una relación del tipo:

• Altura del hijo = 85cm + 0,5 altura del padre

(aprox.)

• Conclusión: los padres muy altos tienen

tendencia a tener hijos que heredan parte de esta
Karl Pearson
altura, aunque tienen tendencia a acercarse
(regresar) a la media. Lo mismo puede decirse de
los padres muy bajos.
2
 Regresión

• Describir la relación entre dos variables numéricas

• El análisis de regresión sirve para predecir una medida en función
de otra medida (o varias).
– Y = Variable dependiente
• predicha
• explicada
– X = Variable independiente
• predictora
• explicativa
– ¿Es posible descubrir una relación?
• Y = f(X) + error
– f es una función de un tipo determinado
– el error es aleatorio, pequeño, y no depende de X

3
 Diagramas de dispersión , nube de puntos o “Scaterplot”
Tenemos las alturas y los pesos de 30 individuos representados en un
diagrama de dispersión.

Variable dependiente y (peso)

100
90
80 Pesa 76 kg.

70

Mide 187 cm.

60
Pesa 50 kg.
50
40 Mide 161 cm.

30
140 150 160 170 180 190 200
4
Variable independiente x (altura)
 REGRESION LINEAL SIMPLE
Finalidad Modelo

y    x  
Estimar los valores de y (variable
dependiente) a partir de los valores
de x (variable independiente)

y ŷ

 y
b
y x
 =tg q coeficiente de regresión
a q (pendiente)
Ordenada en
el origen
(intercepto) x
x 5
 Relación directa e inversa

330 100

No hay relacion 90 Fuerte relación

280
80 directa.
230
70
180
60
130
50
80 40
30 30
140 150 160 170 180 190 200 140 150 160 170 180 190 200

Para valores de X por encima de la

•Para los valores de X mayores que la media
media tenemos valores de Y por
le corresponden valores de Y mayores
encima y por debajo en proporciones
también.
similares.
•Para los valores de X menores que la media
80 le corresponden valores de Y menores
70 Cierta relación también. : relación directa.
60 inversa
50
40
30 Para los valores de X mayores que la
20 media le corresponden valores de Y
10
menores. Esto es relación inversa o
0
140 150 160 170 180 190 200 decreciente. 6
 COVARIANZA

Es una medida de la variación lineal conjunta de dos variables

 ( y  μ y )( x  μx )
y  xy 
centroide yy N
+
y Estimación de  xy

+ x  x
cov 
 ( y  y )( x  x )
n
x x Es un estimador sesgado

 xy < 0 asociación lineal con pendiente negativa

 xy = 0 ausencia de asociación lineal
 xy > 0 asociación lineal con pendiente positiva
7
 El signo de la covarianza nos dice si el aspecto
de la nube de puntos es creciente o no, pero no
nos dice nada sobre el grado de relación entre
las variables.

Coef. de correlación lineal de Pearson

r Valor en la muestra

r (Rho ) en la poblaciòn

El coeficiente de correlación lineal de Pearson de dos variables, r,

indica si los puntos tienen una tendencia a disponerse
alineadamente (excluyendo rectas horizontales y verticales).

8
 CORRELACION LINEAL
Finalidad
Medir la intensidad de la asociación lineal entre dos variables
aleatorias

coeficiente de correlación r   xy /  x y

r  s xy / s x s y
covarianza poblacional

coeficiente de
determinación r2 r2
Proporción de varianza compartida por las
dos variables
9
 Propiedades de r
• Es adimensional
• Sólo toma valores entre -1y +1
• Las variables NO estàn correlacionadas  r=0
• Relación lineal perfecta entre dos variables  r = +1 o r=-1
– Excluimos los casos de puntos alineados horiz. o
verticalmente.
• Cuanto más cerca esté r de +1 o -1 mejor será el grado de relación
lineal.
– Siempre que no existan observaciones anómalas.

Relación
inversa Relación
perfecta directa
Variables
casi
NO correlacionadas
perfecta

-1 0 +1 10
0
0 Y
10 = 0.134
20 X + 2.122
30 40 X 50 Correlación
60 70 80 90negativa
0 2 Y =4 X 6 8X 10 12 14 16
0
2
2
4
4
6
6
8

Y
8
10
10
12

-1  r  0
12
14
14
r=-1
16
16

Correlación positiva 16 Y=X

16 Y = 0.134 X + 2.122

0  r  +1
14
14
12
r=+1
12

10
10
Y

8
Y

6
6

4
4

2 2

0 0
0 10 20 30 40 50 60 70 80 90 0 2 4 6 8 10 12 11 14 16
X X
 16 Y = 0.093 X + 4.335 8 Y=4
14
7

12 6

10 5
Y

Y
8 4

6 3

4 2

2 1

0 0
20 25 30 35 40 45 50 55 60 20 25 30 35 40 45 50 55
X X

16 #¡DIV/0!
14 r=0
12

10

Ausencia de correlación
Y

0
0 1 2 3 4 5 6
X
12
Animación: Evolución de r y diagrama de dispersión

13
 ESTIMACION DE r (rho) r  Cov s .s
x y

PRUEBA DE r n2 Se compara con el valor

Ho : r  0 t calc 
critico (t tabulado)
1 r 2
CONSIDERACIONES PARA LA VALIDEZ DEL TEST
Los residuos ( e ) deben ser :Normales
 Homocedasticos
 Independientes

Testar la Ho: r = 0 equivale a ensayar la Ho: = 0

14
Animación: Residuos del modelo de regresión

15
 ESTADISTICOS USUALES

ˆs 2y.x   
( y  ˆ
y ) 2  2
Varianza residual (insesgada) 
n2 n2

Error tipico de estimación de y ˆs y.x  sˆ2y.x

Error tipico de estimación de b sˆb  sˆ y.x SCX

2 SCRegresión 2
Coeficiente
de Determinación R2
R  (0  R  1)
SCtotal
2
S
R  1  e2
2

SY
16
 ¿Cómo medir la bondad de una regresión?

Imaginemos un diagrama de dispersión, y vamos

a tratar de comprender en primer lugar qué es
el error residual, su relación con la varianza de Y,
y de ahí, cómo medir la bondad de un ajuste.

17
 Interpretación de la variabilidad en Y

En primer lugar olvidemos que existe Y

la variable X. Veamos cuál es la
variabilidad en el eje Y.

La franja sombreada indica la zona

donde varían los valores de Y.

Proyección sobre el eje Y = olvidar X

2
S Y
18
 Interpretación del residuo ( y  yˆ )

Fijémonos ahora en los errores de predicción

(líneas verticales). Los proyectamos sobre el Y
eje Y.
Se observa que los errores de predicción,
residuos, están menos dispersos que la
variable Y original.

Cuanto menos dispersos sean los

residuos,
mejor será la bondad del ajuste.

2
S e
19
 Bondad de un ajuste
Resumiendo:  La dispersión del error residual será una fracción de
la dispersión original de Y Y
 Cuanto menor sea la dispersión del error
residual mejor será el ajuste de regresión.

Eso hace que definamos

como medida de
bondad de un ajuste de
regresión, o coeficiente
de determinación a:
2
S
R  1
2 e
2
S Y
S 2
e  S
20
2
Y
 Consecuencia sobre las estimaciones de y
faja de
y
b  tsˆb
confianza
para
b b  tsˆb
y x

faja de
confianza
para ŷ x

x x

A medida que los valores se alejan del centroide ( x, y)

las estimaciones de y son más imprecisas
21
 P Q

Buen ajuste a la recta en el intervalo PQ

NO implica que la relación sea lineal fuera del mismo

22
 y

ex
y
ey

x x

La recta de regresión de y sobre x no es la misma que la de x sobre y , salvo

que todos los puntos estén sobre la recta
23
 Precauciones en la interpretación de r

r significativo NO implica relación de causalidad entre las

variables
t x
y
r = 0 NO implica ausencia de asociación entre las variables

y r=0 y r=0

x x

24
Los problemas de regresión y de correlación lineales
se parecen pero difieren

En la finalidad
En las variables

REGRESION CORRELACION
x variable NO hay distinción entre
independiente fija variable dependiente e
independiente
y variable x e y son variables
dependiente aleatoria aleatorias

25
 Cálculos en correlación y regresión

Entrar x  Hallar x y s x  Borrar la memoria estadística

Entrar y  Hallar y y s y  Borrar la memoria estadística
Entrar los productos (x y)  Hallar x y
Calcular: Cov  xy  x. y

r  Cov Testar: Ho : r  0
s x .s y

rs y y  a  bx
b a  y  bx
sx

26