Ajustes de Curvas

Temas a tratar
1
Introduccion
2
Estimacion de Parametros
3
Propiedades de Parametros
4
Intervalos Confianza
5
Anova
6
Prueba de Significancia (Test T)
7
Ajuste R2
Introduccin
Recordemos q el modelo de regresin lineal mltiple es
muy similiar al modelo lineal simple con la unica
diferencia que esta trabaja con mas terminos.



Para el caso de ei debes saber que
Estimacin de mnimos Cuadrados
El mtodo de mnimos cuadrados es utilizado para
estimar los parmetros en el modelo de regresin lineal
mltiple.

Estimacin de parmetros
Haciendo el proceso de derivacion con respecto a c\u
de las parametros e igualandolas a cero obtenemos las
ecuaciones normales









Pero podemos ayudarnos de una notacion matricial y
resolver las ecuaciones normales
Estimacin de parmetros
Observamos que son para p= k+1 parmetros entonces
Estimacion de Parametros
Para poder obtenerlo nos basamos en la minimos
cuadradados simplificando tenemos:
Estimacin de Parmetros
Ahora para encontrar el estimador de mnimos
cuadrados debemos derivar con respecto al vector de
los parmetros
Estimacion de Parametros
Entonces podemos representar todas la ecuaciones
normales con una notacion matricial simple mediante:
Es la representacin de la ecuaciones normales
Propiedades de los Parmetros
1. b es un estimador insesgado de B. Esto es, E(b) = B
Propiedades de los Parmetros
Conociendo la matriz de varianza y convarianza
Propiedades de los Parmetros
Para poder determinarlo podemos empezar sabiendo
que
A es una matriz de constantes y Y es un vector
Intervalos de Confianza para los
coeficientes de regresin
para la construccin de los intervalos de
confianza para los coeficientes de regresin se
debe asumir que los errores ei son normalmente
distribuidos, independientes con E(ei) = 0 y
V(ei)=o2 Este supuesto hace que variable Yi sea
tambin una variable normal ya que es una
funcin de una variable normal, con
y varianza o2
Debido a que el estimador de mnimos cuadrados
b es una funcin Y entonces es normalmente
distribuido con.

Intervalos de Confianza para los
coeficientes de regresin
Como
entonces la distribucin marginal de cualquier
coeficiente bj de regresin es normal con
Donde Cjj es el j esimo elemento de la matriz (X.X)-1
. Luego


es una cantidad pivotal para la construccin del
intervalo de confianza para Bj cuya distribucin de
probabilidad es t con n-p grados de libertad. Donde
obtenido de la tabla de Anova. Por
tanto un intervalo de confianza del por ciento para el
coeficiente de regresin Bj, j=1,2,..k, es

| | 2 1 0 b b b b
T
=
j j
b E | = ) (
j
j j
C b V
2
) ( o =
j
j
j j
C
b
2

o
|
CMerror =
2
o
Intervalos de Confianza para los
coeficientes de regresin
j
j j j
C p n t b
2

) , 2 / ( o o | =
Anlisis de Varianza ANOVA
Ahora se explicar cuanta variacin ha sido explicada por
la regresin
Para ello iniciamos con el valor residual
Ahora elevamos al cuadrado a ambos lados y
sumamos desde el i inicial hasta n datos
observados
Anlisis de Varianza ANOVA
En esta ultima ecuacin tenemos las los valores
fuentes de variacin
Anlisis de Varianza ANOVA
Una tabla basica de varianza esta dado por:
Bondad de Ajuste en RLM
Existen diversas tecnicas para poder medir la
adecuacin del modelo una de ellas es el coeficiente
de determinacin
El coeficiente de determinacion es aquel que nos
indicar la bondad de ajuste del modelo a los datos.
Nos predice como ser el ajuste
R2 mide la correlacion entre Y y Y y 0<=R^2<=1
Bondad de Ajuste con R2
Tambien existe r2 ajustado es una medida de
idoneidad
Tanto como R2 y R2 ajustado son medidas
descriptivas esto no prueba si un modelo es til
debemos usar mas tecnicas
Prueba de Significancia de la
Regresin
Es una prueba de la hipotesis para medir la bondad
de un ajuste del modelo es decir determinar si hay
una relacion entre Y y variable regresora Xi
Prueba de Significancia de la
Regresin
Una de las pruebas es la
prueba estadistica F
Qu pasa cuando es cierta
la hipotesis nula? H0=true
Si se rechaza que debe
ocurrir?
Ho=false
Prueba de Significancia para cada
coeficiente de Regresin
Esta prueba nos permite determinar si:
1. Se incluye otra varaible regresora
2. Se elimina una o mas varaibles regresoras
Las hipotesis para probar significancia
Qu pasa cuando es cierta
la hipotesis nula? H0=true
Si se rechaza que debe
ocurrir?
Ho=false
Prueba de Significancia para cada
coeficiente de Regresin
Otra prueba estadistica usada para este caso es:
(TEST T)
Asi esta se distribuye con t-Student grados de
libertad del error
Hiptesis
alternativa

Condicin de
punto de
rechazo
Valor p
H
a
:
j
0 2 (rea bajo la curva t a
la derecha de |t|)
H
a
:
j
> 0 rea bajo la curva t a la
derecha de t
H
a
:
j
< 0 rea bajo la curva t a la
izquierda de t
| |
( )) 1 (
2 /
| |
+
>
k n
t t
o
| |
( ) ( ) 1 +
>
k n
t t
o
| |
( ) ( ) 1 +
<
k n
t t
o
Prueba de Significancia para cada
coeficiente de Regresin
Ejercicicio
Ejemplo
X =
1 0.79 7.8 1.82 30 12.4
1 0.65 8 8.84 25 11.4
1 0.81 9.03 5.12 35 10.7
1 0.74 6.56 5.43 40 11.6
1 0.22 5.9 1.42 30 11.3
1 0.23 8.4 1.09 30 10.7
1 0.25 12 1.15 25 11.1
1 0.26 4.8 8.53 25 12.8
1 0.41 10.8 6.11 10 13.3
1 0.55 10.4 1.6 30 13.3
1 0.47 10.8 1.04 30 14.1
1 0.59 7.9 1.02 35 13.4
1 0.47 4.3 1.11 30 13.5
1 0.5 10.8 0.62 35 13.3
1 0.52 3.8 1.69 30 14.4
1 0.47 4.1 1.22 20 14.1
1 0.42 4.5 2.13 30 15.3
1 0.37 6.1 1.47 20 14
c + + + + + =
k k
x b x b x b b y
2 2 1 1 0
Problemas
Modelo general
y =
0.68
0.85
0.66
0.5
1.86
2.33
2.17
1.83
1.68
2.05
1.83
1.84
1.87
1.82
1.85
1.75
1.51
1.38
X'X=
18 8.72 135.99 51.41 510 230.7
8.72 4.7968 66.365 26.616 256.1 111.52
135.99 66.365 1149.5 382.41 3841.9 1720.4
51.41 26.616 382.41 269.12 1388.7 639.59
510 256.1 3841.9 1388.7 15250 6500.5
230.7 111.52 1720.4 639.59 6500.5 2989.6
X' y =
28.46
12.438
217.59
69.167
791.25
367.7
b=(X'X)
-1
X' y =
1.1858
-2.3524
0.044719
-0.04593
0.0082322
0.085432
Problemas
Modelo de regresin ajustado es

Y* = 1.1858 - 2.3524x
1
+ 0.044719x
2
- 0.04593x
3
+
0.0082322x
4
+ 0.085432x
5


La matriz de covarianza de b es:
Cov (b) = o
2
(XX)
-1

o
2
= (yy bXy)/(n - p) = 0.083374
n=18;
p = 5 + 1;
Problemas
Intervalos de confianza
Construiremos un intervalo de confianza de 95% respecto a:
b0 = 1.1858; elemento de la diagonal de (XX)
-1
C
0
= 15.619; o
2
=
0.083374, entonces t
0.025; 12
de la tabla es 2.179
C = inv(X'*X)
C =
15.619 1.5815 -0.2425 -0.2509 -0.11489 -0.82122
1.5815 2.6034 -0.035191 -0.075599 -0.040558 -0.094545
-0.2425 -0.035191 0.010536 0.0033754 0.0012989 0.010417
-0.2509 -0.075599 0.0033754 0.012702 0.0025207 0.012041
-0.11489 -0.040558 0.0012989 0.0025207 0.0021398 0.0044397
-0.82122 -0.094545 0.010417 0.012041 0.0044397 0.049009

Problemas
Intervalos de confianza
Construiremos un intervalo de confianza de 95% respecto a:
b0 = 1.1858; elemento de la diagonal de (XX)
-1
C
0
= 15.619; o
2
=
0.083374, entonces t
0.025; 12
de la tabla es 2.179
C = inv(X'*X)
b0 = 1.1858; C
0
= 15.619 -1.3007 s b0 s 3.6724
b1 = -2.3524 C
1
= 2.6034 -3.3676 s b1 s -1.3372
b2 = 0.044719 C
2
= 0.010536 -0.019862 s b2 s 0.1093
b3 = -0.04593 C
3
= 0.012702 -0.11684 s b3 s 0.024981
b4 = 0.0082322 C
4
= 0.0021398 -0.020872 s b4 s 0.037336
b5 = 0.085432 C
5
= 0.049009 -0.053855 s b5 s 0.22472
Prueba de hiptesis en la regresin lineal mltiple
Prueba de significacin de regresin

Esta prueba es para determinar si hay una relacin lineal entre la variable
dependiente y y un subconjunto de las variables independientes X. Las
hiptesis apropiadas son:
H
0
: b
1
= b
2
= . = b
k
= 0
H
1
: b
j
= 0


El rechazo de H
0
: b
j
= 0 implica que al menos una de las variables
independientes X contribuye significativamente al modelo.
Prueba de hiptesis en la regresin lineal mltiple
n
y
n
i
i
2
1
|
.
|

\
|

=
n
y
n
i
i
2
1
|
.
|

\
|

=
n
y
n
i
i
2
1
|
.
|

\
|

=
S
YY
= SS
R
+ SS
E

SS
E
= y y bX y
SS
R
= bX y -
SS
R
= 3.9728
S
yy
= 5.0567
= 28.46
2
/ 18 = 809.97
>> SS
E
=S
yy
- SS
R
= 1.0839
S
YY
= y y -
Problemas
Fuente
de
variaci
n
Suma de
cuadrado
s
Grados de
libertad
Media
cuadrtica
F
Regresi
n
SS
R
=
3.9728
k = 5
MS
R
= SS
R
/ k =
0.79456
MS
R
/ MS
E
=
8.7971
Error o
residuo
SS
E
=1.0839
nk1=18-5-
1=12
MS
E
= SS
E
/ (n-k-
1)= 0.090321
Total
S
yy
=
5.0567
n-1 = 17
Anlisis de varianza para la significacin de la regresin en la
regresin mltiple

Pruebas de coeficientes individuales de regresin
Estas pruebas son tiles en la determinacin del valor de cada una de las
variables independientes en el modelo de regresin. El modelo podra ser
mas eficaz con la inclusin de variables adicionales, o quiz con la omisin de
una o mas variables ya en el modelo.

Las hiptesis para probar la significacin de cualquier coeficiente de regresin
individual son:

H
0
: b
j
= 0
H
1
: b
j
= 0
Si H
0
: b
j
= 0 no se rechaza, entonces esto indica que x
j
puede ser eliminada
del modelo.

jj
j
C
b
t
2
o
=
Pruebas de coeficientes individuales de regresin
Donde C
jj
es el elemento de la diagonal de (XX)
-1
correspondiente a b
j
.
C
0
= 15.619
C
1
= 2.6034
C
2
= 0.010536
C
3
= 0.012702
C
4
= 0.0021398
C
5
= 0.049009
t
i-1
=b(i)/(sqrt(MS
E
*C(i,i)))

La hiptesis nula se rechaza si | t | > t
o/2, n-k-1

t0 = 0.99841 no significativo
t1= - 4.8511 significativo
t2= 1.4496 no significativo
t3= - 1.356 no significativo
t4= 0.59216 no significativo
t5= 1.2841 no significativo
to/2, n-k-1
=
t0.025, 12
= 2.179


Puesto que t1 > t0.025, 12
, rechazamos
H0
: b
1
= 0 y concluimos que la
variable x1 contribuye de manera significativa al modelo.

Problema
Coeficiente valor Variable Test t
b0 1.1858 0.99841
b1 -2.3524 X1 - 4.8511
b2 0.044719 X2 1.4496
b3 -0.04593 X3 - 1.356
b4 0.0082322 X4 0.59216
b5 0.085432 X5 1.2841
Coeficiente de determinacin
mltiple
Coeficiente de determinacin mltiple

Es una medida del grado de reduccin en la
variabilidad de y obtenida mediante el empleo de las
variables regresivas X
R
2
= SS
R
/ S
YY
= 1 SS
E
/ S
YY
= 3.9728 / 5.0567 =
0.78566 = 78. 6%