Diseo de Experimentos n

TEMA 10 Daniel Mart nez Bello

Universidad Cooperativa de Colombia Facultad de Medicina Veterinaria y Zootecnia

September 7, 2011

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal CON MULTIPLES o VARIABLES PREDICTORAS

Un estudio experimental o observacional se puede plantear en trminos de una variable respuesta y de varias variables predictoras e o factores predictores, teniendo la caracter stica de que estas variables predictoras pueden ser variables continuas o discretas con dos o mas niveles y con caracter sticas ordinales o nominales.

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

Cual es la relacin entre La cantidad de bovinos, porcinos y o terneros sacricados y el costo de operacin de una planta de o sacricio en 18 plantas de sacricio de animales Planta 1 2 3 4 5 6 7 8 9 Costo 27698 57634 47172 49295 24115 33612 9512 14755 10570 Bovinos 3437 12801 6136 11685 5733 3021 1689 2339 1025 Cerdos 3268 5751 15175 639 534 839 318 610 734 Terneros 5791 4558 6223 3212 3220 4348 634 1895 834

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

Cual es la relacin entre La cantidad de bovinos, porcinos y o terneros sacricados y el costo de operacin de una planta de o sacricio en 18 plantas de sacricio de animales Planta 10 11 12 13 14 15 16 17 18 Costo 15394 27843 17717 20253 37465 47427 35944 45945 46890 Bovinos 2936 5049 1693 1187 9730 7737 7538 10211 8697 Cerdos 331 1589 837 459 3780 1394 2565 3081 1378 Terneros 1419 4195 3602 2679 3951 9043 4538 4994 3005

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

Cual es la relacin entre La cantidad de bovinos, porcinos y o terneros sacricados y el costo de operacin de una planta de o sacricio en 18 plantas de sacricio de animales
VARIABLE RESPUESTA COSTO = = MULTIPLES VARIABLES PREDICTORAS BOVINOS PORCINOS TERNEROS

OBJETIVO Crear un modelo del comportamiento de la variable respuesta a partir de varias variables predictoras Crear un modelo del costo de funcionamiento de una planta de sacricio a partir de las variables predictoras nmero de bovinos, ternero o cerdos u sacricados por ao n

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal multiple o El objetivo espec co es crear un modelo estad stico sobre el cual podamos hacer predicciones sobre la respuesta y encontrar las variables predictoras que tienen asociacin con la respuesta. o

Yi = 0 + 1 X1i + 2 X2i + + n Xni +

donde Yi corresponde a la variable respuesta. 0 corresponde al intercepto

1 , 2 n corresponde al coeciente de regresin PARA o CADA UNA DE LAS VARIABLES PREDICTORAS. X1i , X2i X3i corresponde a cada uno de los valores de cada una de las variables predictoras corresponde al error de cada una uno de los valores predichos con respecto a la recta de regresin. o
i
Daniel Mart nez Bello Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple o u El modelo de regresin lineal mltiple se puede expresar en o u notacin de matrices. Recuerden su curso de algebra de noveno o grado. 1 X11 X12 X1,p1 Y1 1 X21 X22 X2,p1 Y2 Yn1 = . Xnp = . . . . . . . . . . . . . . . . . Yn 1 2 = . . . n 1 Xn1 Xn2
1 n1

Xn,p1

p1

2 = . . . n =

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, PUNTOS CLAVES A o u TENER EN CUENTA Porque nos complicamos con notacin de matrices?. Bueno, o el asunto es que cuando se trabaja con mas de dos variables se tiene arreglos multidimensionales, y el tratamiento matemtico se lleva a cabo con matrices y las computadoras a hacen sus calculos utilizando matrices. A que se reere el concepto de regresin multiple lineal?: a o que los parametros del modelo (o sea los ) son lineares, no corresponden a una transformacin que implique elevarlos a o un exponente , o que unos parametros correspondan a los coecientes de otros parmetros. ejemplo: a Yi Yi = 0 + 1 X1i + 2 X2i + i ; lineal
= 0 + 1 3 X3i X1i + 4 2
Daniel Mart nez Bello 1 X2i

X4i + i ; no lineal

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se estiman los o u coecientes de regresin o Los coecientes de regresin o sea los son estimados con la o letra b y el mtodo de estimacin es el mismo que en el caso e o de la regresin simple. o El mtodo es el de los m e nimos cuadrados, se utiliza la notacin de matrices o el interes se centra en hallar el vector b bp1 b0 b1 b2 . . .

= bp1
Diseo de Experimentos n

Daniel Mart nez Bello

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se estiman los o u coecientes de regresin o Los coecientes de regresin multiple se estiman usando el mtodo o e de m nimos cuadrados.

b = (X X)1 (X X)Y
Esta ecuacin se lee: el vector de estimados b es igual a la o multiplicacin de la matriz inversa de la multiplicacin de la matriz o o transpuesta de las variables predictoras multiplicada por la matriz de las variables predictoras, por la matriz transpuesta de las variables predictoras multiplicada por la matriz de las variables predictoras, multiplicada por el vector de la variable respuesta Y.

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se estiman los valores o u predichos y los residuales Y1 e1 e2 Y2 = . en1 = . . . . . n en Y

Yn1

Los valores predichos son representados por Y = Xb Y el vector de errores o residuales es igual a e = Y Y = Y Xb
Daniel Mart nez Bello Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se estima la varianza o u de los residuales Para estimar la varianza de los residuales denotada como 2 (e) se requiere estimar la matriz H H = X(X X)1 X y se requiere de una matriz conocida como la matriz identidad denotada como I y que corresponde a una matriz simtrica con 1 e s en la diagonal de la matriz, y el resto de las celdas de la matriz identidad se llena con ceros. ee (I H) np

2 (e) =

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, la tabla de anlisis de o u a regresin o Fuente de Variacion Regresin o G.L. p-1 Sumas de Cuadrados (SC)
1 b X Y n Y JY

Error n-p YYbXY 1 Total n-1 Y Y n Y JY La matriz J es una matriz simetrica de 1s (unos).

Cuadrados Medios (CM) SC regresin o p-1 SC error n-p

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, el test F de relacin de la o u o regresin o Hipotesis nula: 1 = 2 = = p1 = 0 Hipotesis alterna: no todos los k son diferentes de cero. El estad stico es F = Cuadrado medio de la regresin o Cuadrado medio del error

La regla de decisin o Concluir H0 SiF F (1 ; p 1, n p) Concluir HA SiF > F (1 ; p 1, n p)

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, el coeciente de o u determinacin mltiple o u Es una medicin de la reduccin en la variacin de la variable o o o respuesta Y asociada con el uso de una coleccin espec o ca de variables predictoras X. El coeciente de determinacion mltiple se u denota como R2 y se encuentra entre 0 y 1 (0 R 2 < 1). R2 = Cuadrado medio de la regresin o Cuadrado medio del error =1 Cuadrado medio total Cuadrado medio total

El R2 siempre se incrementa a medida que adicionan mas variables predictoras.

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se estiman los errores o u standard de los coecientes de regresin o En notacin matricial tenemos una matriz de varianzas y o covarianzas de los coecientes de regresin. o s 2 (b0 ) s 2 (b0 , b1 ) s 2 (b0 , bp1 ) s 2 (b1 , b0 ) s 2 (b1 ) s 2 (b0 , bp1 ) 2 s (b) = . . . . . . . . . s 2 (bp1 , b0 ) s 2 (bp1 , b1 ) s 2 (bp1 ) y la matriz de varianzas y covarianzas se estima utilizando la siguiente formula

s2 (b)pp = MSE (X X)

Daniel Mart nez Bello

Diseo de Experimentos n

Principios de Regresin Lineal o

El modelo de regresin lineal mltiple, como se hace una prueba de o u hiptesis para cada coeciente de regresin. o o Estamos interesados en probar la siguiente hiptesis para un o coeciente de regresin o Hiptesis nula: k = 0 o Hiptesis alterna: k = 0 o El estad stico t = La regla de decisin o Concluir H0 si |t | t(1 /2; n p) Concluir HA si |t | > t(1 /2; n p)
Daniel Mart nez Bello Diseo de Experimentos n

bk s(bk )

EJEMPLO, Matriz de dispersin entre las variables costo o de funcionamiento, bovinos, porcinos y terneros

2000

6000

10000
q q q q q q q q

2000
q q q

6000 5000 0 5000

q

q q

q q

q q

q q

q q q qq q

q q q q q q q q q

q q q qq q q q q

q q

10000

q q q q q q q q q q q q q q q q

q q q q q q q qq q qq q q q q q q q q

q q q q q q q q q

6000

bovinos

q q

2000

cerdos
q q q qq q q q q q q q q q q q q q q q qq qq q q q q q q q q q q q q q q q q q q qq q q q q q q

6000

q qq q

q q

q q q q q q qq q

q q q q q q q q

q q qq q qq q q q q q q q q q q

q q q q q q q q

terneros

2000

qq

1000

3000

5000

5000

10000

15000

Daniel Mart nez Bello

Diseo de Experimentos n

10000

15000

1000

qq

3000

costo

q q

Como se ajusta un modelo de regresin para costo de o funcionamiento, bovinos, porcinos y terneros
Son varios los procedimientos para crear un modelo de regresion. Aqui pretendemos ilustrar el procedimiento y conocer como podemos utilizar un modelo de regresin para hacer predicciones, o se omiten los diagnsticos del modelo y se relajan los supuestos del o modelo. Primero, se ajusta un modelo con todas las variables predictoras, esto se conoce como un modelo saturado Segundo, se eliminan variables predictoras de acuerdo a su signicancia y al interes del investigador en ciertas variables predictoras, esto se conoce como reducir el modelo. Tercero, se determina un modelo reducido, con las variables predictoras signicativas y de interes para los investigadores y se aplican tecnicas diagnosticas para la validez del modelo. Cuarto, con el modelo reducido, se elaboran predicciones.
Daniel Mart nez Bello Diseo de Experimentos n

Modelo saturado para costo de funcionamiento, bovinos, porcinos y terneros

Estimate Std. Error t value Pr(>|t|) (Intercept) 553.79520 260.53185 2.126 0.05181 bovinos 0.28771 0.03424 8.403 7.7e-07 *** cerdos 0.05912 0.03732 1.584 0.13547 terneros 0.21816 0.06804 3.206 0.00634 ** Residual standard error: 478.6 on 14 degrees of freedom Multiple R-squared: 0.917, Adjusted R-squared: 0.8992 F-statistic: 51.56 on 3 and 14 DF, p-value: 8.21e-08

Daniel Mart nez Bello

Diseo de Experimentos n

Modelo saturado para costo de funcionamiento, bovinos, porcinos y terneros

Estimate Std. Error t value Pr(>|t|) (Intercept) 553.79520 260.53185 2.126 0.05181 bovinos 0.28771 0.03424 8.403 7.7e-07 *** cerdos 0.05912 0.03732 1.584 0.13547 terneros 0.21816 0.06804 3.206 0.00634 ** Residual standard error: 478.6 on 14 degrees of freedom Multiple R-squared: 0.917, Adjusted R-squared: 0.8992 F-statistic: 51.56 on 3 and 14 DF, p-value: 8.21e-08

Observe el p-valor para la variable cerdos, es no signicativa al nivel de signicancia 0.05, mientras que bovinos y terneros son altamente signicativas. Eliminamos cerdos del modelo.
Daniel Mart nez Bello Diseo de Experimentos n

Modelo saturado para costo de funcionamiento, bovinos, porcinos y terneros

Estimate Std. Error t value Pr(>|t|) (Intercept) 503.82661 271.31833 1.857 0.08306 . bovinos 0.29467 0.03562 8.272 5.69e-07 ** terneros 0.25842 0.06622 3.903 0.00141 ** Residual standard error: 502.1 on 15 degrees of freedom Multiple R-squared: 0.9021, Adjusted R-squared: 0.8891 F-statistic: 69.13 on 2 and 15 DF, p-value: 2.692e-08 Los valores de signicancia son altamente signicativos para las variables bovinos y terneros

Daniel Mart nez Bello

Diseo de Experimentos n

Modelo reducido para costo de funcionamiento, bovinos, porcinos y terneros

Y = 0 + 1 X1i + 2i X2i Y = Intercepto + bovinosX1i + ternerosX2i Y = 503.82661 + 0.29467X1i + 0.25842X2i

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones del costo de funcionamiento para diferente combinaciones de nmero de bovinos y nmero u u de terneros sacricados por ao. n

Costo de funcionamiento

1000

2000

3000

4000

5000

Y=503.82+0.294*x+0.258*2000 Y=503.82+0.294*x+0.258*3000 Y=503.82+0.294*x+0.258*4000

0 0

2000

4000

6000

8000

10000

Numero de bovinos sacrificados

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones del costo de funcionamiento para diferentes combinaciones de nmero de bovinos y nmero u u de terneros sacricados por ao. n

Costo de funcionamiento

1000

2000

3000

4000

5000

Y=503.82+0.294*4000+0.258*x Y=503.82+0.294*5000+0.258*x Y=503.82+0.294*6000+0.258*x

0 0

2000

4000

6000

8000

10000

Numero de terneros sacrificados

Daniel Mart nez Bello

Diseo de Experimentos n

OTRO EJEMPLO

Experimento aleatorizado donde se administra un producto alimenticio a un grupo de 16 personas, y se les pide calicar el producto en una escala de 1 a 100. El producto alimenticio tiene diferentes niveles de humedad y dulzura.

Daniel Mart nez Bello

Diseo de Experimentos n

Preferencias alimenticias

Pregunta cient ca: hay relacin entre la preferencia o del producto y los niveles de humedad y dulzura

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Matriz de dispersion de las variables preferencia, humedad, dulzura

10
q q q q q q q

q q q

q q q

pref
q q

q q

q q q

q q

10

qq

humedad
qq q q q q

q q

dulzura

qq

q q

60

70

80

90

100

2.0

2.5

3.0

3.5

4.0

Daniel Mart nez Bello

Diseo de Experimentos n

2.0

2.5

3.0

3.5

4.0

60

70

q q

q q

80

90

100

Modelo saturado para preferencia alimenticia, humedad y dulzura

(Intercept) humedad dulzura

37.6500 4.4250 4.3750

2.9961 0.3011 0.6733

12.566 1.20e-08 *** 14.695 1.78e-09 *** 6.498 2.01e-05 ***

Residual standard error: 2.693 on 13 degrees of freedom Multiple R-squared: 0.9521, Adjusted R-squared: 0.9447 F-statistic: 129.1 on 2 and 13 DF, p-value: 2.658e-09

Las dos variables predictoras son altamente signicativas luego las dejamos en el modelo.

Daniel Mart nez Bello

Diseo de Experimentos n

Modelo reducido para preferencia alimenticia, humedad y dulzura

Y = 0 + 1 X1i + 2i X2i Y = Intercepto + humedadX1i + dulzuraX2i Y = 37.65 + 4.4250X1i + 4.375X2i

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones de preferencia de producto alimenticio con relacin a unidades de humedad y de o dulzura

Preferencia

40

60

80

100

20

Y=37.65+4.425*x+4.375*2; 2 unidades de dulzura Y=37.65+4.425*x+4.375*4; 4 unidades de dulzura

4 Humedad

10

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones de preferencia de producto alimenticio con relacin a unidades de humedad y de o dulzura

Preferencia

20

40

60

80

100

Y=37.65+4.425*5+4.375*x; 5 unidades de humedad Y=37.65+4.425*10+4.375*x, 10 unidades de humedad 0 2.0

2.5

3.0 Dulzura

3.5

4.0

Daniel Mart nez Bello

Diseo de Experimentos n

OTRO EJEMPLO, Los datos

sujeto 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 pref 64 73 61 76 72 80 71 83 83 89 86 93 88 95 94 100 humedad 4 4 4 4 6 6 6 6 8 8 8 8 10 10 10 10 dulzura 2 4 2 4 2 4 2 4 2 4 2 4 2 4 2 4
Diseo de Experimentos n

Daniel Mart nez Bello

OTRO EJEMPLO

El administrador de un hospital desea estudiar la relacin entre la satisfaccin del paciente (Y) y la o o edad del paciente (X1 en aos), la severidad de la n enfermedad (X2 un indice) y el nivel de ansiedad (X3 un indice).

Daniel Mart nez Bello

Diseo de Experimentos n

Satisfaccin del paciente o

Pregunta cient ca: cual es la relacin entre la o satisfaccin del paciente en el hospital y la edad, la o severidad de la enfermedad y el nivel de ansiedad.

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Matriz de dispersion de las variables satisfaccion, edad, severidad, ansiedad

30 35 40 45 50 55
qq q q q q q q q q q q q q q q q qq q qq q q q q q q q q q

1.8
q q q q q q q q q q q q q

2.2
q q

2.6 90
q q q q q q q q q q q q q q

q q q q q q

q q

q q

30 35 40 45 50 55

q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q

q q q q

edad

q q q

q q

q q q q q q q q q

q q q

q q q q

q q q q q qq q q q q q q q q q q q q q q q q q q q q q q q q q q q

q q q q q q q q q q q q q q q q q q q q q q q q q

q q qq q q

q q

2.6

q q q qq qq q q q q q q q q q q q q q q

q q q q q q q q q qq q q q q q q q q q q q q qq q qqq qq q

2.2

ansiedad

q q

1.8

30

50

70

90

45

50

55

60

Daniel Mart nez Bello

Diseo de Experimentos n

45

50

severidad

55

60

30

50

satisfaccion

q q q q q q

70

Modelo saturado para satisfaccion, edad, severidad, ansiedad

Estimate Std. Error t value Pr(>|t|) (Intercept) 162.8759 25.7757 6.319 4.59e-06 *** edad -1.2103 0.3015 -4.015 0.00074 *** severidad -0.6659 0.8210 -0.811 0.42736 ansiedad -8.6130 12.2413 -0.704 0.49021 Residual standard error: 10.29 on 19 degrees of freedom Multiple R-squared: 0.6727, Adjusted R-squared: 0.621 F-statistic: 13.01 on 3 and 19 DF, p-value: 7.482e-05

La variable ansiedad es no signicativa asi como la variable severidad, pero solo se saca del modelo la variable ansiedad.
Daniel Mart nez Bello Diseo de Experimentos n

Modelo reducido para satisfaccion, edad, severidad

Estimate Std. Error t value Pr(>|t|) (Intercept) 166.5913 24.9084 6.688 1.65e-06 *** edad -1.2605 0.2892 -4.359 0.000304 *** severidad -1.0893 0.5514 -1.976 0.062163 . Residual standard error: 10.16 on 20 degrees of freedom Multiple R-squared: 0.6641, Adjusted R-squared: 0.6305 F-statistic: 19.77 on 2 and 20 DF, p-value: 1.827e-05

La variable severidad es no signicativa, pero no se saca del modelo, porque puede ser un factor importante para tener en cuenta.

Daniel Mart nez Bello

Diseo de Experimentos n

Modelo reducido para preferencia satisfaccin, edad, o severidad

Y = 0 + 1 X1i + 2i X2i Y = Intercepto + edadX1i + severidadX2i Y = 166.5913 + 1.2605X1i + 1.0893X2i

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones de satisfaccin del paciente con o relacin a la edad y a la severidad de la enfermedad o

Satisfaccin

30

40

50

60

70

80

90

Y=166.59131.2605*x1.0893*45; 45 indice severidad Y=166.59131.2605*x1.0893*60; 60 indice severidad 20 0

10

20

30 Edad

40

50

Daniel Mart nez Bello

Diseo de Experimentos n

EJEMPLO, Predicciones de satisfaccin del paciente con o relacin a la edad y a la severidad de la enfermedad o

80

90

Y=166.5913 1.2605*401.0893*x; 40 aos Y=166.5913 1.2605*551.0893*x ; 55 aos 70 Satisfaccin 20 40 30 40 50 60

45

50

55 Severidad

60

65

70

Daniel Mart nez Bello

Diseo de Experimentos n