10-3 ESTIMACIN DE LOS PARMETROS EN MODELOS DE REGRESIN LINEAL

Al sustituir e = y - y = y -

397

Xp, se tiene
= (y - xjJ)(y - xjJ)

SS E

= y'y - P'X'y - y'xjJ+ P'X'xjJ

= y'y-2P'X'y+P'X'xjJ
puesto que X'xjJ= X'y, esta ltima ecuacin queda como
SSE

= y'y- P'X'y

(10-16)

A la ecuacin 10-16 se le llama la suma de cuadrados residual o del error, y tiene n - p grados de libertad
asociados con ella. Puede demostrarse que

por lo que un estimador insesgado de

cr est dado por

a~2

SSE

=--

(10-17)

n-p

Propiedades de los estimadores

El mtodo de mnimos cuadrados produce un estimador insesgado del parmetro p del modelo de regresin lineal. Esto puede demostrarse fcilmente tomando el valor esperado de de la siguiente manera:

E(P) = E[(X'XrIX'y]
= E[(X'X)-I(xp+S)]

= E[(X'Xr l X'xp+(X'Xr l X's]

=p

ya que E(s) = O Y (X'xtIX'X = l. Por lo tanto, es un estimador insesgado de p.

La propiedad de la varianza de se expresa en la matriz de covarianza:

(10-18)

Cov(P) == E{[P- E(P)][P- E(P)]'}

que es una matriz simtrica cuyo elemento i-simo de la diagonal principal es la varianza del coeficiente
de regresip individual
Ycuyo elemento (ij)-simo es la covarianza entre Y j La matriz de covarianza de p es

Pi'

Pi p

(10-19)

EJEMPLO 10,1 ...........................................................

En la tabla 10-2 se muestran 16 observaciones de la viscosidad de un polmero (y) y dos variables del proceso: la temperatura de reaccin (Xl) y la velocidad de alimentacin del catalizador (x 2 ). Se ajustar el modelo de regresin lineal mltiple

MI'I,'
'I!

398

CAPTULO 10 AJUSTE DE MODELOS DE REGRESIN

Tabla 10-2 Datos de la viscosidad del ejemplo 10-1 (viscosidad en

centistokes @ 100C)
Temperatura Velocidad de alimentacin
del catalizador (x z, lb/h) Viscosidad
(Xl' oC)
Observacin
8
2256
1
80
9
2340
2
93
10
2426
3
100
12
2293
4
82
11
2330
5
90
8
2368
6
99
8
2250
7
81
10
2409
8
96
12
2364
9
94
11
2379
10
93
11
97
13
2440
12
95
11
2364
13
100
8
2404
12
2317
14
85
15
86
9
2309
12
2328
16
87
11Ih"

'rll,,-'
111""-

::II~:

'ji"'
"'''41

,,'

''':j'
::::lr

a estos datos. La matriz X y el vector y son

:~::

';1'

"11

1 80 8
1 93 9
1 100 10
1 82 12
1 90 11
1 99 8
1 81 8
1 96 10
X=
1 94 12
1 93 11
1 97 13
1 95 11
1 100 8
1 85 12
1 86 9
1 87 12

:!'

2256
2340
2426
2293
2330
2368
2250
2409
y=
2364
2379
2440
2364
2404
2317
2309
2328

La matriz X'X es

x'x~H

1
93
9

1
87
12

80
93
87

l~j

1D-3 ESTIMACIN DE LOS PARMETROS EN MODELOS DE REGRESIN LINEAL

16

=[1458
164

399

1458
164]
133,560 14,946
14,946 1,726

y el vector X'y es

2~40

1 [2256]
87]
12 2328
37,577]

= 3,429,550
[ 385,562

La estimacin de mnimos cuadrados de P es

lJ =

14.176004 -0.129746
-0.223453
][ 37,577]
-0.129746
1.429184x10- 3 -4.763947x10- 5 3,429,550
385,562
2.222381x10- 2
-0.223453 -4.763947x10- 5

1566.07777]
7.62129
8.58485

=[

El ajuste de mnimos cuadrados, con los coeficientes de regresin expresados con dos cifras decimales, es
Tabla 10-3 Valores predichos, residuales y otros diagnsticos del ejemplo 10-1
Observacin
Valor predicho
Residual
i
e
hu
Yi
Ji
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

2256
2340
2426
2293
2330
2368
. 2250
2409
2364
2379
2440
2364
2404
2317
2309
2328

2244.5
2352.1
2414.1
2294.0
2346.4
2389.3
2252.1
2383.6
2385.5
2369.3
2416.9
2384.5
2396.9
2316.9
2298.8
2332.1

11.5
-12.1
11.9
-1.0
-16.4
-21.3
-2.1
25.4
-21.5
9.7
23.1
-20.5
7.1
0.1
10.2
-4.1

0.350
0.102
0.177
0.251
0.077
0.265
0.319
0.098
0.142
0.080
0.278
0.096
0.289
0.185
0.134
0.156

Residual
studentizado

Di

R-student

0.87
-0.78
0.80
-0.07
-1.05
-1.52
-0.15
1.64
-1.42
0.62
1.66
-1.32
0.52
0.01
0.67
-0.28

0.137
0.023
0.046
0.001
0.030
0.277
0.004
0.097
0.111
0.011
0.354
0.062
0.036
0.000
0.023
0.005

0.87
-0.77
0.79
-0.07
-1.05
-1.61
-0.15
1.76
-1.48
0.60
1.80
-1.36
0.50
<0.01
0.66
-0.27

~
'j

400

CAPTULO 10 AJUSTE DE MODELOS DE REGRESIN

99
_ 95

390
e

e'o" 80
c.

ro

70

5e 50

~ 30

:Bro

20

e5
10

ll..

Figura 10-1 Grfica de probabilidad normal de los residuales, ejemplo 10-1.'

Y== 1566.08+ 7. 62xI +8.5Sx 2

'1Il""
,.".h

::1I;
'd t1

En las tres primeras columnas de la tabla 10-3 se presentan las observaciones reales Yi' los valores predichos o ajustados Yi y los residuales. La figura 10-1 es una grfica de probabilidad normal de los residuales. Las grficas de los residuales contra los valores predichos Ji y contra las dos variables Xl y X 2 se
muestran en las figuras 10-2, 10-3 Y10-4, respectivamente. Como en los experimentos diseados, la graficacin de los residuales forma parte integral de la construccin de modelos de regresin. Estas grficas
indican que en la varianza de la viscosidad observada existe una tendencia a incrementarse con la magnitud de la viscosidad. La figura 10-3 sugiere que la variabilidad de la viscosidad aumenta cuando se incrementa la temperatura.

25.43

-'

+1

1-

+
-

17.61 9.79 -

Ul

ro;;;'"
"C

1.97 -

'ji

'"

cr:

-5.85 -

-13.68 -

+
-21.50

-,
2244

2273

2302

2331

2359

1ft
2388

,2417

Viscosidad predicha en centistokes

Figura 10-2 Grfica de los residuales contra la viscosidad

predicha, ejemplo 10-1.

10-3 ESTIMACIN DE LOS PARMETROS EN MODELOS DE REGRESIN LINEAL

ro'"

25.43

17.61

f-

9.79

f-

401

+1
+

Ql

"

'O

1.97 f-

.~

a:

++

-5.85 f-13.68

f-

-21.50 h
80.0

83.3

86.7

90.0

x"

1+
93.3

+ 1
96.7

+ 1100.0

temperatura

Figura 10-3 Grfica de los residuales contraxt (temperatura), ejemplo 10-1.

Uso de la computadora
El ajuste de los modelos de regresin casi siempre se hace por medio de un paquete de software de estadstica. En la tabla 10-4 se muestra la salida obtenida cuando se usa el programa Minitab para ajustar el
modelo de regresin de la viscosidad del ejemplo 10-1. Muchas de las cantidades de esta salida debern
ser familiares, ya. que sus significados son similares a las cantidades de las salidas de computadora para el
anlisis de datos de experimentos diseados. Se han visto ya muchas salidas de computadora como sta en
este libro. En secciones subsecuentes se revisar en detalle el anlisis de varianza y la informacin de la
prueba t de la tabla 10-4 y se indicar de manera pormenorizada cmo se calcularon estas cantidades.

25.43

1-1

17.61

f-

9.79

f-

1-

'"
Ql

ro

"
.;
'O

1.97

Ql

f-

:\:

el:

-5.85 f-

-13.68 f-

+
-21.50

f-t
8.00

+1

1-

10.50 11.33 12.17 13.00

8.83
9.67
x2' velocidad de alimentacin del catalizador

Figura 104 Grfica de los residuales contra X 2 (velocidad

de alimentacin), ejemplo 10-1.

402
Tabla 10-4

CAPTULO 10

AJUSTE DE MODELOS DE REGRESIN

Salida de Minitab para el modelo de regresin de la viscosidad, ejemplo 10-1

Anlisis de regresin

The regress;on equat;on ;s

V;scos;ty = 1566 + 7.62 Temp + 8.58 Feed Rate
Pred;ctor
Constant
Temp
Feed Rat

Coef
1566.08
7.6213
8.585

StDev
61.59
0.6184
2.439

R-Sq = 92.7%

S = 16.36

25.43
12.32
3.52

0.000
0.000
0.004

R-Sq<adj) = 91 .6%

Analys;s of Var;ance
SS
44157
3479
47636

Source
Regress;on
Res;dual Error
Total

DF
2
13
15

Source
Temp
Feed Rat

Seq SS
40841
3316

DF
1
1

82.50

0.000

68

57

36

MS
22079
268

I
I

....I
,," 57

32

""

46

Variables del proceso

Variables codificadas
Rendimiento,

Corrida Temperatura (OC)

1
2
3
4
5
6
7
8
9
10
11
12

120
160
120
160
120
160
120
160
140
140
140
140

x,=

Presin (psigi

Concentracin (gil)

x,

x,

x,

40
40
80
80
40
40
80
80
60
60
60
60

15
15
15
15
30
30
30
30
22.5
22.5
22.5
22.5

-1
1
-1
1
-1
1
-1
1
O
O
O
O

-1
-1
1
1
-1
-1
1
1
O
O
O
O

-1
-1
-1
-1
1
1
1
1
O
O
O
O

32
46
57
65
36
48
57
68
50
44
53
56

Temperatura -140
Presin- 60
20
x,=~.

x,=

Concentracin- 225

Figura 10-5 Diseo experimental del ejemplo 10-2.

7.5

10-3 ESTIMACIN DE LOS PARMETROS EN MODELOS DE REGRESIN LINEAL

403

Ajuste de modelos de regresin en experimentos diseados

Se ha usado con frecuencia un modelo de regresin para presentar los resultados de un experimento diseado en una forma cuantitativa. Se ofrece ahora un ejemplo completo donde se indica cmo se hace esto.
Se presentan enseguida otros tres ejemplos breves que ilustran otras aplicaciones tiles del anlisis de regresin en los experimentos diseados.

EJEMPLO 10-2

. Anlisis de regresin de un diseo factorial 23

Un ingeniero qumico est investigando el rendimiento de un proceso. Tres de las variables del proceso
son de inters: la temperatura, la presin y la concentracin del catalizador. Cada variable puede correrse
en un nivel bajo y uno alto, y el ingeniero decide correr un diseo 23 con cuatro puntos centrales. En la figura 10-5 se muestra el diseo y los rendimientos resultantes, donde se presentan tanto los niveles naturales del diseo como la notacin de variables codificadas + 1, -1 que se utiliza normalmente en los diseos
factoriales 2k para representar los niveles de los factores.
Suponga que el ingeniero decide ajustar un modelo que slo incluye los efectos principales, por ejemplo
y=

/30 +/31 x l +/32 X2+/33 X3+8

Para este modelo, la matriz X y el vector y son

1 -1 -1-1
1
1 -1-1
1 -1
1-1
1
1
1-1
1 -1 -1
1
1
1 -1
1
X= 1 -1
1
1
1
1
1
1
1
O
O O
1
O
O O
1
O
O O
1
O
O O

32
46
57
65

36
48
y= 57
68
50
44
53
56

Es sencillo demostrar que

12 O
X'X- O 8
- [ O O
O O

O
O
8
O

O]
O
O
8

X'y=

612]
[

Puesto que X'X es diagonal, el inverso que se requiere tambin es diagonal, y las estimaciones de mnimos
cuadrados de los coeficientes de regresin son
1/12
O
45 [51.000]
5.625
O] [612]
1
(X'Xr X'y=
~ 1/ ~ 1/8O O
O 85 = 10.625
[
9
1.125
O 1/8

p=

El modelo de regresin ajustado es

y= 51.000+ 5. 625x 1 + 10. 625x 2 +1.125x 3

404

CAPTULO 10 AJUSTE DE MODELOS DE REGRESIN

Como se ha hecho uso de ellos en muchas ocasiones, los coeficientes de regresin guardan una estrecha relacin con las estimaciones de los efectos que se obtendran por el anlisis usual de un diseo 23 Por
ejemplo, el efecto de la temperatura es (referirse a la figura 10-5)
T=)ir -)ir

= 56.75- 45.50
= 11.25
Observe que el coeficiente de regresin de Xl es
(11.25)/2

= 5.625

Es decir, el coeficiente de regresin es exactamente la mitad de la estimacin usual del efecto. Esto siempre se cumplir para un diseo 2k Como se seal antes, en los captulos 6 al 8 se emple este resultado
para producir modelos de regresin, valores ajustados y residuales en varios experimentos de dos niveles.
Este ejemplo demuestra que las estimaciones de los efectos de un diseo 2k son estimaciones de mnimos
cuadrados.

.........................................................................

En el ejemplo 10-2 es sencillo obtener la matriz inversa porque X'X es diagonal. Intuitivamente, esto
parece ofrecer ventajas, no slo porque los clculos se simplifican sino tambin porque los estimadores de
todos los coeficientes de regresin no estn correlacionados, es decir, COV(~i' ~j) = O. Si los niveles de las
variables X pueden elegirse antes de recabar los datos, quiz sea deseable disear el experimento de tal
modo que resulte una X'X diagonal.
En la prctica puede ser relativamente sencillo conseguir esto. Se sabe que los elementos de X'X que
estn fuera de la diagonal son las sumas de los productos cruzados de las columnas en X. Por lo tanto, es
necesario hacer que el producto interior de las columnas deX sean iguales a cero; es decir, estas columnas
deben ser ortogonales. A los diseos experimentales que poseen esta propiedad para ajustar un modelo
de regresin se les llama diseos ortogonales. En general, el diseo factorial 2k es un diseo ortogonal
para ajustar el modelo de regresin lineal mltiple.
Los mtodos de regresin son en extremo tiles cuando algo "sale mal" en un experimento diseado.
Esto se ilustra en los dos ejemplos siguientes.

EJEMPLO

10~3

Un diseo factorial 23 con una observacin faitante

Considere el diseo factorial 23 con cuatro puntos centrales del ejemplo 10-2. Suponga que cuando se realiz este experimento, falt la corrida con todas las variables en el nivel alto (la corrida 8 de la figura 10-5).
Esto puede ocurrir por varias razones: el sistema de medicin puede producir una lectura incorrecta, la
combinacin de los niveles 'de los factores quiz no sea la apropiada, la unidad experimental puede estar
daada, etctera.
Se ajustar el modelo de los efectos principales

y= [Jo + [JlX l +[J2 X2+[J3 X3 +8

utilizando las 11 observaciones restantes. La matriz X y el vector y son

10-3 ESTIMACIN DE LOS PARMETROS EN MODELOS DE REGRESIN LINEAL

1
1
1
1
1
X= 1
1
1
1
1
1

-1
1
-1
1
-1
1
-1
O
O
O
O

-1
-1
1
1
-1
-1
1
O
O
O
O

-1
-1
-1
-1
1
1
1
O
O
O
O

405

32
46
57
65
36
48
57
50
44
53
56

y=

Para estimar los parmetros del modelo se forman

11
-1

X'X= -1

[-1

~~ =~ =:1
-1 -1

X'y=

r =~ j
-59

y entonces

jJ = (X'X) -1 X'y
9.61538X 10-z 1.92307 XlO- z 1.92307 XlO- z
1.92307x10-z 0.15385
2.88462 XlO- z
= [ 1.92307 XlO- z 2.88462 x lO- z 0.15385
1.92307 XlO- z 2.88462x10- z 2.88462xlO- z

1.92307XlO- z ] [544]
-23
2.88462xlO2.88462x10- z
17
0.15385
-59

[:~:;~]
1.25

Por lo tanto, el modelo ajustado es

)1= 51.25+ 5. 75x 1 +10.75x z +1.25x 3

Compare este modelo con el que se obtuvo en el ejemplo 10-2, donde se usaron las 12 observaciones. Los
coeficientes de regresin son muy similares. Debido a la estrecha relacin entre los coeficientes de regresin y los efectos de los factores, las conclusiones no sufriran una alteracin sustancial por la observacin
faltante. Sin embargo, observe que las estimaciones de los efectos han dejado de ser ortogonales, ya que
(X'X) y su inversa ya no son diagonales.

EJEMPLO 1O~4

e_e

Niveles imprecisos de los factores del diseo

Cuando se corre un experimento diseado, en ocasiones es difcil alcanzar y mantener los niveles precisos de los factores requeridos por el diseo. Las discrepancias pequeas no son importantes, pero las
grandes son motivo de preocupacin potencial. Los mtodos de regresin son tiles en el anlisis de un

406

CAPTULO 10 AJUSTE DE MODELOS DE REGRESIN

Tabla lO-S

Corrida

1
2
3
4
5
6
7
8
9
10
11
12

Diseo experimental del ejemplo 10-4

Variables codificadas

Variables del proceso

Concentracin
Temperatura
Presin
(g/l)
(psig)
CC)

125
158
121
160
118
163
122
165
140
140
140
140

14
15
15
15
33
30
30
30
22.5
22.5
22.5
22.5

41
40
82
80
39
40
80
83
60
60
60
60

X2

X3

-0.75
0.90
-0.95
1
-1.10
1.15
-0.90
1.25

-0.95
-1
1.1
1
-1.05
-1
1
1.15

O
O
O
O

O
O
O
O

-1.133
-1
-1
-1
1.14
1
1
1
O
O
O
O

Rendimiento
y

32
46
57
65
36
48
57
68
50
44
53
56

experimento diseado cuando el experimentador no ha podido obtener los niveles requeridos de los
factores.
Para ilustrar, el experimento de la tabla 10-5 presenta una variacin del diseo 23 del ejemplo 10-2,
donde muchas de las combinaciones de prueba no son exactamente las que se especifican en el diseo.
Las dificultades parecen haber ocurrido sobre todo con la variable temperatura.
Se ajustar el modelo de los efectos principales
Y= f30 +f3x +f32 x 2 +f33 x 3+8

La matriz X y el vector y son

1
1
1
1
1
1
X= 1
1
1
1
1
1

-0.75
0.90
-0.95
1
-1.10
1.15
-0.90
1.25
O
O
O
O

-0.95
-1
1.1
1
-1.05
-1
1
1.15
O
O
O
O

-1.133
-1
-1
-1
1.4
1
1
1
O
O
O
O

32
46
57
65
36
48
y= 57
68
. 50
44
53
56

Para estimar los parmetros del modelo se necesitan

12
0.60
0.25
0.2670]
0.31
-0.1403
X'X - 0.60
8.18
- [ 0.25
0.31
8.5375 -0.3437
0.2670 -0.1403 -0.3437 9.2437

612
77.55 ]

Xy= 161.50

19.144