EXAMPLE 3.1.

Let Y1 and Y2 be independent random

variables with means $ and T, respectively. We will
now find the least squares estimate of $ and the
residual sum of squares using both (3.5) and direct
differentiation as in (3.6). Writing

Ejemplo 3.1. Deje que Y1 e Y2 variables aleatorias

independientes con medios $ y T, respectivamente. Ahora
vamos a encontrar la estimacin de plazas menos de $ y
la suma residual de cuadrados usando ambos (3,5) y la
diferenciacin directa como en (3.6). Escritura

we have $, where X and R. Hence, by the theory

above,

tenemos $, donde X y R. Por lo tanto, por la teora

anterior,

and

We note that

Notamos eso

The problem can also be solved by first principles as

follows: T and U implies that R. Further,

El problema tambin puede ser resuelto por los primeros

principios de la siguiente manera: T y U implica que R.
Adems,

In practice, both approaches are used.

EXAMPLE 3.2 Suppose that T all have mean X. Then
the least squares estimate of $ is found by
minimizing L:/Yi - (3)2 with respect to beta. This
leads readily to $ = Y. Alternatively, we can express
the observations in terms of the regression model

En la prctica, se utilizan ambos enfoques.

where In is an n-dimensional column of $. Then

Ejemplo 3.2 Supongamos que T tienen media X. A

continuacin, la estimacin de cuadrados menos de $ se
encuentra minimizando L: / Yi - (3) 2 con respecto a beta.
Esto conduce fcilmente a $ = Y. Alternativamente,
podemos expresar las observaciones en trminos del
modelo de regresin

Also

En donde es una columna n-dimensional de $. Entonces

We have emphasized that P is the linear

transformation representing the orthogonal
projection of n-dimensional Euclidean space, R, onto
omega, the space spanned by the columns of X.
Similarly, In-P represents the orthogonal projection
of R onto
the orthogonal complement, omega, of T. Thus
Y=PY+(In - P)Y represents a unique orthogonal
decomposition of Y into two
components, one in omega and the other in $. Some
basic properties of P and (In-P) are proved in
Theorem 3.1 and its corollary, although these
properties follow directly from the more general
results concerning orthogonal projections stated in
Appendix B. For a more abstract setting, see Seber
[1980].

Tambin

THEOREM 3.1 Suppose that X is nxp of rank p, so

that P=X(X'X)lX'. Then the following hold.
(i) P and In - P are symmetric and idempotent.
(ii) rank (I
(iii) PX = X.
Proof. (i) P is obviously symmetric and (In - P)' = In -

Hemos hecho hincapi en que P es la transformacin

lineal que representa la proyeccin ortogonal de ndimensional espacio euclidiano, R, en omega, el espacio
abarcado por las columnas de X. Del mismo modo, In-P
representa la proyeccin ortogonal de R en el
complemento ortogonal, omega, de T. por lo tanto PIES Y
= (a - P) Y representa una descomposicin ortogonal nica
de Y en dos
componentes, uno en omega y el otro en $. Algunas
propiedades bsicas de P y (A-P) se probaron en el
Teorema 3.1 y su corolario, a pesar de estas propiedades
se siguen directamente a partir de los resultados ms
generales relativos a las proyecciones ortogonales
establecidos en el Apndice B. Para un ajuste ms
abstracta, ver Seber [1980].
Teorema 3.1 Supongamos que X es NXP de rango p, de
modo que P = X (X'X) X '. A continuacin, la siguiente
bodega.
(I) P y A - P son simtricas y idempotente.
(Ii) rango (I
(Iii) PX = X.

P'= In - P. Also,

Prueba. (I) P es, obviamente, simtrica y (In - P) '= A - P' =

In - P. Adems,

and
y
(ii) Since X-P is symmetric and idempotent, we have,
by A.6.2
Where
COROLLARY. If X has rank r (r<p), then Theorem 3.1
still holds, but with $ replaced by r.
Proof. Let X be an n x r matrix with r linearly
independent columns and having the same column
space as X [i.e., C(Xd = OJ]. Then P = Xl(X~Xl)-lX~,
and (i) and (ii) follow immediately. We can find a
matrix X such that X = XlL, which implies that (cf.
Exercises 3j, No.2)

(Ii) Desde X-P es simtrica y idempotente, tenemos, por

A.6.2
dnde
COROLARIO. Si X tiene rango r (r <p), entonces el
teorema 3.1 todava mantiene, pero con $ reemplazado
por r.

which is (iii).

Prueba. Sea X una matriz NXR con r columnas linealmente

independientes y que tienen el mismo espacio de la
columna como X [es decir, C (Xd = DO]. A continuacin, P
= Xl (~ Xl X) -LX ~, y (i) y (ii) seguir inmediatamente.
podemos encontrar una matriz X tal que X = XII, lo que
implica que (cf. Ejercicios 3j, No.2)

EXERCISES 3a

que es (iii).

1. Show that if X has full rank,

EJERCICIOS 3a

and hence deduce that the left side is minimized

uniquely when $

1. Demostrar que si X tiene rango completo,

y por lo tanto deducir que el lado izquierdo se reduce al
mnimo nicamente cuando $

2. If X has full rank, prove that $. Hint: Consider the

first column of X.
3. Let
where $. Find the least squares estimates of theta
and fi.
4. Consider the regression model

where $. Find the least squares estimates of T, and

T. Show that the least squares estimates of T and T
are unchanged if $
5. The tension T observed in a nonextensible string
required to maintain a body of unknown weight $ in
equilibrium on a smooth inclined plane of angle $ is
a random variable with mean E[T].
If for $ the corresponding values of T are T, find the
least squares estimate of w.
6. If X has full rank, so that P = X(X'X)-l X', prove
that C(P) = C(X)
7. For a general regression model in which X may or

2. Si X tiene rango completo, probar que $. Sugerencia:

Considere la primera columna de X.
3. Sea
donde $. Encuentra las estimaciones de mnimos
cuadrados de theta y fi.
4. Considere el modelo de regresin
donde $. Encuentra las estimaciones de mnimos
cuadrados de T y T. Demostrar que las estimaciones de
mnimos cuadrados de T y T son sin cambios si $
5. La tensin T se observa en una cadena no extensible
requerida para mantener un cuerpo de peso desconocida
$ en equilibrio sobre un plano inclinado liso del ngulo $
es una variable aleatoria de media E [T].
Si por $ los correspondientes valores de T son T, encontrar
la estimacin los cuadrados menos de w.
6. Si X tiene rango completo, por lo que P = X (X'X) -x X ',
demuestra que C (P) = C (X)
7. Para un modelo de regresin general en la que X puede

may not have full rank, show that

o no puede tener rango completo, muestran que

8. Suppose that we scale the explanatory variables

so that Xij = kjWij for all i, j. By expressing X in
terms of a new matrix W, prove that $ remains
unchanged under this change of scale.

8. Supongamos que escalar las variables explicativas para

que Zij = Wij para todo i, j. Al expresar X en trminos de
una nueva matriz W, demuestran que $ se mantiene sin
cambios en virtud de este cambio de escala.

3.2 PROPERTIES OF LEAST SQUARES

ESTIMATES

3.2 PROPIEDADES DE LAS ESTIMACIONES MENOS

CUADRADOS

If we assume that the errors are unbiased (nmm,

E[e] = 0), and the columns of X are linearly
independent, then
and betha is an unbiased estimate of betha. If we
assume further that the epsilon are uncorrelated
and have the same variance, that is, COV[ci,Cj] =
Oij(j2, then Var[e] and

Si asumimos que los errores son imparciales (NMM, E [e]

= 0), y las columnas de X son linealmente
independientes, entonces
y betha es una estimacin no sesgada de betha. Si
suponemos adems que la epsilon no estn
correlacionados y tienen la misma varianza, es decir, COV
[ci, Cj] = Oij (j2, entonces, Var [e] y
Por lo tanto, por

Hence, by
The question now arises as to why we chose betha
as our estimate of betha and not some other
estimate. We show below that for a reasonable class
of estimates, betha is the estimate of betha with the
smallest variance. Here betha can be extracted from
betha= (~o, ~1" .. , ~p-l) simply by premultiplying
by the row vector x', which contains unity in the
(j+l)th position and zeros elsewhere. It transpires
that this special property of betha can be
generalized to the case of any linear combination
a'.B using the following theorem.
THEOREM 3.2 Let theta be the least squares
estimate of theta=XBetha, where theta=betha and
X may not have full rank. Then among the class of
linear unbiased estimates of betha is the unique
estimate with minimum variance.
[We say that theta is the best linear unbiased
estimate (BLUE) of c'(J.)]
Proof. From Section 3.1, 0 = PY, where P9 = PX/3 =
X/3 == 9 (Theorem 3.1, Corollary). Hence E[e'O) ==
e'P9 = e'9 for all 9 E n, so that e'O [= (Pe)'Y) is a
linear unbiased estimate of e'9. Let d'Y be any other
linear unbiased estimate of e'9. Then e'9 = E[d'Y) =
d'9 or (e - d)'9 = 0, so that (e - d) 1- n. Therefore,
P(e - d) = 0 and Pe == Pd.

Ahora surge la pregunta de por qu elegimos betha como

nuestra estimacin de betha y no alguna otra estimacin.
Mostramos inferior a la de una clase razonable de las
estimaciones, betha es la estimacin de betha con la
varianza ms pequea. Aqu betha se puede extraer de
betha = (~ o, ~ 1 ".., ~ pl) simplemente multiplicando pre
por el vector fila x ', que contiene la unidad de la (j + l)
-sima posicin y ceros en otras partes. Se transpira que
esta propiedad especial de betha se puede generalizar al
caso de cualquier combinacin lineal a'.B utilizando la
siguiente teorema.
Teorema 3.2 Sea theta sea la estimacin de cuadrados
como mnimo de theta = X theta, donde theta = X beta y
pueden no tener rango completo. A continuacin, en la
clase de estimaciones objetivas lineales de betha es la
estimacin nica con varianza mnima.
[Decimos que theta es la mejor estimacin imparcial lineal
(AZUL) de c '(J.)]
Prueba. De la Seccin 3.1, 0 = PY, donde P9 = PX / 3 = X /
3 == 9 (Teorema 3.1, Corolario). Por lo tanto E [e'O) ==
e'P9 = e'9 para todos 9 E n, de modo que e'O [= (Pe) 'Y)
es una estimacin insesgada lineal de e'9. Deje d'y ser de
otra estimacin insesgada lineal de e'9. Entonces e'9 = E
[d'Y) = 9 d'o (e - d) 9 = 0, de modo que (e - d) 1- n. Por
lo tanto, P (e - d) = 0 y Pe == Pd.
Ahora

Now
de modo que
So that

with equality only if (In P)d=0 or d == Pd = Pe.

Hence e' 0 has minimum variance and is unique.
COROLLARY If X has full rank, then betha is the
BLUE of betha for every vector a.
Proof. Now 9 == X/3 implies that /3 == (X'X)-IX'9
and {:J = (X'X)-IX'O.
Hence setting e' = a' (X'X) -1 X' we have that a' {:J
(= c' 0) is the BLUE of a' /3 (= e'9) for every vector
a.
Thus far we have not made any assumptions about
the distribution of the Ci. However, when the Ci are
independently and identically distributed as N(0,a)2,
that is, N(O,a2In) or, equivalently, Y=N then betha
has minimum variance for the entire class of
unbiased estimates, not just for linear estimates (cf.
Rao [1973: p. 319) for a proof). In particular, betai,
which is also the maximum likelihood estimate of
betha (Section 3.5), is the most efficient estimate of
bethai.
When the common underlying distribution of the Ci
is not normal, then the least squares estimate of
betha is not the same as the asymptotically most
efficient maximum likelihood estimate. The
asymptotic efficiency of the least squares estimate
is, for this case, derived by Cox and Hinkley [1968).
Eicker [1963) has discussed the question of the
consistency and asymptotic normality of betha as
n+00. Under weak restrictions he shows that betha
is a consistent estimate of betha if and only if the
smallest eigenvalue of X'X tends to infinity. This
condition on the smallest eigenvalue is a mild one,
so that the result has wide applicability. Eicker also
proves a theorem giving necessary and sufficient
conditions for the asymptotic normality of each
betha (see Anderson [1971: pp. 23-27]).

EXERCISES 3b
1. Let Yi = (30 + (31 Xi + ci (i = 1,2, ... ,n), where
E[e] = 0 and Var[e] = 0'2In. Find the least squares
estimates of betha and betha. Prove that they are
uncorrelated if and only if x = O.
2. In order to estimate two parameters theta and
it is possible to make observations of
three types: (a) the first type have expectation
theta, (b) the second type have expectation theta +

con la igualdad slo si (A P) d = 0 d == Pd = Pe. Por lo

tanto e '0 tiene varianza mnima y es nica.
Corolario Si X tiene rango completo, a continuacin, betha
es el azul del betha para cada vector a.
Prueba. Ahora 9 == X / 3 implica que / 3 == (X'X) y -IX'9
{: J = (X'X) -IX'O.
De ah que el establecimiento e '= a' (X'X) -1 X 'tenemos
que' {: J (c = '0) es el azul de un' / 3 (= e'9) para cada
vector a.
Hasta ahora no hemos hecho ninguna hiptesis sobre la
distribucin de la Ci. Sin embargo, cuando el Ci se
distribuyen de forma independiente e idnticamente
como N (0, a) 2, es decir, N (O, a2In) o, de manera
equivalente, Y = N entonces betha tiene varianza mnima
para toda la clase de estimaciones insesgadas, no slo
para las estimaciones lineales (vase Rao [1973: pg.
319) para una prueba). En particular, Betai, que es
tambin la estimacin de mxima verosimilitud de betha
(Seccin 3.5), es la estimacin ms eficiente de bethai.
Cuando la distribucin subyacente comn de la Ci no es
normal, entonces la estimacin de cuadrados menos de
betha no es la misma que la estimacin de mxima
verosimilitud asintticamente ms eficiente. La eficiencia
asinttica de la estimacin de mnimos cuadrados es, para
este caso, derivado por Cox y Hinkley [1968).
Eicker [1963) ha discutido la cuestin de la consistencia y
normalidad asinttica de betha como n + 00. Bajo las
restricciones dbiles que muestra que betha es una
estimacin consistente de betha si y slo si el valor propio
ms pequeo de X'X tiende a infinito. Esta condicin en el
valor propio ms pequeo es una leve, por lo que el
resultado tiene una amplia aplicacin. Eicker tambin
demostr un teorema dando las condiciones necesarias y
suficientes para la normalidad asinttica de cada betha
(vase Anderson [1971: pp. 23-27]).
EXERCISES 3b
1. Sea Yi = (30 + (31 + ci Xi (i = 1,2, ..., n), donde E [e] =
0 y Var [e] = 0'2In. Encuentra las estimaciones de
mnimos cuadrados de betha y betha. Acreditar que se
estn correlacionadas si y slo si x = O.
2. Con el fin de estimar dos parmetros theta y es
posible hacer observaciones de
tres tipos: (a) el primer tipo tienen theta expectativa, (b)
el segundo tipo han expectativa theta + , y (c) el tercer
tipo tienen
expectativa B - 2 . Todas las observaciones estn sujetas

, and (c) the third type have

expectation B - 2. All observations are subject to
uncorrelated errors of mean zero and constant
variance. If m observations of type (a), m
observations of (b), and n observations of type (c)
are made, find the least squares estimates theta
and fi. Prove that these estimates are uncorrelated
if m = 2n.
3. Let Y1,Y2,... , be a random sample from N(B,0'2).
Find the linear unbiased estimate of B with
minimum variance.
4. Let
where Xj = ~~=1 Xij In, E[e] = 0, and Var[e] =
0'2In. If ~1 is the least squares estimate of betha,
show that
where r is the correlation coefficient of the betha
pairs theta
3.10 GENERALIZED LEAST SQUARES
Having developed a least squares theory for the fullrank model Y = Xf3 + e, where E[eJ = 0 and
Var[eJ=(72In), we now consider what modifications
are necessary if we allow the epsilo to be correlated.
In particular, we assume that Var[eJ = (72y, where Y
is a known n x n positive-definite matrix.
Since V is positive-definite, there exists an nxn
nonsingular matrix K such that Y = KK' (AA.2).
Therefore, setting Z = K-ly, B = K-1X, and 1=K-1c:,
we have the model Z = B,8 +"1, where B is n x p of
rank p (A.2.2).

a errores no correlacionados de media cero y varianza

constante. Si (a), se hacen observaciones de tipo m m
observaciones de (b), y n observaciones de tipo (c),
encontrar la estimaciones de mnimos cuadrados theta y
fi. Demuestran que estas estimaciones no estn
correlacionadas si m = 2n.
3. Let Y1, Y2, ..., una muestra aleatoria de N (B, 0'2).
Encuentra la estimacin insesgada lineal de B con
varianza mnima.
4. Sea
donde Xj = ~~ = 1 XJ en, E [e] = 0, y Var [e] = 0'2In. Si ~
1 es el ms pequeo de los cuadrados estimacin betha,
muestran que
donde r es el coeficiente de correlacin de la theta pares
Betha
3.10 De mnimos cuadrados generalizados
Despus de haber desarrollado una teora de mnimos
cuadrados para el modelo de rango completo Y = X3 + E,
donde E [eJ = 0 y Var [eJ = (72in), consideramos ahora
cuales modificaciones son necesarias si permitimos que la
psilon a ser correlacionado. En particular, se supone que
Var [eJ = (72y, donde Y es una matriz definida positiva
conocida de n x n.
Como V es definida positiva, existe un nxn matriz K no
singular tal que Y = KK '(AA.2). Por lo tanto, el
establecimiento de Z = K-ly, B = K-1X, y 1 = K-1c :,
tenemos el modelo Z = B, 8 + "1, donde B es n x p de
rango p (A.2.2).

Also, E["1] = 0 and

Adems, E [ "1] = 0 y

Minimizing niu'niu with respect to betha, and using

the theory of Section 3.1, the least squares estimate
of betha for this transformed model is

Minimizando niuniu con respecto a betha, y el uso de la

teora de la Seccin 3.1, la estimacin de los cuadrados
como mnimo de betha para este modelo es transformado

with expected value

con valor esperado

dispersion matrix

matriz de dispersin

and residual sum of squares

y la suma residual de cuadrados

Alternatively, we can obtain betha simply by

differentiating

Alternativamente, se puede obtener betha simplemente

diferenciando

with respect to betha. Thus, by A.8,

con respecto a betha. De este modo, por A.8,
and setting this equad to zero leads once again to

betha. Using this approach instead of the general

theory above, we see that X'V-X has an inverse, as it
is positive-definite (by Ao4.5). We note that the
coefficient of betha in (3049) gives us the inverse of
Var[.B*]/o-2.
There is some variation in terminology among books
dealing with the model above: Some texts call betha
the weighted least squares estimate. However, we
call betha the generalized least squares estimate
and reserve the expression weighted least squares
for the case when V is a diagonal matrix: The
diagonal case is discussed in various places
throughout this book (see, e.g., Section 10.4).
EXAMPLE 3.9 Let Y = xf3 + e, where Y = (Yi) and x =
(Xi) are n x 1 vectors, E[e] = 0 and Var[e] = (j2V. If V
= diag(wl1,w2"1, ... ,w;;-1) (Wi> 0), we now find the
weighted least squares estimate of betha and its
variance. Here it is simpler to differentiate ",'",
directly rather than use the general matrix theory.
Thus, since Vand
1
=d

y el establecimiento de esta igual a cero lleva una vez

ms a betha. El uso de este enfoque en lugar de la teora
general anterior, vemos que X tiene una inversa, ya que
es definida positiva (por Ao4.5). Observamos que el
coeficiente de betha en (3049) nos da la inversa de Var
[.B *] / O-2.
Hay alguna variacin en la terminologa entre los libros
que tratan con el modelo anterior: Algunos textos llaman
betha los mnimos cuadrados ponderados estiman. Sin
embargo, llamamos betha los mnimos cuadrados
generalizados estiman y nos reservamos la expresin de
mnimos cuadrados ponderados para el caso en que V es
una matriz diagonal: El caso diagonal se discute en varios
lugares a lo largo de este libro (vase, por ejemplo, la
Seccin 10.4).
Ejemplo 3.9 Sea Y = X3 + e, donde Y = (Yi) y x = (Xi) son
nx 1 vectores, E [E] = 0 y Var [e] = (j2V. Si V = diag (WL1,
w2 " 1, ..., w;; - 1) (Wi> 0), encontramos ahora a los
mnimos cuadrados estimacin ponderada del betha y su
varianza Aqu es ms fcil de diferenciar "," ",
directamente en lugar de utilizar la matriz general. teora.
Por lo tanto, desde Vy
1

Setting the right side of (3.50) equal to zero leads to

and from the coefficient of 2(3,

Ajustar la parte derecha de (3.50) igual a cero lleva a

var[(3*] == (j2 (~WiX~) -1

y a partir del coeficiente de 2 (3,
We can also find the variance directly from
var [(3 *] == (J2 (~ ~ WiX) -1
== (2: WiXn -1.
Since the generalized least squares estimate is
simply the ordinary least squares estimate (OLSE)
for a transformed model, we would expect betha to
have the same optimal properties, namely, that
betha is the best linear unbiased estimate (BLUE) of
betha. To see this, we note that
say, is linear and unbiased. Let X be any other linear
unbiased estimate of betha. Then, using the
transformed model, a'(3* = a'(B'B)-1B'Z and =
b~KK-1y = (K'bI)'Z. By Theorem 3.2 (Section 3.2)
and the ensuing argument,
var[a' (3*] < var[(K'bdZ] = var[b~ Y].
Equality occurs if and only if (K'bd = a'(B'B)-1B', or

Tambin podemos encontrar la varianza directamente

desde
== (2: WiXn -1.
Dado que la estimacin de mnimos cuadrados
generalizada es simplemente la estimacin de mnimos
cuadrados ordinarios (OLSE) para un modelo
transformado, esperaramos betha tenga las mismas
propiedades ptimas, es decir, que betha es la mejor
estimacin insesgada lineal (AZUL) de betha. Para ver
esto, observamos que
por ejemplo, es lineal y no sesgada. Sea X cualquier otra
estimacin insesgada lineal de betha. Luego, utilizando el
modelo transformado, a '(3 * = a' (B'B) -1B'Z y b = ~ KK1y = (K'bI) 'Z. Por el teorema 3.2 (seccin 3.2) y la
consiguiente argumento,

b~ = a'(B'B)-1B'K1
var [a '(3 *] <var [(K BDZ] = var [b ~ Y].
Thus betha is the unique BLUE of betha. Note that
the ordinary least squares estimate betha will still
be an unbiased estimate of betha, but var[ a' i3] >
var[a' (3*].

EXERCISES 3k
1. Let f3xi + ei (i = 1,2), where &1 '" N(O, 0'2), e2 '"
N(O, 20'2), and e1 and e2 are statistically
independent. If Xl = +1 and X2 = -1, obtain
the weighted least squares estimate of (3 and find
the variance of your estimate.
2. Let Yi (i = 1,2, ... , n) be independent random
variables with a Common mean () and variances
0'21wi (i = 1,2, ... , n). Find the linear unbiased
estimate of () with minimum variance, and find this
minimum variance.
3.Let Y1,Y2 be independent random variables, and
let Yi have a N0'2) distribution for i = 1,2, ... , n. Find
the weighted least squares estimate of theta and
prove that its variance is sigma.
4. Let Y1,Y2 be random variables with common
mean theta and with dispersion matrix 0'2V,where
Vii = 1 (i = 1,2, ... , n) and Vij = Pn(0 < P < 1; i, j =
1,2, ... ,n; i =I- j). Find the generalized least squares
estimate of theta and show that it is the same as
the ordinary least squares estimate. Hint: V-1 takes
the same form as V.
5. Let Y=N(Xf3, 0'2V), where X is n x p of rank p and
V is a known positive-definite n x n matrix. If betha
is the generalized least squares estimate of betha,
prove that
(a) Q = (Y - Xf3*)'V-1(y - Xf3*)10'2 '" X;-p.
(b) Q is the quadratic nonnegative unbiased
estimate of (n - p)0'2 with minimum variance.
(c) If y* = Xf3* := P*Y, then P* is idempotent but
not, in general, symmetric.
6. Suppose that E[Y] = 9, A9 = 0, and Var[Y] = 0'2V,
where A is a q x n matrix of rank q and V is a known
n x n positive-definite matrix. Let 9* be the
generalized least squares estimate of theta; that is,
9* minimizes (Y - 9)'V-1(y - 9) subject to A9:= o.
Show that
Y - 9* := VA''''(*,

La igualdad se produce si y slo si (K'bd = a '(B'B) 1B', o

b ~ = a '(B B) -1B'K1
Por lo tanto betha es la nica de AZUL betha. Tenga en
cuenta que los mnimos cuadrados ordinarios estiman
betha seguir siendo una estimacin no sesgada de
betha, pero var [a 'i3]> var [a' (3 *].

EJERCICIOS 3k
1. Que f3xi + ei (i = 1,2), donde Y 1 '"N (O, 0'2), e2'" N (O,
20'2) y E1 y E2 son estadsticamente independientes. Si Xl
= 1 y X 2 = -1, obtener
el de mnimos cuadrados ponderados estimacin de (3 y
encontrar la varianza de la estimacin.
2. Sea Yi (i = 1,2, ..., n) ser variables aleatorias
independientes con una media comn () y varianzas
0'21wi (i = 1,2, ..., n). Encuentra la estimacin imparcial
lineal de () con varianza mnima, y encontrar este
varianza mnima.
3.Deje Y1, Y2 variables aleatorias independientes, y dejar
Yi tiene una distribucin N0'2) para i = 1,2, ..., n.
Encontrar el de mnimos cuadrados ponderados de
estimacin theta y demostrar que su varianza es sigma.
4. Sea Y1, Y2 variables aleatorias con media teta comn y
con matriz de dispersin 0'2V, donde Vii 1 = (i = 1,2, ...,
n) y Vij = Pn (0 <p <1; i , j = 1,2, ..., n, i = j I). Encuentra
la estimacin de mnimos cuadrados generalizados de
theta y mostrar que es la misma que la estimacin de
mnimos cuadrados. Pista: V-1 toma la misma forma como
V.

5. Sea Y = N (X3, 0'2V), donde X es n x p de rango p y V

es una matriz de n x n definida positiva conocida. Si betha
es el de mnimos cuadrados generalizados estimacin de
betha, demostrar que
(A) Q = (Y - X3 *) 'V-1 (y - X3 *) 10'2' "X;-P.
(B) Q es el negativo de la estimacin no sesgada
cuadrtica (n - p) 0'2 con varianza mnima.
(C) Si y * = X3 *: = P * Y, a continuacin, P * es
idempotente, pero no, en general, simtrico.
6. Supongamos que E [Y] = 9, A9 = 0, y Var [Y] = 0'2V,
donde A es una matriz de n x q de rango q y V es una
matriz definida positiva conocida n x n. Vamos 9 * ser el
de mnimos cuadrados estimacin generalizada de teta;

where ..y* is the generalized least squares estimate

of "'( for the model E[Y] = VA''''(, Var[Y] = 0'2V.

es decir, 9 * reduce al mnimo (y - 9) 'V-1 (y - 9) sujetos a

A9: = O. Muestra esa
Y - 9 *: = VA '' '' (*,
..Y donde * es el de mnimos cuadrados generalizados
estimacin de "'(para el modelo E [Y] = VA' '' '(, Var [Y] =
0'2V.