Академический Документы
Профессиональный Документы
Культура Документы
Villa Cox/Sabando
Apuntes de Clase # 4
Fecha: II Termino-2012
1.
Distribuciones multivariantes
Los resultados de las distribuciones bivariantes se pueden extender directamente a mas de dos
variables. Para ello es conveniente utilizar matrices y vectores. El termino vector aleatorio se
aplica a un vector cuyos elementos son variables aleatorias. La funcion de densidad conjunta es
f (x), mientras que la FD es
Z x1
Z xn Z xn1
N
otese que la FD es una integral en n variables. La distribucion marginal de cada una (o de varias)
de las n variables se obtiene integrado o sumando sobre las otras variables.
2.
Momentos
1
E[x1 ]
2 E[x2 ]
.
.
= E[x
=
x]
=
.
.
.
.
E[xn ]
n
Definamos la matriz
(x )(x ) =
(x1 1 )(x1 1 )
(x2 2 )(x1 1 )
(xn n )(x1 1 )
(x1 1 )(x2 2 )
(x2 2 )(x2 2 )
(xn n )(x2 2 )
(x1 1 )(xn n )
(x2 2 )(xn n )
(xn n )(xn n )
El valor esperado de cada elemento de la matriz es la covarianza de las dos variables del producto.
(La covarianza de una variable consigo misma es su varianza.) Por tanto,
(x )(x )0 ]
E[(x
11
21
n1
12
22
n2
1n
2n
nn
= E[xx0 ] 0
que es la matriz de varianzas y covarianzas del vector aleatorio x. Por tanto, representaremos
la matriz de varianzas y covarianzas de un vector aleatorio en negrilla, como en
X
Var[x] =
Dividiendo ij por i j , obtenemos la matriz de correlaci
on:
A4-1
R=
2.1.
1
21
n1
12
1
n2
13
23
n3
1n
2n
La media y la varianza de una funcion lineal se pueden extender al caso multivariante. Para la
media,
E[a1 x1 + a2 x2 + ... + an xn ]
= E[aa0 xx]
= a1 E[x1 ] + a2 E[x] + ... + an E[xn ]
= a1 1 + a2 2 + ...an n
= a0 u
Para la varianza,
V ar[aa0 xx]
x
x
= a 0 E[(x
)(x
)0 ]aa
= a0 a
n X
n
X
=
ai aj ij
i=1 j=1
Como es el valor esperado de un cuadrado, sabemos que la varianza no puede ser negativa. Como
tal, la forma cuadr
atica anterior es no negativa, y la matriz simetrica tiene que se no-negativa
definida. En el conjunto de funciones lineales y = Ax el elemento iesimo de y es yi = ai xx, donde ai
es la i-esima fila de A. Por lo tanto,
E[yi ] = ai
.
Agrupando los resultados en un vector, tenemos
E[Ax] = A
A.
Para dos vectores fila ai y aj ,
Cov[aai x, aj xx] = ai aj 0 .
Como ai aj es el ij-esimo elemento de AA0 ,
Ax
Var[Ax
Ax] = AA0 .
Este ser
a no-negativa definida o positiva definida, dependiendo del rango de las columnas A.
A4-2
3.
La distribuci
on Normal Multivariante
f (x) = (2)n/2 ||
Si R es la matriz de correlaci
on de las variables y Rij = ij /(i j ),
0
donde i = (xi i )i . Hay dos casos de especial interes. Si todas las variables estan intercorrelacionadas, ij = 0 para i 6= j. Por tanto, R = I, y la funcion de densidad es
f (x)
=
=
i=1
Finalmente, si = 1,
0
3.1.
Cualquier funci
on lineal de un vector de variables distribuidas conjuntamente como una normal,
se distribuye tambien normalmente. El vector de medias y la matriz de varianzas y covarianzas de
Ax, donde x est
a normalmente distribuida, sigue el patron general dado anteriormente. Por tanto,
[, ]
+ b, A
A0 ]
Six N[,
], Ax + b N [A
A0 es singular, y la funcion de densidad no existe. Aun as, los
Si A no tiene rango completo A
elementos individuales de Ax + b seguiran estando normalmente distribuidos, y la distribuci
on
conjunta del vector completo seguir
a siendo una normal multivariante.
3.2.
Formas cuadr
aticas en un vector normal estandarizado
El an
alisis previo de la distribuci
on chi-cuadrada nos permite obtener la distribucion de x0 x
cuando x sigue una distribuci
on normal estandarizada. Se sigue que
x0 x =
n
X
x2i =
i=1
n
X
(xi x
)2 + n
x2
i=1
Para demostrar que los dos terminos de x x siguen una distribucion chi-cuadrada o que los dos
terminos son independientes, es necesario derivar las distribuciones de formas cuadr
aticas idempotentes y mostrar cu
ando son independientes.
y0 y
n
X
i y2i
=
=
i=1
Si i es siempre 1 o 0,
q=
J
X
yi2 ,
j=1
(xi x
)2 = x0 M x,
i=1
donde M se ha definido como la matriz que transforma los datos en forma de desviaciones sobre su
media
1
M = I ii0 .
n
Como M es idempotente, la suma de desviaciones al cuadrado de la media se distribuye como
una chi-cuadrado. Los grados de libertad son igual al rango M , dado que el rango de una matriz
idempotente es igual a su traza.
Cada elemento diagonal de M es 1 1(1/n) por tanto, la traza es n[1 (1/n)] = n 1. Por
consiguiente tenemos una aplicaci
on del teorema 3.2.1.
n
X
2
2
0, II],
Si x N [0,
(xi x
) [n 1]. El segundo termino se distribuye como una chi-cuadrado
i=1
con un grado de libertad. Es aleccionador poner esto, tambien, como una forma cuadratica:
n
x2
1 0
ii x
n
x0
x0 [jj0 ]x,
A4-4
donde
j=
1
i
n
La matriz entre parentesis es el producto exterior de un vector no-cero, que siempre tiene rango uno.
Se puede comprobar que es idempotente multiplicandola por s mismo. Por tanto, x0 x es la suma de
dos variables chi-cuadrado, una con n 1 grados de libertad y la otra con uno. Necesitamos, ahora,
mostrar que los dos terminos son independientes. Para ello utilizaremos el siguiente teorema.
0, II] y x0 Ax
Teorema 3.2.2 Independencia de formas cuadr
aticas indempotentes Si x N [0,
0
0
0
y x Bx son dos formas cuadr
aticas idempotentes en x, entonces x Ax y x Bx son independientes
si AB=0.
Como tanto A como B son simetricas e idempotentes, A = A0 A y B = B0 B. Las formas
cuadr
aticas son, por tanto,
x0 Ax = x0 A0 Ax = x01 x1 ,
donde
x1 = Ax
x0 Bx = x02 x2 ,
donde x2 = Bx
Ambos vectores tienen vectores de media cero, por tanto la matriz de varianzas y covariazas de x1
y x2 es
E(x1 x02 ) = AIB0 = AB = 0
Como Ax y Bx son funciones lineales de un vector aleatorio normalmente distribuido, estas estan,
a su vez, normalmente distribuidas. Como su matriz de varianzas y covarianzas es cero, implica que
son estadsticamente independientes. Esto establece la independencia de las dos formas cuadraticas.
Para el caso de x0 x, las dos matrices son M y [I M ]. Se puede comprobar que M [I-M ] = 0
simplemente multiplic
andolas.
4.
Un conjunto u
til de resultados para analizar una matriz A surge de las soluciones al conjunto de
ecuaciones
Ac = c.
Las soluciones son los vectores caractersticos c y las races caractersticas . Si c es cualquier
vector soluci
on, kc tambien lo ser
a para cualquier valor de k. Para eliminar la indeterminacion, se
normaliza c, de modo que
c0 c = 1.
La soluci
on, entonces, consiste en y las n 1 incognitas de c.
4.1.
La ecuaci
on caracterstica
Resolviendo la ecuaci
on 4 se puede proceder, en principio, de la siguiente forma: En primer lugar,
implica que
Ac = Ic
o que
(A I)c = 0
Este
es un sistema homogeneo que tiene una solucion no nula, solo si la matriz (A I) es singular,
o si tiene un determinante cero. De esta forma, si es una solucion,
|A I| = 0.
Este polinomio en es la ecuaci
on caracterstica de A. Por ejemplo, si
A4-5
A=
5
2
1
4
,
entonces
|A I| =
5
2
1
4
(5 )(4 ) 2(1)
2 9 + 18.
4.2.
1 = 5 y
2 = 0.
Vectores caractersticos
1
4
c1
c2
=
0
0
Los dos valores asociados a son 6 y 3. Introduciendo estos valores en la ecuacion anterior, obtenemos
lo siguiente:
Para = 6, c1 + c2 = 0 y 2c1 + c2 = 0 o c1 = c2 .
Para = 3, 2c1 + c2 = 0 y 2c1 + c2 = 0 o c1 = 1/2c2 .
En ning
un caso se pueden determinar los valores c1 y c2 . Pero esto era de esperar: esta fue la
raz
on por la que se ha especificado al principio c0 c = 1. As, por ejemplo, si = 6, cualquier vector c
con iguales elementos que la satisfar
a. La ecuacion adicional c0 c = 1, permite obtener, sin embargo,
soluciones completas para ambos vectores.
1/2
Para = 6, c =
1/ 2
A4-6
Para
= 3, c =
1/ 5
2/ 5
Estos
son los u
nicos vectores que satisfacen c0 c = 1.
4.3.
c2 ck ],
1 0 0 0
0 2 0 0
0
0 0 0 k
Entonces, el conjunto total de ecuaciones
Aci = i ci
est
a contenido en
AC = C.
Dado que los vectores son ortogonales y c0i ci
0
c1 c1
c02 c1
C0 C =
c0K c1
= 1, entonces
c01 c2
c02 c2
c0K c2
c01 cK
c02 cK
=I
0
cK cK
4.4.
Diagonalizaci
on y descomposici
on espectral de una matriz
Si a esta ecuaci
on AC = C se multiplica por C0 y usando la matriz C0 C, podemos extraer las
races caractersticas de A.
Definici
on 4.4.1 Diagonalizaci
on de una matriz. La diagonalizaci
on de una matriz A es
=
C0 AC = C0 CA = I
Definici
on 4.4.2 Descomposici
on espectral de una matriz. La descomposici
on espectral
de una matriz A es
K
X
k ck c0k .
A = CC0 =
k=1
A4-7
En esta representaci
on, la matriz A K K se escribe como una suma de K matrices de rango
uno. Llamamos a esto, descomposici
on de A en autovalores o vectores propios. En este contexto, el
termino signatura de la matriz se emplea a veces para describir las races caractersticas y vectores.
Otros terminos empleados para las partes de esta descomposicion son races latentes y vectores
latentes de A.
4.5.
4.6.
K
X
aii
i=1
Algunos resultados f
aciles de comprobar son
tr(cA)
c(tr(A)),
tr(A )
tr(A),
tr(A+B)
tr(A) + tr(B),
tr(Ik )
Un resultado particularmente u
til es la traza del producto de matrices:
tr(AB) = tr(BA)
As mismo dos aplicaciones u
tiles son:
a0 a = tr(a0 a) = tr(aa0 )
y
A4-8
K
X
tr(A0 A) =
a0i ai =
i=1
K X
K
X
a2ij .
i=1 j=1
La regla de permutaci
on puede extenderse a cualquier permutacion cclica en un producto:
tr(ABCD) = tr(BCDA) = tr(CDAB) = tr(DABC)
Por lo que obtenemos
tr(C0 AC)
=
=
tr(ACC0 ) = tr(AI)
)
tr(A) = tr(
Dado que es diagonal, y contiene las races de A en su diagonal, el resultado general es el siguiente.
Teorema 4.6.1 Traza de una matriz La traza de una matriz es igual a la suma de sus races
caractersticas.
4.7.
El siguiente resultado es de gran utilidad, especialmente dado lo tedioso que resultaban los
c
alculos del determinante de una matriz. Dado que
C0 AC =
0
|C AC| =
,
||.
|A|
||.
4.8.
Con frecuencia usamos expresiones que contienen potencia de matrices, como AA = A2 . Para
potencias de enteros positivos, estas expresiones pueden calcularse mediante la repeticion de multiplicaciones Pero esto no muestra c
omo afrontar un problema tal como encontrar un B tal que B2 = A,
es decir, la raz cuadrada de una matriz. Las races caractersticas y los vectores proporcionan una
soluci
on simple.
Considerese primero
AA
A2
(CC0 )(CC0 )
= CC0 CC0
= CIC0
= CC0
= C2 C0
A4-9
A continuaci
on presentamos dos resultados. Puesto que 2 es una matriz diagonal cuyos elementos
distintos de cero son los cuadrados de los elementos de , esto implica lo siguiente.
Para cualquier matriz simetrica, las races caractersticas de A2 son los cuadrados de las de A,
y los vectores caractersticos son los mismos.
La prueba se obtiene al observar que C2 C0 es la descomposicion de la matriz B=AA. Como
3
A = AA2 etc., se generaliza a cualquier entero positivo. Por convencion, para cualquier A, A = I.
Por tanto, para cualquier matriz simetrica A, AK = CK C0 , K = 0, 1... As, las races caractersticas
de AK son K , mientras que los vectores caractersticos son los mismos que los de A. Si A es no
singular, de forma que todas sus races i son distintas de cero, lo anterior puede generalizarse,
tambien, a potencias negativas.
Si A1 existe, entonces,
A1
(CC0 )1
(C0 )1 1 C1
= C1 C0 ,
donde hemos usado el resultado anterior, C0 = C1 . Esto constituye un resultado importante que
resulta u
til en el tratamiento de matrices inversas.
Teorema 4.8.1 Races caractersticas de una matriz inversa Si A1 existe, las races caractersticas de A1 son los recprocos de las de A, y los vectores caractersticos son los mismos.
Generalizando la noci
on del producto repetido, obtenemos un resultado mas general.
Teorema 4.8.2 Races caractersticas de la potencia de una matriz Para cualquier matriz
simetrica no singular A = CC0 , AK = CK C0 , K = ..., 2, 1, 0, 1, 2, ...
Nos planteamos, ahora, el problema general de como calcular la raz cuadrada de una matriz.
En el caso escalar, sabemos que el valor sera no negativo. La condicion analoga nos conduce a
una matriz en la que todas sus races caractersticas sean no negativas. Considerese, entonces, el
candidato
A1/2
1/2 0
C
C
1
0
2
.
.
0
0
0
C .
Si continuamos en esta lnea, podemos definir las potencias de una matriz de forma mas general,
suponiendo que todas las races caractersticas son no negativas. Por ejemplo, A1/3 = C1/3 C0 . Si
todas las races son estrictamente positivas, podemos avanzar un paso mas, y extender el resultado
a cualquier potencia real.
Teorema 4.8.3 Potencias reales de una matriz definida positiva. Para una matriz definida
positiva A, Ar = Cr C0 , para cualquier n
umero real, r.
La races caractersticas de Ar son las r-esima potencia de las de A, y los vectores caractersticos
son los mismos. Si A es s
olo definida no negativa (es decir, tiene races que son o cero o positiva)
se cumple s
olo para r no negativos.
A4-10
4.9.
Matrices idempotentes
Las matrices idempotentes son iguales a sus cuadrados. En primer lugar implica que si es una
raz caracterstica de una matriz idempotente, = K para todos los enteros no negativos K. Si A
es una matriz simetrica idempotente, todas sus races son 1 o 0. Supongamos que todas las races
de A son 1. Entonces, = I, y A = CC0 = CIC0 = CC0 = I. Si las races no valen todas 1, al
menos una valdr
a 0. Consecuentemente, tenemos los siguientes resultados para matrices simetricas
idempotentes.
La u
nica matriz simetrica idempotente de rango completo es la matriz identidad I.
Todas las matrices simetricas idempotentes, excepto la matriz identidad, son singulares.
El resultado final de las matrices idempotentes se obtiene observando que el n
umero de races
distintas de cero de A es tambien igual a su suma. Por lo que se puede asegurar que para una
matriz idempotente las races son todas 0 o 1, obtenemos este resultado:
El rango de una matriz idempotente simetrica es igual a su traza.
5.
Formas cuadr
aticas y matrices definidas
Muchos problemas de optimizaci
on contienen doble sumatorias de la forma
q=
n X
n
X
xi xj aij .
i=1 j=1
= y0 y
n
X
=
i yi2 .
i=1
de x), q ser
a positivo. Este
era el caso identificado anteriormente como matriz definida positiva.
Continuando en esta lnea de razonamiento, obtenemos el siguiente teorema.
A4-11
Teorema 5.0.1 Matrices definidas Sea A una matriz simetrica. Si todas las races caractersticas
de A son positivas (negativas), entonces A es definida positiva (definida negativa). Si algunas
de las races son cero, entonces A es definida no negativa (no positiva) si las restantes son
positivas (negativas). Si A tiene races tanto negativas como positivas, entonces A es indefinida.
Los resultados anteriores nos permiten probar en cada caso las condiciones suficientes del teorema.
Para probar las condiciones necesarias, supongamos que la condicion sobre las races no se cumple.
Esto nos lleva a una contradicci
on. Por ejemplo, si alg
un puede ser negativo, entonces y0 y podra
ser negativo para alg
un y, as que A no puede ser definida positiva.
5.1.
Un caso de particular interes es el de las matrices definidas no negativas. Del teorema anterior
se obtienen varios resultados relacionados con estas matrices.
1. Si A es definida no negativa, entonces |A| > 0.
Prueba: El determinante es el producto de las races, las cuales son positivas.
Lo contrario, sin embargo, no es cierto. Por ejemplo, una matriz 2 2 con dos races negativas
es claramente no definida positiva, sin embargo, tiene un determinante positivo.
2. Si A es definida positiva, tambien lo es A1 .
Prueba: Las races son los recprocos de A, los cuales son, por tanto, positivos.
3. La matriz identidad I es definida positiva.
Prueba: x0 Ix = x0 x > 0 si x 6= 0.
Un resultado muy importante para el analisis de regresion es el siguiente
4. Si A es n K con rango completo y n > K, entonces A0 A es definida positiva y A0 A es
definida no negativa.
0
0 0
Prueba: Se supone que
X Ax 6= 00. Por tanto x A Ax = (Ax )
2
0
textbf (Ax) = y y =
yi > 0
i
5.2.
Formas cuadr
aticas idempotentes
A4-12
6.
Distribuci
on F
7.
= z01/2 1/2 z
1/2 z)0 (
1/2 z)
= (
= w0 w
A4-13
7.1.
La distribuci
on t se utiliza en muchos contrastes de hipotesis. En muchas situaciones aparece
como el cociente de una forma lineal sobre una cuadratica, en un vector normal. Para establecer la
distribuci
on de estos estadsticos, utilizamos el siguiente resultado
Teorema 7.1.1 Independencia de una forma lineal y una cuadr
atica Una funcion lineal Lx
y una forma cuadr
atica idempotente x0 Ax en un vector normal estandarizado son estadsticamente
independientes si LA=0
La prueba sigue la misma l
ogica que la dos formas cuadraticas. Escribimos x0 Ax como x0 A0 Ax =
(Ax)0 (Ax). La matriz de varianzas y covarianzas de las variables Lx y Ax es LA=0, que establece
la independencia de estos dos vectores aleatorios. La independencia de la funcion lineal y de la forma
cuadr
atica es una consecuencia inmediata, ya que las funciones de vectores aleatorios independientes
son tambien independientes.
La distribuci
on t se define como el cociente entre una variable normal estandarizada y la raz cuadrada
de una variable chi-cuadrada dividida por sus grados de libertad, siendo ambas independientes:
t[J] =
N [0, 1]
(2 [J]/J)1/2
Un caso particular es
t[n 1]
n
x
1/2
n
X
2
1
(x
)
i
n1
i1
n
x
,
s
donde s es la desviaci
on tpica de los valores de x. La distribucion de las dos variables en t[n 1]
ya se obtuvo anteriormente; s
olo necesitamos mostrar que son independientes. Pero
1
n
x = i 0 x = j0 x
n
y
x0 M x
n1
A4-14