T ecnicas de An alisis Estadstico Multivariado

Basadas en Estadsticos de Segundo Orden

Tratamiento Avanzado de Se nal en Comunicaciones
Curso 2009-2010
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Introducci on
T ecnicas Basadas en Estadsticos de Segundo Orden (SOS)
Relaciones estadsticas en datos multidimensionales
Estructura interna
Relaci on entre diferentes tipos de datos
Asumimos datos reales. Extensi on (casi) trivial a complejos
M etodos basados en estadsticos de segundo orden (SOS)

Unicamente utilizaremos correlaciones

Optimo para datos Gaussianos

A menudo resultan en t ecnicas lineales
Formulaci on Estoc astica
Asumimos datos sin media (correlaci on = covarianza)
Asumimos conocidas las matrices de correlaci on
R
x,y
= E
h
xy
T
i
Casi todos los resultados presentados se pueden reformular desde
un punto de vista determinista
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Introducci on
Herramientas Matem aticas

Algebra
SVD: A = UV
T
EVD: A = XX
1
Para matrices sim etricas (A
T
= A) semidenidas positivas SVD y
EVD coinciden
Propiedades:
Traza del producto
Tr(AB) = Tr(BA)
Optimizaci on
arg max
U,V
Tr(U
T
AV) sujeto a U
T
U = V
T
V = I
La soluci on viene dada (hasta una rotaci on) por los vectores
singulares de la matriz A
Derivadas Vectoriales (Operador Gradiente
A
)

A
Tr(A
T
XA) = 2XA
A
Tr(A
T
X) = X
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Presentaci on del Problema
Supongamos que disponemos de datos x en un espacio
n-dimensional (x R
n1
)
Nuestro objetivo consiste en encontrar una proyecci on x R
p1
p-dimensional (p n) que permita recuperar los datos originales
x con el mnimo error cuadr atico medio posible
Deniciones
Datos: x R
n1
Proyecci on: x = U
T
x x R
p1
Proyector: U R
np
Reconstrucci on de los datos:
x = V x x R
n1
Matriz de reconstrucci on: V R
np
Ambig uedad: x = VU
T
x = VAA
1
U
T
x A R
pp
invertible
Sin p erdida de generalidad asumiremos
V
T
V = I
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Formulaci on del Problema
Error de reconstrucci on
J = E
_
x x
2
_
= Tr
_
E
_
(x x)(x x)
T
_
J se puede reescribir como
J = Tr(R
x,x
) + Tr (R
x, x
) 2Tr (R
x,x
)
con las matrices de correlaci on:
R
x,x
= E
h
xx
T
i
R
x, x
= E
h
x x
T
i
R
x,x
= E
h
xx
T
i
Finalmente, teniendo en cuenta x = V x = VU
T
x y V
T
V = I:
R
x, x
= VU
T
R
x,x
UV
T
Tr (R
x, x
) = Tr
`
U
T
R
x,x
U

R
x,x
= VU
T
R
x,x
Tr (R
x,x
) = Tr
`
U
T
R
x,x
V

T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Soluci on
Nuestro problema es:
arg mn
U,V
Tr
_
U
T
R
x,x
U
_
2Tr
_
U
T
R
x,x
V
_
sujeto a V
T
V = I
Soluci on en U: Tomando el gradiente
U
e igualando a cero
2R
x,x
U2R
x,x
V = 0
R
x,x
0
U = V
Las matrices de proyecci on y reconstrucci on son iguales
Soluci on en V: Con U = V, el problema se reduce a
arg max
V
Tr
_
V
T
R
x,x
V
_
sujeto a V
T
V = I
cuya soluci on consiste en los p autovectores principales de R
x,x
Error de reconstrucci on: J = Tr (R
x,x
) Tr
_
V
T
R
x,x
V
_
El error viene dado por los n p menores autovalores de R
x,x
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

8 6 4 2 0 2 4 6 8
8
6
4
2
0
2
4
6
8
x
1
x
2
Datos originales


T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

8 6 4 2 0 2 4 6 8
8
6
4
2
0
2
4
6
8
x
1
x
2
Datos originales y direcciones principales


PCA (1 dir.)
PCA (2 dir.)
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

10 5 0 5 10
10
8
6
4
2
0
2
4
6
8
10
Proyeccin sobre las direcciones principales


Proyeccin autovector principal
Proyeccin segundo autovector
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

10 5 0 5 10
10
8
6
4
2
0
2
4
6
8
10
x
1
x
2
Datos originales y recuperados


Datos originales
Datos recuperados
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Interpretaci on
Las proyecciones proporcionadas por PCA constituyen la mejor
representaci on p-dimensional de los datos originales (n-dimensionales)
Las proyecciones PCA son las de m axima energa
Ortogonalidad:
a
Proyectores ortogonales: u
T
k
u
l
= 0 k = l
Proyecciones ortogonales: E [ x
k
x
l
] = u
T
k
R
x,x
u
l
= 0
Gracias a la ortogonalidad los proyectores se pueden obtener de
manera sucesiva (deaci on)
Dada la soluci on PCA p-dimensional, para obtener la soluci on
p + 1-dimensional bastar a con a nadir un nuevo proyector: u
p+1
a
u
k
representa la k- esima columna de U. x
k
= u
T
k
x es el k- esimo elemento de x
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Aplicaci on 1: Estima ML con Ruido Gaussiano
Consideremos el modelo de se nal
x = As +n
donde x R
n1
son la observaciones y n R
n1
N(0,
2
I)
Queremos estimar s R
p1
, A R
np
y la varianza
2
Verosimilitud de las observaciones:
f(x|A, s, ) =
1
(2
2
)
n/2
e

xAs
2
2
2
Soluci on:

A = UB (B R
pp
representa una ambig uedad)
s = B
1
U
T
x = B
1
x
x =

As es la representaci on PCA p-dimensional de x

2
se obtiene promediando los n p menores autovalores de R
x,x
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Aplicaci on 2: Rate-Distortion Theory
Consideremos x R
n1
N(0, R
x,x
)
Queremos averiguar cual es la tasa R (n
o
medio de bits) necesaria para
recuperar los datos x con una distorsi on
J = E

x x
2

D
Soluci on:
a
Reverse Water-Filling sobre las proyecciones PCA
R(D) =
n
X
k=1
1
2
log
2

k
D
k
donde
D
k
=

, si <
k

k
, si
k
y se escoge de manera que
P
n
k=1
D
k
= D
a
Cover and Thomas, Elements of information theory, Wiley-Interscience, 1991
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Aplicaci on 2: Rate-Distortion Theory (Continuaci on)
R(D) =
n
X
k=1
1
2
log
2

k
D
k
D
k
=

, si <
k

k
, si
k

k
es el k- esimo autovalor de R
x,x
, es decir la varianza de x
k
= u
T
k
x
D
k
es la distorsi on asociada a x
k
(E
h
( x
k

x
k
)
2
i
)
establece una distorsi on m axima
R
k
=
1
2
log
2

k
D
k
es el n
o
medio de bits con los que se representar a x
k
1 2 3 4 5 6
Ejemplo RateDistortion. Waterfilling
Componentes principales

k
D
1
D
2
D
3
D
4
D
5
D
6

T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo
Algoritmo adaptativo
Como realizar PCA cuando se dispone de los datos secuencialmente?
Regla de Oja: Extracci on del autovector principal
u
1
[n + 1] = u
1
[n] + x
1
[n] [x[n] x
1
[n]u
1
[n]]
x
1
[n] = u
T
1
[n]x[n]
El t ermino x
2
1
[n]u
1
[n] fuerza la restricci on u
1
[n] = 1
El learning rate establece un compromiso entre la velocidad de
convergencia/tracking y la precisi on del algoritmo
Filosofa an aloga al LMS (least mean squares)
Los siguientes autovectores se pueden extraer mediante deaci on
u
k
[n+1] = u
k
[n]+ x
k
[n]
"
x[n] x
k
[n]u
k
[n] 2
X
l<k
x
l
[n]u
l
[n + 1]
#
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo
Ejemplo
Estima ciega de canales MIMO-STBC:
a
x[n] = W(H)s[n] +n[n]
0 100 200 300 400 500
25
20
15
10
5
0
Iteraciones (Bloques OSTBC)
M
S
E

e
n

l
a

e
s
t
i
m
a

d
e
l

c
a
n
a
l

(
d
B
)
=0.2
=0.1
=0.05
a
J. Va, I. Santamara, J. P erez y D. Ramrez, Blind decoding of MISO-OSTBC
systems based on principal component analysis, IEEE Int. Conf. on Acoust., Speech,
and Signal Processing (ICASSP 2006), Bordeaux, France, Mayo 2006
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Resumen PCA
An alisis de Componentes Principales
Aproximaci on p-dimensional de mnimo error cuadr atico medio
arg mn
U,V
E
_
x x
2
_
x = VU
T
x
Proyecciones de m axima energa
arg max
V
Tr
_
V
T
R
x,x
V
_
sujeto a V
T
V = I
Soluciones a partir de la descomposici on en autovalores de R
x,x
Aplicaciones:
Representaci on gr aca de datos multidimensionales
Compresi on de datos
Identicaci on de patrones
Con datos Gaussianos:
Estimador ML
Rate-Distortion Theory (Information Theory)
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Presentaci on del Problema
Mnimos Cuadrados Parciales (PLS)
Supongamos que disponemos de los siguientes datos
a
x R
n1
y R
m1
PLS busca las p direcciones de m axima covarianza U R
np
,
V R
mp
arg max
U,V
Tr
_
U
T
R
x,y
V
_
sujeto a V
T
V = U
T
U = I
Soluci on: Vectores singulares de R
x,y
R
x,y
UV
T
= diag([
1
, . . . ,
p
])
a
Normalmente x se corresponde con las observaciones, mientras que y contiene
informaci on que nos gustara extraer
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Presentaci on del Problema
Propiedades
Las soluciones PLS se pueden obtener a partir del GEV:
_
0 R
x,y
R
y,x
0
_ _
U
V
_
=
_
I 0
0 I
_ _
U
V
_

Para y = x PLS se reduce a PCA

PLS se puede ver como una generalizaci on de PCA
A diferencia de los proyectores, las proyecciones no son
necesariamente ortogonales (incorreladas)
V
T
V = U
T
U = I
V
T
R
y,y
V = diagonal U
T
R
x,x
U = diagonal
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

8 6 4 2 0 2 4 6 8
8
6
4
2
0
2
4
6
8
x
1
x
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

6 4 2 0 2 4 6
6
4
2
0
2
4
6
y
1
y
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

10 5 0 5 10
10
8
6
4
2
0
2
4
6
8
10
x
proy
y
p
r
o
y
Correlacin entre las Proyecciones


PCA
PLS
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Presentaci on del Problema
Supongamos que disponemos de los datos x R
n1
, y R
m1
Nuestro objetivo consiste en estimar y a partir de una proyecci on
p-dimensional de x
Una primera opci on podra consistir en hacer una reducci on de
rango de x mediante PCA, y posteriormente estimar y a partir de
dicha proyecci on x R
p1
MLR resuelve este problema de manera optima: Proporciona el
proyector y la matriz de reconstrucci on que minimizan el error
cuadr atico medio (MSE)
Deniciones:
Proyector: U R
np
Proyecci on: x = U
T
x R
p1
Matriz de reconstrucci on: V R
mp
Reconstrucci on: y = V x
Ambig uedad: Dado que y = VU
T
x = VAA
1
U
T
x podemos asumir
V
T
V = I
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Formulaci on del Problema
Error de reconstrucci on
J = E
_
y y
2
_
= Tr
_
E
_
(y y)(y y)
T
_
con
y = V x = VU
T
x V R
mp
, U R
np
J se puede reescribir como
J = Tr(R
y,y
) + Tr (R
y, y
) 2Tr (R
y,y
)
con las matrices de correlaci on:
R
y,y
= E
h
yy
T
i
R
y, y
= VU
T
R
x,x
UV
T
R
y,y
= VU
T
R
x,y
Finalmente, teniendo V
T
V = I en cuenta:
J = Tr(R
y,y
) + Tr(U
T
R
x,x
U) 2Tr(U
T
R
x,y
V)
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Soluci on
Nuestro problema es:
arg mn
U,V
Tr(U
T
R
x,x
U) 2Tr(U
T
R
x,y
V) sujeto a V
T
V = I
Soluci on en U: Tomando el gradiente
U
e igualando a cero
2R
x,x
U2R
x,y
V = 0
R
x,x
0
U = R
1
x,x
R
x,y
V
Soluci on en V: Con U = R
1
x,x
R
x,y
V, el problema se reduce a
arg max
V
Tr
_
V
T
R
y,x
R
1
x,x
R
x,y
V
_
sujeto a V
T
V = I
cuya soluci on consiste en los p autovectores principales de
R
y,x
R
1
x,x
R
x,y
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Soluci on (Continuaci on)
Soluciones MLR:
V: Autovectores principales de R
y,x
R
1
x,x
R
x,y
R
y,x
R
1
x,x
R
x,y
V = V = diag([
1
, . . . ,
p
])
U: Autovectores principales de R
1
x,x
R
x,y
R
y,x
R
1
x,x
R
x,y
R
y,x
U = U = diag([
1
, . . . ,
p
])
U y V se pueden obtener a partir de la SVD de R

1
2
x,x
R
x,y
Formulaci on alternativa (GEV):
_
0 R
x,y
R
y,x
0
_ _
U

1
2
V
_
=
_
R
x,x
0
0 I
_ _
U

1
2
V
_

1
2
Error de reconstrucci on: J = Tr (R
y,y
) Tr
_
V
T
R
y,x
R
1
x,x
R
x,y
V
_
. .
Tr()=
P
p
k=1

k
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades
Interpretaci on
Para y = x, MLR se reduce a PCA
MLR se puede ver como una generalizaci on de PCA
MLR equivale a PLS tras preblanquear x:
Se est a maximizando la covarianza entre las proyecciones de y
(V
T
y) y las proyecciones de la versi on preblanqueada de x
Ortogonalidad:
Ortogonalidad (incorrelaci on) en las proyecciones x (no en U)
U
T
R
x,x
U = U
T
U = diagonal
Ortogonalidad en los proyectores V, pero no en las proyecciones
V
T
V = I V
T
R
y,y
V = diagonal
MLR es tambi en conocido como:
Rank-reduced Wiener Filter
Orthonormalized PLS (OPLS)
Half Canonical Correlation Analisis (Half-CCA)
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

8 6 4 2 0 2 4 6 8
8
6
4
2
0
2
4
6
8
x
1
x
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
MLR
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

6 4 2 0 2 4 6
6
4
2
0
2
4
6
y
1
y
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
MLR
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

10 5 0 5 10
10
8
6
4
2
0
2
4
6
8
10
x
proy
y
p
r
o
y
Correlacin entre las Proyecciones


PCA
PLS
MLR
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Presentaci on del Problema
Supongamos que disponemos de los datos x R
n1
, y R
m1
Nuestro objetivo consiste en encontrar las proyecciones
x = U
T
x, y = V
T
y que maximizan los coecientes de
correlaci on (0
k
1)

k
=
E[ x
k
y
k
]
_
E[ x
2
k
]E[ y
2
k
]
k = 1, . . . , p
cumpliendo al mismo tiempo las restricciones de ortogonalidad
(incorrelaci on)
E[ x
k
y
l
] = E[ x
k
x
l
] = E[ y
k
y
l
] = 0 k = l
Deniciones:
Proyector: U R
np
Proyecci on: x = U
T
x R
p1
Proyector: V R
mp
Proyecci on: y = V
T
y
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Formulaci on del Problema
Al igual que PCA, PLS y MLR, CCA admite varias formulaciones:
Maximizaci on de la correlaci on:
arg max
U,V
Tr(U
T
R
x,y
V) sujeto a U
T
R
x,x
U = V
T
R
y,y
V = I
Minimizaci on del error cuadr atico medio:
arg mn
U,V
E
h
V
T
y U
T
x
2
i
sujeto a U
T
R
x,x
U = V
T
R
y,y
V = I
Minimizaci on del error cuadr atico medio:
arg mn
U,V,zR
p1
E
h
V
T
y z
2
i
+E
h
U
T
x z
2
i
sujeto a U
T
R
x,x
U = V
T
R
y,y
V = I
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Desarrollo Te orico
Soluci on
Soluciones a partir del GEV:
_
0 R
x,y
R
y,x
0
_ _
U
V
_
=
_
R
x,x
0
0 R
y,y
_ _
U
V
_

Los autovalores en son los coecientes de correlaci on

k
Las soluciones z se obtienen como z =
U
T
x+V
T
y
2
Formulaciones alternativas:
V se puede obtener como
R
1
y,y
R
y,x
R
1
x,x
R
x,y
V = V
2
U se puede obtener como
R
1
x,x
R
x,y
R
1
y,y
R
y,x
U = U
2
U, V tambi en a partir de la SVD de R

1
2
x,x
R
x,y
R

1
2
y,y
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Propiedades
Ortogonalidad: A diferencia de PLS, la ortogonalidad se da entre
las proyecciones, y no entre los proyectores
U
T
R
x,x
U = V
T
R
y,y
V = I U
T
U = diagonal V
T
V = diagonal
Para datos Gaussianos CCA proporciona las proyecciones de
m axima informaci on mutua
a
Conexi on con Teora de la Informaci on
Medida de la dependencia estadstica
Relaci on con otras t ecnicas
CCA es equivalente a PLS tras preblanquear x e y
CCA es equivalente a MLR tras preblanquear y
a
Scharf, L. L. and Mullis, C. T. Canonical coordinates and the geometry of inference,
rate and capacity IEEE Transactions on Signal Processing, 2000, 48, 824-831
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Propiedades y Aplicaciones
Aplicaci on 1: Estima ML con Ruido Gaussiano Coloreado
Consideremos el modelo de se nal
x = A
x
s +n
x
y = A
y
s +n
y
con
A
x
R
np
A
y
R
mp
s R
p1
N(0, I) n
x
R
n1
N(0, N
x
) n
y
R
m1
N(0, N
y
)
y con ruidos independientes
E[n
x
n
T
y
] = 0
Queremos estimar A
x
, A
y
, N
x
y N
y
El estimador de m axima verosimilitud se obtiene a partir del an alisis de
correlaciones can onicas
a
(de rango p) de x e y
a
Wong, K. M.; Wu, Q. and Stoica, P. Generalized correlation decomposition applied
to array processing in unknown noise environments, Prentice-Hall, Inc., 1995, 219-323
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

8 6 4 2 0 2 4 6 8
8
6
4
2
0
2
4
6
8
x
1
x
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
MLR
CCA
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

6 4 2 0 2 4 6
6
4
2
0
2
4
6
y
1
y
2
Datos originales y direcciones


PCA (1 dir.)
PCA (2 dir.)
PLS
MLR
CCA
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Ejemplo Bidimensional
Ejemplo con datos bidimensionales
R
x,x
=

5 3
3 5

R
y,y
=

6 2
2 2

R
x,y
=

4 2
0 2

10 5 0 5 10
10
8
6
4
2
0
2
4
6
8
10
x
proy
y
p
r
o
y
Correlacin entre las Proyecciones


PCA
PLS
MLR
CCA
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Algoritmo adaptativo
Como obtener las soluciones CCA de manera adaptativa?
Idea: Problemas de regresi on LS acoplados
a
Funci on de coste:
J = v
T
Yz
2
| {z }
E[v
T
yz
2
]
+ u
T
Xz
2
| {z }
E[u
T
xz
2
]
Obtenci on de v y u: Regresi on LS
v = (YY
T
)
1
| {z }
R
1
y,y
Yz
T
|{z}
R
y,z
u = (XX
T
)
1
| {z }
R
1
x,x
Xz
T
|{z}
R
x,z
Obtenci on de z: Promediado z =
v
T
Y+ u
T
X
2
Soluci on adaptativa mediante el RLS
b
a
Via, J.; Santamaria, I. and P erez, J. A Learning Algorithm for Adaptive Canonical
Correlation Analysis of Several Data Sets, Neural Networks, 2007, 20, 139-152
b
Sayed, A. H. Fundamentals of Adaptive Filtering, John Wiley and Sons, 2003
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Extensiones a varios conjuntos de datos
Varias extensiones de CCA a varios conjuntos de datos
a
Datos
x
i
R
n
i
1
i = 1, . . . , M
Se buscan las proyecciones
x
i
= u
T
i
x con E[ x
2
i
] = 1 i = 1, . . . , M
Denimos el vector x = [ x
1
, . . . , x
M
] y la matriz
C = E[ x x
T
] R
MM
Generalizaciones de CCA basadas en:
Maximizar el M aximo Autovalor de C (MAXVAR)
Minimizar el Mnimo Autovalor de C (MINVAR)
Minimizar el Determinante de C (MINDET)
Maximizar la suma de los elementos en C (SUMCORR)
Maximizar C
2
(SSQCORR)
a
Kettenring, J. R. Canonical analysis of several sets of variables, Biometrika, 1971,
58, 433-451
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Ejemplo
Igualaci on ciega de canales MIMO-FIR:
a
Ejemplo: Canal SIMO-FIR
Longitud conocida: L
Fuente desconocida s[n]
Canales desconocidos h
k
[n] R
L1
x
1
[n]
x
2
[n]
x
M
[n]
h
1
h
2
h
M
s[n]
a
Via, J.; Santamaria, I. and P erez, J. Deterministic CCA-Based Algorithms for Blind
Equalization of FIR-MIMO Channels IEEE Transactions on Signal Processing, 2007,
55, 3867-3878
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Ejemplo (Continuaci on)
Modelo de se nal:
y[n] = T (H)s[n]
Observaciones:
y[n] =
h
x
T
[n] . . . x
T
[n K + 1]
i
T
x[n] = [x
1
[n], . . . , x
M
[n]]
T
Fuente:
s[n] = [s[n], s[n 1], . . . , s[n K L + 2]]
Matriz de ltrado:
T (H) =
2
6
4
h[0] h[L 1] 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 h[0] h[L 1]
3
7
5
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Ejemplo (Continuaci on)
Igualaci on:
Bajo condiciones sencillas, T (H) es completa en rango
Por lo tanto, existe una matriz Wtal que
W
H
y = s
Cada columna de Wes un igualador con un retardo diferente
w
H
k
y[n] = s[n k + 1]
C omo encontrar los igualadores?
Idea: CCA
arg mn
W
M
X
k,l=1
E

w
H
k
y[n +k] w
H
l
y[n +l]

sujeto a w
H
k
R
y,y
w
k
= 1
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Ejemplo (Continuaci on)
Canales SIMO 1 2 y 1 4 con L = 2
20 10 0 10 20 30
20
18
16
14
12
10
8
6
4
2
0
SNR (dB)
M
S
E

(
d
B
)

20 10 0 10 20 30
20
18
16
14
12
10
8
6
4
2
0
SNR (dB)
M
S
E

(
d
B
)

CCA CCA
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Algoritmo Adaptativo y Generalizaciones
Ejemplo (Continuaci on)
Canal SIMO 1 3, L = 7, SNR=30dB: Algoritmo adaptativo (CCA-RLS)
0 500 1000 1500 2000
35
30
25
20
15
10
5
0
5
10
Iteraciones
I
S
I

(
d
B
)
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Contenido
1
Introducci on
2
An alisis de Componentes Principales (PCA)
3
Mnimos Cuadrados Parciales (PLS)
4
Regresi on Lineal M ultiple (MLR)
5
An alisis de Correlaciones Can onicas (CCA)
6
Resumen
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Resumen
An alisis Estadstico Multivariado Basado en SOS
PCA:
Direcciones de m axima varianza
Reducci on de rango de mnimo MSE
PLS:
Direcciones de m axima covarianza
MLR:
Estimador de rango reducido de mnimo MSE (Wiener Filter)
Maximiza la covarianza entre y y la versi on preblanqueada de x
Invariante a transformaciones lineales de x
CCA:
Direcciones con mayor coeciente de correlaci on
Maxima covarianza entre las versiones preblanqueadas de x e y
Invariante a transformaciones lineales de x e y
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Resumen
Extensiones
Extensi on sencilla a datos complejos
Formulaci on determinista
X = [x[n] x[N 1]] Y = [y[n] y[N 1]]
Estima de las matrices de correlaci on

R
x,x
=
1
N
XX
H

R
y,y
=
1
N
YY
H

R
x,y
=
1
N
XY
H
Extensiones no lineales:
Redes Neuronales
M etodos Kernel
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones
Introducci on PCA PLS MLR CCA Resumen
Resumen
Un Problema no Tratado
C omo seleccionar el orden p de la reducci on de rango?
Criterio de Akaike
a
Criterio MDL (Minimum Description Length)
b
Ejemplo
0 5 10 15 20 25 30
0
0.2
0.4
0.6
0.8
1
ndice (k)
P
e
r
f
i
l

d
e

A
u
t
o
v
a
l
o
r
e
s

Umbral
Seleccin
de Orden
a
Akaike, H. A new look at the statistical model identication, IEEE Transactions on
Automatic Control, 1974, 19, 716-723
b
Rissanen, J. Universal coding, information, prediction, and estimation. IEEE
Transactions on Information Theory, 1984, 30, 629-636
T ecnicas de An alisis Estadstico Multivariado Basadas en Estadsticos de Segundo Orden Tratamiento Avanzado de Se nal en Comunicaciones