Академический Документы
Профессиональный Документы
Культура Документы
20 de marzo de 2007
Agenda
Outline
Introduccion
Clasicador lineal que utiliza la siguiente metodolog a Mapear puntos de entrenamiento a un espacio dimensional mayor Construir un hiperplano que separa los puntos en las clases respectivas Clasicar un punto nuevo de acuerdo a su ubicaci on con respecto al hiperplano de separaci on
Outline
Preliminares
Para el caso de 2 clases: Los xk son los patrones de entrenamiento en zk {1, 1} Los patrones xk son transformados a yk = (xk ) Los yk est an en
d, j,
k = 1, ..., n
con d > j
Discriminador lineal
Hiperplano de Separaci on
Este discriminador es una familia de hiperplanos y el hiperplano de separaci on es: wty = 0
w w
w w w
=r
g (yk ) w
Support Vector Machine
Denici on
Como hay varios vectores w que generan el mismo plano, seleccionaremos uno con el siguiente criterio: El vector de pesos w es llamado forma canonica del hiperplano w t y = 0 con respecto a los patrones y1 , y2 , ..., yn , si se escala de manera que: mini =1,...,n |< w , yi >|= 1 Este plano asegura que: zk g (yk ) 1
Hiperplano
Figura: Forma can onica del hiperplano. La margen medida 1 perpendicularmente al hiperplano es w
Juan Carlos Caicedo Juan Carlos Mendivelso Support Vector Machine
Outline
Funcion
El conocimiento del dise nador en dominio de aplicaci on Funciones polinomiales o gausianas Otras funciones base (kernel trick )
Prop osito
El prop osito del entrenamiento de un SVM es maximizar la distancia entre los patrones yk y el hiperplano de separaci on. max : r = zk g (yk ) w
Optimizaci on
| g (yk ) |= zk w t yk 1
Optimizaci on
k =1
k (zk w t yk 1)
Encontrando el m nimo
Si existe un m nimo local, entonces: L(w , ) = 0 w w 1 ( w 2 1 2 w
n
k =1 n
k (zk w t yk 1)
=0
)
k =1 n
(zk w t yk 1) = 0 w
w
k =1
k zk yk = 0
Condiciones KKT
Seg un las condiciones de KKT, k = 0: k [zk w t yk 1] = 0, k = 0, ..., n Esto signica que los vectores de soporte est an en la margen. Los dem as vectores de entrenamiento son irrelevantes, porque zk g (tk ) 1 y no satisfacen la condici on
Problema Dual
Al reemplazar la soluci on de w en la f ormula de Lagrange se obtiene la forma dual del problema de optimizaci on, que es el que se resuelve en la pr actica:
m
max : W () =
k =1
1 k 2
i j zi zj < yi , yj >
i =1 j =1
Sujeto a: k 0, k = 1, ..., m
m
i zi = 0
i =0
Funcion de Decisi on
f (x ) = sng
k =1
zk k < x , xk >
Outline
Problema XOR
Formulacion
Funcion
Existen varias funciones que pueden aplicarse, se eligi o la siguiente expansi on de segundo orden: : 2 6 2 2 , x2 ) (x1 , x2 ) (1, 2x1 , 2x2 , 2x1 x2 , x1
Optimizacion
Se requiere maximizar:
4 k =1
1 k 2
n i
i j zi zj yit yj
j
Sujeto a: 1 2 + 3 4 = 0 k 0, k = 1, 2, 3, 4
Optimizacion
La soluci on puede encontrarse mediante alg un procedimiento de optimizaci on como el descenso del gradiente En este problema peque no se puede encontrar anal ticamente La soluci on optima es w = (1/8, 1/8, 1/8, 1/8) Todos los patrones se utilizan como vectores de soporte, debido a la simetr a del problema, algo que es inusual
Discriminante Lineal
La funci on lineal es g (x1 , x2 ) = x1 x2 y el hiperplano de separaci on es g = 0 1 La longitud de la margen es r = = 2 w La soluci on se puede visualizar en un sub-espacio 2d proyectado
Solucion
Software
El m etodo m as utilizado para entrenar SVM solucionando el problema dual es SMO (Sequential Minimal Optimization) Est a implementado en: SVM-JAVA: http://idis.hwanjoyu.org/svm-java/ Weka: http://www.cs.waikato.ac.nz/ml/weka/
Fin
Gracias.