Variantes del

algoritmo K-NN
DRA. LETICIA FLORES PULIDO

Variantes del algoritmo K-NN
! Dentro de los mtodos de clasificacin
basados en criterios de vecindad,
podemos encontrar varios clasificadores
diferentes.
! Los algoritmos basados en vecindad
basan su efectividad en la utilizacin de
una mtrica adecuada para el problema
que se est abordando
2
Variantes del algoritmo K-NN
! En sus primeras versiones, se consideraba
que para calcular la vecindad, cada
elemento deba ser tomado como igual
! Las versiones subsecuentes, propusieron
que se agregara una especie de peso a
ciertos elementos para as elevar la
efectividad de la mtrica empleada
3
Variantes del algoritmo K-NN
! Otras versiones asignan a cada caso de k
vecinos un peso diferente en la votacin,
segn diferentes criterios (cercana,
informacin o caractersticas mutuas)
! Otras versiones tratan de reducir el
nmero de clculos para encontrar los k
vecinos
4
Variantes del algoritmo K-NN
! Otras tratan de reducir el tamao del modelo
tomando solo unos elementos prototipo en
base a los cuales se realizarn las
clasificaciones posteriores.

! Todas las tcnicas anteriores se pueden
hibridar de muchas maneras, lo que nos da
una idea de lo complejo que puede llegar a
ser un sistema de clasificacin por vecindad
5
Regla K-NN con rechazo
! Esta variante del K-NN descarta la
clasificacin de aquellas muestras para las
que no se obtenga una cierta garanta de
que la clase asignada sea la correcta
! La clasificacin solo ser realizada en el caso
de que alguna de las clases reciba un
nmero de votos superior a un umbral
previamente fijado.
6
Regla K-NN con rechazo
! Si resulta por ejemplo que el nmero de votos
recibidos por la clase mas votada no rebasa
dicho umbral, el caso no ser asignado a
ninguna de las clases del problema

! Los casos que se quedan sin clasificar son
aquellos dudosos, que probablemente se
encuentren prximos a las fronteras de
decisin
7
Regla K-NN con rechazo
! El umbral que se establece para esta regla
suele oscilar entre K/M y K,
! Donde:

! M es el nmero de clases del problema de
clasificacin que se desea abordar
! K es valor de los k vecinos ms prximos a
considerar para el proceso de clasificacin
8
Regla K-NN con rechazo
! Si M=2 con 2 clases a clasificar
! Si K=4 considerando a los 4 vecinos mas
prximos
! Entonces el umbral esta en K/M y K, es
decir: 4/2 y 2
! Es decir, el umbral est entre 2 y 2, para
este caso el umbral es = 2.
9
Regla K-NN con rechazo
! Si ninguna clase supera este umbral, el
caso a clasificar ser asignado a la clase
de rechazo w.
10
Regla K-NN con rechazo con
k=2
11
Candidato
Regla K-NN con rechazo con
k=5
12
Candidato
REGLA K-NN por distancia
media
! Nace como una alternativa a la regla k-NN,
dndose, en este caso, mayor relevancia a la
distancia a la que se encuentran los k vecinos
ms prximos que al voto individual de cada
vecino.
! A partir de los k vecinos mas prximos, a un
nuevo caso a clasificar le es asignada la
clase cuya distancia media es menor dentro
de las clases de los K vecinos ms prximos.
13
Clasificador de la distancia
mnima
! En este caso, se eligen prototipos
representantes de cada clase
! A partir de ellos depende la distancia que
contengan de cada nuevo elemento o
prototipo para su clasificacin
! El ejemplo de codificacin se muestra a
continuacin
! La dificultad radica en la eleccin del
nico representante de cada clase.
14