Apprentissage semi-supervis

Extrait de :
http://www.public.asu.edu/~jye02

Position du Problme
Donnes avec labels
m

Labels des donnes

(0 ou 1)
n

But : prdire les labels

des donnes sans labels
X
Donnes sans labels

Apprentissage semi-supervis
Apprentissage semi-supervis pour amliorer les performances en
combinant les donnes avec labels (peu) et sans labels (beaucoup)
Classification semi-supervise : entraner sur des donnes avec labels
et exploiter les donnes (beaucoup) sans labels
Clustering semi-supervis : clustering des donnes sans labels en
s'aidant des donnes avec labels

Clustering

Apprentissage
Semi-supervis

Classification

Hypothse de classe

Hypothse de base pour la plupart des algorithmes d'apprentissage

semi-superviss
Points proches ont probablement le mme label de classe
Deux points qui sont connects par un chemin traversant des rgions
de forte densits doivent avoir le mme label

Classification Semi-Supervise

Exemple de Classification Semi-Supervise

.
.
.
.

Exemple de Classification Semi-Supervise

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Exemple de Classification Semi-Supervise

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Classification Semi-Supervise

Algorithmes:

EM Semi-supervis [Ghahramani:NIPS94,Nigam:ML00].
Co-training [Blum:COLT98].
Transductive SVMs [Vapnik:98,Joachims:ICML99].
Algorithmes base de Graphes [Blum:ICML01,
Joachims:ICML03,Zhu:ICML03,ZHOU:NIPS03]

hypothses:

Connu : un ensemble de catgories de donnes avec labels

But : amliorer la classification des exemples dans ces catgories
connues

Clustering Semi-Supervis

Clustering Semi-Supervis : Exemple 1

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Clustering Semi-Supervis : Exemple 1

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Clustering Semi-Supervis : Exemple 2

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Clustering Semi-Supervis : Exemple 2

.
.
.
. ..
.. .
.. .
.
. .
. . .
. .

Clustering semi-supervis :

Entre :

Sortie :

Un ensemble d'objets sans labels, chacun est dcrit par un

ensemble d'attributs (numriques ou catgoriels)
Une faible connaissance du domaine
Partitionnement des objets en k classes

Objectif :

Similarit intra-cluster maximum

Similarit inter-cluster minimum
Une grande consistance entre partition et connaissances du
domaine

Pourquoi clustering semi-supervis ?

Why not clustering?

Les classes obtenues peuvent ne pas tre ceux demands
Parfois, il y a plusieurs choix de groupements

Why not classification?

Parfois on n'a pas assez de donnes avec labels

Applications potentielles
Bioinformatique (gene et protein clustering)
Construction de hirarchies de documents
Categorisation de News/email
categorisation d'Images

Clustering Semi-Supervis

Deux type de connaissances

Informations partielles sur les labels
Appliquer certaines contraintes (must-links et cannot-links)

Approches

Search-based Semi-Supervised Clustering

Similarity-based Semi-Supervised Clustering

Alter the clustering algorithm using the constraints

Alter the similarity measure based on the constraints

Combination of both

Classification semi-supervise c'est quoi ?

Utilise un faible nombre de donnes avec labels pour labelliser un

grand nombre de donnes sans labels

Ide de base

Labelliser est coteux

Donnes similaires doivent avoir le mme label de classe

Exemples
Classification pages Web
Classification de documents
Classification de protines