Rseaux neuronaux

Rseaux neuronaux Perceptron Multi-Couche

Jerzy Korczak, LSIIT, ULP email : jjk@dpt-info.u-strasbg.fr http://lsiit.u-strasbg.fr/afd

Les fondements biologiques cortex : 1011 neurones neurone : ~104 entres

influx nerveux

soma

axone synapse dendrites

J.Korczak, ULP

J.Korczak, ULP

Neurone biologique
Signal: action potentielle (ang.spike)

Cortex : les couches et les cellules

action potential

1mm
J.Korczak, ULP

10 000 neurones 3 km fil

100m

J.Korczak, ULP

Modlisation de rseaux de neurones biologiques

Mod Modle de cellule de Purkinje (Schutter 2005) Le modle comporte:

Populations de neurones Comportement Neurones Signaux

32000 quations diffrentielles! 8021 modles des canaux ioniques 19200 paramtres daffinement description morphologique

Modles
Molecules Canaux ionique

J.Korczak, ULP

J.Korczak, ULP

Histoire
La modlisation du neurone [McCulloch, Pitts, 1943] Le processus dapprentissage [Hebb, 1949] PERCEPTRON [Rosenblatt,1958-1962]
Convergence dun algorithme itratif dadaptation de poids

Traitement de l'information dans le cerveau et l'ordinateur de von Neumann

Ordinateur de von Neumann calcul et mmoire spars et centraliss programme = squence dinstr. excution d'un sousprogramme la fois un seul processeur trs rapide Cerveau calcul et mmoire intgrs et distribus calcul = satisfaction de multiples contraintes combinaison simultane de multiples sources d'information des centaines de milliards d'units de calcul trs lentes

Limitations du PERPTRON [Minsky, Papert, 1969] sparation linaire

Problme du OU-exclusif (XOR)

Machine de Bolzmann [Hopfield, 1982] Rtro-propagation - MLP [Rumelhart, Parker, Le Cun, 1985] Cartes topologiques auto-adaptatives [Kohonen, 80s]
J.Korczak, ULP 7

J.Korczak, ULP

Caractristiques des systmes

Sparation linaire
wkx > s XOR 1 x1 wkx < s 0 x2

?
1

Un ensemble d'exemples est linairement sparable si il existe un classifieur linaire qui peut tous les apprendre. Pour n entres binaires, il existe 2n vecteurs d'entres possibles, et 22 n fonctions binaires.

J.Korczak, ULP

J.Korczak, ULP

10

Applications
Reconnaissance des formes, classification Reconnaissance/synthse de la parole Prvision et modlisation Diagnostic Compression de donnes Vision, robotique, commende de vhicule, contrle adaptatif Nouvelles applications Recherche dinformations dans le Web Extraction dinformation, veille technologique Multimdia (indexation) Data mining
J.Korczak, ULP 11

OCR : reconnaissance de caract caractres par RN

J.Korczak, ULP

12

Quest-ce quun rseau de neurones ?

RN est un rseau dautomates finis partiellement ou totalement connects entre eux, en interaction locale ou globale. Il est entirement caractris par son architecture et les fonctions de transition dtat des neurones. Deux grands classes de RN : RN dont lapprentissage est supervis
Une mthode dapprentissage supervis est une mthode qui utilise directement les connaissances dun expert et essaye de reproduire ces connaissances.

Rseaux neuronaux : bonnes applications applications

Des caractristiques dune bonne application : Problmes trs difficiles expliciter ou formaliser On dispose dun ensemble dexemples Le problme fait intervenir des donnes bruites Le problme peut voluer Le problme ncessite une grande rapidit de traitement Il nexiste pas de solutions technologiques courantes

RN dont lapprentissage est non supervis

Une mthode dapprentissage non supervis est une mthode qui essaye de driver des gnralisations partir des donnes, de segmenter lespace de donnes.
J.Korczak, ULP 13

J.Korczak, ULP

14

Le Perceptron Multi-Couche (MLP)

Rseau de neurones - MLP

Un rseau (suffisamment complexe) de neurones formels peut reprsenter n'importe quelle fonction boolenne ou n'importe quelle partition de Rn.

Le MLP est compos de couches successives : une couche dentre (o sont prsentes les entres), une ou plusieurs couches caches, et une couche de sortie (o sont prsentes les sorties calcules par le MLP). Lapprentissage des MLP : - algorithme de rtro-propagation du gradient - algorithme de gradient conjugu - mthodes de second ordre, Les MLP sont des approximateurs universels.
J.Korczak, ULP 15

couche d entre

couches caches

couche de sortie

J.Korczak, ULP

16

Fonctionnement dun neurone

Fonction dactivation
Fonction non linaire - choix typiques : fonction logistique, tangente hyperbolique F(x) = 1/(1+e-x) F(x)= tanh(x)

Fonction dactivation (ou de transfert)

X1

F w1 w2 wi wk
0

Y1 Y2 Y3

X2 X3

xi*w i

Entres
J.Korczak, ULP

Sorties
17

- proprits importantes : - continue, drivable

J.Korczak, ULP 18

MLP : apprentissage
Principe : Initialisation des poids des valeurs alatoires Prsentation dun exemple Propagation des signaux dans le rseau Calcul des erreurs et propagation en sens rtrograde Modification des poids de connexions

Arrt de lapprentissage
Critres classiques
lerreur passe en dessous dun seuil borne sur le temps de calcul vitesse de progression

Une technique de rgularisation : arrt prmatur (early stopping)

viter le sur-apprentissage on sarrte quand lerreur remonte sur lensemble de validation

Dfauts : Paramtrage Lenteur Choix de la topologie

J.Korczak, ULP 19 J.Korczak, ULP

20

Problme : la sortie dsire pour un neurone cach ?

Problme : la sortie dsire pour un neurone cach ? dEp/dwij = (dEp/dj)(dj/dwij) =(dEp/dj) yi on pose j= (dEp/dj), do wij(t+1) = wij(t) (t) j yi

xi Entres Mthode de calcul :

oi wij tj: sortie dsire xi i f entre

oi wij

j f

oj wjk

k f

tj

mais j= (dEp/dj)= k(dEp/dk) (dk/dj)= k k (dk/dj)= do = k k wjk (dyk/dj) j = 2(oj - tj) f(j) j = (k wij k) f (j)
21 J.Korczak, ULP

1) fonction de cot : E(t)=p(op-tp)2 2) gradient total : w(t+1) = w(t) (t) gradw (Ep(t)) 3) calculer dEp/dwij
J.Korczak, ULP

si neurone j en sortie si neurone j en sortie

22

Rtrotro-propagation du gradient
x1 x2 x3 wij o1 o2 o3 ...
-

Exemple : Rtro-propagation du gradient (GBP) Apprentissage

t1
-

t2 t3

E=1/2 (tk - ok)2

...
xn
Vecteur yi= wijxi d entre Fonction sigmode
J.Korczak, ULP

...
tm F(y) = F(y)(1-F(y))
23

om

XOR X Y XOR(X,Y) 0 0 0 0 1 1 1 0 1 1 1 0 f(netk)=1/(1+e-net ) netj=wijoi bias oj=f(netj)

k

XOR
0,5
W ij=0 0 0

k=(tk-ok)f(netk) f(netk)=ok(1-ok) w (t+1)=wjk(t)-koj 0 jk

1
bias 0 0

0,5
0

1 X Y

F(y)=1/(1+e-ky)

J.Korczak, ULP

24

Exemple : Rtro-propagation du gradient (GBP) Apprentissage

Apprentissage : les poids et le coefficient dapprentissage

XOR
X 0 0 1 1 Y XOR(X,Y) 0 0 1 1 0 1 1 0
W ij=0

XOR z 0,5
0 0 0

1
bias 0 0

0,5 h
0

=0,1 z=(1-0.5)*0,5*(1-0.5)= =0,125 wzx(t+1)=0+0,1*0,125*1= = 0,0125

wzx=0,00125 wzy=0 wzh=0,00625 whx=0,0000195 why=0 wzbh=0,0000195 f(net) = 0,507031

0,1 0,5 3,0 4,0

itration 25496 3172 391 (fails)

h=f(netj) kwkj

bias

1 x

= 0,5*(1-0,5)*0,125*0,00625= 0,000195 w hx=0+0,1*0,000195*1=0,0000195

J.Korczak, ULP 25 J.Korczak, ULP 26

Exemple : Rtro-propagation du gradient (GBP)

Exemple : Rtro-propagation du gradient (GBP)

XOR X Y XOR(X,Y) 0 0 0 0 1 1 1 0 1 1 1 0 1

XOR
0,91
-3,29 10,9 -4,95 -4,95

XOR
X 0 0 1 1 Y XOR 0 0 1 1 0 1 1 0 0,91
-3,29 10,9

XOR

-4,95

1
-2,76

0.98
7,1 7,1

1
-2,76

-4,95

0,98
7,1 7,1

Y=1/(1+e-xw) =1/(1+e-4,34) =0,98

bias

1 X Y

1 * 7,1 1 * -2,76 0 * 7,1 xw = 4,34

27 J.Korczak, ULP

bias

1 X Y

J.Korczak, ULP

28

Exemple : Rtro-propagation du gradient (GBP)

Axone : Exemple XOR

[http://lsiit.u-strasbg.fr/afd]

XOR
X 0 0 1 1 Y XOR 0 0,08 1 0,91 0 1,00 1 0,10 0,91
-3,29 10,9

XOR

-4,95

1
-2,76

-4,95

0,98
7,1 7,1

bias

1 X Y

J.Korczak, ULP

29

J.Korczak, ULP

30

Axone : Exemple XOR paramtres dapprentissage

Axone : Exemple XOR rseau appris

J.Korczak, ULP

31

J.Korczak, ULP

32

Apprentissage : Mise jour des poids et outils Mise jour des poids Batch : aprs la prsentation de tous les exemples calcul et stockage lourds si trop dexemples En ligne (on-line) : aprs chaque exemple besoin de tirer lexemple au hasard problmes de convergence plus de 5000 exemples Outils : Matlab, Axone, SNNS

Choix du pas dapprentissage Pas dapprentissage : trop petit -> convergence lente trop grand -> risque doscillations Heuristiques : ajuster le pas au fur et mesure la main en fonction de la forme de la surface derreur Approximations : Premier ordre : Inertie, SuperSAB, Delta-Bar-Delta, Rprop Second ordre : QuickProp, Levenberg-Marquard

J.Korczak, ULP

33

J.Korczak, ULP

34

Dplacement de lobjectif dapprentissage Chaque neurone lintrieur du rseau essaye en mme temps dvoluer pour dtecter une caractristique du problme. Les neurones dune mme couche ne communiquent pas entre eux. Effet troupeau (herd effect) Architecture en cascade : Cascade Correlation

Extraction de rgles partir de RN

Connaissances acquises du RN sont encodes :
Larchitecture du rseau Les fonctions dactivation associes chaque neurone Les poids des connexions

Objectifs :
Explication pour lutilisateur Vrification de logiciels, Dbuggage Exploration de donnes Amlioration de la gnralisation Induction de thories scientifiques Acquisition de connaissances

J.Korczak, ULP

35

J.Korczak, ULP

36

KnowledgeKnowledge-Based Artificial Netural Networks [Shavlik, 1993]

Mthodes dextraction de rgles partir RN Dcompositionnelles Hybrides

DEDEC TREPAN

Thorie initiale du domaine Donnes Insertion de rgles dans le rseau

Thorie finale du domaine

KBANN SUBSET MofN

Extraction de rgles du rseau

Pdagogiques

37 J.Korczak, ULP

Rseau initial

Apprentissage

Rseau final

RULENEG BRAINNE VIA

38

J.Korczak, ULP

Optimisation de la topologie de PMC

Approche empirique par essai-erreur Approches ascendantes : cherche augmenter le nombre de
connexions et de neurones dans le rseau Cascade-Correlation [Fahlman, Lebiere, 1991] Upstart [Frean, 1990] Tiling [Mzard, Nadal, 1989]

Authentification biomtrique

Visage

Dtection des yeux

-50 0 0 10 20 30 40
0 -5 0 0 10 20 30 40 50

Normalisation Apprentissage et + Codage Reconnaissance Moment

Dcision

50

50

1 00

Grey Sca e l

10 0

n I e t n si t y

Vert Bleu Hue Saturation Intensit

1 50

15 0

2 00

20 0

2 50
25 0

Ave rag e Inten s t i y o f e ac h ro ws

n I e t n si t y

Filtre Trouver Trouver Inondation + de base Y X Convolution

Approches descendantes : cherche laguer les connexions et

les neurones dans le rseau pendant lapprentissage [Weight Elimination, Weigend,1991] aprs apprentissage [OBD, Brain Surgeon, Le Cun, 1990]
Identit

Extraction

Rseau des neurones

w1

Base des donnes

Transformation de londelette
Frquence

Accepter, Rejeter
w2

Voix
Effacer les silences

Normalisation Apprentissage et + Codage Reconnaissance

Approches volutives : connexionisme gntique

[Weight Elimination, Weigend,1991] AGWin [Korczak, 1998]
J.Korczak, ULP 39 J.Korczak, ULP

C0 C1 C 2 C3 C 4 C5 C 6 C7 C9 C10 C11 C 12 C13 C14

Temps

C15

Rseau des neurones

40

Bibliographie
Bishop C.M., Neural Networks for Pattern Recognition, Oxford Univ., 1995. Haykin S., Neural Networks: A Comprehensive Foundation, Prentice-Hall, 1999. Rojas R., Neural Networks: A Systematic Introduction, Springer, 1996. Kohonen T., Self-Organizing Maps, Springer, 1997. Hrault J., Jutten C., Rseaux neuronaux et Traitement du Signal, Herms, 1994. Masters T., Practical Neural Network Recipes in C++, Academic Press, 1994.

Online books : http://www.shef.ac.uk/psychology/gurney/notes/index.html Usenet newsgroup : comp.ai.neural-nets FAQ : ftp://ftp.sas.com/pub/neural/FAQ.html Neuroprose : ftp://archive.cis.ohio-state.edu/pub/neuroprose http://lsiit.u-strasbg.fr/afd http://diwww.epfl.ch/mantra/tutorial/french/index.html http://19968.gel.ulaval.ca/notes/RetroPerceptron.pdf http://www.dontveter.com/bpr/bpr.html
J.Korczak, ULP 41