Академический Документы
Профессиональный Документы
Культура Документы
Fabien MOUTARDE
Centre de Robotique (CAOR) Mines ParisTech (ENSMP)
Fabien.Moutarde@mines-paristech.fr http://www.ensmp.fr/~moutarde Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 1
PLAN GENERAL
Janvier 2010
PRESENTATION GENERALE
1) INTRODUCTION - HISTORIQUE 2) LES RESEAUX DE NEURONES FORMELS 3) LES TECHNIQUES D'APPRENTISSAGE 4) EXEMPLE
Janvier 2010
HISTORIQUE
Comprhension et modlisation cerveau
NEURONES BIOLOGIQUES
corps cellulaire synapse
dendrite axone
FONDEMENTS BIOLOGIQUES
FORMATION DU CERVEAU - APPRENTISSAGE - MEMOIRE FORMATION: programme hrditaire dict par - un rseau de neurones totalement connect - le mcanisme interne de chaque type de neurones - le potentiel d'volution des synapses EVOLUTION ET APPRENTISSAGE : interaction avec l'extrieur volution des synapses qui peuvent dgnrer se stabiliser de faon +/- rversible (mmoire)
Janvier 2010
potentiel de membrane
q Ci f i
i
f ~ 500 Hz sigmode
Potentiel de membrane
Janvier 2010 7
Oi
Wij
+1 -1
Oj
Janvier 2010
MODELE DE L'APPRENTISSAGE
Rgle de Hebb (1949)
Renforcement des connections entre neurones activs simultanment
Oi Wij
Oj
Janvier 2010
Janvier 2010
10
Les progrs des ordinateurs squentiels ont pouss le dveloppement du traitement symbolique et de l'Intelligence Artificielle (systmes experts) et l'abandon des rseaux de neurones.
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 11
LE RENOUVEAU DU NEURONAL
La mcanique statistique au secours des rseaux de neurones (J.J. Hopfield, 82) --> intrt de la dynamique des rseaux totalement connects LA RETROPROPAGATION DU GRADIENT et la rsolution du Credit Assignment Problem (Rumelhart 86, Le Cun 85) : apprentissage de rseaux couches caches. Puissance de calcul des ordinateurs ==> rsolution empirique de problmes rels. Des rsultats mathmatiques universels parcimonieux
Introduction aux rseaux de neurones
approximateurs
Janvier 2010
12
REVIVAL RECENT
deep neural networks, avec plusieurs couches caches de grandes dimensions :
initialisation intelligente non-supervise apprentissage usuel ensuite fine-tuning des poids couches caches features appris (bas niveau sur premire couche cache, + ht niveau sur 2eme)
Janvier 2010
13
Voisin, ...) - splines et autres outils d'interpolation - modles ARMA, ... - filtres linaires adaptatifs, ... - contrleurs PID, ...
...
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 14
DOMAINES D'APPLICATIONS
Apprentissage d'une relation entre-sortie connue par l'exemple :
Reconnaissance de formes Classification Identification Prdiction Filtrage Commande, rgulation
Janvier 2010
15
EXEMPLES D'APPLICATIONS
reconnaissance de caractres (EasyReader), de visage (Mimetics), de la parole, de l'criture (ordinateur sans clavier), de signature acoustique (Thomson), d'objets (Silac: profils d'aluminium... diagnostic (allumage voiture, Renault ; photocopieur, Canon; circuits VLSI, IBM...) compression de donnes (JVC) prvision de consommation d'eau (Lyonnaise, CGE), d'lectricit (EDF), de trafic routier (Cofiroute), de cours boursiers... identification de procd industriel (Air liquide, Elf Atochem, ciments Lafarge...) commande de vhicule (Sagem)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 16
DEFINITION USUELLE : processeur trs simple qui calcule une somme pondre et qui applique cette somme une fonction de transfert non linaire (chelon, sigmode, gaussienne, ...)
Janvier 2010
17
LE NEURONE FORMEL
ei Wij
ei : entres du neurone Aj : activation du neurone Oj : sortie du neurone
h f g
Aj
Oj
Wij : poids (synaptiques) h : fonction d'entre f : fonction d'activation (ou de transfert) g : fonction de sortie
LE NEURONE SOMMATEUR
PRINCIPE FONCTIONS D'ACTIVATION Fonction seuil (Heaviside) ou signe
--> neurones binaires
Oj
Identit
--> neurones linaires
Saturation
Gaussienne
W0j = "biais"
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 19
LE NEURONE DISTANCE
ei
e1 W1 j fonction d'entre : h ... , ... = (ei Wij )2 i ek Wkj
DIST
Wij Oj f
L'activation reprsente donc la distance entre le vecteur d'entre (ei)i et le vecteur poids (Wij)i
Janvier 2010
20
ei Wij
Oj
= f (W ijW kj e i e k ) i,k
Janvier 2010
21
h(e, w) = K (e, w)
Id
Oj
Exemples de noyaux admissibles : Polynomiaux : K(u,v) = [u.v + 1]p Radial Basis Function : K(u,v) = exp(-||u-v||2 / 22) quivalent distance+activation gaussienne Sigmodes : K(u,v) = tanh(u.v+) quivalent sommateur+activation sigmode
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 22
RESEAUX BOUCLES : sont utiliss comme mmoire associative (Hopfield, rseaux attracteurs) ou pour des tches de traitement du signal ou de commande.
Janvier 2010
23
Les neurones peuvent tre ordonns d'une faon telle qu'il n'y a aucune connection "vers l'arrire"
(terme anglais : "FEEDFORWARD" neural network)
4 3 2 1
les neurones 1, 3 et 4 sont dits "cachs"
X1
X2
X3
X4
neurones d'entre
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 24
Y1
Y2
couche de sortie
Janvier 2010
25
RESEAUX BOUCLES
sortie sortie
2
x2
1
x3
x2(t-1) x2(t)
1
0 0 0
x3(t) f
entre x1
x1(t)
entre
Forme quivalente
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 26
........
1
Rseau statique
............ ui(t) entres externes ........
xk(t-1) variables d'tat
....... 1
RESEAU DE HOPFIELD
x2 x3
1
1 1 1 1
1 1 1 1
x1
x4
sortie y=
poids W
(x) A,W
FA,W (x)
architecture A
reconnaissance :
calcul de la sortie associe une entre
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 29
L'APPRENTISSAGE
PLAN
Janvier 2010
30
GENERALITES
MODES D'APPRENTISSAGE
SUPERVISE exemples : (x1, d1) ... (xm, dm) Architecture : A Poids initiaux : W NON SUPERVISE exemples : x1, ..., xm Architecture : A Poids initiaux : W
TROUVER DES POIDS W (et ventuellement modifier A) POUR QUE : - interpolation : dk = F (xk) pour k=1, ..., m A,W - gnralisation : d = F (x) A,W pour de nouveaux couples (x,d)
Janvier 2010
31
L'APPRENTISSAGE SUPERVISE
Rseaux de neurones sommateurs seuil - la sparation linaire - les rseaux multicouches : la rtropropagation Rseaux de neurones "distance" - Learning Vector Quantization (LVQ) - Mthodes noyaux type Radial Basis Function Rseaux neurones d'ordre suprieur Support Vector Machines (SVM)
Janvier 2010
32
GENERALITES ET FORMALISME
L'apprentissage supervis est l'adaptation des coefficients synaptiques d'un rseau afin que pour chaque exemple, la sortie du rseau corresponde la sortie dsire. FONCTION DE COT : problme de minimisation Soient n exemples (Xp;Dp) et Yp la sortie donne par le rseau On dfinit l'erreur qui peut tre quadratique de la forme
E (W ) =
(Y
p
Dp )
L'apprentissage revient dterminer W =ArgMin(E). En gnral, on utilise des mthodes de gradient, total, partiel ou stochastique :
W (t + 1) = W (t ) . grad W (E )
Fabien Moutarde, CAOR, MINES ParisTech
Janvier 2010
33
W.X
Janvier 2010
34
APPRENTISSAGE DU PERCEPTRON
X W
W.X
Wk.X> 0 y
Wk.X < 0
==> SEPARATION LINEAIRE loi d'apprentissage : Wk+1 = Wk + dX si X mal class (d : sortie dsire) Wk+1 = Wk si X bien class Convergence de l'algorithme dans le cas sparable Impossible de savoir si un problme est non sparable.
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 35
REGLES DELTA
AUTRES REGLES D'APPRENTISSAGE POUR LA SEPARATION LINEAIRE PAR UN NEURONE La rgle Delta ou de Widrow-Hoff :
E(W) =
Le gradient partiel calcul donne W = (dp - W.Xp)Xp CONVERGE VERS SOLUTION MOINDRES CARRES : W = (XXT)-1 Xd o X: matrice (X1, ..., Xn) et d: vecteur (d1, ..., dn) La rgle Delta gnralise :
E(W) =
==>
Janvier 2010
36
SEPARATIONS LINEAIRES
COMPARAISON DES SOLUTIONS DES 3 ALGORITHMES
Perceptron
Delta gnralise
Janvier 2010
37
CLASSE 2 CLASSE 1
Ncessit de plusieurs couches pour un rseau de neurones Ncessit d'un nouvel algorithme pour ces rseaux
Janvier 2010
38
wij
yj
sortie dsire d
LA RETROPROPAGATION DU GRADIENT
(en anglais BACKPROPAGATION)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 39
wij
j
y0=1
yj
wjk
k f
k(dk/dj) = k kWjk(dyj/dj)
si neurone j est cach
j = (k Wjkk)f'(j)
Janvier 2010
42
Pour toute fonction F continue dfinie et borne sur un ensemble born, et pour tout , il existe un rseau 1 couche cache de neurones sigmodes qui approxime F prs.
Mais on ne sait pas commment le trouver coup sr, et ce rseau a peut-tre normment de neurones cachs... Sussman 92 Les rseaux une couche cache forment une famille d'approximateurs parcimonieux : nombre gal de paramtres on approxime correctement plus de fonctions qu'avec des polynmes
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 43
Janvier 2010
45
Erreur nulle sur tous les exemples bons rsultats sur tout l'espace des entres possibles (cf erreur de gnralisation erreur empirique) collecter suffisamment d'exemples reprsentatifs mettre de ct un ensemble d'exemples qui ne servira que de base de test pour estimer le taux de gnralisation final (ie quand apprentissage termin) sparer les exemples restants en une base d'apprentissage et une base de validation cette dernire servira pour arrter l'apprentissage quand l'erreur cesse de baisser en test (viter le sur-apprentissage)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 46
OU SINON, ajouter la fonction de cot un terme de rgularisation qui pnalisera les combinaisons de paramtres donnant un rseau trop complexe (typiquement, cot K=Erreur+ijWij2 weight decay)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 47
Janvier 2010
50
Janvier 2010
51
RESEAU LVQ
- On associe plusieurs rfrences chaque classe - Les frontires de classification sont dtermines par le diagramme de Vorono - L'apprentissage dplace les rfrences pour optimiser la frontire
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 52
METHODES A NOYAUX
METHODES A NOYAUX : (RBF, Potentiels, ondelettes, SVMs)
neurones noyau
Janvier 2010
53
Janvier 2010
54
Janvier 2010
55
MOTIVATIONS EN CLASSIFICATION Faire du clustering, i.e. regrouper les exemples en paquets "similaires" pour dfinir des classes Construire une reprsentation visualisable (1D ou 2D en gnral) des entres par une sorte de "projection nonlinaire" de l'espace des entres (en gnral de grande dimension) qui respecte la topologie initiale (les "projections" de points proches restent proches).
Janvier 2010
56
Janvier 2010
57
La rponse d'une cellule i de poids Wi = (wi1, ... , win) une forme X = (x1, ..., xn) est la distance euclidienne de X W i. l'apprentissage : reprer la cellule la plus active (la plus proche) essayer de la rendre de plus en plus active EN MEME TEMPS QUE SON VOISINAGE. 2 paramtres : la taille du voisinage (rayon) le pas (t) de la modification des poids qui diminuent avec le temps
Janvier 2010
59
ETUDE DE CAS
RECONNAISSANCE DE MODULATION
Janvier 2010
61
bruit
filtre de rception signal inconnu
modle neuronal
pr-traitement
type de modulation
dmodulateur
train binaire
classification
Janvier 2010
62
DONNEES BRUITEES (canal de transmission) : rapport signal/bruit en dB/bit de 0 50 dB Filtre d'interception (bande raliste) 2048 chantillons temporels pour chaque exemple
CHOIX DES ECHANTILLONS - 1 gnrateur - 3000 exemples, quitablement rpartis entre les classes de modulation (300 chacune) et les niveaux de signal/bruit - 11 paramtres discriminants (moments statistiques) calculs sur les exemples (==> espace entre classifieur dimension 11 au lieu 2048) - apprentissage = 1500 exemples, validation = 1500 exemples
Janvier 2010
64
Janvier 2010
66
Janvier 2010
67
. . .
16qam 64qam
0-50 dB > 90% de bon classement (5-50 dB > 95%) erreurs < 2% si le classifieur rejette les cas litigieux (> 81% de bon classement et 17% de rejet)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 68
Janvier 2010
69
X1
X2
X3
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 70
U(t)
Y(t) X(t)
X est l'tat du rseau
Retard
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 71
Janvier 2010
72
Janvier 2010
73
Rseau statique
entres externes au temps n : U(n) sorties au temps n-1 : Y(n-1) variables d'tat X(n-1) au temps n-1
Rseau statique
entres externes au temps n-1 : U(n-1) sorties au temps n-2 : Y(n-2) variables d'tat au temps n-2 X(n-2)
Rseau statique
entres externes au temps n-2 : U(n-2) variables d'tat au temps n-3 X(n-3)
Janvier 2010
74
Rtropropagation rcurrente Rtropropagation dans le temps (BPTT) Apprentissage temporel rcurrent en temps rel (RealTime Recurrent Learning, RTRL) diffrences = ce que a fait, ou la faon de calculer, voire simplement le nom de l'auteur...
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 75
Horizon Nt = 4
W(n) W(n) W(n)
W(n) e3 e4 W(n+4)
squence d'apprentissage
n+1
n+2
n+3 n+4
Janvier 2010
77
CATEGORIES D'ALGORITHMES
ALGORITHMES DIRIGES : tat entrant dans chaque bloc = valeurs dsires. ALGORITHMES SEMI-DIRIGES : tat entrant dans premier bloc de l'horizon = valeurs dsires, tat entrant dans les suivants = tat sortant du prcdent. ALGORITHMES NON DIRIGES : l'tat n'est jamais recal sur des valeurs dsires.
Janvier 2010
78
e3
n+3
algorithme dirig
e2
n n+1 n+2
e3
n+3
algorithme semi-dirig
e2
n n+1 n+2
e3
n+3
Janvier 2010
80
(Y-D)2
=F
Si dirig,
dxn-1 dw
Si semi-dirig,
dxn-1 dw
= 0 au dbut de chaque horizon ==> on peut rtropropager travers Nt rpliques successives du rseau statique
Si non dirig, il faut faire un propagation avant du gradient (mais on peut quand mme calculer la Jacobienne du rseau par technique type rtropropagation, avec une passe par sortie)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 81
IMPLEMENTATIONS POSSIBLES
Pour algo dirig, BP chaque pas pour lequel on prend erreur en compte, mais modification des poids que tous les Nt pas. dmultiplication du rseau statique + BP globale ==> calculs rapides, MAIS : - pb de memoire si horizon grand, - ne convient pas pour algo non dirig analyse des quations et reformulation matricielle globale ==> compliqu propagation avant
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 82
bloc 2 W(n)
X(n+1)
bloc 3 W(n)
X(n+2)
dE/dXn
dE/dXn+1
W1
W2 W = W1 + W2 + W3
W3
Janvier 2010
83
PROPAGATION AVANT
U(n) U(n+1) D(n+1) U(n+2) D(n+2)
bloc 2 W(n)
X(n+1)
bloc 3 W(n)
X(n+2)
dXn-1/dW
dXn/dW
dXn+1/dW
dXn+2/dW
W2
W3
Le calcul du W et du dXk+1/dW dans chaque bloc peut se faire : - soit par calcul direct, - soit par plusieurs rtropropagations
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 84
IDENTIFICATION NEURONALE
GENERALITES SUR L'IDENTIFICATION Identification = obtention d'un modle mathmatique
pour reprsenter le comportement dynamique d'un processus. Types de modle : - parfois, modle de connaissances (quations diffrentielles) mais 1) souvent trop idalis par rapport au systme rel, 2) difficult connatre la valeur des paramtres physiques, et 3) lourdeur des calculs pour rsolution des equa. diff. - le plus souvent, modle mathmatique simple (en gnral linaire) avec des paramtres sans signification physique : c'est l'identification "bote noire".
Janvier 2010
85
Janvier 2010
86
. . .
retard
u1(t-n1) u2(t)
Rseau statique
Y(t)
u2(t)
retard
u2(t-1)
retard
. . .
u2(t-n2)
Janvier 2010
87
YN(t) + -
Y(t)
srie-parallle (equation error, NARX) = algorithme dirig (valeur tat prise sur systme modliser) parallle (output error) = algorithme non dirig (rseau reboucl pendant l'apprentissage)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 88
Janvier 2010
90
COMMANDE NEURONALE
Commande = laboration de signaux d'entre d'un processus qui permette d'obtenir un comportement spcifi d'avance (rgulation : maintenir autour pt de fonctionnement)
Intrts essentiels des rseaux neuronaux : 1) capacit synthtiser des modles inverses non-linaires 2) capacit naturelle raliser de la commande adaptative
Janvier 2010
92
commandes ncessaires ??
commande
Procd
Janvier 2010
93
procd
sortie
rseau commande
consigne
rseau commande
action
procd
sorties -
rtropropagation
consigne
rseau commande
action
procd
sorties
Janvier 2010
96
y
PROCEDE
y0 (consigne)
Janvier 2010
97
Janvier 2010
98
APPLICATIONS ET EXEMPLES
DOMAINES DE PREDILECTION
Prdiction empirique (consommation d'eau, d'lectricit, trafic routier, nb de passagers, ...) modlisation de procds physico-chimiques, thermiques, voire biologiques (car quations complexes, difficiles rsoudre, voire inconnues) commande non-linaire de systme mcanique (prise en compte saturations, frottements, ...)
Janvier 2010
99
APPLICATIONS
prvision de consommation d'eau (Lyonnaise, CGE), d'lectricit (EDF), de trafic routier (Cofiroute), d'affluence de voyageurs (SNCF), de cours boursiers... identification de procd industriel (Air liquide, Elf Atochem, ciments Lafarge...), modle de dynamique thermique de btiment, ... commande de vhicule (Sagem), de robot autonome, de station de pompage (Mitsubishi)
Janvier 2010
100
EXEMPLES PRESENTES
Janvier 2010
101
Q13 Q1R
Q23
Q33
Q43
Q53
bac de stockage
Janvier 2010
102
BASE D'APPRENTISSAGE
3 entres externes : QJ0 (commande) Bx0, Q33 (perturbations mesures) 2 sorties : Bx3 et Bx5 (concentrations effectivement mesures)
squence d'apprentissage : srie de 30 chelons 3D alatoires sur les entres 150 pas de temps entre 2 chelons
Janvier 2010
103
PREDICTEUR NEURONAL
Rseau couches
Bx5(t+1)
Bx3(t) Bx5(t)
Janvier 2010
104
MODELE PARALLELE
Bx3(t+1)
Modle dynamique
Bx5(t+1)
80
60
40
minutes
60
40
minutes
PREDICTEUR REBOUCLE un bon prdicteur peut avoir un mauvais comportement en mode parallle
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 108
60
40
minutes
CONCLUSIONS ET REFERENCES
Rseau statique + rtropropagation ==> bon prdicteur Rseau boucl + APPRENTISSAGE RECURRENT ==> modle parallle meilleur que modles linaires
Rfrences sur cette application : "Rseaux de neurones pour l'identification de procds industriels", F. Moutarde, P. Delesalle & M. Menahem, proceedings of Neuro-Nimes 92, Nmes, 2-6 novembre 1992 (pages 443-454). "Potentialits d'applications des techniques neuronales en diagnostic et contrle de procds industriels", F. Moutarde, A. Benveniste & Q. Zhang, rapport final de ltude MRT numro 90S0866, dcembre 1992.
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 110
DIFFICULTES ET PERSPECTIVES
squence d'apprentissage couvrant bien l'espace (x,u) ? influence du bruit sur l'apprentissage ? apprentissage dlicat
modles non-linaires lments dynamiques linaires
Janvier 2010
111
Distillat
Alimentation
Rsidu
Janvier 2010 112
ya,i+1 V yb,i+1
xa,i L xb,i
Mi (dxa,i/dt) = Lxa,i-1 + Vya,i+1 - Lxa,i - Vya,i Mi (dxb,i/dt) = Lxb,i-1 + Vyb,i+1 - Lxb,i - Vyb,i et ya,i = Ga(P, xa,i , xb,i ) yb,i = Gb(P, xa,i , xb,i ) donc on peut liminer les ya, yb
=> xa,i(t+1) = LKixa,i-1(t) - LKixa,i(t) + VKi Ga(P,xa,i+1(t),xb,i +1(t)) - VKi Ga(P,xa,i(t),xb,i (t)) et idem pour les xb
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 113
RESEAU DE PLATEAU
xa,i-1(t) xb,i-1(t)
L(t) V(t)
xa,i(t) xb,i(t)
P(t)
xa,i(t+1)
Ga Gb Ga
xb,i(t+1)
xa,i+1(t) xb,i+1(t)
Gb
Rseau spcial
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 114
RESEAU GLOBAL
P(t) L(t) V(t)
xa,1 xb,n
xa,1 xb,1
. . . . . .
xa,n xb,n
retard
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 115
RESULTATS D'APPRENTISSAGE
UTILISATION
Janvier 2010
117
CONCLUSIONS ET REFERENCE
La connaissance sur le procd permet de dfinir une architecture adapte, donc un rseau plus simple L'existence d'un simulateur bas sur des quations physique permet de raliser un bon apprentissage initial Le modle neuronal obtenu a les avantages suivants : recalage facile sur la colonne relle excution beaucoup plus rapide que le simulateur physique
Rfrence sur cette application : "From Knowledge-based Models to Recurrent Networks: an Application to an Industrial Distillation Process" , Ploix J.-L., Dreyfus G., Corriou J.-P. & Pascal D., NeuroNmes 94 (1994).
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 118
Janvier 2010
119
Janvier 2010
120
Janvier 2010
121
IDENTIFICATION
Algorithme semi-dirig
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 122
Janvier 2010
123
Janvier 2010
124
Janvier 2010
125
5th International Conference on Neural Networks and their Applications (NeuroNmes 93), p. 219-229 (1993). "Modeling and control of mobile robots and intelligent vehicles by neural networks", Rivals I., Canas D., Personnaz L. & Dreyfus G., IEEE Conference on Intelligent Vehicles, 24-26 octobre 1994, Paris, pp. 137-142 (1994). "Modlisation et commande de processus par rseaux de neurones ; application au pilotage dun vhicule autonome", Rivals I., Thse de Doctorat de lUniversit Paris 6, (1995).
Janvier 2010
126
Connections symtriques
Pas dauto-activation : Wii = 0
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 127
J.J. Hopfield
Inspiration de la physique statistique : modle des verres de spin de Ising, savoir pour N atomes avec spins Si{-1 ; +1}, chacun contribue au champ global par hi = j(JijSj) avec Jij = influence de atome i sur atome j
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 128
tat final
volution
E=
1 (Wij Si S j ) 2 i< j
En effet, un neurone ne change de sortie que si Si(t) et (WijSj(t)) sont de signes opposs. Si le neurone i est inchang, E=Cte. Sinon :
E = 1 2 (W ij S i (t + 1 )S i< j
j
(t + 1 )) (W ij S i (t )S j (t )) =
i< j
1 (S i ( t + 1) S i ( t ) ) (W ij S 2 j
(t ))
E forcment <0 si chgt tat, alors que E born par E > -i<jWij convergence vers un point fixe (minimum local attracteur)
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 130
Un Hopfield efficace est un systme dynamique dont on a choisi les attracteurs, et fait en sorte que leurs bassins dattraction soient les plus larges possible
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 131
Apprentissage Hopfield
La mmorisation comme attracteurs dun ensemble de
tous les Pm stables sous certaines conditions : j(WijPjm)=jk (PikPjk Pjm)=j(Pim+km (PikPjk Pjm)) = NPim +km (Pikj(Pjk Pjm))
Dautres sont des combinaisons linaires des patterns mmoriss, et autres tats poubelles
ventuellement les dsapprendre par Wij=-SiSj avec <<1 ou mieux : orthogonaliser les motifs
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 133
Les pages du groupe neuronal de lUTC de Compigne : http://www.hds.utc.fr/~grandval/rna/ Les pages du cours neuronal de lINSA de Rouen : http://asi.insa-rouen.fr/~scanu/coursRNA/ Voir aussi les liens depuis ma homepage :
http://www.ensmp.fr/~moutarde/rech_neuronal.html
Introduction aux rseaux de neurones
Fabien Moutarde, CAOR, MINES ParisTech Janvier 2010 135