Cours 7

Chapitre 6
Rseaux rcurrents
GPA-779 Application des rseaux de neurones et des systmes experts Cours #7 - 2
Plan
Structure du rseau de Hopfield
Dynamique
Apprentissage
Application loptimisation
Machine de Boltzmann
Dcouverte
J. Hertz, A. Krogh et R.G. Palmer, Introduction
to the theory of Neural Computation, Addison-
Wesley, 1991.
Classique
Orient sciences pures (physique)
Auteurs: chercheurs en physique stat.
Cours dtudes suprieures
Approche thorique
R.J. Schalkoff, Artificial Neural Networks,
McGraw Hill, 1997
Approche matricielle
Cours dtudes suprieures
Beaucoup dexemples
Couvre la plupart des modles
L. Fausett, Fundamentals of Neural Networks,
Prentice Hall, 1994
Livre de rfrence pour les ditions
prcdentes du cours (avant 2004)
Dcouverte informatique
Matlab Student version
with Simulink
Learning Matlab 7
Learning Simulink 6
3 CDs pour installation
Windows
Linux
MacOS X
6.1 Architecture du rseau de
Hopfield
Article lorigine:
John Hopfield, 1982, Neural Networks and physical
systems with emergent collective computational
abilities
Principe de base:
Systme nerveux possde des tats stables
localement. Ces tats stables permettent
demmagasiner de linformation qui agit comme
attracteur.
Un tat est prsent au rseau, qui tend alors
vers un tat stable en minimisant son nergie
Inspiration: verres de spin
Modle de neurone
V
i
V
j

T
ij

T
ji

V
i
V
j

T
ij

T
ij
=T
ji

V
j
=1 si T
ij
V
i
i
> 0
V
j
= 1 si T
ij
V
i
i
< 0
Exemple
1 1
V
1
V
2

-2
-1
V
3

+1
+4
1
1
S
3

S
1

nergie d un rseau de Hopfield

E=
1
2
TijViVj
j
SiVi
i
Le systme tend vers son tat dnergie

minimal :

1) Dcroissance assure de la
fonction dnergie

2) Neurones activs 1

3) Activations calcules une une

4) Attention aux minima locaux (A) !
Exemple de calcul de lnergie
1 1
V
1

V
2

-2
-1
V
3

+1
+4
1
1
S
3

S
1

E= V1V3T13+V1V2T12+V2V3T23 | | S1V1+S3V3 | |

E=4+(2)+(1)+1+(1)

E=7

E=
1
2
TijViVj
j
SiVi
i

Un rseau simple de Hopfield
6.2 Dynamique du rseau:
relaxation
Objectif : Partir dun niveau dnergie donn, atteindre le minimum
local le plus proche pour rcuprer linformation stocke (tat stable)

Conditions initiales : Forme P S
i

Poids : Fixes (calculs lors dun apprentissage antrieur)

Neurones : a) Activations calcules une une
b) Selon une squence alatoire
c) Valeurs 1 pour assurer la minimisation de
la fonction dnergie.

Rsultat : Minimisation de la fonction dnergie et rappel de formes
similaires prcdemment enregistres lors de lapprentissage
Relation entre changement dtat et
minimisation de lnergie
On a

E=
1
2
TijViVj
j
SiVi
i
Si le neurone ne change pas dtat :

Si le neurone change dtat :

AE=E t+1 ( )E t ( )

AE=AVk TikVi+Sk
i=k
|
\

|
.

AE=0
Net(k)
Soit V
k
lactivation dun neurone k quelconque :
Exemple pour montrer lquivalence
1 1
V
1

V
2

-2
-1
V
3

+1
+4
1
1
S
3

S
1

E= V1V3T13+V1V2T12+V2V3T23 | | S1V1+S3V3 | |

E=4+(2)+(1)+1+(1)

E = 7 E
i
= +7

E=
1
2
TijViVj
j
SiVi
i
Neurone V
1
1 -1

E
f
=+4+2111

= +3

E
f
=3E+changement accept

net
1
= S
1
2V
2
+ 4V
3
=12 4 = 5
V
1
= 1
Relation entre changement dtat et
minimisation de lnergie (2)

AE=AVk TikVi+Sk
i=k
|
\

|
.

AE=0

AE<0

AVkestpositif ssi Tik
i=k
Vi+Skest positif

AVkestnegatif ssi Tik
i=k
Vi+Skestnegatif

V
k
t ( )=V
k
t+1 ( )

V
k
t ( )=V
k
t+1 ( )
Si on a un changement dtat alors on est assur de diminuer E :
Algorithme de relaxation
V
j
tous
visits ?
Tirage alatoire dune squence de visite des neurones
Slection du prochain neurone de la squence

Vk=1si TikVi+Sk
i
>0
P stable ?
Non
Non
Oui
Oui
FIN
DPART

Vk=1si TikVi+Sk
i
<0
7
5 4 3
1 2
+1
-1
6
Exemple de relaxation
Les tats stables du rseau
6.3 Apprentissage
tailler la courbe dnergie
La rgle la plus simple: Hebb
Lapprentissage est ralis AVANT
dutiliser le rseau comme mmoire
associative pour retrouver la forme
emmagasine partir dinformation
partielle ou bruite
Exercice
Example 3.22 (Fausett)

a) Stocker le vecteur (1,1,1,-1) par apprentissage hebbien

b) Prsenter (-1,-1,1,-1) lors de la phase de relaxation

c) Dterminer le nombre correct ditrations

d) Calculer la mise jour de la fonction dnergie pour chaque
mise jour de lactivation des neurones
6.4 Optimisation
Une fonction de cot remplace la
fonction dnergie
Loptimisation consiste minimiser la
fonction de cot
La fonction de sortie utilise est la
fonction sigmode (au lieu de la
fonction signe ou chelon)

tanh
net
2
|
\

|
.
| ou
1
1+e
net
Exemple: Voyageur de commerce
Un vendeur doit tablir un itinraire de visite
de 5 villes. Il doit partir de Boston et revenir
Boston la fin de son itinraire.
Chaque ville est visite une et une seule fois
Litinraire doit tre le plus court possible afin de
minimiser les frais dessence
La principale difficult rencontre avec ce type
de problme est lexplosion combinatoire des
solutions valuer.
Itinraires possibles :

5 villes = 12
10 villes = 181440
100 villes = 4.67 *10
155

# parcours =
n!
2n
Rseau de Hopfield
Lignes villes
Colonnes squence de
visite
Poids contraintes du
problme rsoudre
1 ville visite 1 seule fois
1 tape 1 seule ville
Distance entre les villes
Activation du rseau
minimisation du cot
Fonction de cot ( minimiser) : 4 contraintes
C1: Favoriser les tats avec chaque cit visite
une seule fois 1 neurone activ par ligne
C2: Favoriser les tats avec une seule valeur de
position (par exemple, viter que 2 villes
soient visites ltape 3) 1 neurone activ par
colonne
C3: Favoriser les tats qui incluent les n villes
C4: Favoriser les tats avec les distances totales
les plus courtes
Fonction de cot C

CE=
A
2
Vxi
j=i
Vxj+
B
2
Vxi
y=x
Vyi+
C
2
Vxin
i
|
\

|
.
2
+
D
2
dxyVxi Vy,i+1+Vy,i1 ( )
i
y=x
V
xi
: neurone correspondant la ville x ltape i

d
xy
: distance entre les villes x et y

A, B, C, D : facteurs de pondration pour les contraintes
C
1
C
2
C
3
C
4
Fonction de cot C

CE=
A
2
Vxi
j=i
Vxj+
B
2
Vxi
y=x
Vyi+
C
2
Vxin
i
|
\

|
.
2
+
D
2
i
y=x
1.Une matrice na pas plus de un 1 dans chaque ligne si

chaque produit scalaire possible colonne par colonne est nul

La double somme de droite exprime les N-1 produits scalaires de la colonne i
(visite) pour une ligne (ville) x avec les autres colonnes

La sommation de gauche exprime la sommation de toutes les possibilits
numres ltape prcdente
Fonction de cot C

CE=
A
2
Vxi
j=i
Vxj+
B
2
Vxi
y=x
Vyi+
C
2
Vxin
i
|
\

|
.
2
+
D
2
i
y=x
2. Pnalit pour deux 1 ou plus dans chaque colonne

Fonctionnement similaire la contrainte prcdente
mais pour contrler le nombre 1 dans chaque colonne.
Fonction de cot C

CE=
A
2
Vxi
j=i
Vxj+
B
2
Vxi
y=x
Vyi+
C
2
Vxin
i
|
\

|
.
2
+
D
2
i
y=x
3. Contrainte pour sassurer que la matrice ne contienne pas

que des 0

En effet les deux contraintes prcdentes pourraient ne donner que des 0 et le
rseau ne serait daucune utilit : la meilleure facon de minimiser les frais de
dplacements est de ne pas voyager.

Cette contrainte pnalise aussi le fait davoir plus ou mois de n 1 dans le rseau
Fonction de cot C

CE=
A
2
Vxi
j=i
Vxj+
B
2
Vxi
y=x
Vyi+
C
2
Vxin
i
|
\

|
.
2
+
D
2
i
y=x
4. Exercice faire la maison

.
Calcul des poids

Wxi,yj=Aoxy 1oij ( )Boij 1oxy ( )CDdxy oj,i+1+oj,i1 ( )
sinon 0
si 1
: Kronecker de oprateur l' avec
=
= =
ij
ij
j i
o
o

Cours 7

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Cours 7

Загружено:

Авторское право:

Доступные форматы

Chapitre 6

Le systme tend vers son tat dnergie

GPA-779 Application des rseaux de neurones et des systmes experts Cours #7 - 12

Si le neurone ne change pas dtat :

1.Une matrice na pas plus de un 1 dans chaque ligne si

2. Pnalit pour deux 1 ou plus dans chaque colonne

3. Contrainte pour sassurer que la matrice ne contienne pas

4. Exercice faire la maison

Вам также может понравиться