Chapitre I Les réseaux de neurones artificiels

I.1. Introduction
Les réseaux neurones sont des modèles mathématiques et informatiques des
assemblages d'unités de calculs appelés "neurones formels" et dont l'inspiration
originelle était un modèle de la cellule nerveuse humaine. Cet héritage de la
neurobiologie forme une composante importante de la matière, et le souci de maintenir
une certaine correspondance avec le système nerveux humain a amené et continue à
amener une part importante des recherches dans le domaine.
Malgré cet héritage, l'essentiel des travaux d'aujourd'hui ont pour objet le réseau de
neurones formels et non son corrétât neurobiologique. Vu les systèmes de calcul, les
réseaux de neurones possèdent plusieurs propriétés qui les rendent intéressants d'un
point de vue théorique, et fort utile en pratique.

I.2 Historique
1943 : Mc Culloch et Pitts présentent le premier neurone formel.
1949 : He
bbpr
opos
eunmé
cani
smed’
appr
ent
is
sage
.
1958 : Rosenblatt présente le premier réseau de neurones artificiels : le Perceptron. Il
est inspiré du système visuel, et possède deux couches de neurones : perceptive et
décisionnelle.
Dans la même période, le modèle de l'Adaline (Adaptive Linear Element) est présenté
par Widrow Ce sera le modèle de base des réseaux multicouches.
1969 : Minsky et Papert publient une critique des perceptrons en montrant leurs
limites, ce qui va faire diminuer la recherche sur le sujet.
1972 : Kohonen présente ses travaux sur les mémoires associatives.
1982 : Hopf
iel
d dé
mont
rel
’i
nté
rêt d’
uti
li
serl
esr
ése
auxr
écur
rent
spourl
a
compréhension et la modélisation des fonctions de mémorisation.
1986 : Rume
lha
rtpopul
ari
sel
’al
gor
it
hmeder
étr
opr
opa
gat
iondugr
adi
ent
,conç
upa
r
We
rbos
,quipe
rme
td’
ent
raî
nerl
esc
ouc
hesc
ach
éesde
sré
sea
uxmu
lti
couc
hes
.
Les réseaux neuronaux ont été depuis été beaucoup étudiés, et ont trouvé énormément
d’
appl
ica
ti
ons[8].

Electrotechnique M'sila 2006 3

Chapitre I Les réseaux de neurones artificiels

I.3 Neurone biologique

I.3.1 Modèle de neurone biologique
Les cellules nerveuses, appelées neurones, sont les éléments de base du système
nerveux central. Celui-ci en posséderait environ cent milliards. Les neurones possèdent
de nombreux points communs dans leur organisation générale et leur système
biochimique avec les autres cellules. Ils présentent cependant des caractéristiques qui
leur sont propres et se retrouvent au nive
aude
sci
nqf
onc
tio
nss
péc
ial
is
éesqu’
il
s
assurent :
 Recevoir des signaux en provenance de neurones voisins,
 Intégrer ces signaux,
 Engendrer un influx nerveux,
 Le conduire,
 Le transmettre à un autre neurone capable de le recevoir.

I.3.2 Structure des neurones

Un neurone est constitué de: le corps cellulaire, les dendrites, l'axone, les synapes.

I.3.2.1 Le corps cellulaire

Il contient le noyau du neurone et effectue les transformations biochimiques
nécessaires à la synthèse des enzymes et des autres molécules qui assurent la vie du
neurone. Sa forme est pyramidale ou sphérique dans la plus part des cas, elle dépend
souvent de sa position dans le cerveau. Ce corps cellulaire fait quelques microns de
diamètre.

I.3.2.2 Les dendrites

Chaque neurone possède une chevelure de dendrites. Celles-ci sont de fines
e
xte
nsi
onst
ubul
air
es,deque
lque
sdi
zai
nesd
emi
cro
nsdedi
amè
tree
td’
unel
ongue
ur
de quelques dizaines de microns. Elles se ramifient, ce qui les amène à former une
e
spa
ced’
arb
ore
sce
ncea
utou
rdu corps cellulaires. Elles sont les récepteurs principaux
du neurone pour capter les signaux qui lui parviennent.

Electrotechnique M'sila 2006 4

Chapitre I Les réseaux de neurones artificiels

I.3.2.3 L’
axone
L’
axone
,quie
stàp
ropr
eme
ntpa
rle
rlaf
ibr
ene
rve
use
,se
rtd
emoye
ndet
ran
spor
t
pour les signaux émis par le neurone. Il se distingue des dendrites par sa forme et par
les propriétés de sa membrane externes. En effet, il est généralement plus long (sa
l
ong
ueurva
ried’
unmi
ll
imè
treàpl
usd’
unmè
tre
)quel
esde
ndr
it
es,e
tser
ami
fi
eàs
on
extrémité, là où il communique avecd’
aut
resne
urone
s,a
lor
squel
esr
ami
fi
cat
ionsde
s
dendrites se produisent plutôt près du corps cellulaires. Pour former le système
nerveux, les neurones sont connectés les uns aux autres suivant des répartitions
spatiales complexes. Les connexions entre deux neurones se font en des endroits
appelés synapses oũi
lss
onts
épa
réspa
runpe
tite
spa
ces
yna
pti
qued
el’
ordr
ed’
un
centième de microns [2].

I.3.2.4 Les synapses

Le rôle des synapses est fondamental pour permettre aux cellules nerveuses de
communiquer entre elles. Les signaux qui se propagent dans les neurones sont de
na
tur
eél
ect
ri
que
.Ce
penda
nt,i
ln’
exi
st
epa
sdel
ia
isonsdi
rec
tese
ntr
ede
uxc
ell
ule
s
is
nerveuses. Celles-c onts
épa
rée
spa
rune
spa
cea
ppe
léf
ent
esyna
pti
quequel
’i
nfl
ux
é
lec
tri
quenep
eutt
rave
rse
r.Ler
ela
iss
’ef
fec
tueàc
eni
vea
upa
rl’
int
ermé
dia
ired’
un
éditeur chimique [6].

axone

dendrites
Itération

synapse

Figure (I.1) St
ruc
tur
ed’
unne
uro
nebi
olo
gique
.

Electrotechnique M'sila 2006 5

Chapitre I Les réseaux de neurones artificiels

I.3.3 Fonctionnement des neurones

D’
une f
aço
ngé
nér
ale
,le soma de neurone traite les courants électriques
(information) quil
uipr
ovi
enne
ntdes
esde
ndr
it
ese
tqu’
ilt
rans
metl
ecour
anté
lec
tri
que
r
ésu
lta
ntdec
etr
ait
eme
nta
uxne
uron
esa
uxque
lle
sile
stc
onne
ctépa
rl’
int
ermé
dia
irede
son axone.
D’
apr
èsl
emodèle classique, le soma effectuant une sommation des influx nerveux
transmis par les dendrites. Si la sommation dépasse un seuil, le neurone répond par un
i
nfl
uxn
erve
ux o
upot
ent
ield’
act
ionq
uis
epr
opa
gel
elon
gdes
ona
xone
.Sil
a
sommation est inférieure à ce seuil, le neurone reste inactif.
Lor
squ’
unpot
ent
ield’
act
ione
stpa
rve
nua
usyna
pse
,pr
ovo
queàt
rave
rsl
ame
mbr
ane
l
ali
bér
ati
ond’
unmé
dia
teurc
himi
quec
ell
e-ci se diffuse jusqu'à la membrane du
dendrite qui provoque naissance un potentiel [3].

I.4 Réseaux de neurones artificiels

L’
idé
egé
nér
alede
sré
sea
uxdene
urone
sar
ti
fi
cie
lse
tdet
rouve
runeno
uve
lle
pr
océ
dur
edec
alc
ulpourpr
odui
reunen
ouve
ll
egé
nér
ati
ond’
ordi
nat
eur
.Ce
tt
eid
ée,
inspirée de la biologie du cerveau humain, est différente de la méthode conventionnelle
utilisée sur les ordinateurs.
ep
Cette nouvelle technique sembl l
ushuma
inequemé
cani
que
.L’
hommeàt
oujours
rêver de la machine qui pa
rle
,pe
nse
,ou
bli
eets
era
ppe
lle
.Lebutn’
estpa
sdep
rodui
re
une machine humaine ce quei
mpo
ssi
ble
,ma
isdec
opi
ere
timi
terl
’ap
pro
chena
tur
ell
e
de cerveau humaine au profite de la science. Un RNA peut être considéré comme une
bo
iten
oir
e,qu
ire
çoi
tde
ssi
gna
uxd’
ent
réee
tpr
odui
tde
ssi
gna
uxdes
ort
iec
’es
tun
modèle mathématique compos
éd’
ungr
andnombr
ed’
élé
ments de calculs organisée
sous forme de couches interconnectées[6].

I.4.1 Le neurone formel

Le premier modèle du neurone formel a été présenté par Culloch et Pitts figure
(I.2). D’
unef
açong
éné
ral
e, un neurone formel est un élément de traitement qui fait une
sommation pondérée de n entrées x1,…,xn. Si cette somme dépasse un certain seuil
(fonction de seuillage F), le neurone est activé et transmet une réponse dont la valeur
e
stc
ell
edes
ona
cti
vat
ion.Sil
ene
uronen’
estp
as activé, il transmet rien.

Electrotechnique M'sila 2006 6

Chapitre I Les réseaux de neurones artificiels

n
Yi F (Wij X j ) (1)
i
1

Wij : Coefficient synaptique ou poids associe à la i ème entrée du neurone j.

Parfois, il y a un terme additionnel j représentant le seuil interne du neurone, ce

terme est considéré comme un poids W 0 associé àun

een
tré
eco
nst
ant
e,l
’expr
ess
ion
(I-1) devient donc [3] :
n
S i  W
i 1
ij X i  j (2)

i F ( S i ) (3)

x1 W1 Fonction
Sommation D'activation
x2
W2
Si Yi
F

^ Sortie
xd Wd j 

Signaux Poids Seuil

d'entrée Synaptiques

Figure (I.2) Le neurone formel.

I.4.2 Modélisation générale

D’
unef
açonpl
usgé
nér
ale
,onpe
utdé
fin
irunne
uron
efor
melpa
rle
sci
nq
éléments suivants :
 La nature de ses entrées.
 Laf
onc
tio
nd’
ent
réet
ota
lequidé
fin
itl
epr
étr
ait
ement effectué sur les entrées.
 La f
onc
tiond’
act
iva
tion(
oud
’ét
at)dune
uronequidé
fin
its
oné
tati
nte
rnee
n
fonction de son entrée totale.

Electrotechnique M'sila 2006 7

Chapitre I Les réseaux de neurones artificiels

 La fonction de sortie qui calcule la sortie du neurone en fonction de son état

d’
act
iva
tion;
 La nature de la sortie du neurone.

I.4.2.1 La nature des entrées et de sortie

Elles peuvent être :
 Binaires : (0, 1).
 Réelles.

I.4.2.2 Laf
onc
tio
nd’
ent
réet
otal
e
h Peut être :
 Booléenne ;
n
 Linéaire : h 
e1 ,..., en Wi ei (4)
i
1

n
 Affine: h 
e1 ,..., e2 Wi ei a (5)
i
1

Ces deux derniers cas sont les plus fréquents. Dans le deuxième on peut interpréter a
c
ommel
’ut
il
is
ati
ond’
unne
uroneq
uif
our
nir
aitt
ouj
our
sl’
ent
rée-1 au neurone étudié.
Cette notation sera particulièrement utile lorsque nous aborderons les problèmes
d’
appr
ent
is
sagea
vecde
sfonc
tio
nsd’
act
iva
ti
onsàs
eui
l.
 Polynomiale de degré supérieur à deux.

I.4.2.3 Fonc
tiond’
act
ivat
ion
Les fonctions d'activations les plus utilisées :

Electrotechnique M'sila 2006 8

Chapitre I Les réseaux de neurones artificiels

F(x) F(x)

0
x 0 x

a)Fonction signe. b) Fonction Heaviside.

F(x) Sature(x)
V
V

x x
U
U

c) Fonction à seuils. d) Fonction linéaire multi seuils.

Unef
onc
tions
igmoї
de:
F1 ( x) a (e kx 1) /(e kx 1) (6)

F2 ( x) 1 /(e x 1) (7)

F1(x)
F2(x)
1
+1
1/2
x
x 0

-1

e) Fonction sigmoïde (-1, +1). f) Fonction sigmoïde (0, 1).

Figure (I.3) Les fonctions d'activations.

Electrotechnique M'sila 2006 9

Chapitre I Les réseaux de neurones artificiels

I.4.3 Propriétés des réseaux de neurones

D’
unema
niè
regé
nér
aleunr
ése
audene
urone
spos
sèdel
espr
opr
iét
éss
uiva
nte
s:

I.4.3.1 Le parallélisme
enot
Cett ions
esi
tueàl
aba
sedel
’ar
chi
tec
tur
ede
sré
sea
uxdene
uron
esc
ons
idérés
c
ommee
nse
mbl
ed’
ent
résélémentaires qui travaillent simultanément.

I.4.3.2 Lac
apa
cit
éd’
adapt
ati
on
is
Celle-c ema
nif
est
etoutd
’abor
dda
nsl
esr
ése
auxdene
uro
nespa
rlacapacité
d’
appr
ent
is
sageq
uipe
rme
taur
ése
audet
eni
rcompt
ede
snouve
ll
esc
ont
rai
nte
soude
s
nouvelles données du monde extérieur. De plus, elle se caractérise par leur capacité
d’
aut
o- organisation qui assure leur stabilité en tant que système dynamique.

I.4.3.3 La résistance aux pane

Àc
aus
edel
’abo
nda
ncede
sen
tré
ese
tlas
truc
tur
edur
ése
au,l
esdonné
es
bruiteront où l
esp
ann
esl
oca
lesda
nsc
ert
ainsno
mbr
esd
ese
sél
éme
ntsn’
aff
ect
entpa
s
ses fonctionnements collectifs et simultanés des neurones qui le composent.

I.4.3.4 La généralisation
Lac
apa
cit
édegé
nér
ali
sat
iond
’unr
ése
aud
ene
urone
ses
tsona
pti
tudededonne
r
une réponse satisfaisante à une entrée qui ne fait pas partie des exemples à partir
desquels il est pris [4].

I.4.3.5 Structure de connexion

Les connexions entre les neurones qui composent le réseau décrivent la topologie
du modèle. Elles sont très variées, le nombre de connexions étant énorme. Cette
t
opo
log
ief
aita
ppa
raî
tr
eun
ece
rta
iner
égu
lar
it
édel
’ar
range
mentde
sne
urones [5].

I.3.3. 5.1 Cas général

Les structures qui peuvent être utilisées sont très variées.
Sil
’ons
eré
fèr
eauxé
tude
sêt
reb
iol
ogi
que
sduc
erve
au,onc
ons
tat
equel
enombr
ede
connexions est énorme. Par exemple, des chercheurs ont montré que le cortex était
di
vis
éendi
ff
ére
nte
sco
uche
s.Al
’i
nté
rie
urd’
unemê
mec
ouc
hel
esi
nte
rac
tionse
ntr
e

Electrotechnique M'sila 2006 10

Chapitre I Les réseaux de neurones artificiels

ne
urone
ssontt
rèsgr
ande
s,ma
isl
esne
urone
sd’
unec
ouc
hes
onta
uss
ire
li
ésa
ux
ne
urone
sd’
aut
resc
ouc
hes
,let
outf
orma
ntuns
yst
èmed’
unec
omp
lexi
té
.
D’
unema
niè
regé
nér
ale
,l’
arc
hit
ect
ured
esr
ése
auxdene
uron
esf
orme
lspe
ut
a
lle
rd’
unec
onn
ect
ivi
tét
ota
le(
tousl
esne
urone
sso
ntr
eli
ésl
esunsa
uxa
utr
es)
,àune
c
onne
cti
vit
élo
cal
eou
’le
sne
urone
snes
ontr
eli
ésqu’
àle
ursp
luspr
oche
svoi
si
ns.I
les
t
u
cora
ntd’
uti
li
serd
esr
ése
auxàs
truc
tur
eré
gul
ièr
epourf
aci
li
te
rle
ursut
il
is
ati
ons[2].

I.5 Architecture des réseaux de neurones

I.5.1 Les réseaux à couches
Auj
our
d’hu
ile
sré
sea
uxdene
urone
sàc
ouc
hesoumul
ti
couc
hess
ontl
espl
us
utilisés en diagnostic industriel en raison de leur capacité à résoudre les problèmes de
e
classification non linéairspa
rl’
uti
li
sat
iondel
’al
gor
it
hmeder
étr
opropagation du
gradient dérivé de la règle de Widrow- Hoff pour le calcul des poids des connexion des
neurones des couches internes.
Le réseau à couches comprend :
 Unec
ouc
hed’
ent
réequir
eçoi
tl’
ens
embl
ede
sfor
mesàc
las
se.
r
 Une ou plusieurs couches cachées intermédiaires.
 Une c
ouc
he de s
ort
ie qu
idoi
tre
sti
tue
rl’
ens
embl
ede
ssor
ti
esa
prè
s
l
’appr
ent
is
sage[5].
C’
est pourquoi on utilise plutôt une structure de réseaux à couches telle que les neurone
qui appartiennent à une même couche ne soient pas connectés entre eux, chacune des
couches recevant des signaux de la couche précédent, et transmettant le résultat de ses
traitements à la couche suivante.
Les deux couches extrêmes correspondent à la couche qui reçoit ses entrées du
mi
li
eue
xté
rie
urd’
unepa
rt,e
tàl
acouc
hequ
ifour
nitl
eré
sul
ta
tde
str
ait
eme
nts
e
ffe
ctué
sd’
aut
repa
rt.l
esc
ouc
hesc
aché
es,l
eurn
ombr
eest variable[2].

Electrotechnique M'sila 2006 11

Chapitre I Les réseaux de neurones artificiels

Entrées Sorties

Couche
Cachée

Figure (I.4) Réseau à couche

I.5.2 Les réseaux entièrement connectés "Feed back network "

Dans ces réseaux, chaque cellule est reliée à toutes les autres et possède même
un retour sur elle.
L’
imp
ort
anc
edec
esr
ése
auxn
’es
tpa
sdueàun
eor
igi
nebi
ologi
quec
ommec
elal
’ét
ait
po
url
esr
ése
auxàc
ouc
hesc
aché
es,ma
isa
ufa
itqu
’onapué
tab
lirunea
nal
ogi
eent
re
l
esr
ése
auxdec
ety
pec
ons
ti
tué
sd’
aut
oma
teàs
eui
letl
eco
mpor
teme
ntd
’unve
rrede
spin. Ceci a permis de mettre à la disposition des chercheurs tout le formalisme de la
mé
cani
ques
tat
is
ti
quee
ten
tra
înéunr
ega
ind’
int
érê
tpou
rl’
étuded
esr
ése
auxde
neurones.

1 3

Figure (I.5) Réseaux entièrement connectés (bouclés)

I.6 L’
appr
ent
iss
age
L’
obj
ect
ifdel
’appr
ent
is
sagee
stdef
our
nirun
emé
thodea
uré
sea
uaf
inqu
’il
pu
iss
eaj
ust
erc
espa
ramè
tre
slor
squ’
onl
uipr
ése
ntede
sexe
mpl
ai
resàt
rai
ter
.Ce
rta
ins
réseaux font la différence entre une phase d’
expl
oit
ati
on(
casdupe
rce
ptr
on)
.
Ond
ist
ingueha
bit
uel
leme
ntt
roi
spa
radi
gme
sd’
appr
ent
is
sage:

Electrotechnique M'sila 2006 12

Chapitre I Les réseaux de neurones artificiels

I.6.1 Apprentissage supervisé

Dans ce cas on fournit au réseau la donnée à traiter mais aussi la réponse
attendue. Le réseau effectue une évaluation de la donnée, puis compare la valeur
obtenue avec la valeur désirée, il va en suite modifier ses paramètres internes afin de
mi
nimi
serl
’er
reurc
ons
tat
ée[7].

me
I.6.1.1 Problè sd’
appr
ent
iss
ages
upe
rvi
sé
L’
appr
ent
is
sages
upe
rvi
séc
ons
ist
eàa
jus
terl
espa
ramè
tres du réseau pour que ses
sorties soient suffisamment proches des sorties désirées pour des ensembles
d’
ent
raî
neme
nt.
L’
obj
ect
ife
std’
ada
pte
rler
ése
aupou
rqu
’ils
oitc
apa
bleder
econnaître des exemples
n’
appa
rte
nan
tpa
sné
ces
sai
reme
ntàl
’ens
embl
ed’
apprentissage pour résoudre un tel
problème, deux étapes sont nécessaires :
1. Spécifier une topologie "équation et connexion" du réseaux. La relation
entre les entrées et les s
ort
ie
sdo
itdé
pen
dred’
une
nse
mbl
edep
ara
mèt
res
(poids) ajustables.
2. Spécifier une r
ègl
ed’
app
rent
is
sage
,qul
’onu
til
is
epou
rl’
ada
pta
tiondes
es
paramètres.

3. La r
étr
opr
opa
gat
ione
sta
ctue
lle
mentl
arè
gle d’
appr
ent
is
sagel
apl
us
ut
il
is
ée pourl
’appr
ent
is
sage s
upe
rvi
sé de
sré
sea
ux de ne
uron
es.El
le
généralement utiliser pour des réseaux multicouches mais et elle peu être
appliquée àn’
impor
teque
ll
ear
chi
te
ctur
eàf
onc
tion
sdé
riva
ble
s[1].

I.6.2 Apprentissage non supervisé

Da
nsc
ety
ped’
appr
ent
is
sagel
acon
nai
ssa
ncedel
asor
ti
edé
sir
éen’
estpa
s
né
ces
sai
re,e
tlapr
océ
dur
ed’
appr
ent
issage est basée uniquement sur les valeurs
d’
ent
rée
s.Ler
ése
aus
’au
toor
gani
sedef
açonàopt
imi
seru
nec
ert
ain
efon
cti
ond
ecoût
,
s
ansqu’
onl
uif
our
nirl
aré
pons
edé
sir
ée.Ce
tt
epr
opr
iét
ées
tap
pel
éea
utoor
gani
sat
ion
[4].

Electrotechnique M'sila 2006 13

Chapitre I Les réseaux de neurones artificiels

I.6. 3 Apprentissage par renforcement

L’
idé
edeba
sedel
’appr
ent
is
sagepa
rre
nfor
ceme
nte
sti
nspi
réed
esmé
cani
sme
s
d’
appr
ent
is
sagec
hezl
esa
nima
ux,d
ansc
ety
pel
’app
rent
is
sageons
uppos
equ’
il
n’
exi
st
epa
sdema
îtr
equipe
utf
our
nirl
aré
pon
sec
orr
ect
e,ma
isl
esys
tèmeàe
ntr
aîner
e
sti
nfor
mé,d’
unema
niè
rei
ndi
rec
te,s
url
’ef
fetdes
ona
cti
onc
hoi
si
e.Ce
tt
eac
ti
one
st
renforcée si elle conduit à une amélioration des performances du système entraîné et les
éléments qui contribuent dans la génération de cette action sont soit récompensés ou
punis [4].

I.7 Le
spr
inc
ipal
esr
ègl
esd’
appr
ent
iss
age
Les stratégies de modification des poids synaptiques sont dérivées des règles
générales suivantes :
 La règle de Hebb ou le poids des connexions entre deux processeurs
élémentaires est renforcée si les deux processeurs élémentaires sont activés
simultanément ;
 La règle Widrow-Hof
four
ègl
eDe
ltar
ègl
eou’l
epoi
dss
yna
pti
quee
sta
dapt
é
pour obtenir la diminution d
el’
err
eure
ntr
elas
ort
ier
éel
led
upr
oce
sse
ur
élémentaire et la sortie désirée ;
 L’
appr
ent
is
sag
ecompé
tit
ifda
nsl
equ
elt
ousl
espr
oce
sse
ursé
léme
nta
ire
ssonte
n
compétition basé sur uneme
sur
edes
imi
lar
it
éent
rel
’exe
mpl
eder
éfé
ren
ce
oc
associé à chaque pr e
sse
ure
tl’
exe
mpl
ed’
ent
rée
 Les expressions précises des règles dépendent très étroitement de la nature des
f
onc
tionsd’
ent
réet
ota
le,de
sfonc
tio
nsd’
act
iva
ti
one
tdel
ana
tur
econt
inueou
discrète des informations continues dans les cellules des neurones [5].

I.7.1 La règle de Hebb

Commenousl
’avonsvuda
nsl
esf
onde
ment
sbi
ologi
que
s,l
arè
gledeHe
bbe
stl
e
pr
emi
ermé
can
ismed
’év
olut
ionpr
opos
épourl
ess
yna
pse
s.
Son interprétation pour les réseaux de neurone formels est la suivante :
On considère que si deux neurones connectés entre eux sont activés au même moment,
l
aco
nne
xionquil
esr
eli
edoi
têt
rer
enf
orc
ée.Da
nsl
esc
asc
ont
rai
re,e
llen’
estpa
s
modifiée.

Electrotechnique M'sila 2006 14

Chapitre I Les réseaux de neurones artificiels

Si nous prenons les conventions suivantes [2] :

Cellule activée

Cellule non activée

La règle de Hebb donne alors:

Connexion renforcée

Connexion non renforcée

Ceci traduit bien le fait que lorsque la connexion entre deux cellules est très forte,
qu
andl
ace
llul
eéme
ttr
ices
’ac
tive
,au
ssi
.Ilf
autdo
nc,pourl
uipe
rme
ttr
edej
oue
rce
r
ôledé
ter
mina
ntl
orsdu mé
cani
smed’
appr
ent
is
sage
,augme
nte
rlep
oidsdec
ett
e
connexion. En revanche, si la cellule émettrices
’ac
tives
ansquel
ace
llu
ler
éce
ptr
ice
l
efa
sse
,ous
ilac
ell
uleé
met
tr
icenes
’ét
aitpa
sac
tivé
e,c
elat
radui
tbi
enl
efa
itquel
a
c
onne
xione
ntr
ece
sde
uxc
ell
ule
sn’
estpa
spr
épon
dér
ant
eda
nsl
eco
mpor
teme
ntdel
a
ul
cell er
éce
ptr
ice
.Onpe
utdonc
,da
nsl
apha
sed’
appr
ent
is
sage
,la
iss
eru
npoi
dsf
aibl
eà
cette connexion.
Notons Wij (t) le pois de la connexion entre le neurone j et le neurone i à
l
’i
nst
antt
.
Su
ppos
onsq
u’e
ntr
ele
sins
tan
tste
tt+δ
t,ona
its
oumi
sler
éseaux à un stimulus, et que
c
est
imul
usa
itpr
ovo
quél
’ac
tiva
tionAi dune
uron
ei,e
tl’
act
iva
tio
nAj du neurone j.
Supposons de plus que Ai et Aj s
oie
ntb
ool
éens(
d’u
npoi
ntdevu
egé
nér
al,i
les
t
c
omp
lèt
eme
nté
qui
val
entquel
’on prenne les valeurs des activations dans (0, 1) ou
(-1, +1)), l
arè
gledeHe
bbs
’éc
rit
W ij ( t t ) Wij ( t )  A i Aj (8)

Oŭμ(
μ> 0) e
stu
npa
ramè
tredel
’i
nte
nsi
tédel
’appr
ent
is
sage[7].

Electrotechnique M'sila 2006 15

Chapitre I Les réseaux de neurones artificiels

I.7.2 La règle de Windrow Hoff

La règle de Widrow Hoff ou règle delta proposée en 1960, consiste à modifier,
à chaque pas, les poids et les biais afin de minimiser la somme des carrés des erreurs en
sortie en utilisant la règle suivante :
w ( k 1) w ( k ) ( t k y k ) x kT (9)

Ac
haquepa
sd’
appr
ent
is
sagek,l
’er
reure
nso
rti
ees
tca
lcu
léec
ommel
adi
ff
ére
nce
entre la cible recherchée t et la sortie y du réseau [6].
1
E k ekT e k (t k y k ) Tk (t k y k )  (t kT t k y kT y k 2 y kT t k ) (10)
2
Le gradient de cette qualité par rapport à la matrice de poids w est donné par :

E k 1 ( y k y kT 2 y kT t k ) (11)
 
w 2 w
Le gradient se calcul comme suit :
E k 
E 
E  y
 k  k  k (12)
w w yk 
w

D’
apr
èsl
’ex
pre
ssi
ond
eEke
tav
ecy
k=wxk+bl
esdé
rivé
espa
rti
ell
ess
ont:

Ek
y k t k (13)
yk

( wx k b)
x kT (14)
 w
eàj
La mis ourde
spo
idss
efa
itp
arl
’équa
ti
on:
E
W (k 1) w(k )  k (15)
w

Avec  :l
ega
ind’
appr
ent
is
sage(0 1) .
De même, o
nobt
ientl
’expr
ess
iondel
amo
dif
ica
tiond
ubi
ais[6] :
E
b(k 1) b(k ) (t k y k ) b(k )  k . (16)
w

Electrotechnique M'sila 2006 16

Chapitre I Les réseaux de neurones artificiels

I.8 Quelques modèles de réseau de neurones

I.8.1 Le modèle du perceptron
I.8.1.1 Genèse
A la suite des recherches de Mac Culloch et Pitts qui aboutirent à la définition du
neurone formel, et de cellules de Hebb qui fournirent une exploitation synaptique du
mé
cani
smed’
appr
ent
is
sage
,le
sche
rche
urss
ere
tro
uva
ientunef
oisdepl
usc
onf
ron
tés
au problème qui consiste à expliquer les fonctionnalités du cerveau par celles de ses
structures. A la fin des années de 1950, la neurobiologie ne disposait pas encore des
t
ech
nique
smode
rne
sdel
’él
éct
ro- c
himi
epouré
tudi
erl
ess
truc
tur
esd
uce
rve
au.L’
idé
e
de c
ert
ain
sche
rche
ursf
uta
lor
sd’
uti
li
serl
esmod
éli
sat
ionsd
esne
urone
setde
l
’évol
uti
onde
ssyn
aps
espo
urs
imul
erde
sré
sea
uxden
eur
ones. Ils espéraient que si la
construction de tels réseaux ne voilait aucune contrainte biologique, ceux-ci pourraient
exhiber des comportements proches de ceux du cerveau et ainsi fournir des explications
sur le fonctionnement de celui-ci :
è
Le premier modles
oli
def
utpr
ése
ntépa
rRos
enbl
at
t,c
’ét
aitl
epe
rce
ptr
on.Cemo
dèl
e
a des propriétés :
 D’
êtr
esp
éci
fi
éent
erme
ssuf
fi
samme
ntpr
éci
spourpe
rme
tt
rel
ete
stde
s
performances annoncées.
 D’
êtr
esuf
fi
samme
ntc
ompl
exepo
urqu
el’
onpui
ssee
spé
rerdes comportements
intéressants.
 D’
êtr
esuf
fi
samme
nts
impl
epourq
ues
esp
erf
orma
nce
spu
iss
entê
trepr
édi
tese
t
analysées.
 Enf
ine
tsur
tou
td’
êtr
eena
cco
rd avec les faits biologiques .

I.8.1.2 Organisation générale

Un perceptron comprend trois éléments principaux :

I.8.1.2.1 Une rétine

Ile
stc
ons
ti
tué
edec
ell
ule
s,s
url
esque
lle
ss’
ins
cri
tles
ti
mul
usda
nsl
apl
upa
rtde
s
modèles, ces cellules répondent suivant une loi du tout- ou- rien, mais elles peuvent
aussi fournir uner
épons
emodul
ées
uiva
ntl
’i
nte
nsi
tédu stimulus.

Electrotechnique M'sila 2006 17

Chapitre I Les réseaux de neurones artificiels

I.8.1.2.2 Unec
ouc
hedec
ell
ule
sd’
ass
oci
ati
on
Cha
cunedec
esc
ell
ule
spe
utê
trec
onne
cté
eàde
sce
llu
lesdel
aré
ti
ne,àd
’aut
res
c
ell
ule
sd’
ass
oci
ati
on,e
tàde
sce
ll
ule
sdedé
cis
ion(
voi
rexp
lic
ati
ons
uiva
nte
).El
lef
ait
la somme des impulsions qui lui viennent des cellules aux quelles elle est connectée.
Elle répond généralement suivant une loi de tout –ou- rien après avoir comparé la
somme effectuée précédemment avec un seuil. Elle peut cependant de la rétine vers les
c
ell
ule
sd’
ass
oci
ation [2].

I.8.1.2.3 Une couche de cellules de décision

Ce
sce
llul
esf
onc
tio
nne
ntc
ommel
esc
ell
ule
sd’
ass
oci
at
ion
.
El
lesr
eçoi
ventl
eur
sent
rée
sde
sce
llu
lesd’
ass
oci
at
ionoud’
aut
rec
ell
ule
sdedé
cis
ion.
Elles représentent la sortie du perceptron. Le sens des connections entre les cellules
D’
ass
oci
ati
onet les cellules de décision est bi- directionnel, ce qui permet un
feed- back de la sortie sur le réseau [2].

Figure (I.6) Sc
hémad’
unpe
rce
ptr
on.

I.8.2 Le perceptron simple

Pourf
aci
li
terl
’ét
uded
esc
ompo
rte
ment
sdu pe
rce
ptr
on,i
les
tcou
rantd
’ut
il
is
er
unpe
rce
ptr
ond’
unef
ormepl
uss
impl
equ
ece
ttedéfinie par le modèle général.
Da
nsc
eca
s,l
esva
leur
sdes
ort
iesd
eto
ute
sle
sce
llul
es(
del
aré
tine
,d’
ass
oci
ati
on, de
décision) sont binaires en 0 et1. Le
sfonc
ti
onsr
éal
is
éesp
arl
esc
ell
ule
sd’
ass
oci
ati
on
sont des fonctions booléennes, et les cellules de décision sont automates à seuil.

Electrotechnique M'sila 2006 18

Chapitre I Les réseaux de neurones artificiels

Onc
ons
idè
red’
aut
repa
rtqu
’iln’
exi
st
epa
sdec
onne
xion
sent
rede
ux cellules
d’
ass
oci
ati
on,nie
ntr
ede
uxc
ell
ule
sded
éci
si
on.Enf
in,l
esc
onne
xionse
ntr
ece
llu
les
d’
ass
oci
ati
one
tce
llul
esded
éci
si
ons
ontàs
ensuni
quea
ssoc
iat
ionv
ersdé
cis
ion.
Un tel perceptron va être utilisé pour essayer de reconnaître des formes qui lui seront
pr
ése
nté
ess
urs
aré
tine
.Sil
’onn
’ut
il
is
equ’
unec
ell
ulededé
cis
ion,c
ell
e- ci devra
répondre 1 l
ors
quel
afor
mequil
uis
erapr
ése
nté
ecor
res
pondàu
nef
ormequ’
onve
ut
lui faire reconnaître, et 0 dans tous les autres cas [7].

I.8. 3 L’
adaline
Le modèle Adaline a été mis au point par Bernard Widrow pour la résolution du
filtrage adaptatif du signal en 1959. Il appartient à la famille des classifieurs à deux
classes.

I.8. 3.1 St
ruc
tur
edel
’adal
ine
Las
tru
ctur
edel
’ada
linedi
ff
èredupe
rce
ptr
onpa
rl’
uti
li
sat
iond’
unes
eul
ece
ll
ule
d’
ass
oci
ati
one
tl’
uti
li
sat
iond’
unef
onc
ti
ond
ese
uild
iff
ére
nte de celle de Heaviside
(-1 et +1). De plus,i
lut
il
is
euna
lgor
it
hmea
dapt
ati
fpourme
sur
erl
’éc
arte
ntr
elas
ort
ie
réelle et la sortie du proc
ess
euré
léme
nta
ire
.Les
ché
madel
’ada
linee
str
epr
ése
ntée
n
figure (I.7).
Le plus souvent, les entrées sont binaires et la réponse souhaitée est également
bi
nai
re.L’
Ada
linee
stl
ese
ulr
ése
aud
ene
urone
sar
ti
fi
cie
lsut
il
is
éma
ssi
veme
ntda
ns
l
’i
ndu
str
ie. Ce circuit est en effet utilisé dans les télécommunications pour améliorer le
s
ign
als
urbr
uite
npr
ena
nte
ncompt
elava
ria
tiondel
’i
mpé
danc
ede
sdi
ff
ére
nte
sli
gne
s
téléphoniques [5].

I.8. 3.2 Rè
gled’
appr
ent
iss
age
Lar
ègl
ed’
appr
ent
is
saged
el’
adaline, appelée règle de Widrow Hoff ou LMS
utilise la descente de gradient de la fonction de la somme des erreurs quadratiques,
donnée par [6].
2
(17)
m
1
E (w) 
2
(t
k 1
k y k )

Electrotechnique M'sila 2006 19

Chapitre I Les réseaux de neurones artificiels

Avec:
y k w t x k (18)

La descente du gradient donne la direction qui minimise E (w) :

w(t 1) w(t ) E ( w) (19)

1
x1
b
w1 y
x2
w2
w x
i i b

xn wn

Figure (I.7) Ar
chi
tec
tur
edel
’Adal
ine

I.8. 4 Le réseau de hopfield

Le modèle de hopfield a été proposé en 1982, sont des réseaux récurrents et
entièrement connectés. Dans ce type de réseau, chaque neurone est connecté à chaque
autre neurone et il n’
yaa
ucuned
iff
ére
nci
at
ione
ntr
ele
sne
uron
esd’
ent
réee
tdes
ort
ie.
Ils fonctionnent comme une mémoire associative non linéaire et sont capables de
trouver un objet stocké en fonction de représentations partielles ou bruitées.
L’
app
lic
ati
onpr
inc
ipa
led
esr
ése
auxdeHopf
iede
stl
’en
tre
pôtdec
onna
iss
anc
esma
is
a
uss
ilar
ésol
uti
ondep
robl
ème
sd’
opt
imi
sat
ion.Lemod
ed’
appr
ent
is
sageut
il
is
éic
ies
t
le mode non supervisé [7].

Figure (I.8) Le réseau de Hophield

Electrotechnique M'sila 2006 20

Chapitre I Les réseaux de neurones artificiels

I.8. 5 La carte auto organisatrice de Kohonen

Le modèle a été proposé dès les années 70 par Von des Marsberg, puis par
Kohenen ce modèle a pour objectif de représenté des données complexes. Il est réalisé
àpa
rti
rd’
unr
ése
audeK ne
urone à n entrées et donc k sorties. Les entrées sont des
vecteurs à n composantes toutes connectées totalement K neurones du réseau par nk
connexions modifiables. Les neurones du réseau sont placés en général dans un espace
de 1 ou 2 dimensions [6].

x1 x2 … xd

Figure (I.9) Réseaux de Kohenen

I.9 Les mécanismes de classification

La cellule de décision avec fonction de seuil se comporte comme un adaptateur
linéaire qui réalise la séparation des exemples en deux classes W1 et W2 àl
’ai
dedel
a
fonction discriminante linéaire :
g ( x) W tr x (20)

w (W1 j , W2 j ,..., Wnj , W0 j ) tr , vecteurs des poids synaptiques. (21)

x ( X 1 , X 2 ,..., X n ,1) tr (22)

Ce
ttef
onc
tio
npe
rme
tlas
épa
rat
iondel
’ens
emb
lede
sve
cte
ursxe
nde
uxc
las
sesW1 et
W2 :
x w1 si g ( x) 0
 (23)
x w2 si g ( x) 0

Electrotechnique M'sila 2006 21

Chapitre I Les réseaux de neurones artificiels

g(x) = 0
classew1 classew2
g(x)>0

g(x)<0

Figure (I.10) Séparation de deux classes avec adaptateur linéaire.

I.10 Les mémoires associatives

Les ordinateurs classiques de type Von Neumann traitent de façon séquentielle
des informations qui sont codées sous forme binaire et rangées dans des mémoires
a
cce
ssi
ble
spa
rle
ura
dre
ssei
ndé
pend
amme
ntdel
eurc
ont
inu.Ladé
fai
ll
anc
ed’
une
s
eul
emé
moi
rep
rovoquel
’i
nte
rrupt
iondel
acha
înedet
rai
tement séquentiel des
opérations.
Une caractéristique importante des réseaux de neurones réside dans la manière
avec laquelle sont stockées les informations et dans la façon de les associer.
En règle générale. La mémoire des réseaux de neurones est distribuée et tout ou
partie des poids de connexion du réseau constitue la mémoire du réseau. Ainsi, un
e
xempl
edel
aba
sede
sexe
mpl
esd’
appr
ent
is
sage sera mémorisé par un sous ensemble
particulier les cellules qui contiennent également la mémoire de certains autres
mpl
exe esdel
aba
sed’
appr
ent
is
sage
.Lama
jor
it
éde
sré
sea
uxdene
uron
esu
til
is
ése
n
diagnostic industriel pour la classification des défauts sont appelés des mémoires
associatifs ou classifieurs. On distingue cependant deux familles de réseaux de
neurones : les réseaux à base de neurones appelés souvent neurones « grand- mère « et
les mémoires auto- associatives et les mémoires hétéro- associatives [5].

I.10.1 Réseaux avec neurones grand- mère

Dans ce type de réseaux, les neurones répondent spécifiquement à un seul
e
xempl
edel
aba
sed
’appr
ent
is
sage
.Let
rai
teme
ntdel
’i
nfor
mat
ione
str
éal
is
épa
r
plusieurs neurones indépendants des uns des autres. Le sur nom de tels réseaux repose

Electrotechnique M'sila 2006 22

Chapitre I Les réseaux de neurones artificiels

s
url
’hy
pot
hès
equel
ece
rve
auh
uma
ins
toc
kel
’i
mag
edeno
tregr
and–mère dans un
neurones particulier placé dans un endroit précis du cerveau. Ces réseaux sont
particulièrement adaptés aux problèmes de classification [5].

I.10.2 Mémoires auto- associatives et hétéro- associatives

Dans une mémoire associative, les informations ne sont pas localisées à des
emplacements déterminés. Mais la mémorisation de chaque exemple est distribuée sur
l
’ens
embl
edel
ast
ruc
tur
edur
ése
auquic
ons
ti
tuea
ins
ilamé
moi
re.Le
sse
ule
sso
rti
es
possibles sont également des contenus des mémoires. Les mémoires auto- associatives
on
tpourc
ara
cté
ris
ti
quee
sse
nti
ell
edepr
odui
ree
nsor
ti
e,l
’i
magea
ppr
ised
el’
ent
réeà
pa
rti
rd’
une
xempl
ein
compl
etoubr
uit
é.Le
smé
moi
resh
été
roa
ssoc
iat
ive
sap
pre
nne
nt
une relation entre un exemple donné et une sortie dé
sir
éedi
ff
ére
ntedel
’exe
mpl
e.Siun
no
uve
lexe
mpl
epr
ése
ntée
stpr
ochedel
’exe
mpl
eappr
is
,ilr
est
it
uer
alas
ort
iedé
sir
ée.
Ces mémoires sont particulièrement performantes pour la reconnaissance de caractères
avec des données incomplètes ou bruitées [5].

I.11 Le rétropropagation
I.11.1 Introduction
Le problème de calcul des erreurs de sortie pour les neurones cachés, limite
l
’ef
fi
cac
itéde
sal
gor
it
hme
sd’
app
rent
is
sages
upe
rvi
sépourl
esr
ése
auxmul
tic
ouc
hes
.
Don
càc
aus
edel
’abs
enc
ed’
uner
ègl
ed’
appr
ent
is
sagec
onv
ena
ble
,le
spe
rce
ptr
ons
étaient limité a une seuil couche pendant plusieurs années, le problème du calcul des
e
rre
ursa
ssoc
iée
sauxne
urone
sca
ché
esaé
tél
evépa
rladé
couve
rtedel
’al
gor
it
hmede
rétro propagation qui peut être appliqué àn’
impo
rteq
uels
yst
èmec
ompo
séd
epl
usi
eur
s
sous systèmes élémentaires qui peuvent être représentés par des fonctions connues,
continues dérivables.
Ava
ntded
éfi
nirl
arè
gled
’app
rent
is
sage
,ondé
fini
tlar
ela
tione
ntr
ele
sso
rti
esdu
r
ése
aud’
unepa
rt,l
ese
ntr
éese
tle
spoi
dsd’
aut
repa
rt.onc
ons
idè
reda
nsc
equ
isui
tle
s
réseaux non récurrents (statiques) multicouches. Pour un réseau multicouches (N)
entrées et (M) sorties, composé de (L) couches {couches cachées plus couche de
sortie}, la somme des entrées de la ji ème unité cachée est [3].

Electrotechnique M'sila 2006 23

Chapitre I Les réseaux de neurones artificiels

I.11.2.1 Principe
Pourc
onv
erge
rve
rsl
emi
nimum gl
oba
ldel
asur
fac
ed’
err
eur
,onpr
ocè
depa
rla
méthode du gradient, cette technique ajuste les poids dans la direction opposée du
E
gradient instantané de la f
onc
tiond’
err
eurK  K

WK

e(t ) [ yd (t ) R(t )] (24)

1 T 1 T
E  E (t )  [ yd (t ) R(t )]2 (25)
2 i 1 2 i 1
T :e
stl
’ens
emb
led
ese
xempl
esd’
ent
raî
neme
nt.
yd (t ) : Est le vecteur de sortie désiré.

R (t ) : Celui du réseau.
W : vecteur des poids

I.11.2.1 Equation du réseau

Pour un réseau multicouche à N entrées et M sorties composé de L couches
(couches cachées, couche de sortie), la somme des entrées de la jème neurone caché
est :
N
S (t ) W jiL xi (t ) jL
L
J (26)
i
1

L : Indice de la couche cachée.

W jiL : Poids de la connexion de i ème entrée.

jL : Valeur du seuil interne du neurone.

n
F : Foct
iond’
act
iva
tiont
ell
equ
e:

S t F ( W
N
I Lj (t ) F L
j
L
j
L
j
L
ji xi (t ) + jL ) (27)
I
1

Les équations de la couche de sortie sont :

M
S KR (t )  W R
Kj I j (t ) KR (28)
i 1

RKR (t ) FKR ( S KR (t )) (29)

K : Numéro du neurone dans la couche de sortie

Electrotechnique M'sila 2006 24

Chapitre I Les réseaux de neurones artificiels

I.11.2.2 Adaptation des poids

Les paramètres (poids) sont ajustés par la méthode de la descente du gradient :
W jiL (n 1) W jiL (n) W jiL (n) (30)

Où:
E
W jiL ( n )  (31)
W jiL ( n )

Avec:
n :C’
estl
enumé
rod
el’
it
éra
tion.
:Pa
sd’
appr
ent
is
sagedé
sign
antl
avi
tes
sedec
onv
erg
enc
e,s
ava
leure
stgé
nér
ale
ment
choisie expérimentalement.
Lec
oef
fi
cie
ntd’
appr
ent
is
sage j
oueu
nrôl
eimpor
tantp
uis
qu’
ilr
ègl
elavi
tes
sea
vec
l
aqu
ell
esef
aitl
ade
sce
ntedugr
adi
ent
;tr
oppe
ti
t,i
lnepe
rme
td’
att
eindr
euneva
leu
r
s
uff
isa
mme
ntf
aibl
edel
’er
reurqu’
aub
outd
’unt
rèsgr
andnombr
ed’
it
éra
tion
s,e
t
mê
me f
aite
ncour
irl
eri
sque d’
un mi
nimum l
oca
l(insatisfaisant) duquel il est
i
mpos
sibl
edes
ort
ir
,tr
opgr
andi
lpe
utc
ond
uir
eàs
’él
oigne
rdumi
nimum d’
err
eur
recherché et donc peut empêcher une solution a
cce
pta
bled’
êtr
eat
te
int
e.
Pour la couche de sortie :
1 T 1 T
D’
apr
ès(
I-25) : E   E (t )   (YK (t ) RKR (t )) 2
2 t 1 2 t 1
R
Ladé
rivé
edel
’er
reurE(
t)pa
rra
ppor
taupoi
dsW Kj nous donne :


E (t ) RK S KR (t )
(YK (t ) RK (t ))  R  R (32)
WKjR 
S K (t ) 
wKj (n)

Le dernier facteur de (I.-32) est :

S KR (t )  M


WKj (n) 
R
 R
[ 
WKj (n) J 1
WKjR (n) . I Rj (t ) KR ] I Lj (t ) (33)

En combinant (I-32) et (I-33), onàpou

rl’
opp
oséd
ugr
adi
ent:
E (t )
 R  ( y K (t ) RK (t )) FK'R ( S KR (t )).I Lj (t ) (34)

WKj (n)

Lar
ègl
ed’
ada
pta
tione
stdonn
éepa
r:

Electrotechnique M'sila 2006 25

Chapitre I Les réseaux de neurones artificiels

Avec:
WKjR .(n 1) WKjR .(n) WKjR .(n) (35)


WkjR (n)
W (n) 
R
(36)

Kj
E
Si f est une fonction linéaire : FKjR 1

L’
équ
ati
on(
I-34) devient :
E (t )
(YK (t ) RK (t )).I Lj (t )
 R
WKj (n)

Alors :

E I
WKjR (n) 
 R
WKj (n)
t 1
(YK (t ) RK (t )).I Lj (t ) (37)

T
WKjR (n 1) WKjR (n)  (YK (t ) RK (t )).I Lj (t ) (38)
t 1

Si F est une fonction sigmoïde :

FK' R FKR (1 FKR ) RK (1 RK )

L’
équ
ati
onde
vie
nt:
E (t )
 (YK (t ) RK (t )) RK (t ).(1 RK (t )) I Lj (t )
 R
WKj (n)

Alors :

E T
WKjR (n)  
 R
WKj (n)
  
t 1
(YK (t ) RK (t )).RK (t )(1 RK (t ).I Lj (t )

T
WKjR (n 1) WKjR (n)   (YK (t ) RK (t )).RK (t )(1 RK (t ).I Lj (t ) (I - 39)
t 1

En définissant la quantité KR (t ) telle que :

KR (t ) (YK (t ) RK (t )).FKR ( S KR (t )) (I - 40)

T
Alors on a : WKjR (n 1) WKjR (n) KR (t ).I Lj (t ) (I - 41)
t 1

Pour les couches cachées

1 T 1 T
E   E (t )   (YK (t ) RKR (t )) 2
2 t 1 2 t 1

1 T
E   (YK (t ) FKR ( S KR (t )))2
2 t 1

Electrotechnique M'sila 2006 26

Chapitre I Les réseaux de neurones artificiels

D’
apr
èsl
esé
qua
tions(
I-26) et (I-27) nous savons que IJ dépend des poids de la couche
cachée, nous pouvons exploiter ce fait pour calculer le gradient de E.

E (t ) 
 L (YK (t ) RK (t )) 2

W ji (n) 
L
W ji (n)

M
RK . 
 S KR (t ) . 
I JL (t ) .
 (YK (t ) RK (t )) . (42)
K 1 S KR (t ) 
 I Lj (t ) S Lj (t )

Le
sfa
cte
ursdel
’équa
tion(
I-42) peuvent être calculés à partir des équations
précédentes
(I-26), (I-27) pour donner :

E (t ) M

 L

W ji (n) K 1
(YK (t ) RK (t )) . FK' R ( S KR (t )).WKjR .F j' L ( S Lj (t )). X i (t ) ( 43)

T M
W jiL (n)  F jL ( S Lj (t )). X i (t ). (YK (t ) RK (t )).F 'RK ( S KR (t )).WKjR (n) (44)
t 1 K 1

D’
apr
èsl
’éq
uat
ion(
I- 40) :
T M
W jiL (n)  F 'Lj ( S Lj (t )). X i (t ).KR (t ).WKjR (n) ( 45)
t 1 K 1

T
W jiL (n)  KL (t ) X i (t )
t
1

Avec :
M
KL (t ) F 'Lj ( S Lj (t )).KR (t ).WKjR (46)
K 1

L’
équ
ati
ond’
ada
pta
tionde
spoi
dsda
nsc
eca
ses
t:
T
W jiL (n 1) W jiL (n) jL (t ). X i (t ) (47)
t
1

I.12 Les é
tape
sd’
algor
ithmeder
étr
opr
opagat
ion
L’
algor
it
hmeder
étr
opr
opa
gat
ione
str
epr
ése
ntéc
ommes
uit:
Etape 01 : Initialiser toutes les connexions par des valeurs aléatoires faibles.
Etape 02 : Présenter une entrée (X1, X2,…,Xn) et la sortie souhaitée
(Y1, Y2 ,…,Ym).

Electrotechnique M'sila 2006 27

Chapitre I Les réseaux de neurones artificiels

Etape 03 : Calculer :
1-Las
ommede
sent
rée
sde
sne
uron
esdel
acouc
hepa
rl’
équ
ati
on(I-26).
2-Le
sso
rti
esde
sne
urone
sdel
acouc
hec
ach
éepa
rl’
équa
tion(I-27)
r
3-La somme des entée
sdel
acouc
hedes
ort
iepa
rl’
équa
tio
n(I
-28).
4-Le
sso
rti
esder
ése
aup
arl
’éq
uat
ion(
I-29).
Etape 04 : Calculer :
1-Le
ste
rme
sdel
’er
reurpourl
esn
eur
one
sdel
acouc
hedes
ort
iepa
r
l'équation (I-40)
2-Le
ste
rme
sdel
’er
reurpourl
esn
eur
one
sdel
acouc
hec
aché
epa
r
l'équation (I-46)
Etape 05 : Ajuster :
spo
1-Le idsd
elac
ouc
hedes
ort
iepa
rl’
équa
tio
n(I
-39).
spo
2-Le idsd
elac
ouc
hec
aché
epa
rl’
équa
tion (I-47).
Etape 06 : Revenir à l'étape 03 jusqu'à la stabilisation du système [10].

I.12.1 Exe
mpl
ed’
appl
icat
ion
On choisi une fonction y(x) = sin(x) , et après plusieurs essais et choix
d’
architecture (nombre de couches, nombre de neurones dans chaque couche) avec un
pa
sd’
appr
entissage variable, on a pu obtenir l
’architecture suivante :
 Quatre neurones dans la première couche.
 Trois neurones dans la deuxième couche.
 Deux neurones dans la troisième couche.
Eta
vecunpa
sd’
appr
ent
is
sage µ =0.01 et après quelqes itérations égalent à 2000
avec une erreur de 4.3 ×10-5 , voire la figure (I. 11).

Electrotechnique M'sila 2006 28

Chapitre I Les réseaux de neurones artificiels

Figure (I.11) l
’i
dent
if
icat
iondel
afo
nct
ions
in(
x)pa
rle
sré
seauxdene
uro
nes
Erreur

Itération

Figure (I.12) Re
pré
sent
ati
ondel
’er
reur

Electrotechnique M'sila 2006 29

Chapitre I Les réseaux de neurones artificiels

On trouve que l
’i
dent
if
ica
tiondel
afon
cti
ons
in(x) donne des résultats formidables.

I.13 Domai
nesd’
appl
icat
ionde
sré
seauxdene
uro
nes
I.13.1 Applications militaires
Bien que naturellement les publications soient relativement rares et que peu de
détails soient donnés, les applications militaires « classiques » se retrouvent en
r
eco
nna
iss
anc
edec
ibl
es,a
nal
ysed’
ima
ge,t
rai
teme
ntd
esi
gna
uxr
ada
rous
ona
r,e
t
da
nsunec
ert
aineme
sur
eenr
obo
tiqu
e.Lede
rni
erc
irc
uiti
nté
gréd’
lnt
el(
quie
stun
« accélérateur de reconnaissance », selon ses propres termes) a été financé pour moitié
sur crédits militaires, àha
ute
urd
’envi
ron 1,5 million de dollars. Ce circuit implante
une architecture de type RBF (mesure des distances entre stimulus et prototypes),
développée par la société Nestor.

I.13.2 Applications bancaires et financières

Tout
esl
esa
rch
ite
ctur
ese
tle
sal
gor
it
hme
sso
ntut
il
is
ésp
ourl
’ana
lys
eder
isquede
pr
êts
,ladé
tec
tiondef
raudes
uel
esc
art
esdec
rédi
t,l
’éva
lua
ti
ondes
olva
bil
it
é
d’
ent
repr
ise
s, la prévision de cours de marchés de devise, la prédiction de cours de
moyen terme de matières première, etc. Modèles de rendement n à décrit par exemple
l
’ai
deàl
adé
livr
anc
edepr
êtsba
nca
ire
s,qui
,apr
èsa
nal
ysed’
unequa
nti
tés
igni
fi
cat
ive
de dossiers (en principe autant de bons dossiers que de dossiers à problème), est
capable de réduire la marge de risque du préteur, lui assurant ainsi à terme un profit
accru. Il est difficile de dresser un panorama significatif de réalisations, étant donné le
pe
u d’
inf
orma
tionsdi
sponi
ble
sda
nsl
aca
sou
’uns
yst
ème s
era
itvé
rit
abl
eme
nt
opérationnel. Il faut noter cependant que des colloques scientifiques spécialisés se
t
ienne
ntdé
sor
mai
ssurc
esuj
etd
epu
ispe
ud’
anné
es.

I.13.3 Traitement de la parole

C’
estun doma
inedeg
randea
cti
vit
éetdeg
ran
dedi
ver
si
té
,da
nsl
equ
elde
nombreuses techniques non neuronales ont déjà éprouvées et mises en fonctionnement.
Cependant, les difficultés sont nombreuses et conséquentes, et les réseaux de neurones
eya
peuvent contribuer à les surmonter. Mais il ne semble pas encor voi
rd’
app
lic
ati
ons
i
ndu
str
iel
lese
nfonc
tionne
menta
utr
eme
ntqu’
àl’
éta
tdepr
otot
ype
,etqu
ico
nce
rne
nt
surtout la reconnaissance de mots isolés. Dans ce domaine, les réseaux de neurones
Electrotechnique M'sila 2006 30
Chapitre I Les réseaux de neurones artificiels

sont s
ouve
ntut
il
is
ésc
onj
oint
eme
ntàd’
aut
rest
echni
que
scommel
esmodè
lesde
Markov cachés.

I.13.4 Industries de consommation

C’
ests
urt
outa
uJa
pon
,oul
esc
ons
omma
teur
ssonta
sse
zse
nsi
ble
sàl
ava
leu
r
ajoutée « technologique » dans un produit que les grandes compagnies ont fait un effort
pour annoncer la présence de réseaux de neurones(souvent conjointement avec de la
logique floue) dans des produits électroménagers ou audiovisuels. Cette présence est
plus symbolique que réelle, ou bien se limite à certaines préprogrammations en usine. Il
n’
enr
est
epa
smoi
nsq
uel
ema
rch
égr
andp
ubl
icp
eutd
eve
nirf
ort
eme
ntpor
teurs
ide
s
applications décisives voient le jour (en terme de problèmes à résoudre comme en
terme de matériels spécialisés, comme les circuits intégrée) [9].

I.14 Conclusion
Les réseaux de neurones présentés dans ce chapitre sont des systèmes
paramétriques non linéaires qui relient des variables d'entrée à des variables de sortie.
u
Les paramètres sont déterminés statistiquement lors d’nepha
sed’
appr
ent
is
sageà
pa
rti
rd’
uneba
sededonné
esd’
exe
mpl
es,a
ppe
léeb
ased
’appr
ent
is
sage
.
En pr
ati
que
,l’
uti
li
sat
iond
ela mé
thode n
eur
ona
lep
osec
ert
aine
sdi
ff
icul
tés
.La
pr
inc
ipa
led
iff
icu
ltée
stl
’op
timi
sat
iond
elaph
ase d’
appr
ent
is
sage
.Le c
hoix de
l
’ar
chi
tec
tur
eadé
qua
teoul
adé
ter
min
ati
ondu« pa
sd’
appr
ent
is
sage» se fait par essais
successifs [10].

Electrotechnique M'sila 2006 31