Вы находитесь на странице: 1из 21

28/10/2014

Rseaux de neurones artificiels


Master MSI, 2014-2015
Prof. Abdelaziz Bouroumi

a.bouroumi@gmail.com
b
i@
il

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

03. Introduction aux RNA

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

Rappel
Les RNA sont des modles heuristiques qui cherchent simuler
deux aptitudes fondamentales du cerveau humain:
Lapprentissage
L
ti
partir
ti dexemples,
d
l ett
La gnralisation des comptences apprises dautres
exemples non vus durant lapprentissage.
Ils sont en principe applicables tout problme sur lequel on
dispose dune base dexemples qui peut servir de donnes
ddentre
entre pour un algorithme ddapprentissage.
apprentissage.
Leur efficacit a t prouve dans de nombreuses applications du
monde rel.

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Domaines dapplication (cf. article de Jain, 1996)

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

Objectifs de llment RNA


1. Introduire le domaine des rseaux de neurones
artificiels (RNA, ANN) en tant que composante
importante du soft computing .
2. Etudier le perceptron multicouches (PMC, MLP),
lun des modles de RNA les plus simples et les plus
utiliss dans les applications relles.
3. Apprendre appliquer le PMC et son algorithme
dapprentissage pour rsoudre des problmes de
classification et de reconnaissance des formes.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Modlisation de lapprentissage
Modliser lapprentissage cest essayer de dcrire
mathmatiquement ce qui se passe dans nos cerveaux quand
nous essayons dapprendre, par la pratique, la ralisation dune
nouvelle tche:
en se basant sur des exemples (exercices),
avec ou sans laide dun professeur (superviseur).

Q: Si le sige de llapprentissage
apprentissage est bien le cerveau, quelle
diffrence yaura-t-il alors entre le cerveau dune personne
avant et aprs apprentissage de chaque nouvelle tche?

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

Hypothses de base des RNA


Lors de lapprentissage effectif de chaque nouvelle tche, un ensemble
de neurones du cerveau seront ddis cette tche.
Ces neurones vont se connecter entre eux ddune
une certaine manire
(architecture) pour former un rseau.
Le rsultat de lapprentissage sera stock dans les connexions qui
relient les diffrents neurones de ce rseau.
Partant de valeurs initiales quelconques, les valeurs (poids) de ces
connexions seront ajustes (selon un algorithme bien dtermin) de
f
faon
itrative
it ti au fur
f ett mesure que des
d exemples
l serontt traits
t it
(TD).
A la fin du processus, les connexions se stabilisent et, si lapprentissage
est bien fait, le rseau sera capable de gnraliser les comptences
apprises des exemples non vus durant lapprentissage ( examen).
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tapes de conception dune solution neuronale


un problme quelconque

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

tape 1: Choix de larchitecture du rseau

Combien de neurones utiliser?


Comment les connecter ppour former le rseau?
Plusieurs architectures sont possibles, la plus utilise
est larchitecture en couches (PMC):

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Caractristiques de larchitecture PMC

10

Les neurones sont disposs en couches successives.


La premire couche sert recevoir (percevoir) les composantes
des vecteurs objets qui reprsentent les exemples traiter.
traiter
La dernire couche sert indiquer la classe dappartenance de
chaque objet prsent la couche dentre.
Linformation circule dans un seul sens: de lentre vers la
sortie.
Les neurones dune mme couche ne sont pas relis entre eux.
Chaque neurone de chaque couche ne communique quavec
ceux de ses couches adjacentes.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

11

tape 2: Choix dun algorithme dapprentissage


Une fois larchitecture choisie, comment ajuster (rgler) les poids
de ses diffrentes connexions?
apprentissage existent, le plus utilis avec
Plusieurs algorithmes ddapprentissage
les PMC est lalgorithme de rtro propagation des gradients des
erreurs (Backpro).
Lalgorithme Backpro simule le phnomne dapprentissage par
lerreur et en prsence dun superviseur qui permet de les dtecter
et les corriger.
Cest un algorithme doptimisation qui vise la dtermination des
meilleurs poids de connexion possibles.
Rgle dapprentissage: fixe la manire dont les poids synaptiques
doivent tre ajusts aprs chaque erreur observe.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

12

Apprentissage, classification et RF (++)


Reconnaitre une forme cest laffecter une classe;
ce qui ncessite, en plus du vecteur de ses
q ,
caractristiques,
une connaissance sur les diffrentes classes possibles, plus
lutilisation dune rgle de de dcision.

Les connaissances sur les classes sacquirent par


apprentissage partir dexemples.
x
La rgle de dcision se base sur
les rsultats de lapprentissage.
Ex: quelle classe appartient
lobjet reconnaitre x? Pourquoi?
3,0

25
2,5
2,0
1,5
1,0
0,5
0,0

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

13

Exemple simple (donnes planes, 2 classes)


-1

x1

w1

b (biais ou seuil dactivation)

w1x1+w
w2x2
x2

w2

w1x1+w2x2=b

3,0

2,5
2,0

x1w1 + x2w2 = b est lquation dune droite qui


spare le plan (espace des donnes) en 2 zones:
Classe 1: x1w1 + x2w2 > b
Classe 2: x1w1 + x2w2 < b
w'1x1+w'2x2=b'
w1, w2 et b se rglent par apprentissage.
Comme en TD, le rsultat de lapprentissage diffre dune personne
lautre et selon les donnes (sries dexercices) et lalgorithme
dapprentissage (tudiant + prof + mthode+conditions de travail).
1,5
1,0
0,5
0,0

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

14

tape 3: Choix de la base dapprentissage


Quels exemples utiliser comme donnes dentre
pour lalgorithme dapprentissage?
Ces exemples doivent tre bien reprsentatifs de
lensemble des classes possibles dans lespace des
donnes.
La taille de la base dapprentissage doit permettre la
convergence du processus (stabilisation des poids
synaptiques) en un temps raisonnable.
Une partie des donnes disponibles doit tre laisse
pour ltape finale (test de gnralisation ou examen).
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

15

tape 4: Test de gnralisation


Consiste vrifier si, aprs apprentissage, le rseau
est capable de gnraliser ce quil a appris des
exemples non vus durant la phase dapprentissage.
Simule le phnomne dexamen.
Ncessite le choix dune bonne base de test.
Ne doit pas rutiliser les exemples dj vus (pour
it de
viter
d simuler
i l lapprentissage
l
ti
par cur).
)
Sert valider le RNA ainsi obtenu (phnomne de
russite) ou le rejeter (phnomne dchec).
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

16

F d
Fondements
t bi
biologiques
l i
des
d RNA

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

17

Neurone biologique
Neurone = cellule nerveuse dote de laptitude de traiter
linformation.

hoto: Blue Brain Project,


Project EPFL)
(Photos: Blue Brain Project, EPFL)
Il comporte un corps cellulaire (soma) plus deux types de
prolongements arborescents: les dendrites et laxone.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

Cerveau =

1011

06. Introduction aux RNA

neurones interconnects

18

Les neurones du cerveau


sorganisent en rseaux
hautement interconnects
et fonctionnant en parallle.
Cest pourquoi ils sont
capables de raliser, avec
des vitesses extraordinaires
extraordinaires,
des tches de perception qui restent hors de porte des
ordinateurs modernes les plus puissants.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28/10/2014

19

Le corps cellulaire
Comporte un noyau et
p
un plasma.
Le noyau contient le gnome,
c--d linformation sur les
caractres hrditaires, code
chimiquement dans lADN.
Le plasma contient les molcules ncessaires
lactivit du neurone, production des enzymes et
autres substances.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

20

Les dendrites
Jouent le rle de rcepteurs.
Permettent au neurone de
recevoir
i les
l signaux
i
(impulsions, excitations)
mis par dautres neurones.
Leur nombre varie entre 1000
et 100000 par neurone.
Lorsque
L
lexcitation
l it ti issue
i
des
d dendrites
d d it dpasse
d
un
certain seuil, le neurone sactive et gnre un signal
(appel potentiel daction) quil transmet dautres
neurones par le biais de son axone.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

10

28/10/2014

21

Laxone
Cest un prolongement
centrifuge qui se termine par
des branches et des sous
branches lextrmit
desquelles se trouvent des
synapses (++)
La longueur ddun
un axone peut varier de 1mm 1m.
1m
La juxtaposition dun grand nombre daxones longs
forme ce quon appelle un nerf.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

22

Les synapses
synapses
Une synapse est un point de contact
entre deux neurones.
Elle assure la transmission de
substances chimiques dun
neurone un autre.
Ces substances sappellent des
neurotransmetteurs ou neuromdiateurs.
neuromdiateurs
neurotransmitteurs
Leur effet peut tre soit
excitateur soit inhibiteur.

(https://www.youtube.com/watch?v=nM_v114rjwo)
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

11

28/10/2014

23

Potentiel daction

hrsbstaff.ednet.ns.ca/mcintyr/Notes%20potentiel%20d'action.ppt
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

Potentiel daction

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

24

06. Introduction aux RNA

12

28/10/2014

Caractristiques du potentiel daction

25

Se dclenche par une


dpolarisation, qui doit
dpasser une valeur seuil.
seuil
Cest un phnomne tout ou
rien.
Il se propage sans attnuation.
Durant le potentiel daction le
ppotentiel membranaire
sinverse ("overshoot").
Il est suivi par une priode
rfractaire, durant laquelle le
neurone est inexcitable.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

Les poids synaptiques

06. Introduction aux RNA

26

Les connexions entre les diffrents neurones dun rseau sont


pondres.
La valeur du poids de chaque connexion se rgle de faon
itrative durant la phase dapprentissage.
Ce rglage se fait conformment une rgle dapprentissage.
Lentranement est lapplication dun algorithme
dapprentissage des donnes exemples. Il peut tre
supervis ou non.
Lapprentissage supervis ncessite la prsence dun
professeur qui connat davance la sortie associe chaque
entre.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

13

28/10/2014

27

Modlisation: Le neurone formel (++)

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

28

Modle de McCulloch et Pitts (1943)


Biais

x1

Vecteur
Objet

w1

x2

M
xp

w2

Fonction de
sommation

wm
Poids
synaptiques

28/10/2014

Activation
interne

Sortie

()

Fonction
dactivation

Ce modle a t propos en 1943 pour


simuler le fonctionnement du neurone
biologique.

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

14

28/10/2014

29

Article de McCulloch et Pitts, 1943

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

30

1r RNA: Perceptron simple


Structur en deux couches: une couche dentre et
une couche de sortie.
La couche dentre sert recevoir
les signaux qui caractrisent la
forme percevoir (reconnaitre);
La couche de sortie sert indiquer
l classe
la
l
dappartenance
d
t
de
d la
l
forme reue en entre
Couche dE
(reconnaissance).

Couche de S

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

15

28/10/2014

31

Entres du perceptron
Vecteur objet x=(x1, x2, ,xp) p
x reprsente
p
une forme ((ou ppattern)) reconnatre

Rappel: on appelle forme toute entit qui peut tre


tiquete (ou libelle), c--d quon peut affecter une
classe.
xi mesure la ime caractristique de la forme
reconnatre
p est lespace de reprsentation des donnes.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

32

Niveau dactivation

Le travail de chaque neurone consiste calculer la somme


pondre de ses entres, c--d le produit scalaire des deux
vecteurs
t
x ett w:

v ( x ) = w. x = w1 x1 + w2 x2 + ... + wn xn

o w=(w1,w2,,wn) est le vecteur des poids synaptiques,


Chaque composante wi sert simuler la connexion entre le
neurone et sa ime entre,
v(x) reprsente le niveau dactivation interne. Sil dpasse un
certain seuil (appel biais), le neurone sactive et envoie le
signal 1 sur son axone.

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

16

28/10/2014

33

Fonction dactivation (++)

Sert indiquer si le niveau dactivation interne du


neurone lui permet dexciter dautre neurone (sortie =
1) ou non ((sortie
ti = 0).
0)
1 si v ( x )
y ( x ) = ( v ( x )) =
0 sinon

Mathmatiquement, le neurone formel ralise une


application de p vers {0
{0,1}.
1}
Cest pourquoi ce modle est connu sous le nom
unit logique seuil ou TLU (Threshold Logic
Unit).

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

34

Rgles dapprentissage
Concernent la faon dont les poids des connexions doivent
tre modifis durant le processus dapprentissage partir des
donnes.
Premire rgle: propose par Hebb (Neuropsychologue) en
1949.
Principe: "The general idea is an old one, that any two cells

or systems of cells that are repeatedly active at the same time


will tend to become 'associated', so that activity in one
facilitates activity in the other."
Premire rgle dapprentissage supervis: propose en 1958
par Rosenblat (Psychologue).
Principale application: reconnaissance des formes.
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

17

28/10/2014

35

Article de Rosenblatt (1958, ++)

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Questions souleves par Rosenblatt (++)

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

36

06. Introduction aux RNA

18

28/10/2014

37

Algorithme de Rosenblatt (1958)


1.Choisir
0<<1,
,
tmax,
,
//

// taux dapprentissage
// erreur tolrable
1
// nb maximum ditrations
d itrations
seuil dactivation
w (t) = w (t 1) +(d y)x
i

2. Initialiser
wi(0) pour 1in, // poids synaptiques
t=0; // indice des itrations

3. Rpter{ t++;
- Prsenter un vecteur objet au neurone,
- Evaluer la sortie y,
- Evaluer lerreur (d-y) o d est la sortie
dsire puis ajuster les poids synaptiques
selon la rgle dapprentissage (1).
}Tant que [(w>) et (t<tmax)];
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

38

Liens utiles
http://fr.wikipedia.org/wiki/R%C3%A9seau_de_neur
ones_artificiels
http://fr.wikipedia.org/wiki/Perceptron
http://en.wikipedia.org/wiki/Human_Brain_Project
https://www.humanbrainproject.eu/
http://en.wikipedia.org/wiki/BRAIN
p
p
g
_Initiative
http://www.nsf.gov/news/news_summ.jsp?cntn_id=1
28960
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

19

28/10/2014

39

Exercice
Lire les documents fournis.
Consulter les sites Internet conseills.
En utilisant vos propres mots, rdigez un texte qui
rsume ce que signifie pour vous un RNA et son
utilit pratique.
Etudier limplmentation C++ de lalgorithme de
Rosenblatt,
bl prsente dans
d
larticle
l i l Wikipedia:
iki di
http://fr.wikipedia.org/wiki/Perceptron

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

40

Annexe

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

20

28/10/2014

Nouvelle dcouverte (2010)

41

http://www.rci.rutgers.edu/~shors/pdf/Scientific%20American%20Shors%20article%20on%2
0Saving%20New%20Brain%20Cells%202009.pdf

28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Visual-to-Auditory Sensory Substitution

42

http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0033136
28/10/2014

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

21