Intro Aux RNA - Master MSI - 25 Oct 2014

28/10/2014
Rseaux de neurones artificiels

Master MSI, 2014-2015
Prof. Abdelaziz Bouroumi
a.bouroumi@gmail.com
b
i@
il
28/10/2014
ANN Master MSI, 2014 A. Bouroumi
06. Introduction aux RNA
28/10/2014
28/10/2014
Rappel
Les RNA sont des modles heuristiques qui cherchent simuler
deux aptitudes fondamentales du cerveau humain:
Lapprentissage
L
ti
partir
ti dexemples,
d
l ett
La gnralisation des comptences apprises dautres
exemples non vus durant lapprentissage.
Ils sont en principe applicables tout problme sur lequel on
dispose dune base dexemples qui peut servir de donnes
ddentre
entre pour un algorithme ddapprentissage.
apprentissage.
Leur efficacit a t prouve dans de nombreuses applications du
monde rel.
28/10/2014
Domaines dapplication (cf. article de Jain, 1996)
28/10/2014
28/10/2014
Objectifs de llment RNA

1. Introduire le domaine des rseaux de neurones
artificiels (RNA, ANN) en tant que composante
importante du soft computing .
2. Etudier le perceptron multicouches (PMC, MLP),
lun des modles de RNA les plus simples et les plus
utiliss dans les applications relles.
3. Apprendre appliquer le PMC et son algorithme
dapprentissage pour rsoudre des problmes de
classification et de reconnaissance des formes.
28/10/2014
Modlisation de lapprentissage
Modliser lapprentissage cest essayer de dcrire
mathmatiquement ce qui se passe dans nos cerveaux quand
nous essayons dapprendre, par la pratique, la ralisation dune
nouvelle tche:
en se basant sur des exemples (exercices),
avec ou sans laide dun professeur (superviseur).
Q: Si le sige de llapprentissage
apprentissage est bien le cerveau, quelle
diffrence yaura-t-il alors entre le cerveau dune personne
avant et aprs apprentissage de chaque nouvelle tche?
28/10/2014
28/10/2014
Hypothses de base des RNA

Lors de lapprentissage effectif de chaque nouvelle tche, un ensemble
de neurones du cerveau seront ddis cette tche.
Ces neurones vont se connecter entre eux ddune
une certaine manire
(architecture) pour former un rseau.
Le rsultat de lapprentissage sera stock dans les connexions qui
relient les diffrents neurones de ce rseau.
Partant de valeurs initiales quelconques, les valeurs (poids) de ces
connexions seront ajustes (selon un algorithme bien dtermin) de
f
faon
itrative
it ti au fur
f ett mesure que des
d exemples
l serontt traits
t it
(TD).
A la fin du processus, les connexions se stabilisent et, si lapprentissage
est bien fait, le rseau sera capable de gnraliser les comptences
apprises des exemples non vus durant lapprentissage ( examen).
28/10/2014
tapes de conception dune solution neuronale

un problme quelconque
28/10/2014
28/10/2014
tape 1: Choix de larchitecture du rseau
Combien de neurones utiliser?

Comment les connecter ppour former le rseau?
Plusieurs architectures sont possibles, la plus utilise
est larchitecture en couches (PMC):
28/10/2014
Caractristiques de larchitecture PMC
10
Les neurones sont disposs en couches successives.

La premire couche sert recevoir (percevoir) les composantes
des vecteurs objets qui reprsentent les exemples traiter.
traiter
La dernire couche sert indiquer la classe dappartenance de
chaque objet prsent la couche dentre.
Linformation circule dans un seul sens: de lentre vers la
sortie.
Les neurones dune mme couche ne sont pas relis entre eux.
Chaque neurone de chaque couche ne communique quavec
ceux de ses couches adjacentes.
28/10/2014
28/10/2014
11
tape 2: Choix dun algorithme dapprentissage

Une fois larchitecture choisie, comment ajuster (rgler) les poids
de ses diffrentes connexions?
apprentissage existent, le plus utilis avec
Plusieurs algorithmes ddapprentissage
les PMC est lalgorithme de rtro propagation des gradients des
erreurs (Backpro).
Lalgorithme Backpro simule le phnomne dapprentissage par
lerreur et en prsence dun superviseur qui permet de les dtecter
et les corriger.
Cest un algorithme doptimisation qui vise la dtermination des
meilleurs poids de connexion possibles.
Rgle dapprentissage: fixe la manire dont les poids synaptiques
doivent tre ajusts aprs chaque erreur observe.
28/10/2014
12
Apprentissage, classification et RF (++)

Reconnaitre une forme cest laffecter une classe;
ce qui ncessite, en plus du vecteur de ses
q ,
caractristiques,
une connaissance sur les diffrentes classes possibles, plus
lutilisation dune rgle de de dcision.
Les connaissances sur les classes sacquirent par

apprentissage partir dexemples.
x
La rgle de dcision se base sur
les rsultats de lapprentissage.
Ex: quelle classe appartient
lobjet reconnaitre x? Pourquoi?
3,0
25
2,5
2,0
1,5
1,0
0,5
0,0
28/10/2014
28/10/2014
13
Exemple simple (donnes planes, 2 classes)

-1
x1
w1
b (biais ou seuil dactivation)
w1x1+w
w2x2
x2
w2
w1x1+w2x2=b
3,0
2,5
2,0
x1w1 + x2w2 = b est lquation dune droite qui

spare le plan (espace des donnes) en 2 zones:
Classe 1: x1w1 + x2w2 > b
Classe 2: x1w1 + x2w2 < b
w'1x1+w'2x2=b'
w1, w2 et b se rglent par apprentissage.
Comme en TD, le rsultat de lapprentissage diffre dune personne
lautre et selon les donnes (sries dexercices) et lalgorithme
dapprentissage (tudiant + prof + mthode+conditions de travail).
1,5
1,0
0,5
0,0
28/10/2014
14
tape 3: Choix de la base dapprentissage

Quels exemples utiliser comme donnes dentre
pour lalgorithme dapprentissage?
Ces exemples doivent tre bien reprsentatifs de
lensemble des classes possibles dans lespace des
donnes.
La taille de la base dapprentissage doit permettre la
convergence du processus (stabilisation des poids
synaptiques) en un temps raisonnable.
Une partie des donnes disponibles doit tre laisse
pour ltape finale (test de gnralisation ou examen).
28/10/2014
28/10/2014
15
tape 4: Test de gnralisation

Consiste vrifier si, aprs apprentissage, le rseau
est capable de gnraliser ce quil a appris des
exemples non vus durant la phase dapprentissage.
Simule le phnomne dexamen.
Ncessite le choix dune bonne base de test.
Ne doit pas rutiliser les exemples dj vus (pour
it de
viter
d simuler
i l lapprentissage
l
ti
par cur).
)
Sert valider le RNA ainsi obtenu (phnomne de
russite) ou le rejeter (phnomne dchec).
28/10/2014
16
F d
Fondements
t bi
biologiques
l i
des
d RNA
28/10/2014
28/10/2014
17
Neurone biologique
Neurone = cellule nerveuse dote de laptitude de traiter
linformation.
hoto: Blue Brain Project,

Project EPFL)
(Photos: Blue Brain Project, EPFL)
Il comporte un corps cellulaire (soma) plus deux types de
prolongements arborescents: les dendrites et laxone.
28/10/2014
Cerveau =
1011
neurones interconnects
18
Les neurones du cerveau

sorganisent en rseaux
hautement interconnects
et fonctionnant en parallle.
Cest pourquoi ils sont
capables de raliser, avec
des vitesses extraordinaires
extraordinaires,
des tches de perception qui restent hors de porte des
ordinateurs modernes les plus puissants.
28/10/2014
28/10/2014
19
Le corps cellulaire
Comporte un noyau et
p
un plasma.
Le noyau contient le gnome,
c--d linformation sur les
caractres hrditaires, code
chimiquement dans lADN.
Le plasma contient les molcules ncessaires
lactivit du neurone, production des enzymes et
autres substances.
28/10/2014
20
Les dendrites
Jouent le rle de rcepteurs.
Permettent au neurone de
recevoir
i les
l signaux
i
(impulsions, excitations)
mis par dautres neurones.
Leur nombre varie entre 1000
et 100000 par neurone.
Lorsque
L
lexcitation
l it ti issue
i
des
d dendrites
d d it dpasse
d
un
certain seuil, le neurone sactive et gnre un signal
(appel potentiel daction) quil transmet dautres
neurones par le biais de son axone.
28/10/2014
10
28/10/2014
21
Laxone
Cest un prolongement
centrifuge qui se termine par
des branches et des sous
branches lextrmit
desquelles se trouvent des
synapses (++)
La longueur ddun
un axone peut varier de 1mm 1m.
1m
La juxtaposition dun grand nombre daxones longs
forme ce quon appelle un nerf.
28/10/2014
22
Les synapses
synapses
Une synapse est un point de contact
entre deux neurones.
Elle assure la transmission de
substances chimiques dun
neurone un autre.
Ces substances sappellent des
neurotransmetteurs ou neuromdiateurs.
neuromdiateurs
neurotransmitteurs
Leur effet peut tre soit
excitateur soit inhibiteur.
(https://www.youtube.com/watch?v=nM_v114rjwo)
28/10/2014
11
28/10/2014
23
Potentiel daction
hrsbstaff.ednet.ns.ca/mcintyr/Notes%20potentiel%20d'action.ppt
28/10/2014
Potentiel daction
28/10/2014
24
12
28/10/2014
Caractristiques du potentiel daction
25
Se dclenche par une

dpolarisation, qui doit
dpasser une valeur seuil.
seuil
Cest un phnomne tout ou
rien.
Il se propage sans attnuation.
Durant le potentiel daction le
ppotentiel membranaire
sinverse ("overshoot").
Il est suivi par une priode
rfractaire, durant laquelle le
neurone est inexcitable.
28/10/2014
Les poids synaptiques
26
Les connexions entre les diffrents neurones dun rseau sont

pondres.
La valeur du poids de chaque connexion se rgle de faon
itrative durant la phase dapprentissage.
Ce rglage se fait conformment une rgle dapprentissage.
Lentranement est lapplication dun algorithme
dapprentissage des donnes exemples. Il peut tre
supervis ou non.
Lapprentissage supervis ncessite la prsence dun
professeur qui connat davance la sortie associe chaque
entre.
28/10/2014
13
28/10/2014
27
Modlisation: Le neurone formel (++)
28/10/2014
28
Modle de McCulloch et Pitts (1943)

Biais
x1
Vecteur
Objet
w1
x2
M
xp
w2
Fonction de
sommation
wm
Poids
synaptiques
28/10/2014
Activation
interne
Sortie
()
Fonction
dactivation
Ce modle a t propos en 1943 pour

simuler le fonctionnement du neurone
biologique.
14
28/10/2014
29
Article de McCulloch et Pitts, 1943
28/10/2014
30
1r RNA: Perceptron simple

Structur en deux couches: une couche dentre et
une couche de sortie.
La couche dentre sert recevoir
les signaux qui caractrisent la
forme percevoir (reconnaitre);
La couche de sortie sert indiquer
l classe
la
l
dappartenance
d
t
de
d la
l
forme reue en entre
Couche dE
(reconnaissance).
Couche de S
28/10/2014
15
28/10/2014
31
Entres du perceptron
Vecteur objet x=(x1, x2, ,xp) p
x reprsente
p
une forme ((ou ppattern)) reconnatre
Rappel: on appelle forme toute entit qui peut tre

tiquete (ou libelle), c--d quon peut affecter une
classe.
xi mesure la ime caractristique de la forme
reconnatre
p est lespace de reprsentation des donnes.
28/10/2014
32
Niveau dactivation
Le travail de chaque neurone consiste calculer la somme

pondre de ses entres, c--d le produit scalaire des deux
vecteurs
t
x ett w:
v ( x ) = w. x = w1 x1 + w2 x2 + ... + wn xn
o w=(w1,w2,,wn) est le vecteur des poids synaptiques,

Chaque composante wi sert simuler la connexion entre le
neurone et sa ime entre,
v(x) reprsente le niveau dactivation interne. Sil dpasse un
certain seuil (appel biais), le neurone sactive et envoie le
signal 1 sur son axone.
28/10/2014
16
28/10/2014
33
Fonction dactivation (++)
Sert indiquer si le niveau dactivation interne du

neurone lui permet dexciter dautre neurone (sortie =
1) ou non ((sortie
ti = 0).
0)
1 si v ( x )
y ( x ) = ( v ( x )) =
0 sinon
Mathmatiquement, le neurone formel ralise une

application de p vers {0
{0,1}.
1}
Cest pourquoi ce modle est connu sous le nom
unit logique seuil ou TLU (Threshold Logic
Unit).
28/10/2014
34
Rgles dapprentissage
Concernent la faon dont les poids des connexions doivent
tre modifis durant le processus dapprentissage partir des
donnes.
Premire rgle: propose par Hebb (Neuropsychologue) en
1949.
Principe: "The general idea is an old one, that any two cells
or systems of cells that are repeatedly active at the same time

will tend to become 'associated', so that activity in one
facilitates activity in the other."
Premire rgle dapprentissage supervis: propose en 1958
par Rosenblat (Psychologue).
Principale application: reconnaissance des formes.
28/10/2014
17
28/10/2014
35
Article de Rosenblatt (1958, ++)
28/10/2014
Questions souleves par Rosenblatt (++)
28/10/2014
36
18
28/10/2014
37
Algorithme de Rosenblatt (1958)

1.Choisir
0<<1,
,
tmax,
,
//
// taux dapprentissage
// erreur tolrable
1
// nb maximum ditrations
d itrations
seuil dactivation
w (t) = w (t 1) +(d y)x
i
2. Initialiser
wi(0) pour 1in, // poids synaptiques
t=0; // indice des itrations
3. Rpter{ t++;
- Prsenter un vecteur objet au neurone,
- Evaluer la sortie y,
- Evaluer lerreur (d-y) o d est la sortie
dsire puis ajuster les poids synaptiques
selon la rgle dapprentissage (1).
}Tant que [(w>) et (t<tmax)];
28/10/2014
38
Liens utiles
http://fr.wikipedia.org/wiki/R%C3%A9seau_de_neur
ones_artificiels
http://fr.wikipedia.org/wiki/Perceptron
http://en.wikipedia.org/wiki/Human_Brain_Project
https://www.humanbrainproject.eu/
http://en.wikipedia.org/wiki/BRAIN
p
p
g
_Initiative
http://www.nsf.gov/news/news_summ.jsp?cntn_id=1
28960
28/10/2014
19
28/10/2014
39
Exercice
Lire les documents fournis.
Consulter les sites Internet conseills.
En utilisant vos propres mots, rdigez un texte qui
rsume ce que signifie pour vous un RNA et son
utilit pratique.
Etudier limplmentation C++ de lalgorithme de
Rosenblatt,
bl prsente dans
d
larticle
l i l Wikipedia:
iki di
http://fr.wikipedia.org/wiki/Perceptron
28/10/2014
40
Annexe
28/10/2014
20
28/10/2014
Nouvelle dcouverte (2010)
41
http://www.rci.rutgers.edu/~shors/pdf/Scientific%20American%20Shors%20article%20on%2
0Saving%20New%20Brain%20Cells%202009.pdf
28/10/2014
Visual-to-Auditory Sensory Substitution
42
http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0033136
28/10/2014
21

Intro Aux RNA - Master MSI - 25 Oct 2014

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Intro Aux RNA - Master MSI - 25 Oct 2014

Загружено:

Авторское право:

Доступные форматы

28/10/2014

Rseaux de neurones artificiels

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

03. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Domaines dapplication (cf. article de Jain, 1996)

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Objectifs de llment RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Hypothses de base des RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tapes de conception dune solution neuronale

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tape 1: Choix de larchitecture du rseau

Combien de neurones utiliser?

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Caractristiques de larchitecture PMC

Les neurones sont disposs en couches successives.

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tape 2: Choix dun algorithme dapprentissage

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Apprentissage, classification et RF (++)

Les connaissances sur les classes sacquirent par

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Exemple simple (donnes planes, 2 classes)

b (biais ou seuil dactivation)

x1w1 + x2w2 = b est lquation dune droite qui

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tape 3: Choix de la base dapprentissage

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

tape 4: Test de gnralisation

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

hoto: Blue Brain Project,

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

Les neurones du cerveau

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA

ANN Master MSI, 2014 A. Bouroumi

06. Introduction aux RNA