pp.
331-341
Connexionnisme, calcul, reconnaissance des formes
et intelligence artificielle
Daniel Y. M. COLLOBERT *
Alain D. M A R U A N I **
R~sum~
Cet article est une introduction au domaine des
r~seaux de neurones ainsi qu'gt certains processus
d'apprentissage. L'intelligence artificielle n'y inter-
viendra qu'au travers de la reconnaissance des formes.
Les rkseaux de neurones suscitent un intOr~t croissant
car il semble qu'ils soient capables de traiter des pro-
blbmes pour lesquels une description symbolique n'existe
pas ou pour lesquels les temps de calcul sont rOdhibi-
toirement longs. C'est en reconnaissance des formes,
particulibrement dans les applications de reconnaissance
de la parole, que leurs applications sont les plus per-
formantes ou les plus prometteuses.
Mots ei6s : R6seau neural, Reconnaissance forme, Intelligence
artificielle, Apprentissage automatique, Traitement parall61e,
Neurone.
CONNECTIONISM, COMPUTING,
PATTERN R E C O G N I T I O N
AND ARTIFICIAL I N T E L L I G E N C E
Abstract
This paper provides an introduction to the field of
neural nets and associated learning procedures. Artificial
intelligence and pattern recognition are taken in it as
synonyms. Massively parallel, neural-like, networks are
receiving increasing attention as a mechanism for
expressing information processing models. The attempt
to achieve human-like performances in the field of
speech and image recognition justify this broadening
of interest. Neural networks process information in
new ways. The use of their properties appears to have
promise for the development of solutions to problems
that have intractable or unknown algorithms or are
too computationally intense.
Key words : Neuronal network, Pattern recognition, Artificial
intelligence, Automatic learning, Parallel processing, Neuron.
* CNET-LAB-ROC,route de Tr6gastel, BP 40, F-22301 Lannion Cedex.
** ENST, 46, rue Barrault, 75634 Paris Cedex 13.
1/11
331
Sommaire
I. Introduction.
II. Neurone biologique et neurone formeL
III. Apprentissage.
IV. Perceptrons et adalines.
V. Le modble de Hopfield et ses extensions.
VI. Perceptrons ?l plusieurs couches.
VII. R~alisations en cours.
VIII. Conclusion.
Bibliographie (28 r~f.).
I. INTRODUCTION
Fantasme persistant enfoui dans le code g6n6tique
ou n6cessit6 d6coulant trivialement des progr6s des
techniques ou des technologies, l'ambition de cr6er
des objets et des images 5- sa ressemblance insuffle
5- l'6tre humain une volont6 dont l'origine v a s e
perdre dans la nuit des temps. Depuis l'envol d'Icare
au sortir du labyrinthe, bien des espoirs ont fondu
comme cire au soleil : l'intelligence du vol de l'alouette
6chappant jusqu'ici au plus sagace des a6rodynami-
ciens, l'avion 5- r6action n'a gard6 de l'ornithologie
qu'une silhouette et quelques roots.
Le projet d'intelligence artificielle (IA), pass6e la
p6riode initiale d'exaltation, se trouve confronts
actuellement 5- une large classe de probl6mes, en pattie
peut-~tre parce qu'une hypoth6se sous-jacente 5-
beaucoup de travaux est que l'on a affaire tout du
long 5. des probl6mes algorithmiques, c'est-5--dire dont
la proc6dure de r6solution peut 8tre d6crite en un
nombre fini d'6tapes. En fait, la plupart des questions
que r6sout le psychisme se prSte real 5- l'algorithmisa-
tion, il s'agit de probl6mes complexes, r6fractaires
5- la partition ch6re h la M6thode. Tel est le cas par
exemple de l'observation d'une image : il semble
impossible d'6noncer une m6thode g6n6rale (valable
pour toutes les images) d'inspection, indiquant
notamment le point de d6part et la maniSre dont
sont ensuite vus les diff6rents 616ments, cela sans
ANN. T]ELI~COMMUN.,44, n o 5-6, 1989
332 D.Y.M. COLLOBERT. - CONNEXIONNISME, RECONNAISSANCEDES FORMES
mentionner le travail implicite d'extraction de pri-
mitives ou de contours, ni leur mise en relation avec
des traits de r6f6rence d6j5. m6moris6s.
La solution semble bien ~tre suspendue ~t la mise
en oeuvre d'un renouveau conceptuel. Le connexion-
nisme en est peut-~tre une 6tape.
Selon Feldman [1], le connexionnisme est l'6tude
de certaines classes d'architectures massivement
parall~les, comportant un grand nombre de proces-
seurs 616mentaires fortement interconnect6s. Dans
ces architectures, la connaissanee est stock6e dans les
connexions par l'interm6diaire de leur poids, leur
efficacit6, et non pas dans des cellules de m6moire ;
de l~t le terme de connexionnisme.
Mais ce mot englobe plusieurs courants de recherche
pr6sentant entre eux des diff6rences tant du point
de vue technique que du point de vue th6orique.
Chaque courant a donn6 lieu b. l'apparition d'une
nouvelle appellation ; le << neuromim6tisme >> et les
<< r6seaux neuroniques >> en sont deux exemples.
Le d6nominateur commun ~ toutes ces 6tudes,
quel que soit leur nom, est une dense interconnexion
d'616ments de calcul simples : les <<neurones formels >~.
Ce n'est que r6cemment, grfice en particulier ~t
l'apparition conjointe de supercalculateurs, de
m&hodes de calcul et d'algorithmes nouveaux que
le connexionnisme s'est d6velopp6 de fagon explosive.
Ces mod61es ont 6t6 appliqu6s avec succ~s ~. diverses
tfiches cognitives comme la reconnaissance de carac-
t6res, la reconnaissance de la parole ou encore le
contr61eur moteur. Ces fftches requi6rent la satisfac-
tion d'un grand nombre de contraintes qui peuvent
&re de types diff6rents, dont chacune peut elle-m~me
&re imparfaitement sp6cifi6e, mais qui toutes peuvent
virtuellement jouer un r61e d6terminant dans l'issue
du traitement.
Le connexionnisme est issu de travaux qui datent
des ann6es 1950 et s'inspire des m6thodes d'appren-
tissage statistiques dont le fleuron le plus c616bre fut
le perceptron de Rosenblatt. C616bre, le perceptron
le fut surtout, tel Icare, pour son 6chec. Et l'apparition
des m6thodes bas6es sur la logique a conduit ~t l'6poque
au quasi-abandon des m&hodes statistiques en intel-
ligence artificielle.
A notre avis, n6anmoins, oublier les m6thodes
statistiques c'est comme oublier que D6dale, lui,
s'6chappa sans dommage du labyrinthe.
I1 existe actuellement deux dispositifs qui permettent
de r6soudre des fftches cognitives : le cerveau et les
machines. I1 semble surprenant que les 6tudes qui
visent h reproduire les processus mentaux ne soient
basges que sur le calculateur num6rique programm6
pour << mimer >} l'intelligence, qu'on appellera artifi-
cielle, alors que c'est le cerveau biologique qui produit
la vari6t6 naturelle. II y a cependant plusieurs raisons
5. cela. L'une est que l'on a beaucoup plus de con-
naissances sur le fonctionnement d'un calculateur
que sur celui d'un cerveau, une autre est que l'assertion
philosophique fonctionnaliste qui pr6tend que les
fonctions mentales peuvent &re 6tudi~es de fa~;on
ANN. T~L~COMMUN.,44, n ~ 5-6, 1989
ind6pendante de leur support mat6riel est un dogme
tenace.
L'approche connexionniste est oppos6e et plut6t
structuraliste ; elle prend le contre-pied de cette fagon
de voir et sugg6re des repr6sentations des connaissances
tr6s diff6rentes de celles utilis6es classiquement en
informatique. Le paradigme principal y est que le
traitement de l'information se fair grace b, l'interaction
d'un grand nombre d'616ments simples, appel6s
cellules ou encore neurones ou encore plus prudem-
ment neurones formels, chacune de ces cellules envo-
yant des signaux excitateurs ou inhibiteurs ~ d'autres
cellules du r6seau.
La g6n6ration des concepts s'y fait ~t partir des
exemples ; il y a extraction des r~gularit6s statistiques
pr6sentes dans les entr6es, sans formulation de r6gles
explicites. C'est l'acquisition des forces de liaisons
entre neurones qui permet au r6seau connexionniste
de fonctionner comme s'il connaissait les r6gles. Le
savoir 6tant ainsi stock6 dans toutes les liaisons entre
les unit6s, il est r6parti. Les cellules n'ont g6n6ralement
aucune signification en tant qu'616ment individuel
mais quelquefois elles peuvent correspondre h des
primitives conceptuelles.
En plus de la connaissance, le calcul est lui aussi
r6parti. Chaque unit6 individuelle effectue des calculs
locaux et peut, par exemple, tester des hypoth6ses
concernant des objets comme des lettres dans un mot
particulier, ou la fonction syntaxique des mots dans
une phrase donn6e. Dans ce cas, l'activation d'une
cellule reprdsente, en gros, la force que l'on prate
~t chacune des hypotheses possibles, et le poids de la
connexion entre deux cellules repr6sente la contrainte
qui existe entre les hypoth6ses possibles.
Et plut6t que de suivre un programme d'instructions
s6quentiellement, le r6seau connexionniste, par nature,
explore beaucoup d'hypoth6ses simultan6ment.
II n'est pas possible dans un article comme celui-ci
de citer toutes les voies de recherche. Aussi nous n'y
d6velopperons que quelques id6es ou concepts clds
qui nous semblent importants et nous n'y expliciterons
qu'un nombre limit6 de travaux.
II. NEURONE BIOLOGIQUE
ET N E U R O N E F O R M E L
Dans ce paragraphe nous allons exposer quelques
notions concernant les neurones et le cerveau. Si
dans les mod61es connexionnistes nous utilisons des
termes issus de la biologie, qu'il soit bien clair qu'il
ne s'agit que d'une commodit6 de langage et que la
ressemblance avec tout objet vivant peut n'~tre
qu'extr~mement lointaine.
II.1. Le neurone biologique.
I1 s'agit d'une cellule vivante capable de recevoir
et de transmettre des signaux de nature 61ectro-
2/11
D. Y. M. COLLOBERT. - CONNEXIONN1SME, RECONNAISSANCEDES FORMES
chimique. Son fonctionnement est extr~mement com-
plexe, et b, l'heure actuelle, il n'est pas compl6tement
6lucid6. Le neurone se compose d ' u n corps, le soma,
c o m p o r t a n t un grand h o m b r e d'appendices fins et
courts, les dendrites, ainsi que d ' u n long prolonge-
ment, l'axone, qui r6alise des connexions sur le soma
ou les dendrites d'autres neurones. La transmission
des signaux se fait par l'interm6diaire de boutons
synaptiques dont Faction r6sultante sur le neurone
aval est soit excitatrice, soit inhibitrice ; quelquefois
m~me un neurone peut simultan6ment exciter et
inhiber un autre neurone (par l'interm6diaire de
synapses diff6rentes).
C h a q u e neurone 6tablit en m o y e n n e 10 000 con-
nexions avec d'autres neurones [2].
11.2. Le cerveau biologique.
C'est un agr6gat de neurones, qui ressemble it un
mat6riau a m o r p h e en ce qu'il est fortement structur6
courte distance et d6sordonn6 h longue distance.
De plus on sait qu'il existe des zones tr6s sp6cialis6es :
la r6tine, la cochl6e ou le cervelet en sont trois exemples.
U n cerveau humain comporte environ 10 ~2 neurones
[3].
11.3. Approximation connexionniste : le neurone
formel.
U n r6seau connexionniste n'est q u ' u n e m6taphore
grossi6re du cerveau et de ses constituants : les
neurones n ' y ont au plus q u ' u n e centaine de synapses
et les plus gros r6seaux ne comportent que 105 neu-
rones.
I1 est maintenant d'usage d'appeler le neurone
connexionniste <~neurone formel >>selon la d6nomina-
tion que lui donn6rent ses inventeurs McCulloch et
Pitts en 1943 [4]. Dans toute la suite du texte, on
emploiera le m o t <~ neurone >~ dans le sens de neurone
formel. On en trouvera une repr6sentation sur la
figure 1. Les signaux se propagent des entr6es vers
les sorties. Le neurone effectue une op6ration sur
ses entrdes E~ qui peuvent ~tre logiques ou ana-
logiques. Chacune de ces entr6es est pond6r6e par
un coefficient W~, le poids ou efficacit6 synaptique.
L'activit6 (g6n6ralement la somme pond6r6e des
entr6es) est ensuite propag6e vers la sortie apr~s
avoir subi une transformation non lin6aire F. Cette
non-lin6arit6 est n6cessaire car on salt q u ' u n e succes-
sion d'op6rations lin6aires est une op6ration lin6aire,
et une telle op6ration n'offre g6n6ralement que peu
d'int6r~t du strict point de vue calculatoire. Cette
transformation est repr6sentde sur la figure 1. Elle
peut 6tre une fonction d'Heaviside (Fn) ou fonction
seuil, une fonction lin6aire par partie (F~) ou encore
une fonction sigmoide (F~) contin0ment d6rivable
et non d6croissante. Dans le premier cas, on parlera
3/11
333
e1
'2 o,~
O~W2
ENTRF'ES S
~- ~ SORTIE
~\x d wn
",,en
Fh= - - I -
F: FI. = f S=F(Zwie i)
Fs=~
FIG. 1. - - Le neurone formel de McCulloch et Pitts.
Le neurone formel op6re en deux 6tapes : il effectue tout
d'abord une sommation pond6r6e de ses entr6es ei, puis une
op6ration non lin6aire F sur le r6sultat. Fh est la fonction de
Heaviside, F1 une fonction lin6aire par parties, Fs une fonction
sigmoide. Pour Fh, par exemple, si la somme pond6r6e est
sup6rieure ~ un certain seuil (souvent 0), alors la sortie S prend
la valeur 1 ; sinon elle vaut - - I.
The formal neuron of McCulloch and Pitts.
The <<formal neuron >>works in two steps, first it makes the
weighted sum of its inputs, then a non-linear function of the
result. Fh is Heaviside, F1 piecewise-linear, Fs a ~<squashed>)
function.
de neurone binaire, dans les deux derniers on parlera
de neurone analogique.
Enfin l'activit6 de chaque neurone, 6ventuellement
le poids de chaque connexion synaptique, 6volue
selon un ensemble de r6gles appel6 dynamique du
systbme.
Plus pr6cis6ment, les neurones de McCulloch et
Pitts sont des op6rateurs qui traitent des signaux
binaires 0 et 1. Chaque neurone poss6de un 6tat lui
aussi binaire q u ' o n peut appeler inactif ou actif,
0 ou 1 et ainsi de suite. Von N e u m a n n en 1956 [5]
puis W i n o g r a d et C o w a n en 1963 [6] montr6rent
qu'il 6tait possible de construire avec de tels neurones
des r6seaux redondants dans lesquels l'information
est distribu6e : un bit d ' i n f o r m a t i o n est repr6sent6
de fagon redondante par plusieurs neurones et chaque
neurone repr6sente partiellement plusieurs bits.
Une information n'est done pas localis6e dans une
entit6 identifiable mais dans l'6tat du r6seau (en
termes de variables incluant les 6tats de chaque cellule
ainsi que leur 6volution temporelle).
Le fait que dans les r6seaux l'information soit
r6partie dans les connexions entre les neurones de
McCulloch et Pitts a sans doute 6t6 p o u r quelque chose
dans l ' a b a n d o n de l'id6e selon laquelle il existe des
neurones sp6cialis6s dans le cerveau biologique, par
exemple un neurone dit go61and qui ne serait
activ6 que lorsque le motif << go61and >> serait pergu
sur les entr6es.
En fait, un tel concept n'est pas repr6sent6 par un
neurone isol6 mais par un 6tat d'activation du r6seau
et cet 6tat fait intervenir un grand n o m b r e de neurones
(Fig. 2). La robustesse des mod61es connexionnistes
ANN. TI~L1~COMMUN., 44, n ~ 5-6, 1981
334
9',,.-- ENTREE
A= _1 _1
.0,25 ~ >
_0,25 0,25 0,25 _0,2.5 ~ _1
0,25 _0,25 _0,25 D,25 ~ 1
O,25 ,_o,2s _0,25 :),25 ~ ~
j
FIG. 2. - - Un r6seau de quatre neurones
fonctionnant en associateur de configurations.
Soient l'entr6e A = (1, - - 1, - - 1, 1) et la sortie d6sir6e
A' = (-- 1, - - 1, 1, 1). Pour que le r6seau fournisse A' en r6ponse
h A, il suffit que les valeurs des connexions soient celles indiqu6es
ici (chaque poids est proportionnel au produit de la sortie
par l'entr6e correspondante). La fonction non lin6aire utilis6e
est Fh avec un seuil nul.
On remarquera que si l'entr6e est bruit6e ((1, - - 1, 0, 1)
ou m~me (1, - - 1, 1, 1)), la sortie obtenue est n6anmoins celle
d6sir6e. Le lecteur est invit6 h trouver les poids qui correspondent
h l'association des vecteurs orthogonaux aux premiers (par
exemple B = (1, - - 1, 1, - - 1)--+ B' = (-- 1, 1, 1, - - 1)), h
additionner les poids trouv6s h ceux de la figure puis h pr6senter
les motifs A e t B.
I1 constatera que le nouveau r6seau sait alors distinguer les
vecteurs A et B et produire les sorties d6sir6es pour chacun
des cas.
F[o. 2. - - A neural net which associate two configurations.
The net associates A' to A i f the weights are those o f the figure.
The non-linear function ts Fh with a nul threshold.
l f the input is noisy (1, - - 1, O, 1) or even (1, - - 1, 1, 1) the
output remains the good one.
The reader is requested to find the weights needed to associate
the following vectors, orthogonal to the previous one : B(1, - - 1,
1, - - 1) -+ B" ( - - 1, 1, 1, - - 1), to sum the corresponding weights,
and to present as input, the two patterns A and B.
aux d6fauts de r6alisation r6sulte de cette dispersion.
Le b6n6fice attendu des r6seaux de neurones va d o n c
au-del~t du parall61isme, il s'6tend 5. la fiabilit6 op6-
ratoire.
Pour comprendre cette insensibilit6 aux d6fauts,
nous p o u v o n s utiliser l'image de l ' h o l o g r a m m e , qui
est assez exacte h ce niveau. Dans un hologramme,
chaque point r6sulte de l'interaction entre tous les
points source. Si une partie de l ' h o l o g r a m m e est
d6truite, l'image initiale est simplement d6grad6e mais
pas perdue.
En revanche, si on r6alise 61ectroniquement des
r6seaux de neurones, il reste h prouver que le type
de panne p o u v a n t affecter un neurone est bien compa-
tible avec le fonctionnement du r6seau. Lorsque des
charges 61ectriques sont manipul6es, les cons6quences
d ' u n circuit ouvert ne sont absolument pas les m~mes
que celles d ' u n court-circuit. II y a des pannes fatales,
d'autres qui ne le sont pas.
Quoi qu'il en soit, p o u r sp6cifier un r6seau de
neurones, il faut pr6ciser les caract6ristiques o p & a -
tionnelles des cellules, la topologie et 6ventuellement
la proc6dure d'apprentissage. En effet, tant que le
ANN. TI~Lt~COMMUN.,44, rt~ 5-6, 1989
D. Y. M. COLLOBERT. -- CONNEXIONNISME, RECONNAISSANCEDES FORMES
probl6me que l ' o n d6sire traiter est simple, les poids
A' des connexions peuvent ~tre fix6s << h la main >>, mais
I p o u r la plupart des probl~mes cela est impossible.
_1 I1 s'ensuit donc que le r6seau doit poss6der un m6ca-
nisme interne de structuration, une r~gle d'apprentis-
sage, en l'absence de laquelle celui-ci ne pr6sente
aucune utilit6 pratique.
SORTIE
III. APPRENTISSAGE
1
Toute proc6dure d'apprentissage dans les r6seaux
neuroniques est bas6e sur un algorithme math6-
matique qui ajuste les poids de fa9on h ce que les
sorties soient appropri6es aux entr6es, selon un certain
crit6re.
La plus ancienne proc6dure semble &re celle propos6e
par Hebb en 1949 [7]. Elle stipule que <<le p o i d s de la
c o n n e x i o n q u i relie d e u x cellules d o i t varier selon q u e l q u e
f o n c t i o n de la c o r r d l a t i o n e x i s t a n t e n t r e les a c t i v i t d s
de ces d e u x cellules >>. Les math6maticiens traduisirent
et formalis6rent cette phrase en p r o p o s a n t que lorsque
deux neurones sont activ6s de faqon synchrone, alors
les connexions les reliant se renforcent ; lorsque l'acti-
vit6 n'est pas synchrone, alors la force de la connexion
diminue (Fig. 3).
Si
FIG. 3. - - R6gle de Hebb.
Le poids reliant deux neurones i et j peut varier en fonction
du temps suivant la loi de Hebb :
W~j(t + 1) = W~j(t) + ~ Si(t)Sj(t).
FIG. 3. - - The Hebb rule for the weights.
La proposition de H e b b est tr6s importante, beau-
coup de paradigmes modernes d'apprentissage en
sont issus. T o u s l e s poids de la figure 2 peuvent ~tre
obtenus ~t partir de vecteurs d'entr6e et de sortie
quelconques en appliquant la r6gle de Hebb. Mais
la r6gle est beaucoup plus puissante encore. En effet,
apr~s avoir stocks une premiere association A ~ A',
il est possible d ' e n stocker une seconde B ---> B'.
I1 suffit p o u r cela d ' a j o u t e r les poids correspondant
aux deux associations A e t B p o u r obtenir une m6moire
associative telle que la pr6sentation de l ' u n ou l'autre
des motifs d'entr6e A ou B induise la production
correcte de la sortie correspondante (cf. l'exemple
de la figure 2).
R e m a r q u o n s que si nous bruitons al6atoirement
et de fa~on ind6pendante les entr6es et les sorties au
cours de l'apprentissage, la proc6dure de H e b b per-
mettra d'associer la tendance centrale des configura-
tions d'entr6e et de sortie, et d ' i g n o r e r le bruit (le
lecteur est invit6 b. faire les exercices propos6s ~t la
figure 2).
Ce simple r6seau poss6de done des capacit6s de
g6n6ralisation : des configurations d'entr6e similaires
4/11
D. Y. M. COLLOBERT. - CONNEXIONNISME, RECONNAISSANCE DES FORMES
tendent 5. produire des configurations de sortie simi-
laires. Cette g6n6ralisation est spontan6e.
C'est cette propri6t6 qui conf6re au r6seau la
possibilit6 d'acqu6rir des comportements dont nous
consid6rons habituellement qu'ils rel6vent de l'utili-
sation de r6gles.
II existe cependant un certain nombre de limitations
la rOgle de Hebb. La premi6re est que cette r6gle
ne permet d'apprendre les poids des connexions que
si les motifs A et B n ' o n t aucune corr61ation entre
e u x ; en d'autres termes, ils doivent ~tre orthogo-
naux (produit scalaire nul).
Une deuxi6me limitation apparait si l'on remarque
que les grandeurs pr6sentes 5. l'entr6e du r6seau sont
en fait d6js. issues du codage ou de la repr6sentation
des concepts que l'on veut traiter. En parole par
exemple, le mot <~ pi >> pourrait ~tre cod6 A = (1, 0,
0, 1.... ) off le premier bit, (< 1 >>, correspondrait par
exemple 5. la pr6sence de la qualit6 plosive dans le
signal de parole, le deuxi6me bit, << 0 >>, 5. l'absence
de la qualit6 fricative etc.
Le codage pr6suppose donc en g6n6ral un certain
nombre de connaissances. I1 apparait n6anmoins
souhaitable, dans certains cas, que l'on puisse entrer
des donn6es brutes dans le mod61e et que celui-ci
61abore lui-m~me les repr6sentations pertinentes. Or,
la proc6dure de Hebb ne le permet pas.
Tr6s r6cemment, des paradigmes diff6rents sont
apparus, nous y reviendrons au chapitre V.
IV. PERCEPTRONS
ET A D A L I N E S
IV.1. Perceptrons.
En 1958, 15 ans apr6s la publication de McCulloch
et Pitts, Rosenblatt introduit le perceptron [8], une
machine (un algorithme) capable de r6soudre certains
probl6mes de reconnaissance des formes. Un per-
ceptron (Fig. 4) se compose : i) d'une r6tine, tableau
d'entr6es binaires pouvant ~ventuellement ~tre
arrang6 sous une forme bidimensionnelle, ii) d ' u n
~ i DELACELLUL~DESORTLEj
STM
I ULUS ' ~ - x J
D~ Eh
FIG. 4. - - Le perceptron de Rosenblatt (perceptron ~tune couche).
Sont figur6s ici : la r6tine, les pr6dicats (fix6s a priori), chacun
op6rant sur un sous-ensemble des points de la r6tine, un neurone
reli6 ~t chaque pr6dicat par une connexion variable soumise
5. apprentissage. D'apr~s Minsky et Papert [16].
The perceptron of Rosenblatt (one layer perceptron).
From left to right : the retina, the fixed predicates, and the
true neuron with trainable weights. Adapted from Minsky and
Papers [16].
5/11
335
ensemble de pr6dicats consistant chacun en une
cellule 5. seuil qui calcule une certaine fonction logique
fix6e a priori sur un sous-ensemble de cellules de la
r6tine, ifi) d'une ou de plusieurs cellules de sortie,
chacune poss6dant des connexions avec les pr6dicats,
seules ces connexions sont variables. Les cellules de
sortie sont des neurones de McCulloch et Pitts. I1
n ' y a donc qu'une touche de poids variables sur
laquelle va porter la proc6dure d'apprentissage. Nous
appellerons ces perceptrons : << perceptrons 5. une
couche >>.
Rosenblatt prouva en 1960 [9] la convergence
de la proc6dure suivante qui est une am61ioration
notable de la r6gle de Hebb en ce sens qu'elle permet
un calcul it6ratif des poids tout en levant certaines
restrictions sur le choix des vecteurs d'entr6e :
* Envoyer un stimulus d'entr6e, les E h et noter
les 6tats des cellules de sortie S i . Certaines
cellules sont 5. l'6tat d6sir6 D j , d'autres non.
* Ne rien faire sur les cellules dont la r6ponse
est correcte, mais ajuster les poids des conne-
xions en :
- - augmentant les poids de toutes les entr6es
actives d'une cellule qui r6pond 0 alors
qu'elle devrait r6pondre 1,
--diminuant les poids de toutes les entr6es
actives d'une cellule qui r6pond 1 alors
qu'elle devrait r6pondre 0.
* Pr6senter un nouveau motif.
L'algorithme peut s'6crire :
wu(t + l) = wu(t ) ~- ~(j) [Dj(t) - - Sj(t)] E h,
off ~(j) est ajust6 de faqon 5. converger suffisamment
vite tout en assurant la stabilit6 de la convergence
(cf. par exemple [10]).
Le th6or6me de convergence du perceptron assure
que si une solution existe, c'est-5.-dire si les vecteurs
de la base d'exemples repr6sentent des 6tats lin6aire-
ment s6parables (au sens de la classification), alors
les poids atteignent au bout d'un temps fini une
configuration telle qu'5. toute entr6e on fait corres-
pondre la sortie correcte. Si les exemples de la base
ne sont pas lin6airement s6parables, alors il y a oscilla-
tion entre plusieurs 6tats.
IV.2. Adalines.
Widrow et Hoff publi6rent peu apr6s Rosenblatt,
en 1960 [11], une variante du perceptron suffisamment
c616bre pour la citer ici. I1 s'agit de l'adaline (pour
adaptative linear neuron). La proc6dure associ6e
est presque celle du perceptron si ce n'est que, m~me
si la r6ponse d'une cellule est correcte, les poids sont
modifi6s.
I1 s'agit d'une proc6dure qui minimise l'erreur en
sortie. C'est une g6n6ralisation performante de la
r6gle du perceptron qui a 6t6 utilis6e par de nombreux
ANN. TF.Lr~COMMUN.,44, n ~ 5-6, 1989
336 D. Y. M. COLLOBERT. -- CONNEXIONNISME, RECONNAISSANCE DES FORMES

auteurs : Kohonen [12], Amari [13], Sutton et Barto
[14]. Elle op6re mSme si les vecteurs d'entr6e ne sont
pas orthogonaux rnais seulement lin6airement ind6-
pendants (au sens de l'alg6bre). Dans ce cas, ~t la fin
de l'apprentissage, les motifs de sorties restitu6s
par le r6seau sont exactement ceux d6sir6s.
Dans le cas oh les motifs d'entr6e ne sont m~me
pas lin6airement ind6pendants, la proc6dure de
Widrow et H o f f permet de trouver une solution
optimale au sens des moindres carr6s (cf. par exemple
[15]).
IV.3. Applications, performances et limitations des
perceptrons /tune couche et des adalines.
I1 y a trois domaines diff6rents oh les perceptrons
sont utilis6s avec succ6s :
- - Le premier domaine concerne la classification
des motifs d'entr6e en classes distinctes mSme quand
ces motifs sont bruit6s ou perturb6s par un ph6nom6ne
quelconque.
--Le second domaine est celui des m6moires
associatives ou m6moires adressables par le contenu.
Ce type de m6moire est utilis6 lorsque le motif d'entr6e
est incomplet et que l'on d6sire obtenir le motif
complet. Un exemple est la recherche d'une r6f6rence
compl6te d ' u n article pour lequel on ne dispose que
d'informations partielles.
- - Le dernier domaine est celui de la quantification
vectorielle, technique utilis6e pour transmettre ~ d6bit
r6duit des images ou de la parole.
Mais les perceptrons ne font que de la classification
lin6aire, c'est-h-dire qu'ils ne peuvent partitionner
l'espace des entr6es qu'en deux r6gions de d6cision
s6par6es par un hyperplan (cf. Fig. 5), ce qui est tr6s
limitatif. L'exemple le plus c616bre est l'impossibilit6
pour un perceptron h une couche de r6aliser la fonction
<< o u exclusif>> (XOR). Cette impossibilit6 est r6dhibi-
toire car on sait que toute expression logique peut se
mettre sous la forme d'une succession de XOR.
Que faut-il alors pour g6n6raliser le perceptron ?
Pour r6pondre h cette question, remarquons tout
d ' a b o r d que x x o a y peut s'6crire aussi :
XXORy ~ (XET(NONy)) OU ( y E T ( N O N X ) ) .
On peut ensuite d6montrer facilement que chaque
conjonction ET, ~nsi que la disjonction ou, peuvent
8tre r6alis6es par un perceptron ~t une couche. I1
semble done indispensable d'avoir recours h un
perceptron ~t deux couches, oh la premi6re couche
contient deux perceptrons simples r6alisant les deux
ET et la deuxi6me couche un perceptron r6alisant
le ou. Ceci n'est pas une d6monstration mais le r6sul-
tat est n6anmoins exact (Fig. 5). Et il est possible de
construire <<h la main )> un perceptron h deux couches
qui r6sout le probl6me du o u exclusif.
Minsky et Papert, dans leur c616bre ouvrage << Per-
ceptrons >> (1969) [16], sonn6rent le glas des r6seaux
connexionnistes en faisant une liste des fonctions
non r6alisables correctement par un perceptron
une couche. En plus du o u exclusif, citons le probl6me
de la d6termination de la parit6 d'une image binaire
(nombre de pixels ~t l) ou encore celui de la connexit6.
Remarquons n6anmoins que ces probl6mes ne sont
pas insolubles, simplement ils ne peuvent &re r6solus
qu'avec un nombre de pr6dicats qui augmente expo-
nentiellement avec la taille de l'image, ce qui n'offre
guSre qu'un int6r~t th6orique.
Minsky et Papert conclurent en affirmant explicite-
ment que ces perceptrons ne seraient jamais utilis6s
en IA. I1 faut cependant bien voir que les th6or6mes
de limitation ne sont valides que pour les perceptrons
~t une couche. En particulier, on sait maintenant

types de rdgions probt6me du ctasses /l forms de r d g i o n s

structure de d 6 c i s i o n ou exctusif r6gions mai t t6es Les ptus g6n6rates
une couche
demi-ptan

A
Limit6
par ur
hyperptan

COUCheS
r6gions
convexes
ouvertes
ou fermdes

3 couches

arbitraire

FIG. 5. - R6gions de d6cision obtenues par un classifieur lin6aire (perceptron ~t une couche),
-

un perceptron h deux puis Atrois couches. La fonction non lin6aire utilis6e est Fh. Tir6 de Lippmann et Gold [28].
Decision regions for (from top to bottom) : a linear classifier, a two layered perceptron and a three layered perceptron.
The non-linear function used is Fh.

ANN. T~L~COMMUN., 44, n ~ 5-6, 1989 6/11

D. Y. M. C O L L O B E R T . - CONNEX1ONNISME, R E C O N N A I S S A N C E DES FORMES
apprendre la parit6 h un r6seau ~ deux couches n'ayant
qu'un nombre restreint de cellules. Et si Minsky et
Papert ne croyaient pas aux perceptrons /t plusieurs
couches, c'est parce qu'ils ne voyaient pas comment
il 6tait possible d'entralner les cellules cach6es, c'est-~-
dire celles qui ne sont ni des entr6es ni des sorties.
Nous verrons un peu plus loin qu'il existe maintenant
de tels algorithmes.
V. LE M O D E L E DE HOPFIELD
ET SES EXTENSIONS
I1 y eut peu de progr6s pendant la quinzaine d'an-
n6es qui suivit les travaux de Minsky et Papert. Ce
n'est qu'h partir de 1982 que les 6tudes sur les r6seaux
de neurones reprirent de fa~on explosive, consacrant
par l~t m~me le terme de << connexionniste >>. En fait,
ce terme se rapportait aux travaux des pr6curseurs,
de Ramon y Cajal vers 1900 h Hebb en 1950, et ne
concernait que le cerveau biologique. Strictement
parlant, il faudrait donc plut6t parler de << ndo-
connexionniste >) pour d6signer les 6tudes d6velopp6es
depuis 1980.
V.1. ModUles de Hopfield.
Curieusement, l'it~pulsion qui donna le signal du
renouveau des r6seaux de neurones provint d'un
physicien, Hopfield, qui montra en 1982 [17] l'analogie
formelle pouvant exister entre des r6seaux de neurones
5. connexions sym~triques, totalement interconnect6s
avec un objet invent6 r6cemment par les physiciens
et appel6 verre de spin.
Les verres de spin, 6tudi6s intensivement depuis
1975, sont des mat6riaux magn6tiques n'ayant pas
de magn6tisme global. Constitu6s d'un m61ange
al6atoire d'atomes ferromagn6tiques et d'atomes
antiferromagn6tiques, leur int6rSt provient du fait
qu'ils poss6dent un grand hombre d'6tats stables
diff~rents.
Plus pr6cis6ment, un verre de spin est un milieu
conducteur contenant des impuret6s magn6tiques
r6parties al6atoirement ; ces impuret6s interagissent
entre elles par l'interm6diaire des 61ectrons de con-
duction, l'6nergie d'interaction 6tant une fonction
oscillante et d6croissante de la distance [17].
Ces deux propri6t6s font qu'il est impossible de
minimiser simultan6ment l'6nergie d'interaction de
toutes les paires de spins : le couplage est, al6atoire-
ment, de type ferro ou antiferromagn6tique ; cette
impossibilit6, appel6e frustration, conduit h des
propri6t6s physiques 6tonnantes, non enti6rement
61ucid6es h ce jour (brisure d'ergodicit6...). Un trait
saillant de ces syst6mes, et dont rendent compte les
mod+les les plus simples, est qu'il existe un tr6s grand
nombre de configurations du syst6me, d'6nergies
tr6s voisines, proches de l'6nergie minimale. Des
7/11
337
m6thodes de physique statistique extrSmement 61a-
bor6es permettent d'6tudier ces 6tats de basse 6nergie
h partir de mod61es a priori de l'interaction.
Les r6seaux neuroniques s'int6ressent au probl6me
inverse de celui que nous venons de consid6rer :
on se donne a priori une configuration d'un syst6me
d'automates et on cherche l'interaction entre auto-
mates qui fair que l'6tat consid6r6 est effectivement
un attracteur de la dynamique du syst6me ; la cor-
respondance est la suivante : neurone = impuret6
magn6tique et coefficient synaptique = interaction
entre deux impuret6s.
De telles analogies ont 6t6 d6velopp6es en plusieurs
occasions, que ce soit pour l'6tude de probl6mes
fondamentaux comme la structure des bassins d'attrac-
tion, ou appliqu6s, comme dans les mod61es sto-
chastiques de reconnaissance des formes (comme la
machine de Boltzmann).
Dans le mod61e de Hopfield (Fig. 6), chaque neurone
peut exciter ou inhiber ses voisins (au sens large).
Les entr6es sont binaires, chaque neurone effectue
une somme pond6r6e de ses entr6es. Dans la version
originale, la fonction non lin6aire est Fh.
Ce qui fait le succ6s des mod61es de Hopfield c'est
la possibilit6 de stocker des informations dans des
configurations dont l'6volution dynamique conduit
5. des 6tats stables. Un autre int6r& provient du fait
que les m&hodes de la thermodynamique statistique
s'appliquent h ces mod61es, permettant ainsi une
6tude analytique approfondie.
I1 a 6t6 prouv6 analytiquement que le r6seau de
Hopfield converge spontan6ment vers un 6tat stable
dans le cas off les poids sont sym6triques et la dyna-
mique asynchrone (c'est-5_-dire que les neurones sont
r6actualis6s les uns apr6s les autres). Hopfield a
montr6 qu'en utilisant la r6gle de Hebb pour modifier
les poids synaptiques, le r6seau pouvait converger
vers un 6tat stable appel6 attracteur.
Le r6seau se comporte comme une m6moire asso-
ciative mais ses performances sont mauvaises en ce
qui concerne le nombre de motifs stock6s.
I
o!1
2 >
_1 -3 2 :t )-
-3
-5 _1 t.1
O >
FIG. 6. -- Mod61e de Hopfield h connexions sym6triques.
Les sorties sont reboucl6es sur les entr6es. La fonction non
lin6aire utilis6e est Fh dans la version originale. La diagonale
est nulle.
HopfieM neural net with symetrical connections.
In the original work Fh is used. Notice that the diagonal weights
are zero.
ANN. TI~LI~COMMUN.,44, n~ 5-6, 1989
338 D.Y.M. COLLOBERT. - CONNEXIONNISME, RECONNAISSANCE DES FORMES
II faut noter que la r6gle de Hebb est locale, le
poids w~j d'une connexion est d6termin6 uniquement
par les 6tats St et Sj des neurones i e t j (Fig. 3). Dans
le mod61e de Hopfield, ce poids est 6gal au produit
S i S j moyenn6 sur t o u s l e s motifs.
Notons 6galement que ce mod61e ne 16ve pas les
limitations intrins6ques aux classifieurs lin6aires.
Une autre limitation du mod61e provient du fait
que l'utilisation de la r6gle de Hebb engendre des
attracteurs non d6sir6s vers lesquels le r6seau con-
vergera pour certaines conditions initiales.
V.2. Extension du mod61e de Hopfield.
Beaucoup de mod61es actuellement /~ l'6tude cher-
chent ~ supprimer ces 6tats ind6sirables de la dyna-
mique du r6seau. Ils peuvent d6passer la limitation
des motifs orthogonaux. Au lieu d'utiliser une r6gle
locale comme celle de Hebb, ils utilisent des r6gles
globales par exemple celle de la << pseudo inverse >>
[18, 19] qui permettent de stocker des motifs corr616s.
D'autres am61iorations sont apparues, notamment
celle due ~. Sompolinsky [20], qui permet de construire
des r6seaux dont les connexions ne sont pas sym6-
triques. Nous renvoyons le lecteur int6ress6 vers la
bibliographie correspondante.
V.3. Calculer avec les r6seaux de Hopfield.
Hopfield et T a n k [21] ont montr6 que certains
r6seaux sont capables de r6soudre des probl6mes
d'optimisation avec contraintes, en particulier le
c616bre probl6me du ~< voyageur de commerce >> of~
il s'agit de minimiser le trajet reliant un certain nombrc
de villes.
La figure 7c montre le r6sultat obtenu par un r6seau
de Hopfield comportant 30 neurones. On y voit
que si celui-ci ne trouve pas le meilleur trajet, la
solution donn6e est n6anmoins comparable ~t celle
trouv6e par la m6thode de Kernighan-Lin, une des
meilleures proc6dures actuelles pour ce type de
probl6me et qui donne la bonne solution. L'avantage
du r6seau est sa rapidit6.
(0) (b) (c)
1[_ D=tt,9
o,6
0,4
O~
I I I I I I
0 0,2 0,4 0,6 0,8 1 0 0,2 0,4 0~6 0~8 ~
FIG. 7. - - Le probl/~me du voyageur de commerce
trait6 pour 30 villes.
D repr6sente la longueur du trajet :
a) trajet al6atoire,
b) trajet trouv6 par la m6thode de Lin-Kernighan,
c) trajet trouv6 par un r6seau de 30 neurones.
Tir6 de Hopfield et Tank [21].
The traveller salesman problem for 30 towns.
D is the total length of the tour.
ANN. TI~L~COMMUN.,44, n ~ 5-6, 1989
Ces possibilit6s de calcul proviennent du fait que,
dans ces mod61es, il apparait une fonction 6nergie
qui, par d6finition, d6crolt lors de l'6volution dyna-
mique du r6seau. En effet, ces syst6mes sont dissipatifs
sinon ils ne pourraient converger vers un 6tat stable,
appel6 p o i n t mdmoire. L'6nergie s'6crit :
E : --~ Si S j ~2ij , S i , j : Jr 1.
ij
Si nous consid6rons une cellule particuli~re i, la
diff6rence d'6nergie du r6seau, selon que cette cellule
est /~ t'6tat 0 ou 1, est :
AEi : Z Sj w U .
J
Si, apr6s calcul, on trouve que cette diff6rence
d'6nergie est positive, alors la cellule i doit passer
l'6tat 1 (ou rester A l'6tat 1) pour minimiser l'6nergie
globale.
En it6rant le processus un grand nombre de lois,
l'6nergie ne varie plus, le r6seau se trouve dans un
6tat stationnaire qui minimise l'6nergie, cet 6tat
repr6sente g6n6ralement la solution du probl6me, ou
au moins une solution approch6e.
Un autre int6rSt de ce mod61e est qu'il a 6t6 effecti-
vement r6alis6 en 61ectronique, A l'aide d'amplifi-
cateurs op6rationnels coupl6s par des r6sistances,
pour r6soudre des probl6mes d'affectation et qu'il
fonctionne avec des temps de convergence extr~me-
ment rapides (quelques $s) [22].
VI. PERCEPTRONS
A PLUSIEURS COUCHES
VI.1. Classification et apprentissage.
Nous avons vu pr6c6demment qu'il existait des
th6or6mes de limitation confinant l'utilisation des
perceptrons h une couche b~ des probl6mes lin6aire-
ment s6parables. Bien 6videmment, ces th6or6mes
ne s'appliquent pas ~t des perceptrons h deux couches
ou plus, o~ il existe plusieurs 6tages de pr6dicats
entre la r6tine et la sortie. Bien plus, il existe un th6o-
r6me, dfi h Kolmogoroff [23], qui stipule que toute
fonction vectorielle de N variables est calculable
avec un perceptron ~t deux couches, qui utilise N
neurones analogiques dans la premi6re couche,
N + 1 dans la deuxi6me, ainsi que la fonction non
lin6aire Fs. Malheureusement le th6or6me ne dit
rien sur la topologie et les poids, ni sur la forme
exacte que doit avoir la non-lin6arit6.
I1 est possible de faire une d6monstration intuitive
du th6or6me de Kolmogoroff en utilisant des neurones
binaires et une fonction Fh.
Nous avons vu q u ' u n perceptron ~t une couche
s6pare par un hyperplan l'espace des entr6es en deux
sous-espaces de d6cision. Un perceptron h deux
8/11
D. Y. M. COLLOBERT. - CONNEXIONNISME~ RECONNAISSANCE DES FORMES
couches d6coupe dans cet espace une r6gion convexe,
ferm6e ou ouverte. I1 peut alors r6soudre le ou exclu-
sif. Nous allons montrer qu'un perceptron ~t trois
couches peut former une zone de d6cision arbitraire-
ment complexe (Fig. 5).
En effet, dans l'espace des entr6es ~t N dimensions,
un hypercube de dimension N n6cessite 2 N neurones
dans la premiere couche, un neurone pour chacun
des c6t6s de l'hypercube. I1 faudra aussi une cellule
dans la deuxi~me couche qui fera le ET des cellules
de la premiere couche. Ainsi les sorties des cellules
de la deuxi~me couche seront 5. l'6tat haut seulement
lorsque le point figuratif des entr6es sera ~ l'int6rieur
de l'hypercube. En associant autant d'hypercubes
qu'il est n6cessaire pour d6crire toute la surface
d6sir6e et en faisant un ou fl partir de ces cellules
(3 ~ couche), on coupe le plan des entr6es par une
surface de forme quelconque.
Le probl~me de l'entrMnement des cellules des
couches cach6es revient ~ d6signer le principal respon-
sable d'une erreur qui s'est propag6e de faqon non
lin6aire et irr6versible dans un canal d'information.
Ce probl~me, le << credit assignment problem >~ (que
Le Cun propose de traduire par problkme du bouc
Omissaire) est rests ouvert jusqu'h ce que tr6s r6cem-
ment Le Cun [24], Parker [25] et Rumelhart [26]
proposent ind6pendamment des algorithmes efficaces.
Ces algorithmes sont bas6s sur une g6n6ralisation
de la proc6dure de Widrow et Hoff qui stipule, rappe-
lons-le, que les poids doivent 6voluer de faq:on ~.
minimiser l'erreur en sortie, c'est-~-dire la diff6rence
entre la sortie d6sir6e et la sortie effective d'une cellule
donn6e.
On consid~rera uniquement des r6seaux que l'on
peut mettre en couches successives, chaque cellule
d'une couche donn6e ne faisant de connexions qu'avec
des cellules de la couche imm6diatement sup6rieure.
I1 n'y a pas de liaison intracouche. Les neurones
sont analogiques, la non-lin6arit6 est E, (Fig. 1).
La proc6dure d'apprentissage s'effectue en trois
6tapes :
i) dans la premi6re 6tape le signal d'entr6e se pro-
page h travers les diff6rentes couches vers la sortie ;
ii) une fois cette 6tape termin6e, les 6tats des cellules
de sortie sont not6s et compar6s aux 6tats d6sir6s
correspondants. On obtient ainsi l'erreur en sortie ;
iii) l'erreur de sortie est r6tropropag6e sur les
cellules des couches ant6rieures (plus pr6cis6ment sur
leurs connexions amont) en utilisant une r~gle qui
la minimise. I1 s'agit d'une g6n6ralisation de la proc6-
dure de Widrow et Hoff, ofa le crit6re ~_ minimiser
est en fait le carr6 de l'erreur. La proc6dure fair
intervenir le gradient de ce crit~re, d'o~t le nom de
<< r6tropropagation de gradient )> qui lui est donn6.
Le signal d'erreur est ainsi propag6 de la sortie
vers l'entr6e jusqu'h la deuxi6me couche. Puis on
r6it6re le processus ~ partir de la premiere 6tape.
I1 n'existe pas de th6or~me de convergence pour
de telles proc6dures mais n6anmoins celles-ci sont
9/11
339
efficaces dans beaucoup d'applications, notamment
en reconnaissance de la parole ; nous en donnerons
deux exemples ci-dessous :
VI.2. D e u x exemples.
VI.2.1. NET-TALK OU conversion graph~me phoneme.
Cr66e par Sejnowski et Rosenberg, il s'agit d'une
machine ~t deux couches cach6es dont la base d'appren-
tissage est repr6sent6e par un codage binaire des
lettres pr6sentes dans une fen&re de 7 lettres. Cette
fen6tre glisse sur un texte qui comporte 1 024 mots
dans l'ensemble d'apprentissage, la sortie d6sir6e
est un code binaire indiquant les caract6ristiques
phon6tiques de la lettre pr6sente au centre de la fen~tre
(plosive, etc.). II y a 120 unit6s cach6es et 20 000 poids.
La sortie du r6seau est coupl6e 5. un synth6tiseur de
parole.
Apr6s apprentissage par r6tropropagation de gra-
dient, qui consiste h pr6senter 50 000 lois tout
l'ensemble d'apprentissage, le r6seau est capable de
lire ?t haute voix. II fait 5 % d'erreur sur la base
d'apprentissage et 22 % sur un autre ensemble non
utilis6 lors de l'apprentissage.
En utilisant des syst6mes bas6s sur l'utilisation de
r6gles, on pourrait vraisemblablement obtenir de
meilleures performances. Le fait remarquable ici
est que NET-IALK extrait des r6gularit6s, par exemple
l'effet d'une lettre terminale sur la prononciation de
la suivante, et qu'il apprend aussi les exceptions.
VI.2.2. Reconnaissance de ia parole multilocuteurs.
De Mori et Bengio, de l'universit6 McGill ~ Mont-
r6al, utilisent un perceptron A trois couches pour effec-
tuer une reconnaissance de la parole (*). L'entr6e
est l'image, bidimensionnelle, d'un spectrogramme
acoustique. L'abscisse correspond au temps, l'ordon-
n6e aux fr6quences qui apparaissent aux diff6rents
instants.
L'architecture du r6seau est particuli~re. Chaque
couche cach6e est partitionn6e en 5 groupes fonction-
nant ind6pendamment les uns des autres. La premiere
couche cach6e comprend ainsi 5 • 20 cellules, la
deuxi6me 5 • 10 cellules. L'image d'entr6e est cod6e
sur plusieurs bits et comporte environ 100 pixels.
La sortie est une description phon6tique de l'entr6e,
cod6e de faqon redondante sur 10 bits. I1 y a donc
environ l0 000 connexions.
L'efficacit6 du r6seau sur des segments de parole
isol6s est de 95 %, sup6rieure aux meilleurs algorithmes
actuels qui font intervenir des chaines de Markov
cach6es [27].
I1 est surprenant que dans ces deux exemples les
performances soient aussi bonnes car ce que l'on doit
obtenir avec la proc6dure d'apprentissage n'est en
toute rigueur qu'un minimum local de la fonction
(*) DE MORI (R.), BENGIO(Y.). CAN communication priv6e.
ANN. T~L~COMMUN.,44, n ~ 5-6, 1989
340 D.Y.M. COLLOBERT. -
de cofit et non un minimum global. En fait, dans toutes
les exp6riences r6alis6es, il semble qu'il y ait plus de
connexions qu'il n'est n6cessaire pour r6soudre le
probl6me. Ces connexions suppl6mentaires creusent
des vall6es suppl6mentaires dans l'espace repr6sentant
le cofit (fonction des poids), ce qui permet, lors du
processus de descente de gradient dans cet espace, de
s'6chapper d'un minimum local.
VI.3. Critiques et perspectives des perceptrons /t
plusieurs couches.
La critique essentielle provient de la dur6e d'appren-
tissage. I1 est en effet ndcessaire, m~me pour un pro-
bl6me simple, de faire des milliers d'it6rations pour
converger vers la solution, ce qui conduit ~t des temps
de calculs longs, m~me pour des supercalculateurs.
Cette lenteur a deux causes essentielles :
i) Les r6seaux construits sont des grands r6seaux
homog6nes. Le nombre de poids y est sans doute
trop 61ev6 ; il peut ~tre int6ressant de partitionner
ces r6seaux en plusieurs modules comme Font fait
De Mori et Bengio et de faire travailler ceux-ci sur
des r6gions particuli6res de l'image d'entr6e, ce qui
revient ~t mettre de la connaissance a priori dans le
r6seau pour pouvoir traiter efficacement un probl6me
donn6.
ii) On a vu que les minimums locaux ne posaient
pas un vrai probl6me. Le probl6me de convergence
provient du fait que l'on a, h chaque instant, un seul
point dans l'espace des poids ; or cet espace comporte
des ravins ayant des rayons de courbure grands et
petits, obligeant /t choisir un pas de calcul tel que,
lors de la convergence, le point figuratif de l'6tat
du r6seau reste dans le ravin de plus petit rayon de
courbure, sinon il y a apparition d'oscillations. Mais
lorsque le point figuratif se d6place dans une zone de
grand rayon de courbure, un petit pas de calcul est
un gaspillage de temps... II faudrait pouvoir disposer
d'une repr6sentation globale de l'espace des poids
pour choisir une strat6gie meilleure que la r6tro-
propagation de gradient.
Un dernier reproche fait aux r6seaux multi couches
est que la repr6sentation interne qui s'est construite
lors de l'apprentissage est, dans le meilleur des cas,
difficilement interpr6table. II s'av~re g6n6ralement
impossible ~ l'expert humain de savoir quelle d6marche
a suivi le r6seau pour arriver h u n certain r6sultat.
Situation frustrante mais stimulante pour l'homme,
qui r6ussit ainsi ~t construire une machine efficace
qu'il ne peut plus comprendre.
VII. RI~ALISATIONS EN COURS
I1 existe un certain hombre de simulateurs de r6seaux
de neurones (des logiciels) mais aussi des r6alisations
ANN. T~LI~COMMUN.,44, n ~ 5-6, 1989
CONNEXIONNISME, R E C O N N A I S S A N C E DES FORMES
int6gr6es sur silicium. Elles sont surtout le fait de
grandes soci6t6s nord-am6ricaines (soit de grandes
soci6t6s : AT&T Holmdel, Bendix, Hughes, IBM,
Texas, TRW; soit de jeunes entreprises (start up)
Hecht-Nielsen Neurocomputer Corp., Nestor Inc.,
Neural Tech Inc., Neuralware, Synaptics Inc.) ou
encore d'universit6s comme celles de San Diego,
de Boston ou de Brown.
Toutes les r6alisations mat6rielles ont le silicium
monocristallin comme support, le nombre de neurones
y est faible, de l'ordre de quelques dizaines. En utilisant
cette technologie, il semble peu probable que le nombre
de neurones puisse facilement croltre de plusieurs
ordres de grandeur dans un avenir proche ; et pourtant
la puissance des r6seaux de neurones est li6e ~t la
grande densit6 d'interconnexion...
En revanche, remarquons que, le photon 6tant un
boson, il est possible d'en mettre plusieurs au m~me
endroit au m~me instant, alors que ce n'est pas vrai
pour l'61ectron, un fermion. On peut alors penser
que les r6seaux de neurones du futur feront intervenir
l'optique dans leur r6alisation. Nous croyons beau-
coup ~ cette possibilit6, ~. tout le moins pour les
connexions, en attendant le d6veloppement des mat6-
riaux optiques non lin6aires. Des 6tudes en ce sens
sont en cours, rant en France qu'~t l'6tranger.
Un programme europ6en existe d'ailleurs sur ce
sujet depuis novembre 87 : Brain (basic research in
adaptative intelligence and neurocomputing). Son
objectif affich6 est de ~ mieux comprendre le cerveau
et de concevoir des machines capables d'imiter cer-
taines de ses fonctions >>.
En France, le club ~ optique dans l'ordinateur>>
plac6 sous la double 6gide de la SEE et de la soci6t6
franqaise d'optique, comporte plus d'une dizaine
d'6quipes. Les T616coms, par I'ENST OU le CNET(centres
de Lannion et de Paris), y ont une part active.
VIII. CONCLUSION
Ce bref aper9u de la galaxie neuronique a permis
de voir le gouffre qui s6pare les r6seaux de neurones
artificiels de leur mod61e biologique, le cerveau, mSme
s'ils sont capables comme lui d'enc0der de mani6re
r6partie une description implicite de ph6nom6nes
complexes.
Les succ6s d'ores et d6j5. obtenus par ces r6seaux
font que l'on risque d'attendre d'eux plus qu'ils ne
sont capables de donner.
En effet, les concepts utilis6s dans les r6seaux de
neurones sont fondamentalement tr6s simples, mais
leur mise en oeuvre, que ce soit au moyen de logiciels
ou de mat6riels reste souvent d61icate, voire difficile.
D6jS. des limitations apparaissent, notamment en ce
qui concerne les dur6es d'apprentissage.
Pourtant il semble bien que ces r6seaux soient
10/11
D. Y. M. COLLOBERT. -- CONNEXtONNISME, RECONNAISSANCE DES FORMES
c a p a b l e s de t r a i t e r des p r o b l 6 m e s p o u r lesquels u n e
d e s c r i p t i o n s y m b o l i q u e des s o l u t i o n s n ' e x i s t e pas,
et cela sans d o u t e parce q u ' i l s s ' i n s p i r e n t d u syst6me
nerveux biologique.
Peut-~tre sera-t-il d o n c n6cessaire, p o u r r e p r o d u i r e
les processus de c o g n i t i o n , de s ' i n s p i r e r plus fid61ement
de l ' a r c h i t e c t u r e b i o l o g i q u e . M a i s j u s q u ' & quel p o i n t
faudra-t-il copier ?
[1] FELDMAN(J. A.). Dynamic connections in neural networks.
Biol. Cybern. D. (1982), 46, pp. 27-39.
[2] *** Encyclopaedia Universalis, Fr (1979), 11, pp. 702-709.
[3] *** Encyclopaedia Universalis, Fr (1979), 8, pp. 317-318.
[4] McCULLOCH (W. S.), PITTS (W. H.). A logical calculus
of the ideas immanent in nervous activity. Bull. Math.
Biophysics, USA (1943), 5, pp. 115-133.
[5] VON NEUMAN (J.). Probabilistic logics and the synthetisis
of reliable organisms from unreliable componants. In
Automata Studies Princeton University Press, USA (1956).
[6] WINOGRAD (S.), COWAN (J. D.). Reliable computation
in the presence of noise. Cambridge Press University, USA
(1963).
[7] HEBB (D. O.). The organisation of behavior. John Wiley,
USA (1949).
[8] ROSENBLATT (F.). The perceptron, a probabilistic model
for information storage and organisation in the brain.
Psychoanalytic Rev., USA (1958), 65, pp. 386-408.
[9] ROSENBLATT (F.). On the convergence of reinforcement
procedure in simple perceptrons. Cornell Aeronautical
Lab Report, USA (f6v. 1960).
[10] KOHONEN (T.). Self organization and ar~ociative memory.
Springer Verlag, D. (1984), p. 69.
[ll] WIDROW (B.), HOVE Jr (M. E.). Adaptative switching
circuits. Institute of Radio Engineers, Western Electric
Show and convention, Conventional Record (1960), 4,
pp. 96-104.
[12] KOHONEN(T.). An adaptative associative memory principle.
IEEE Trans. C., USA (juil. 1974), C23,pp. 444-445.
[13] AMARI (S. I.). Neural theory of association and concept
formalism. Biolog. Cybern., D (1977), 26, pp. 175-185.
[14] SUTTON(R. S.), BARTO (A. G.). Toward a modern theory
of adaptation networks : expectation and prediction.
Psychol. Rev., USA (1981), 88, pp. 135-171.
[15] WIDROW (B.), STEARNS(S. D.). Adaptative signal process-
ing. Prentice Hall, USA (1985).
[16] MINSKY (M.), PAPERT (S.). Perceptrons. MIT Press, USA
(1969).
[17] HOPFIELD (J. J.). Neural networks and physical systems
with emergent collective computational abilities. Proc.
Nat. Acad. Sc., USA (1982), 79, pp. 2554-2558.
[18] PERSONNAZ (L.), GUYON (I.), DREYFUS (G.). Information
storage and retrieval in spin-like neural networks. Journal
Phys. Lett., Fr (1985), 46, pp. L-359-365.
11/11
341
T o u j o u r s est-il q u e les p u i s s a n c e s de calcul o b t e n u e s
p a r ces r6seaux o n t s u f f i s a m m e n t m o t i v 6 p l u s d ' u n e
d i z a i n e de soci6t6s p o u r q u ' e l l e s se l a n c e n t d a n s la
r 6 a l i s a t i o n de puces neuroniques. Elles s e r o n t s u r le
m a r c h 6 d a n s u n a v e n i r tr6s p r o c h e , et le c o n c e p t e u r
de logiciels o u de mat6riels d e v r a e n t e n i r c o m p t e .
Manuscrit recu le 22 novembre 1988.
BIBLIOGRAPHIE
[19] KANTER (|.), SOMPOLINSKY (H.). Associative recall of
memory without errors. Phys. Rev. A, USA (1987), 35,
pp. 380-392.
[20] SOMPOLINSKY (H.). Neural networks with nonlinear
synapses and a static noise. Phys. Rev. A, USA (1986),
34, pp. 2571-2574.
[21] HOPEIELD (J. J.), TANK (D. W.). t< Neural >> computation
of decisions in optimization problems. Biolog. Cybern.,
D (1985), 52, pp. 141-152.
[22] HOPFIELD (J. J.), TANK (D. W.). Les r6seaux de neurones
formels. Pour la Science, Fr (f6v. 1988), pp. 80-89.
[23] KOLMOGOROFF(A. N.). On the representation of continuous
functions of many variables by superposition of continuous
functions of one variable and addition. Dokl. Akad. Nauk
USSR, AMS, Trans., USA (1957), 114, pp. 953-956.
[24] LE CUN (Y.). A learning scheme for asymetric threshold
networks. Proceedings Cognitiva Paris, CESTA-AFCET,
Fr (1985), pp. 599-604.
[25] PARKER (D. B.). Learning logic. Center for computation
research in economics and management science, USA (1985),
TR-47.
[26] RUMELHART(D.), HINTON (G.), WILLIAMS(R.). Learning
internal representation by error propagation in parallel
distributed processing. MIT Press, USA (1986).
[27] PORITZ (R. B.). Hidden Markov models : a guided tour.
International Conf. on acoustics, speech and signal processing
IEEE ed., USA (avr. 1988), 1, pp. 7-13.
[28] LIPPMANN (R. P.), GOLD (B.). Neural-net classifiers useful
for speech recognition. 1st International Conf. on neural
networks, San Diego, IEEE ed., USA (juin 1987), IV,
pp. 417-425.
BIOGRAPHIES
Daniel Y. M. COLLOBERT, n6 le 21 novembre 1947. Docteur
d'6tat ~s-Sciences physiques (Orsay, 1982). Actuellement
animateur du groupe ~< R6seaux neuroniques appliqu6s A
l'imagerie >>au service Optique et technologies des composants
et mat6riaux du CNET.
Alain D. MARUANI,n6 le 15 mai 1946. Docteur d'6tat 6s-Sciences
physiques (Paris VII, 1981). Professeur /t T616com Paris
et au DEA de micro61ectronique et microinformatique de Paris
VI - Paris VII.
ANN. T~LI~COMMUN.,44, n ~ 5-6, 1989