16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.

net

Intelligence artificielle : comment sortir

de lopacit ?
PAR RMI SUSSAN

18/10/2016

RMI SUSSAN (HTTP://WWW.INTERNETACTU.NET/AUTHOR/REMI-SUSSAN/)

ARTICLES (HTTP://WWW.INTERNETACTU.NET/CATEGORY/ARTICLES)

INTELLIGENCE ARTIFICIELLE (HTTP://WWW.INTERNETACTU.NET/TAG/INTELLIGENCE-ARTIFICIELLE/) NOSSYSTEMES (HTTP://WWW.INTERNETACTU.NET/TAG/NOSSYSTEMES/)

5 COMMENTAIRES

4055 VUES

~ 5 MINUTES

Billet prcdent (http://www.internetactu.net/2016/10/10/comment-allons-nous-passer-de-la-prediction-a-lintervention/)

Billet suivant (http://www.internetactu.net/2016/10/19/comment-lutter-contre-le-solutionnisme/)

D
eux articles, publis dans Nature (http://www.nature.com/news/can-we-open-the-black-box-of-ai-
1.20731#/b3) et dans le New Scientist (https://www.newscientist.com/article/mg23230941-600-basic-
common-sense-is-key-to-building-more-intelligent-machines/), se penchent sur les problmes poss par
les nouvelles technologies du deep learning et suggrent quelques solutions. En effet, les nouvelles IA bases
sur les rseaux neuronaux complexes du deep learning (http://www.internetactu.net/2014/10/02/le-deep-learning-
pour-tous/), ont pour caractristique davoir un fonctionnement opaque pour les humains
(http://www.internetactu.net/2016/05/20/au-dela-du-code-vers-lage-de-lintrication/), y compris pour leurs
concepteurs. Une situation qui prsente de nombreux dsavantages: le premier, vident, est celui de la conance
que nous pouvons accorder aux rsultats prsents par ces algorithmes. Si on ignore comment la machine est
arrive ses conclusions, pouvons-nous tre srs de la valeur de celles-ci?

En 2014, nous explique Nature, une quipe dirige par Jeff Clune (http://jeffclune.com/), du Laboratoire sur
lvolution de lIA (http://www.evolvingai.org/) de luniversit du Wyoming, nous a appris que ce problme de
boite noire est rendu encore plus dlicat cause des erreurs que peuvent commettre les programmes de deep
learning (https://arxiv.org/abs/1412.1897). Les machines auraient trop tendance voir des structures
signicatives au sein dimages abstraites ou alatoires. A considrer, continue Nature, que des lignes ondules
dcrivent une toile de mer, ou que des rayures noires et jaunes correspondent un bus scolaire. Selon Clune, de
tels dfauts pourraient mme tre exploits par des hackers et produire des effets trs dangereux. Il serait ainsi
possible de pousser une voiture sans conducteur confondre un panneau dafchage avec la route, ou de truquer
un systme de dtection rtinien pour permettre un intrus dentrer dans la Maison Blanche, en faisant croire au
programme quil sagit de Barak Obama.

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 1/6
16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.net

RENDRE LISIBLES LES PROGRAMMES DIA

Peut-tre alors les rseaux neuronaux ne constituent-ils pas la solution optimum? Nature nous cite ainsi le cas
dEureqa (http://www.creativemachineslab.com/eureqa.html), un algorithme cr par Hod Lipson
(http://www.hodlipson.com/) et Michael Schhmidt (https://sites.google.com/a/cornell.edu/schmidt/) luniversit
de Cornell. Ce programme a pu recrer les lois du mouvement de Newton en observant un systme de pendules.
Nature nous explique quEureqa commence par une combinaison alatoire de blocs de construction
mathmatiques, comme +,-, sinus ou cosinus, puis suit une mthode dessais et derreurs inspire par lvolution
darwinienne, modiant les termes de la formule jusqu obtenir une quation dcrivant au mieux les donnes. ()
Un des avantages dun tel procd est la simplicit, selon Lipson. Un modle produit par Eureqa ne possde quune
douzaine de paramtres, un rseau neuronal en a des millions.

A noter dailleurs que la technique utilise par Eureqa nest pas ne de la dernire pluie: cest la bonne vieille
mthodologie des algorithmes gntiques invente par John Holland en 1975 et dont Hod Lipson a rgulirement
fait usage, comme nous lavons racont dans nos colonnes il y a dj quelque temps
(http://www.internetactu.net/2011/10/18/la-vie-articielle-20-ans-apres-34-quand-lembryogenese-des-machines-
remodele-la-fabrication-personnelle/).

Une autre possibilit serait de demander au programme dexpliquer ce quil fait, comme nous le pointions
rcemment (http://www.internetactu.net/a-lire-ailleurs/lintelligence-articielle-va-t-elle-rester-impenetrable/).
Nature mentionne comme exemple le statisticien automatique (https://www.automaticstatistician.com/index/)
de Zoubin Ghahramani (http://mlg.eng.cam.ac.uk/zoubin/) luniversit de Cambridge. Ce programme de Big data
repre les patterns signicatives, et surtout se montre en mesure de produire un rapport lisible par un humain
expliquant les conclusions auquel il est arriv. Selon Ghahramani un tel niveau de transparence est important non
seulement dans le domaine scientique, mais galement dans le domaine commercial. Par exemple, dit-il, dans
de nombreux pays, les banques qui refusent un prt ont lobligation lgale dexpliquer leurs raisons quelque
chose quun algorithme de deep learning pourrait ne pas tre en mesure de fournir.

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 2/6
16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.net

REVENIR LIA SYMBOLIQUE

Si Nature sest surtout pos la question de la conance et de la lisibilit, le New Scientist, lui, aborde dautres
dsavantages typiques des rseaux neuronaux: cause de leur opacit, il est difcile de transfrer les
connaissances dun programme un autre.

Autre souci, ils sont lents comprendre et ont besoin dune norme masse dexemples, loppos des tres
humains. Le New Scientist cite ce propos une phrase du chercheur Andrej Karpathy (blog)
(http://karpathy.github.io/), qui exprime trs bien le problme: Je ne dois pas jeter ma voiture contre un mur
plusieurs centaines de fois avant de me mettre lentement viter de le faire. Sans oublier que parfois, les
donnes sont trop rares pour permettre la mise en uvre dun programme de deep learning, comme dans le cas de
domaines de recherche trs rcents, telle linformatique quantique (http://www.internetactu.net/a-lire-ailleurs/un-
jeu-quantique-et-topologique/).

Quelle solution ces questions, se demande le New Scientist, qui envisage une possible voie de sortie: appeler au
secours lIA la papa, ce quon appelle lintelligence articielle symbolique. En effet, si les rseaux de
neurones ont dj une histoire assez ancienne (leur anctre, le perceptron
(https://fr.wikipedia.org/wiki/Perceptron), date de 1957), ils nont eu le vent en poupe que bien plus tard. Pendant
plusieurs dcennies, la principale faon de travailler en Intelligence Articielle tait daccumuler des rgles
logiques an de crer des systmes experts. Dans les annes 80, par exemple, le Japon avait promis la cration
d'ordinateurs de la cinquime gnration bass sur un tel type dIA et recourant dailleurs un langage de
programmation dorigine franaise, le Prolog (https://fr.wikipedia.org/wiki/Prolog) (langage tout fait original et
fascinant, dailleurs). Un projet qui na jamais vu le jour Les systmes experts connurent un certain succs dans
les domaines professionnels ou les jeux de stratgies comme les checs (mais pas le Go), mais rencontrrent leurs
limites lorsquil fallut tenter de simuler certaines des fonctions les plus fondamentales du cerveau humain,
comme la reconnaissance des formes ou de la parole. Depuis, les rseaux de neurones, notamment sous la forme
du deep learning, ont non seulement connu un essor fulgurant, mais se sont mme attaqus des territoires
jusquici rservs lIA symbolique, comme le jeu de stratgie avec AlphaGo.

Mais lIA symbolique conserve lavantage de pouvoir tre lue et debugge. Si on ne peut revenir au pass, peut-tre
peut-on crer une IA hybride, runissant le meilleur des deux mondes? Cest lessence du travail de Murray
Shanahan (https://www.doc.ic.ac.uk/~mpsha/) prsent par le New Scientist. Celui-ci dans un papier rcemment
publi dans Arxiv (https://arxiv.org/abs/1609.05518), propose un systme bas sur ce quil appelle le Deep
symbolic reinforcement learning (apprentissage profond par renforcement symbolique). Autrement dit, un
programme capable, non pas de rdiger un rapport comme dans le travail de Ghahramani, mais de crer un
programme dIA symbolique exprimant de faon lisible un ensemble de principes logiques, de rgles. Cela
revient, nous explique le Guardian (https://www.theguardian.com/technology/2016/sep/27/data-efciency-deep-
learning) qui sest galement pench sur les travaux de Shanahan, entraner le systme enseigner une autre
machine les rgles dun jeu et ltat du monde qui lentoure, an que cette dernire puisse formuler en des termes
plus abstraits ce qui est en train de se passer. Ce systme aurait un net avantage sur le deep learning. Il aurait
besoin de beaucoup moins de data pour apprendre.

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 3/6
16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.net

Pour vrier cette capacit apprendre plus vite, Shanahan et son quipe ont oppos leur programme
lalgorithme Deep Q-Network (https://deepmind.com/research/dqn/) issu du Deepmind de Google, dans un jeu
mlant le tic-tac-toe (http://playtictactoe.org/) et Pacman. En gros il sagit pour un curseur de gagner des points
chaque fois quil heurte un rond et dviter de rencontrer des croix, ce qui lui en fait perdre. Il a fallu 1000 sessions
DQN pour tre en mesure de gagner la moiti de ses parties. En revanche lalgorithme de Shanahan na eu besoin
que de 200 tournois pour vaincre dans 70% des cas.

Que ce soit lusage dalgorithmes gntiques par Hod Lipson, ou de lIA symbolique par Shanahan, ces exemples
nous montrent quen IA, une technologie nest jamais compltement obsolte ou abandonne. Cest par
lhybridation de diffrentes mthodes les unes anciennes, les autres toutes rcentes, quon arrivera peut tre, un
jour, produire un programme rellement intelligent.

Rmi Sussan

INTELLIGENCE ARTIFICIELLE (HTTP://WWW.INTERNETACTU.NET/TAG/INTELLIGENCE-ARTIFICIELLE/)

NOSSYSTEMES (HTTP://WWW.INTERNETACTU.NET/TAG/NOSSYSTEMES/)

lire aussi sur internetactu.net

Construire lEtat innovant Qua appris Google de sa qute Comment les mdias sociaux se
(http://www.internetactu.net/2015/01/13/construire-
btir lquipe parfaite? sont retourns contre les femmes
letat-innovant/) (http://www.internetactu.net/2016/04/27/qua-
(http://www.internetactu.net/2014/11/19/comment-
appris-google-de-sa-quete-a-batir- les-medias-sociaux-se-sont-retournes-
lequipe-parfaite/) contre-les-femmes/)

Quelle est la forme dinternet? Ouvrir les modles!, pas La critique technologique: pour
(http://www.internetactu.net/2016/05/25/quelle-
seulement les donnes quoi faire?
est-la-forme-dinternet/) (http://www.internetactu.net/2014/11/18/ouvrir-
(http://www.internetactu.net/2016/10/27/la-
les-modeles-pas-seulement-les- critique-technologique-pour-quoi-
donnees/) faire/)

La culture geek doit-elle mourir? Lhistoire vue par les rseaux Go-ingnierie: exprimenter ou
(http://www.internetactu.net/2014/11/25/la-sociaux pas?
culture-geek-doit-elle-mourir/) (http://www.internetactu.net/2015/03/17/lhistoire-
(http://www.internetactu.net/2015/03/02/geo-
vue-par-les-reseaux-sociaux/) ingenierie-experimenter-ou-pas/)

5 commentaires (http://www.internetactu.net/2016/10/18/intelligence-
articielle-comment-sortir-de-lopacite/comments/feed/)

Patrick Albert dit: 18/10/2016 6:01 (http://www.internetactu.net/2016/10/18/intelligence-articielle-

comment-sortir-de-lopacite/#comment-1125125)

Trs bon papier. Deux commentaires.

1/ lI symbolique na pas disparue mais continue son dployement massif massivement entam au
dbut des annes 2000. La monte en visibilit de lapprentissage cache cette large fort, cest tout.
2/ On peut noter que lautomatisation dune tche pralablement opre par une bureaucratie opaque
cre la demande sociale et lespoir de lellicitation des critres de dcision (voir par exemple leffet ABP)
Rpondre (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/?
replytocom=1125125#respond)

Rmi Sussan dit: 19/10/2016 1:36 (http://www.internetactu.net/2016/10/18/intelligence-articielle-

comment-sortir-de-lopacite/#comment-1125192)

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 4/6
16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.net
Je viens de voir que Murray Shanahan, dont je cite les travaux dans cet article, vient de publier dans
Aeon (https://aeon.co/essays/beyond-humans-what-other-kinds-of-minds-might-be-out-there)un
papier sur la conscience non-humaine qui ma lair fort intressant (je ne lai pas encore dcortiqu).
Jy reviendrai probablement bientt.
Rpondre (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/?
replytocom=1125192#respond)

Ambroise Cade (http://www.cogiex.com) dit: 20/10/2016 9:59

(http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/#comment-
1125299)

Enn un article qui discute lopacit et le manque de contrle du deep-learning. Cogiex possde une AI
hybride. symbolique + machine learning.
Rpondre (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/?
replytocom=1125299#respond)

Hadrien dit: 20/10/2016 3:48 (http://www.internetactu.net/2016/10/18/intelligence-articielle-

comment-sortir-de-lopacite/#comment-1125331)

Comme le souligne Patrick Albert, les arbres de dcisions (ou plutt des forts) sont toujours ce qui se
fait de mieux dans certains domaines.

Les arbres de dcision sont certes plus faciles analyser que les rseaux de neurones, mais
dexprience a reste difcile car le nombre de noeuds atteint rapidement le millier. Les grands arbres
ont tendance faire du sur-apprentissage (faible gnralisation) mais les forts contre-balancent trs
bien ces effets
Rpondre (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/?
replytocom=1125331#respond)

Hubert Guillaud (http://www.internetactu.net) dit: 02/11/2016 4:08

(http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/#comment-
1127693)

Pour complter les signalements de Rmi, notons que le MIT News (http://news.mit.edu/2016/making-
computers-explain-themselves-machine-learning-1028) revient sur une autre recherche mene par le
Computer Science and Articial Intelligence Laboratory (CSAIL) pour que les rseaux de neurones
fournissent non seulement des prdictions et des classications, mais aussi des justications de leurs
dcisions.
Rpondre (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/?
replytocom=1127693#respond)

LAISSER UN COMMENTAIRE
Votre adresse de messagerie ne sera pas publie. Les champs obligatoires sont indiqus avec *

COMMENTAIRE

NOM *

Votrenomoupseudo

ADRESSE DE MESSAGERIE *

Votreemail

SITE WEB

Votresiteweboublog

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 5/6
16/11/2016 Intelligenceartificielle:commentsortirdelopacit?|InternetActu.net

LAISSER UN COMMENTAIRE

ARTICLES RCENTS

Comment lemployabilit a-t-elle tu le temps libre? (http://www.internetactu.net/2016/11/02/comment-lemployabilite-a-t-elle-tue-

le-temps-libre/)

La critique technologique: pour quoi faire? (http://www.internetactu.net/2016/10/27/la-critique-technologique-pour-quoi-faire/)

Machines rver (http://www.internetactu.net/2016/10/26/machines-a-rever/)

Comment lutter contre le solutionnisme? (http://www.internetactu.net/2016/10/19/comment-lutter-contre-le-solutionnisme/)

Intelligence articielle: comment sortir de lopacit? (http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-

sortir-de-lopacite/)

Comment allons-nous passer de la prdiction lintervention? (http://www.internetactu.net/2016/10/10/comment-allons-nous-

passer-de-la-prediction-a-lintervention/)

Coopratives, forces et limites (http://www.internetactu.net/2016/10/05/cooperatives-forces-et-limites/)

Comment la science est tire vers le bas (http://www.internetactu.net/2016/10/04/comment-la-science-est-tiree-vers-le-bas/)

COMMENTAIRES RCENTS

Hubert Guillaud (http://www.internetactu.net) dans Intelligence articielle: comment sortir de lopacit?

(http://www.internetactu.net/2016/10/18/intelligence-articielle-comment-sortir-de-lopacite/#div-comment-1127693)

Grumbo dans Comment lemployabilit a-t-elle tu le temps libre? (http://www.internetactu.net/2016/11/02/comment-lemployabilite-

a-t-elle-tue-le-temps-libre/#div-comment-1127681)

Mais o va le web (http://maisouvaleweb.fr/) dans Comment lutter contre le solutionnisme?

(http://www.internetactu.net/2016/10/19/comment-lutter-contre-le-solutionnisme/#div-comment-1127676)

Rmi Sussan dans Machines rver (http://www.internetactu.net/2016/10/26/machines-a-rever/#div-comment-1127672)

Usercentric dans Comment lemployabilit a-t-elle tu le temps libre? (http://www.internetactu.net/2016/11/02/comment-

lemployabilite-a-t-elle-tue-le-temps-libre/#div-comment-1127670)

Valette dans Comment lemployabilit a-t-elle tu le temps libre? (http://www.internetactu.net/2016/11/02/comment-lemployabilite-

a-t-elle-tue-le-temps-libre/#div-comment-1127663)

Orah de Mortcie (http://www.leprochaintrain.com) dans La critique technologique: pour quoi faire?

(http://www.internetactu.net/2016/10/27/la-critique-technologique-pour-quoi-faire/#div-comment-1127563)

Paul dans Machines rver (http://www.internetactu.net/2016/10/26/machines-a-rever/#div-comment-1127493)

CATGORIES

SLECTIONNER UNE CATGORIE

TAGS

CHOISIR UN TAG

ARCHIVES

http://www.internetactu.net/2016/10/18/intelligenceartificiellecommentsortirdelopacite/ 6/6