Modéliser le développement des capacités

d’interaction:

Le robot comme outil de simulation au

service des sciences cognitives

Philippe Gaussier
* Neurocybernetics Group, Cergy Pontoise University, France
 Our approach…
Find a minimal model justified by strong theoretical arguments:

• Taking into account a minimal number of biological

structures,
• Trying to understand what is brought by a given input or
structure as the global behavior si concerned (otherwise not
taken into account),
• Using robots to test the behavioral consequences of a given
model (proof by failure!)
Cognition, cerveau, neurones...

Les limites d’une démarche réductionniste…

 « Virtual » Laboratory

Joint works with

z Jean Paul Banquet : neurobiological modelling
+ Bruno Poucet (Marseille 3C): neurobiology

z Jacqueline Nadel: developmental psycho pathology

(+ inter-lab. association CNRS)
• Lola Cañamero (Feelix growing UE STREP project)
Adaptive Systems Research Group, University of
Hertfordshire, UK
 Plan:
1. Interaction et apprentissage:
Un modèle sensori-moteur minimaliste
2. Problèmes dans les interactions Homme-
robot (imitation)
3. Modéliser les émotions?
4. Emotions dans les interactions Homme-robot
5. Perspectives…
Double fonction de l’imitation et des émotions
Î crucial pour la modélisation
ÎImplications dynamiques complexes
ÎUtiliser les modèles pour valider des thérapies
 1ere partie

Interaction et apprentissage:
Un modèle sensori-moteur minimaliste
 Développement autonome
En général : robot dans son environnement physique
• Contrôle moteur : le bras ,
les roues,etc. Quel espace
de travail ?

• Quelles informations
traiter ? fusion ?

• Référentiel ?
• Dynamique du système ?
mouvements du bras, de la
tête ?

• “one body psychology” : étude du système seul dans son

environnement physique 7
 Développement autonome
• 2 robots en interactions (STREP FEELIX growing)

•Comment Apprendre de
l’autre ? Démonstration,
observation, imitation..

•Comment interagir ? Turn

taking ? quels signaux ?

8
 Développement autonome
Avec un humain ? (STREP FEELIX growing)

[IROS 07,
IEEE SMC 09]

• “two body psychology” : l’interaction est une dynamique

composée de deux systèmes, eux-mêmes dynamiques. Rôle 9
important de l’imitation et des emotions.
 Modèle du développement

ETIS, UMR 8051 Development and

(Cergy) psychopathology
Neurocybernetics team UMR 7593 (Paris)
P. Gaussier J. Nadel

• Apprentissage de comportements moteurs

complexes
• Modéliser le développement cognitif d’un bébé
(< à 9 mois)
• Architectures neuronales pour l’imitation
Îmécanisme de bootstrap
 AI and Perception/Action
• Sensory motor level was considered as secondary
– Important debate in 1980/1990
• Animat approach (Meyer & Wilson 94)
– Situated cognition (opportunism -Brooks)
– Sensory-motor dynamics
– Motivation
– Autonomy
– …
• Tendency to assign intentions to
others / artifacts

Do emotions really exist?

Are they useful?
 Decision making / Learning
in autonomous systems

• Reinforcement learning:
– Internal signals equivalent to pain and pleasure
– If delayed reward: TD(lambda), Qlearning…

• Action selection (Maes, Tyrell, Cañamero…)

• Other solutions: Use of cognitive maps

(Arbib, Schmajuk, Edelman, Mallot, Gaussier…)
The PerAc architecture
 PerAc architecture and interactive teaching

• [Giovannangeli05,06]

30/03/2009 14
Motivational bias
 2eme partie

Problèmes dans les interactions Homme-robot

Apprendre via imitation
Avoid combinatorial explosion of learning by an isolated individual
L’Interaction comme signal de renforcement
Exploit dynamics of interaction (communication)
 Développement autonome
Avec un humain ? (STREP FEELIX growing)

[IROS 07,
IEEE SMC 09]

• “two body psychology” : l’interaction est une dynamique

composée de deux systèmes, eux-mêmes dynamiques. Rôle 17
important de l’imitation et des emotions.
 Définitions de l’imitation…

• ``Vraie'' imitation: [Whiten&Byrne82, Mitchell87]

• Apprendre un nouveau comportement et reproduite
précisément les actions permettant d’atteindre le but
de ce comportement.

• Imitation immediate vs différée

• imitation au niveau de l’action action vs au niveau du
programme

• Autres types d’interactions:

• Stimulus enhancement [Spense37]
• Emulation (obtenir la même recompense
[Tomassello87]
• Facilitation de la réponse [Byrne94]
 Bootstrap / imitation

[Applied AI 98,
Adapt. Behav 04,
ICANN 07]

Apprendre un comportement homéostatique

 Bootstrap / imitation

[Applied AI 98,
Adapt. Behav 04,
ICANN 07]

Proto-imitation effet de bord d’un syst.

homeostatique (ambiguité de la perception)
 Setup expérimental
Simple homeostat + ambiguité de la perception
 Apprentissage séquence
• Grâce à sa capacité d’imitation de gestes, notre robot
peut reproduire des trajectoires plus complexes.
L’imitation peut alors remplir une fonction
d’apprentissage
– Extension du répertoire sensori-moteur par
composition

– Résolution de tâches plus complexes

– Passer de la notion de geste à celle d’action

Comment apprendre une trajectoire et quelle

information utiliser ?

Î Réservoir de dyn. RN récurrent aléatoire…

[Andry Adaptive Behav 04, Lagarde ICANN 07, Lagarde08]

Imitation / interactions sociales

(J. Nadel et al 2004, Interactive Studies)

Imitation / interactions sociales

(J. Nadel et al 2004, Interactive Studies)

 Imitation / interactions sociales

•Interaction et Imitation ne peuvent être

séparées: prise en compte de capacités de
tour de rôle dans le modèle:

•capacité à se synchroniser
/ détection de la synchronie

(J. Nadel et al 2004, Interactive Studies)

 Imitation / interactions sociales

Double fonction de l’imitation:

• Apprendre
• Communiquer

(dans un seul système!)

Interaction et Imitation ne peuvent être séparées:
prise en compte de capacités de Turn-taking / rôle switching
Îcapacité à se synchroniser / détection de la synchronie

⇒Capacité à prédire le rhythme de l’échange

⇒ peut être utilisé comme récompense interne

Î Lien avec les mécanismes émotionnels

Interactive teaching [Giovannangeli et al, IROS 07, IEEE SMC 08]

 System limitations:
•No synchronisation capabilities between agents
•Need of an explicit reward or adhoc mechanism to
decide if given sequence must be learned
•Need of an explicit signal to specify the beginning and
the end of the expriment

[Gaussier & Moga97]

 Limitations d’un simple
conditionnement
Dynamique des interactions
s’effondre sur un attracteur de type point fixe

Le démonstrateur controle
l’interaction :

Nécessiter de gérer des

signaux de controle explicites
/ implicite (debut/fin de l’exp.)

L’innovation ne peut venir que de l’autre!

 Résonances plus complexes
Besoin d’introduire
Au moins des attracteurs cycliques:

Différent niveaux:
- turn taking
- role switching

“Volonté” d’interaction:
• un simple oscillateur interne?
• La prop. émergente d’un RN ?
 Emotional value of interactions
Inspiration from mother-baby face to face interactions:

« still-face » [Tronick 78]:

• Moving to still face
• Negative effect on the children

double video [Threvarten 85, Nadel 99]:

• Mother and child communicate via a double video system
• Introduction of a temporal delay
• Contingency is essential to maintain the interaction

Æ Rhythm and synchrony are important elements for the interaction

[Andry, Gaussier and Nadel 01]
 Emotional value of interactions

Emotional resonance or contagion (bootstrap empathy)

Capability to predict the rhythm of the interaction
(associated to a positive reward for ex.)
Imitation games (sharing emotions?)
 3eme partie
Modéliser les émotions?
Est ce que les robots ont besoin d’émotions?
(Designing emotional systems for more autonomous
and life-like behavior)
 Why emotions interest roboticists ?

• [Giovannangeli05,06]

30/03/2009 33
 Example: behavior selection
(L. Canamero)
Carrots … Eat !!
1 ...
reactive system

2 ...
I am starving … Where
had I seen those carrots?

motivated system

3 !!
I am starving, but
this might not be the
right moment!!!

emotional system
 Some problems in robotics…

• Management of goals/motivations:
– How to change motivations’ priorities?
– “Weighting” motivations; emergency situations
• “Loops” – repetitive and inefficient behavior:
– How to detect and avoid them?
• Management of autonomy and learning:
– Deciding what (not) to learn
– How to guide learning?
• Memory (recall):
– Too global: cognitive overload, too long recall times
– Need for selective recall (e.g., mood-congruent)

(L. Canamero)
 Why emotions should interest roboticists…

• Adaptive mechanisms
– To deal with important events related to survival (LeDoux)
– Internal equilibrium, contribution to homeostasis
– Control of interactions with (physical and social) environment
• Motivate and guide action
– Categorize events as pleasant/unpleasant
– Amplify/modify motivation
– Decision making and social interactions (Damasio)
• Value as signals
– Social reference (assess situation from others’ emotions)
– Communication
– Construction of inter-subjectivity (image of self and other)
¾ Dual aspect, connecting “inner world” and “external”
behavior
(L. Canamero)
 Creatures’ architecture
stimuli Perception

internal milieu
controlled variables,
emotions “hormones”
(fear, anger,

Control
happiness, sadness,
boredom, interest)
environment motivations
(hunger, thirst,
fatigue, protection, ...)
behaviors
(walk, withdraw, eat,
drink, attack, ...
go-toward, look-for ...)

activity Action
(L. Canamero)
 Is this enough to deal with others?

How to “display” emotional / “internal” states?

¾Design a morphology adapted to emotional and social interactions

What mechanisms are needed for this?

(L. Canamero)
 4th part

Emotions in human-robot interactions

 Modeling emotions
for social interactions
• Conveying intentionality
– Coherent explanation for observed behavior
– Emotions and personalities as sources of intentions
• Eliciting/controlling emotions
• Making humans feel comfortable about the
interaction
– Tailor interactions to meet human needs
– Artifact more believable, “closer” to human (in autism?)
• Enhanced communication
– Non-verbal communication
– “deeper” understanding (what we mean, not what we say)
Sparky, a tele-operated robot
 Choice of model: dimensions?
Open
stance Low
accepting arousal
fear tired
Negative
valence
unhappy

happy
disgust Positive
surprise valence

anger stern
High Closed
arousal stance
 Sophisticated communicative/emotional robots

Repliee Kismet (S. Breazel)

(Ishiguro)

• Infanoid
• (I. Kozima)
 Complexity: caricature or portrait?
+ “healthy” people
100%
Emot. reaction, familiarity

toy robot
uncanny
valley

-
0 Similarity to human 100%
moving corpse
Feelix, a simple “humanoid”

(Lola Canamero )
Development of facial expression recognition
GOAL: Understanding how babies learn to recognize facial expressions without having a teaching signal
allowing to associate for instance an “happy face” with their own internal emotional state of happiness
is a big challenge in a developmental perspective [Gergely99].

[Boucenna08]
 Starting from a Mathematical Model
• Cognitive System Formalism [Gaussier01] to study baby / parent
interations.

Formal representation of the global system in a single network

(2 reactive agents in interaction)
 we have shown...
• After simplifications (in a stable state of interaction), the global
network is equivalent to a).

To allow learning Æ parents imitate / not the baby ! [Gaussier04]

Importance of the empathy
Humans low level resonance to robot head [Nadel06]
 First computational models
Principle of the classical algorithms for facial
expression recognition:

z Find the face in the image...

z Build a frame around the face
z Recognition of the normalized image (eigenvalues,
supervised NN...)
“Classical” NN strategies

Limitation:
NO on-line and autonomous learning
because the face / non-face
recognition need an external
teaching signal (supervision)!
 Approche fonctionnelle “classique”
vs approche developpementale holistique

Approche classique:
• Trouver le visage dans l’image…

• Construire un cadre autour du visage

z Reconnaissance de l’imagette cadrée

(vecteurs propres, RN supervisés...)

Notre modèle développemental:

z Reconnaissance des expressions peut précèder la
reconnaissance du visage !
 Facial expression recognition
without face detection
• Idea: math. model does not suppose a first step of face
detection.

Success rate: happiness: 86 %, anger: 66 %, surprised: 51 %,

sadness: 48 %, neutral: 36 %
 Interactions faciales

(SAB04, Epirob 06, 08)

 Emotions as a way to structure
learning
• Facial expression recognition can precede face / non
face recognition. !
• Taking into account the emotional development opens
new doors for autonomous learning
• The emotion communication may be used as a way to
shape and trigger more and more complex learning
when no explicit reinforcement signal can be used.
Nouveaux outils pour les
sciences cognitives
Tester des modèles du cerveau
en conditions réelles !
 Conclusion
Emergent double functions (self / social):
• Imitation: learning and communication
• Emotions: 2d order controller and
communication

Need of an holistic approach to cognition :

• Robot as model to understand cognitive
mechanisms and their deficits
• Robot as tool for psychologists to test the validity
of the model
 Besoin de plus de modèles

- Certains modèles amènent a des conclusions assez inattendues

- Les comportements observés peuvent résulter des interactions entre

un grand nombre de dynamiques sensori-motrices

ÎDifficulté à prédire l’impact d’une modification volontaire d’une

dynamique comportementale
ÎForce heuristique du modèle robotique
ÎLes robots peuvent être des outils intéressants pour valider des idées
thérapeutiques: gain de temps
 Emotions as a dynamical system ?

No locus
“appraisal”
for the “emotional states”?

shared sub-structures --> Complex emotions built through the interaction

between both controllers and next useful for an isolated agent
 Perspectives
•Questions ouvertes: types de codage, gestion de la
multimodalité (amodal versus re entrance entre cartes
modales)
•Vers des comportements complexes (manipulation,
interactions entre comportements de niveaux
différents…)
•Modélisation des émotions (métacontrole /
communication)

Expérience sur devel.

du référencement social
(donner une valeur aux objets)
 Perspectives / RISQUES
•Comment maintenir des interactions avec un robot qui
ne finissent pas en stéréotypies?

ÎBesoin que le robot développe ses capacités

d’interaction avec l’enfant sinon danger!!!

ÎRisque: mettre en avant les dispositifs robotiques

pour pallier le manque de moyens humains
CE SERAIT CATASTROPHIQUE!
web site: www.etis.ensea.fr/~neurocyber/Videos/

Thanks to: P. Andry, (J.-C. Baccon),

J.P. Banquet, S. Boucenna, N. Cuperlier, F.
Demelo, L. Hafemeister, (C. Giovannangeli),
C. Hasson, J. Hirel, (C. Joulain), M. Lagarde,
P. Laroque, (S. Leprêtre),
B. Miramond, (S. Moga), (M. Maillard), F. Pirard,
(K. Prepin), M. Quoy, (A. Revel)