1

Classification d
Classification d

expressions faciales par

expressions faciales par
la th
la th

orie de l'
orie de l'

vidence
vidence
Zakia Hammal
Zakia Hammal
Alice
Alice
Caplier
Caplier
, Michle
, Michle
Rombaut
Rombaut
2
Extraction automatique
des contours des traits
Dfinition de squelette
dexpression
Objectif : systme automatique de reconnaissance
dexpressions faciales partir dinformations issues des
squelettes dexpressions

Introduction
3
Plan
1- Introduction
2- Modlisation des expressions faciales
3- Reconnaissance des expressions faciales
4- Rsultats
5- Conclusion
4
Dgot Peur Colre
Surprise Sourire Tristesse
- Images statiques
- 6 motions universelles + expression neutre + expression inconnue
Modlisation des expressions faciales :
Expressions (1)
- Analyse sur 13 sujets non comdiens (Hammal-Caplier database)
5
Modlisation des expressions faciales :
distances caractristiques (2)
D2
D1
D5
D4
D3
Sourire :
{bouche ouverte} => D3 <<Dn3 et D4 >>Dn4 ,
{coins de la bouche en arrire} => D5 << Dn5 ,
{sourcils relachs} => D2 ne change pas
Neutre => Dni valeur de rfrence
Surprise :
{les sourcils soulevs} => D2 >>Dn2,
{paupires suprieures ouvertes} => D1 >>Dn1,
{bouche ouverte} => D3<<Dn3 et D4>>Dn4.
Comment utiliser linformation prsente dans les squelettes ?
Mpeg-4 => description des 6 motions
universelles
motions => traduction de ces descriptions
6
Modlisation des expressions faciales :
discrtisation des distances (3)
Discrtisation des distances : 3 tats
Dni : distance dans lexpression neutre
S : stable
C+ : Di >> Dni
C- : Di << Dni
Modlisation du doute :
SC+ : Di > Dni (tat S !C+)
SC- : Di < Dni (tat S !C-)
volution de D2 (surprise)
volution de D5 (sourire)
Caractriser chaque expression faciale par l'tat des paramtres
mesurs Di .
7
Modlisation des expressions faciales :
confiance des tats (4)
" #
" #
$ % $ % &
$ %
'
' &
SC SC S C C
S C C
, , , , 2
, ,
( )
* +
,
&
-
&
'
.
2
1 ) (
1 , 0 2 :
A
Di
Di
Di
A m
A m A
m
!
Distribution de masse d'vidence associe D
i
par :
Modle
m : masse de croyance associe chaque tat ou sous ensemble d'tats.
8
Plan
1- Introduction
2- Modlisation des expressions faciales
3- Reconnaissance des expressions faciales
4- Rsultats
5- Conclusion
9
Reconnaissance des expressions faciales (1)
Base des rgles
Sourire C- S / C- C + C+ C -
Surprise C+ C+ C - C+ C+
Dgot C - C - S / C+ C + S / C -
Colre C + C - S S / C - S
Tristesse C - C + S S S
Peur S / C+ S / C+ S/C- S/C+ S/C+
Neutre S S S S S
D1 D2
D3
D4
D5
10
Mesures numriques des distances D
i
Dtermination des distributions de masse sur les tats des D
i
Utilisation de la base de rgles pour dterminer les distributions
de masse sur les expressions pour chaque mesure D
i
Reconnaissance des expressions faciales (2)
mthode
11
* +
,
' /
'
0 '
A C B
D D
D D
C m B m A m
m m m
) ( . ) (
2 1
2 1
Combinaison (somme orthogonale):
Reconnaissance des expressions faciales (3)
A, B et C : expressions ou sous ensembles d'expressions.
Classe de rejet (Inconnue) : expressions qui ne correspondent aucune
des descriptions de la table des rgles.
Dcision : garder lexpression ou combinaison dexpressions de masse
de croyance m(A) maximum.
12
Plan
1- Introduction
2- Modlisation des expressions faciales
3- Reconnaissance des expressions faciales
4- Rsultats
5- Conclusion
13
Rsultats (1)
Hammal-Caplier database
Cohn-Kanade database
14
Rsultats (3)
Neutre : 100% Inconnue : 100% Sourire : 100%
3 images conscutives du neutre au sourire
=> expression transitoire
15
Rsultats (4)
Validation des rgles de classification (8220 exemples sur 3 expressions pour le
moment Hammal-Caplier database).
Sourire
Surprise
Sourire
Surprise Dgot Neutre
Dgot
Neutre
Sour/Deg
Inconnue
Surp/Peur
Autre
Total
76,36%
12%
43,10%
88%
6,06%
6,66%
10,90%
0
0,02%
0
0
0
12%
11,08%
0
0,78%
0 0
0
6,06%
72,44%
2,08%
0
8,62%
9,48%
15,51%
12,06%
0
11,32%
0
0
0
84,44% 51,72% 88% 87,26%
16
Plan
1- Introduction
2- Modlisation des expressions faciales
3- Reconnaissance des expressions faciales
4- Rsultats
5- Conclusion
17
Conclusion (1)
1 Intrts de la mthode :
1 modlisation l'ambiguit entre plusieurs expressions possibles
1 modlisation de ltat inconnue
1 ajout facile de mesures
1 Amlioration de la classification : ajout de mesures
1 information de forme (forme de la bouche sourire 2dgut)
1 information temporelle : utilisation des squences vido de
squelettes au lieu dimages statiques (vitesse, succession).
1 information parole
1 information posture (mouvement de la tte).
18
Rsultats (2)
Z. Hammal, A. Caplier, M. Rombaut, Classification des expressions faciales par la thorie de lvidence ,
Rencontres Froncophones sur la Logique Floue et ces Applications LFA 2004.