Action spcifique du CNRS

Humain virtuel : vers un humain synthtique temps-rel aussi vrai que nature Co-anime par

Stphane Donikian (IRISA/CNRS) Jean-Pierre Jessel (IRIT) Catherine Pelachaud (Universit Paris 8) Introduction
Reprsenter et animer en temps rel un tre humain synthtique non discernable dun humain rel lors de ses actions, notamment de communication avec un autre humain (virtuel ou rel), est un objectif que se sont fixs plusieurs chercheurs depuis maintenant plus de deux dcennies. Ce challenge est encore loin de pouvoir tre atteint aujourdhui. La perception du mouvement biologique faisant appel une partie spcifique de notre cerveau, nous sommes capables au premier coup dil de voir le moindre dfaut dun mouvement de synthse. En animation par ordinateur non temps-rel, les meilleurs modles restent encore ceux effectus la main par des infographistes en utilisant des techniques danimation par images cls. Cette action spcifique se propose de faire un tat des lieux des diffrents travaux de recherche pouvant permettre damener une pierre ldifice de la construction dun humain virtuel vraisemblable en temps-rel. A ltranger, des pionniers tels que le professeur Norman Badler de lUniversit de Pennsylvanie ou encore les professeurs Daniel Thalmann lEPFL et Nadia Magnenat-Thalmann lUniversit de Genve ont dfini lhumain virtuel comme thmatique scientifique unique de leur quipe et y travaille depuis une vingtaine dannes. En France, dans la plupart des cas, chaque quipe de recherche s'attache rsoudre l'un de ces problmes, en intgrant le minimum ncessaire des autres domaines pour tester et valider lapproche retenue. Modliser lhumain ncessite dintgrer des travaux de recherches complmentaires tels que : modles de corps humain (rigides, dformables, multicouches) ; recueil et adaptation de donnes morphologiques ; animation de vtements ; rendu photo raliste du corps humain ; modles de mouvement humain (cinmatique et dynamique, directe et inverse) ; analyse et traitement de mouvements capturs ; coordination, synchronisation et contrle de mouvements ; modles de comportement (ractif, cognitif, hybride) ; les niveaux dautonomie et de contrle ; modle de rendu des expressions faciales et corporelles et coordination de la gestuelle avec la parole.

Les techniques de contrles du mouvement classiquement utilises sont : lanimation par images cls : spcification la main par lanimateur de diffrentes postures au cours du mouvement et le programme calcule le mouvement du personnage entre ces images cls, par des techniques dinterpolation ; capture de mouvement et rejeu : utilisation de systmes de capture du mouvement, qui permettent denregistrer la trajectoire de marqueurs poss sur une personne. Il est ensuite possible de reconstruire le mouvement global dun humanode laide de lensemble de ces donnes ;

Lavantage de la premire approche est de laisser une complte libert lanimateur, par contre elle est trs coteuse en temps, et fortement dpendante des comptences de lanimateur. La seconde approche permet de rduire considrablement le temps ddi au contrle du mouvement, car il suffit denregistrer les mouvements dune personne, de les intgrer au sein dun humanode comme une base de donne de mouvement. Les limites de cette approche concernent la coordination de mouvements, le passage dun mouvement lautre en cours de cycle et le fait de ne pas pouvoir effectuer des mouvements non enregistrs au pralable.

Dautres techniques plus coteuses en temps de calcul ont t dveloppes pour pallier ces manques. La cinmatique inverse permet de dfinir la trajectoire de lextrmit dune chane articule et les mouvements des autres articulations sont calcules de manire automatique par le programme. Le corps humain tant compos de plusieurs chanes articules, des extensions ont t proposes pour traiter plusieurs chanes en mme temps et prendre en plus en compte des contraintes physiques (butes articulaire, maintien de lquilibre). Il reste cependant difficile avec cette technique de contrler finement la trajectoire obtenue, car il existe en gnral une multitude de solutions possibles, voire dans certain cas aucune solution. Mme en y intgrant quelques critres physiques, cette approche est cinmatique et non dynamique, et il est ainsi difficile de contrler le ralisme physique des mouvements obtenus. Dautres approches, prenant en compte les caractristiques physiques dtres humains ont t tudies, notamment au sein des laboratoires de biomcanique. Il sagit de prendre en compte en plus de la structure squelettique dune personne sa musculature. La problmatique concerne alors le contrle de linflux nerveux sur les diffrents muscles du corps afin de produire un mouvement donn. La complexit de la structure du corps humain et le manque de connaissances mdicales sur certains mouvements, nont permis jusqu prsent de traiter que des sous-ensembles et ce pour des cots de calcul relativement plus importants que les mthodes prcdentes. La communication verbale ncessite l'animation et la synchronisation labiale, en coordination avec une synthse vocale approprie. L'articulation du comportement gestuel et verbal est au cur des difficults rencontres pour lobtention dhumanodes synthtiques ralistes. Le comportement non verbal (gestuel, expressions faciales, regard) est un vecteur essentiel de la communication (motion, attitude, personnalit) et de l'interaction, et il est ncessaire de le synchroniser finement avec la parole afin daccompagner celle-ci. La complexit des structures de donnes employes pour modliser les personnages autour de structures articules rend difficile leur contrle par un animateur. L'animation d'un personnage virtuel ncessite le contrle d'un grand nombre de paramtres au cours du temps. Le contrle des personnages peut s'effectuer diffrents niveaux de complexit complmentaires. Nous traiterons des modles dautonomie et de contrle, ainsi que des passerelles qui existent avec les sciences cognitives et les modles formels dvelopps en intelligence artificielle (BDI par exemple). Lobjectif de cette actions spcifique tait de faire ltat des lieux des techniques existantes, de leurs domaines de validit, et des avantages et inconvnients de chacun des modles cits prcdemment. Nous avons aussi tudi les architectures logicielles permettant dintgrer les diffrentes briques, notamment les travaux en cours de normalisation sur lhumain virtuel. Les porteurs du projet taient : Stphane Donikian, charg de recherche au CNRS lIRISA (donikian@irisa.fr) Jean-Pierre Jessel ; Matre de confrences lIRIT (jessel@irit.fr) Catherine Pelachaud, Professeur lUniversit de Paris 8, LINC - membre du laboratoire Paragraphe (c.pelachaud@iut.univ-paris8.fr) GRAVIR (UMR 5527), projet EVASION, Grenoble IRISA (UMR 6074), projet SIAMES, Rennes IRIT (UMR 5505), Equipe Synthse d'Image et Ralit Virtuelle, Toulouse LERI (EA 2618) : quipe IMAD (Imagerie Multidimensionnelle et Aide la Dcision), Universit de Reims Champagne-Ardennes ; LIRIS (FRE 2672), Laboratoire d'InfoRmatique en Images et Systmes d'information, Lyon LPBEM (Equipe dAccueil 1274) : Laboratoire de Physiologie et de Biomcanique de lExercice Musculaire, de lUniversit de Rennes 2 ; Laboratoire Paragraphe, Universit de Paris 8

Sept quipes taient membres du cur et ont reu un soutien direct pour participer cette action :

Dautre part, les porteur du projet ont reu des moyens qui ont permis de financer les dplacements de personnes, effectuant leurs recherches dans dautres quipes, pour les diffrentes runions de laction spcifique.

A loccasion de la premire runion de lAS qui sest tenue le 9 octobre 2003 lEcole des Mines de Paris, nous sommes arriv une dcomposition en six thmes, un transversal et cinq complmentaires. Thme transversal commun toutes les quipes participantes : dresser un tat des lieux des systmes, logiciels, matriels et donnes disponibles et utilisables par les membres de la communaut. Thme 1 : Modles de corps humains : gomtrie, squelette, mcanique, dynamique Animateur : S. Akkouche (LIRIS) Equipes participantes : EVASION, LERI (D. Gillard), LIRIS (S. Akkouche), LPBEM (F. Multon), LPPA. Thme 2 : Mouvement et contrle de mouvement : cintique directe et inverse, dynamique, capture de mouvement, biomcanique ; modles de contrle associs Animateurs : J.P. Jessel (IRIT) et F. Multon (LPBEM) Equipes participantes : ENSMP (B. Stanciulescu), IRISA (G. Dumont), IRIT (J.P. Jessel), LAAS (J.P. Laumond), LERI (D. Gillard), LIL (S. Delepoulle), LPBEM (F. Multon), MIRAGE (P. Grard), VALORIA (S Gibet), LPPA, CyberMove Thme 3 : Rendu photo raliste Animateur : C. Renaud (LIL) Equipes participantes : ARTIS, IRIT (M. Paulin), LIL (C. Renaud) Thme 4 : Agents conversationnels : expression (face et corps), communication verbale et non-verbale Animateur : C. Pelachaud (LINC) Equipes participantes : FT R&D (D. Pel & G. Breton), LIMSI (A Braffort), VALORIA (S Gibet), LINC (C. Pelachaud), EVASION (L. Reveret), LIMSI (J.C. Martin) Thme 5 : Comportements humains individuels et collectifs Animateur : S. Donikian (IRISA) Equipes participantes : AFPA (D. Mellet d'Huart), ENSMP (D. Lourdeaux), IRISA (S. Donikian), IRIT (J.P. Jessel), L2I-ENIB (F. Julliard), LEI (J.M. Burkhardt), Paris 8 / Ergo (V. Folcher & P. Rabardel), LIL (S. Delepoulle)

A lissue de cette premire journe les personnes tant rparties dans les diffrents thmes, ceux-ci ont fonctionn de faon autonome et ont tabli un calendrier et une faon de travailler (runions de travail, rdaction squentielle par itrations successives). Nous avons ensuite effectu des runions plnires ou les documents effectuant la synthse de chaque thme ont t prsents et amends, conduisant ma production des cinq documents ci-joint. Concernant le thme transversal, une enqute a t effectue fin 2004 auprs des diffrents laboratoires de la communaut franaise dinformatique graphique afin de dresser un panorama des dveloppements propres disponibles et utilisables, ainsi que des logiciels commerciaux utiliss. Un bilan de cette enqute est aussi fourni en annexe.