DEMAIN DANS L'INDUSTRIE

MPEG-7
Interface de description de contenu multimdia, la norme MPEG-7
sera finalise en 2001. Elle dfinira une syntaxe et un vocabulaire
de description du contenu de documents audiovisuels, et constituant
une indexation pour la recherche et la slection de linformation associe.

Les annes 1990 ont t marques par une

rvolution des technologies de linformation.
Lavnement du numrique et des normes
associes, la baisse des prix des quipements de traitement et de stockage de linformation, la mise en place de nouveaux
rseaux en sont quelques faits marquants.
Dans ce nouveau contexte, les quantits
dinformations multimdia disponibles sont
en nombre sans cesse croissant, parpilles
ou transitant sans ordre dans des sites et sur
des rseaux du monde entier. Simultanment, leur usage se dmocratise, stendant
de nouvelles catgories socioprofessionnelles, ainsi quau grand public. Il devient
donc crucial dorganiser laccs ces informations. Idalement, il sagirait davoir un
moyen universel, efficace, sadaptant des
applications comme des utilisateurs ou
des contenus trs divers, qui permette
chacun de trouver ou de slectionner linformation souhaite dans son propre environnement applicatif : cest le but de MPEG-7.
Le groupe de normalisation ISO/MPEG
(Moving Pictures Experts Group) a une
expertise reconnue dans le dveloppement
de normes pour les nouvelles technologies
de laudiovisuel. MPEG-1, MPEG-2 et MPEG-4
permettent de reprsenter linformation
audiovisuelle sous forme numrique respectivement pour le stockage, la tlvision
numrique, ou tous types dapplications multimdia [5]. Avec MPEG-7, ISO/MPEG normalise maintenant le niveau des mtadonnes :
cest--dire une reprsentation de la reprsentation de linformation.

Le premier paragraphe donne une vue

densemble du contexte et des objectifs de
MPEG-7. Les deux suivants dcrivent un
peu plus finement les caractristiques de
la future norme. Les lments constituants
de MPEG-7, leur organisation globale et la
terminologie associe sont exposs dans le
paragraphe 2, et les futures fonctionnalits
de la norme ainsi que les enjeux techniques impliqus sont rsums dans le paragraphe 3.

MPEG-7 : le contexte,
les objectifs

Objectifs gnraux
Il existe lheure actuelle des mthodes de
description de contenu textuel, base
dindexation par mots-clefs. Mais rien
nexiste encore sur la base des caractristiques propres aux informations audiovisuelles (rythmes dune musique, couleurs dune
image, mouvements dans une vido,...). De
telles informations ne peuvent tre indexes
que par mots-clefs, ce qui doit tre fait
manuellement, et limite grandement les possibilits offertes par leur description. MPEG-7

se fixe donc comme objectif de normaliser un

langage et un vocabulaire de description de
contenu multimdia qui ne soit pas uniquement textuel, mais qui comprenne comme
mots des lments directement reprsentatifs du contenu, tels les lments donns plus
haut (rythmes...) [1].
Cette description doit tre flexible, afin de
pouvoir sadapter de nouveaux types de
contenus et de nouvelles applications.
Ainsi, elle sera indpendante du format de
linformation (par exemple analogique,
MPEG-2...) car reprsentative de son contenu smantique. En outre, le langage de
description pourra non seulement manier du
vocabulaire standard, mais aussi dfinir luimme de nouveaux mots de manire standard. Ceci permettra notamment dindexer
efficacement sans pour autant sortir de la
norme un contenu aux caractristiques particulires, ou utiliser dans un domaine bien
spcifique.
MPEG-7 ne normalisera ni les mcanismes
dextraction des descriptions, ni les moteurs
de recherche ou les mcanismes de filtrage
dinformation qui greront laccs aux informations (figure 1).
En effet, la normalisation de la description
suffit assurer linteroprabilit de diffrents
outils de recherche avec diffrentes donnes.
Les outils de recherche et dextraction associs aux descriptions standardises seront
bien sr dvelopps par MPEG, mais ils resteront des annexes informatives de la norme.
Ainsi la concurrence pourra sexercer dans
ces domaines, qui pourront en outre profiter
des futurs progrs des techniques concernes.
Le standard sera finalis en novembre
2001 (tableau 1).

Applications
Extraction
de description

Description
normalise

Moteur
de recherche

MPEG -- 7
Figure 1 MPEG-7 :
quoi normaliser ?

2 - 1999

Le spectre des applications existantes pouvant bnficier de MPEG-7 est trs large [2],
et de nouvelles applications en ayant lusage
se creront srement dans les prochaines
annes. De fait, MPEG-7 peut offrir une

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 5 375 - 1

DEMAIN DANS L'INDUSTRIE

Tableau 1 chances de la normalisation MPEG-7

Octobre 1998

Appel propositions

Mars 1999

Dpart de la phase collaborative du dveloppement de

la norme

Novembre 2001

Norme internationale

valeur ajoute toute application pour

laquelle il est important de caractriser des
informations multimdia et dy accder. En
consquence, MPEG-7 se fixe comme objectif de ne pas tre assujetti une application
particulire, mais de pouvoir dcrire les donnes multimdia pour touts types denvironnements applicatifs.
Cette gnricit peut en particulier se dcliner selon diverses caractristiques dapplications, que nous passons en revue dans la
suite :
utilisateurs : du grand public (nonexperts ou connaisseurs) aux professionnels ;
mdia : multimdia en gnral, quil
sagisse dimages fixes, daudio (musique,
dialogues...), de vido, ou de contenu audiovisuel ;
mode daccs : du push, dans le cas o
lutilisateur reoit des descriptions MPEG-7
partir desquelles il filtre linformation, au
pull, dans le cas o lutilisateur va consulter
des descriptions MPEG-7 pour rechercher
une information ;
position dans la chane de traitement
du contenu : tout au long de la chane, du
dbut lors de la cration, lindexation et
lannotation du contenu, jusqu la fin lors de
sa recherche dans une base de donnes ou
de sa diffusion ;
types de contenu : amateur ou professionnel, tous types de contenu (journaux
tlviss, squences de vidosurveillance,
photos de vacances, sitcoms...).
Pour citer concrtement quelques applications, on peut envisager dutiliser MPEG-7
pour le stockage et la recherche dans des
bases de donnes vido, la slection et le filtrage de programmes tlviss, laccs slectif des vidos dans le cadre de la
vidosurveillance, lindexation dimages
mdicales, ldition de contenu multimdia,
etc.

tat de lart
Recherches et produits existants
Les tats-Unis sont tout particulirement
la pointe de la recherche en indexation des
informations audiovisuelles et recherche par
le contenu [4]. Ltat y finance depuis plusieurs annes un programme de recherche

E 5 375 - 2

universitaire trs important dans ce domaine.

Les universits de Columbia (systme
VideoQ), Berkeley (systme Chabot) Carnegie
Mellon (projet Informedia) et dUrbana
Champaign en Illinois (systme MARS) sont,
pour ne donner que quelques exemples, particulirement actives.
De nombreuses socits ont galement
des activits de recherche dans ce domaine,
et suivent activement le dveloppement de
MPEG-7 : Philips, Sony, Sharp, IBM, Canon,
Kodak, ou encore NHK, en sont quelques
exemples.
En ce qui concerne les produits, certaines
compagnies commercialisent dj des produits permettant lindexation de contenu
audiovisuel puis sa recherche par des caractristiques non textuelles. La plupart de ces
produits ont dabord t conus pour des
images, puis sont passs aux squences
vido. Parmi les plus connus, nous pouvons
citer le systme QBIC (Query By Image
Content ) dIBM, et VIRAGE.

Autres normes
Rappelons ici que MPEG-7 nest nullement
une amlioration ou un concurrent des normes MPEG prcdentes. En effet, MPEG-1,
MPEG-2 et MPEG-4 taient toutes trois des
normes de compression de linformation
audiovisuelle sous forme numrique [5], et
non de reprsentation de ses caractristiques
smantiques.
Dautres normes auront en revanche des
liens plus complexes avec MPEG-7. Nous
lavons mentionn, il existe dj des normes
relatives lindexation de documents textuels. MPEG-7 ne sattachera donc pas dfinir quoi que ce soit de nouveau dans ce
domaine. Cependant, afin de pouvoir indexer
efficacement de tels contenus sil sen prsente (sous-titres, script ou tout type de
texte), MPEG-7 choisira lune de ces normes
et spcifiera un mcanisme dinterfaage de
sa syntaxe avec celle de la norme slectionne.
Il existe galement certaines normes qui
dcrivent des informations multimdia pour
des applications spcifiques, le plus souvent
par des mots-clefs. Un exemple en est la spcification DVB-SI, qui dfinit les descripteurs
de programmes tlviss pour la diffusion.
MPEG-7 se place comme on la vu dans un

cadre plus vaste. Pour une application donne, il sera donc possible davoir le choix
entre deux standards de reprsentation mais
dont les fonctionnalits et les philosophies
seront srement diffrentes.
Enfin, MPEG-7 offrira une bonne complmentarit avec la norme FIPA, qui dfinit
pour des socits dagents intelligents un
langage de communication et des structures
adaptes certaines applications : MPEG-7
devrait offrir ce langage une ontologie
adapte aux applications audiovisuelles.

Architecture
et lments
dun systme MPEG-7

Terminologie MPEG-7 :
lments considrer
Pour bien comprendre le fonctionnement
dun systme MPEG-7 il faut considrer les
lments suivants, prsents en utilisant la
terminologie dfinie et utilise par MPEG :
les donnes : elles sont lensemble des
contenus indexs par MPEG-7. Comme nous
lavons vu, ces donnes seront de prfrence
audiovisuelles, et dans ce cas disponibles
sous nimporte quel format (VHS, MPEG...),
mais peuvent tre dune autre nature, textuelles par exemple ;
la caractristique : on appelle caractristique toute caractristique de linformation
indexer pouvant avoir un sens pour certains utilisateurs ou pour certaines applications. La couleur dune image, lauteur dun
film, le rythme dune musique en sont quelques exemples ;
le descripteur (D) : un descripteur est un
modle permettant dassocier une valeur (ou
un ensemble de valeurs) une ou plusieurs
caractristiques, pour une mme donne. Un
exemple classique est lhistogramme, pour
les couleurs ;
le schma de description (DS) : cest un
modle de plus haut niveau : il dfinit une
structure et une smantique pour les descripteurs et les relations entre descripteurs. On
peut lassimiler une sorte de formulaire,
dont les champs seraient des descripteurs ;
la description : elle est lentit dcrivant
la donne. Elle est forme dun schma de
description et des instanciations des descripteurs correspondants ;

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

2 - 1999

DEMAIN DANS L'INDUSTRIE

Langage de dfinition
de description
(DDL)

Schmas de description
(DS)
Descripteurs

Gnration
de la description

Description
MPEG -- 7

Moteur
de
recherche

Codeur

Description
MPEG -- 7
code

Utilisateur

Dcodeur

Agents
filtrants

Donnes

Figure 2 Vue densemble dun possible systme MPEG-7

la description code : elle est une reprsentation de la description optimise pour le

stockage et la transmission ;
le langage de dfinition de descriptions
(DDL) : le DDL est le langage utilis pour spcifier descripteurs et schmas de description,
normaliss ou non (cf. Objectifs gnraux ).

Exemple darchitecture
de systmes MPEG-7
La figure 2 donne une vue densemble,
aussi gnrique et abstraite que possible,
dune ventuelle application MPEG-7. Ceci
ntant quun exemple, la prsence de tous
les lments reprsents ne sera pas ncessaire pour chaque application utilisant
MPEG-7. Rciproquement, pour certaines
applications, la prsence dautres lments
ou dautres flux de donnes que ceux dcrits
ici pourrait tre ncessaire.
Les pointills entourent les lments normatifs de ce systme.
On peut notamment retrouver sur cette
figure les deux types de mode daccs, push
et pull, dcrits en dbut darticle. Il est en
outre implicite que la description MPEG-7
peut tre soit stocke, avec les donnes ou
indpendamment, soit diffuse de faon synchrone avec les donnes quelle reprsente.
Pour conclure, rappelons enfin que la description MPEG-7, exprime laide du DDL,
pourra contenir des descripteurs ou des DS
non normaliss. Dans ce cas, les mthodes
ncessaires lutilisation de ces lments
(extraction, mesures de similarits...) seront

2 - 1999

galement exprimes par le DDL, selon une

syntaxe normalise par MPEG-7.

Fonctionnalits,
enjeux techniques
Fonctionnalits
Les fonctionnalits de la future norme ont
t dfinies daprs ltude des applications
qui pourraient bnficier de MPEG-7 et de ce
que MPEG-7 devrait pouvoir leur proposer
pour leur offrir une valeur ajoute significative. Elles sont nombreuses et trs diverses.
Le lecteur voulant les dtailler peut se rfrer
[3]. Outre celles que nous avons dj voques dans les prcdents paragraphes,
nous pouvons citer :
la capacit reprsenter les informations diffrents niveaux de prcision :
disposer dune description chelonnable suivant diffrents critres (niveaux de priorit
parmi les caractristiques prsentes dans les
schmas de description, niveaux de prcision
des smantiques des descripteurs, niveaux
de prcision des valeurs dinstanciation des
descripteurs, etc.) ;
la capacit offrir un support performant pour diffrents types de recherche : par
similarits, par navigation, ou avec accs
des donnes complmentaires par exemple.

Enjeux techniques
De nombreux enjeux techniques seront
relever pour permettre la mise en uvre
dapplications utilisant efficacement MPEG-7.
En analyse audiovisuelle, les principales tudes porteront sur la segmentation automatique des informations audiovisuelles en
entits temporelles cohrentes partir dune
donne de dpart quelconque, et surtout sur
lextraction dans ces entits de caractristiques haut ou bas niveau, menant des descripteurs. Du ct de laccs linformation,
des tudes devront tre menes sur les stratgies dindexation et de recherche, notamment pour prendre en compte le volume des
descriptions, qui, ds quil sagit de vido par
exemple, devient sans commune mesure
avec celui associ aux traditionnelles donnes textuelles.
En outre, pour concevoir la norme ellemme, il faudra combiner les savoir-faire de
deux communauts jusqualors relativement
distinctes : celle de laudiovisuel et celle des
bases de donnes, afin de concevoir et de
choisir le langage de dfinition des descriptions dune part, et dautre part les descripteurs et les schmas de description qui
figureront dans la norme.

Sylvie JEANNIN
Ingnieur de recherche
Responsable du projet MPEG-7 au sein
du groupe Image et Communication,
Laboratoires dlectronique Philips SAS.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 5 375 - 3

DEMAIN DANS L'INDUSTRIE

Rfrences bibliographiques
Documents [1] [3] ractualiss en permanence sur
http://drogo.cselt.stet.it/mpeg :
[1]
[2]

MPEG-7 Context and Objectives.

MPEG-7 Applications.

E 5 375 - 4

[3]
[4]

[5]

MPEG-7 Requirements.
Special issue on Content-Based Image Retrieval Systems, IEEE Computer Magazine,
vol. 28, no 9, sept. 1995.
FERT (E.). MPEG-1, MPEG-2, MPEG-4.
E 5 360 Trait lectronique. Techniques de
lIngnieur ( paratre).

Normalisation
ISO/IEC JTC1/SC29/WG11 MPEG
http://drogo.cselt.stet.it/mpeg

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

2 - 1999