Chapitre précédent - Chapitre suivant

Approche généralisée des UST

L’analyse en UST permet d’interpréter l’évolution dynamique de données temporelles, une inscription absente des partitions
musicales. On peut souligner, à ce propos, que le temps n’a pas d’existence propre en tant que concept en psychologie cognitive,
en psychophysiologie et dans les neurosciences cognitives. Des travaux récents de psychologie cognitive permettent d’avancer
l’hypothèse que les UST correspondent à un traitement cognitif des données temporelles basé sur un codage spatial et dynamique.
Elles semblent, par exemple, fournir des correspondances entre les figures temporelles dénommées par les musiciens et des
modèles temporels naturels qui émergeraient de nos expériences corporelles(1) : cette confrontation s’inscrit dans la perspective
de la biosémiotique qui postule la nécessité de prendre en compte le corps humain et son interaction avec l’environnement dans
toute théorie de la signification.

Les premières analyses psychologiques du traitement cognitif des UST, menées au sein du laboratoire Cognition & Usages(2),
vont dans ce sens et tendent à montrer qu’elles seraient liées à des représentations mentales construites très tôt à partir de
l’expérience corporelle du mouvement. Dans cette perspective, on peut effectivement supposer que les UST sont a média et
qu’elles peuvent être réactivées à partir de la réception de tout type de média. Un projet de recherche actuel, qui réunit le
laboratoire du MIM et des chercheurs de Paris I et Paris VIII, consisteà extrapoler les acquis de l’analyse musicale par les UST
pour explorer les autres médias. Les recherches ont débuté dans le domaine de la peinture, de la danse et du multimédia. Nous
allons faire un état des lieux des expériences et des résultats dans ces trois disciplines.
Sur le plan des arts graphiques, Jacques Mandelbrojt, peintre et physicien membre du MIM, a procédé à uneanalyse de plusieurs
de ses œuvres anciennes à l’aide des UST(3). Sa démarche se fonde sur la notion de mobilité des images défendue par
Bachelard(4) et prend pour hypothèse que les images mentales, qui accompagnent le peintre dans sa création, sont issues
d’images musculaires intériorisées. Ces impulsions musculaires se matérialisent par le geste tracé sur la toile. En d’autres termes,
une dynamique du geste reste présente dans l’œuvre graphique car elle procède d’une image mentale, elle-même produite par le
vécu de mouvements musculaires. Il écrit : « Dans une peinture, le trait reproduit moins l’objet que le mouvement physique ou
spirituel par lequel le peintre en prend connaissance. » Cette dynamique du geste, qui exprime le mouvement et donc possède une
temporalité sous-jacente, est susceptible d’être analysée en terme d’Unités Sémiotiques Temporelles. Le peintre a porté un
nouveau regard sur des encres réalisées en 1966 et illustrant le Voyage au centre de la terre de Jules Verne(5). Son approche est
d’autant plus justifiée qu’il s’agit d’œuvres abstraites, ce qui exclut, dans une certaine mesure, l’interférence avec d’autres
sémiotiques(6) . On en trouvera quelques exemples dans la figure suivante :

Suspension puis Point d’appui suivi d’une accélération Effet de compression puis de
basculement avec dynamique (UST Elan). détente (UST Contracté-
accélération (UST Chute). étendu).

Succession incohérente d’informations différentes Formule lente dont la répétition irrégulière donne
(UST Sans direction par divergence d’information). l’impression d’une difficulté à avancer (UST
Lourdeur).

converted by W eb2PDFConvert.com
 Figure 3. Jacques Mandelbrojt, Souvenir du ‘Voyage au centre de la terre’ de Jules Verne, 1966.
L’étude de Mandelbrojt est intéressante car elle permet de nous montrer que les UST peuvent donner un sens à cette dynamique
du geste que l’on ressent fort bien, de façon intuitive, lors de l’observation de certaines œuvres. Il est évident que la peinture ne se
réduit pas à une succession d’UST, tout comme la musique ne se résume pas non plus à cela. Mais les UST permettent une
approche singulière de la peinture en tentant d’analyser la temporalité présente dans le geste graphique. L’analyse de Mandelbrojt
pose cependant problème lorsque de nombreux gestes graphiques (pouvant correspondre chacun à une UST) s’enchevêtrent dans
une composition appréhendée dans sa globalité. Quelle méthodologie adopter alors ? L’art graphique est, en premier lieu, un art
de l’espace dans lequel la temporalité est recomposée. D’autre part, il semble, qu’en peinture, s’ajoute à la dynamique du geste,
une dynamique des masses provenant de l’opposition de formes, de traits ou de couleurs. Ces notions apparaissent de façon
claire dès les premières toiles abstraites de Kandinsky ou chez Klee (qui ont tous deux commencé à les théoriser(7)) ou encore, de
façon épurée, chez Rothko. Cela amène Mandelbrojt à formuler l’hypothèse qu’il faudrait définir, en peinture, des UST
complémentaires susceptibles de traduire les évolutions dynamiques associées à l’espace(8). Enfin, troisième difficulté, l’espace
pictural n’est pas un espace géométrique, abstrait et isotrope, mais un espace bidimensionnel hétérogène, dont les dimensions ne
sont pas perçues de la même façon. On constate ici que la recherche d’unités temporelles présentes dans l’art graphique est loin
d’être aujourd’hui pleinement maîtrisée : l’expérience de l’analyse en UST des représentations graphiques en est à ses
balbutiements et beaucoup reste à faire dans ce domaine.

S i l’on aborde maintenant un autre art qui intègre la dimension temporelle, l’art de la danse, les recherches ont débuté par les
travaux de la danseuse Dora Feïlane, en collaboration avec le MIM. Dans l’hypothèse où les USTpermettraient de décrire le geste
chorégraphique, plusieurs mouvements ont été observés avec un regard analytique. La danse disposant de mouvements codifiés,
la première approche a consisté à confronter ces mouvements avec la définition des UST afin de voir s’il y avait concordance. Les
premiers résultats de cette étude semblent montrer que la démarche n’était pas pertinente dans la mesure où la codification des
mouvements de la danse se révèlent d’ordre mécanique plutôt que sémantique. Par exemple, aux catégories de type marche, de
la danse, correspondaient des UST Qui avance ou Lourdeur. D’autre part, un certain nombre de difficultés théoriques et pratiques
sont apparues lors des séances de travail. Nous citerons juste trois contraintes spécifiques à cette discipline. D’abord, le fait que le
danseur soit confronté à la gravité impose des figures sémiotiques quelque peu différentes de celles envisagées. Le cas de l’UST
Elan, qui caractérise un appui suivi d’une projection, est révélateur à cet égard : le danseur termine nécessairement la figure par
une troisième phase qui est un retour au sol. Avec la danse, on est dans le domaine du concret : la gravité impose souvent des
évolutions temporelles plus condensées que dans le domaine musical. Seconde difficulté de cette discipline : le problème de la
segmentation visuelle. Le corps a l’habitude de communiquer avec tous les moyens dont il dispose : gestuelles des bras ou des
mains, positions des pieds, mimiques du visage, balancement du corps, etc. La sémiotique du corps est donc déjà multiple et un
ensemble de signes nous parvient de façon instantanée par la vue. Un danseur qui avance à pas réguliers dans une direction
précise, quels que soient ses mouvements de bras et son expression faciale, caractérise-t-il une UST de type Trajectoire
inexorable ? Une troisième difficulté spécifique à l’analyse temporelle de cette discipline concerne la notion de point de vue : le
geste chorégraphique est en trois dimensions et peut être interprété différemment, en terme d’UST, selon la position de
l’observateur(9). Certains exemples mériteraient donc d’être filmés sous plusieurs angles pour tenir compte de ce paramètre. Nous
ne pouvons en dire davantage aujourd’hui sur cette recherche en matière de chorégraphie qui ne fait que commencer.
Actuellement, les études portent sur la pertinence des UST concernant des enchaînements composés de plusieurs mouvements et
qui prennent en compte des variations de forme, d’énergie, d’espace ou de tempo.
Abordons maintenant une dernière application généralisée des UST, qui concerne le multimédia. De nos jours, une partie de la
recherche en multimédia porte sur l’attribution de comportements spatio-temporels aux objets manipulés (textes, sons et
images)(10). L’analyse communicationnelle des productions multimédias, notamment littéraires, réalisée au laboratoire
Paragraphe de Paris VIII, a mis en évidence le rôle fondamentalde la temporalité dans la réception et l’interprétation de ces
produits. Le temps est une dimension fondamentale dans tout objet multimédia, la seule, peut-être, qui relie les trois médias que
sont le texte, l’image et le son. L’image fixe appartient au temps sous diverses formes, que nous avons évoquées. L’image animée,
quant à elle, n’appartient pas au temps uniquement du fait d’un déplacement, mais également parce que tous ses paramètres
constitutifs (luminance, chrominance, saturation, opacité, taille, orientation, etc.) sont concernés par lui à travers diverses lois de
variation.
L a poésie multimédia s’intéresse, depuis les années 80, aux implications du temps dans l’écrit sur écran. Le temps peut y
intervenir de quatre façons, en relation avec des animations d’images :
Par le déplacement des mots. Ce procédé, le plus simple, ajoute un niveau expressif par ses effets de rythme, tout comme
pourrait le faire un accompagnement musical.
Par l’animation syntaxique. Celle-ci transforme les structures syntaxiques du texte, les perturbe et les modifie continuellement,
en utilisant divers effets graphiques temporels. Le temps y joue un rôle syntaxique et oblige le lecteur à mettre en place des
modalités de lecture d’ordinaire appliquées sur les textes oraux.
Par l’apparition rythmique des composants d’un texte écrit statique, le plus souvent pris dans un ordre différent de celui du
syntagme. Cette temporalité syntagmatique oblige le lecteur à reconfigurer sa lecture à chaque étape.
Enfin, par l’application sur le texte de procédés graphiques divers (zooms, déformations, etc.) qui transforment son statut : de
texte (lisible), il devient image (visible) ou inversement.
I l semble que, dans l’objet multimédia, les interventions du temps s’appuient sur une sémiotique temporelle sous-jacente aux
sémiotiques propres aux divers médias. Cette intuition repose sur des résultats obtenus au MIM et au laboratoire Paragraphe :
Quelques éléments du visuel d’une œuvre multimédia réalisée au MIM, en partenariat avec l’association MOTS-VOIR(11), ont
pu être décomposés en unités dont le comportement temporel semble s’identifier à des UST.

converted by W eb2PDFConvert.com
 Récemment, au laboratoire Paragraphe, les phénomènes liés à la réception des animations syntaxiques poétiques des
années 80-90 ont conduit à réinterpréter ces dernières comme la superposition d’une sémiotique temporelle et d’une
sémiotique linguistique. La cohérence entre les deux étant assurée par le basculement que le lecteur opère, entre l’une et
l’autre tout au long de sa lecture.
Toutes ces observations conduisent à s’attacher à une étude détaillée de la sémiotique temporelle, à s’interroger sur son origine, à
étudier ses invariants et ses modulations selon les médias. L’étude en cours, menée par Philippe Bootz (Paragraphe) et nous-
même (Institut d’Esthétique des Arts et Technologies de Paris I), consiste à modéliser le comportement d’objets temporels mono
puis multimédias paramétrables afin d’en explorer les effets sémiotiques, d’en dégager les UST qui s’y expriment, de les
caractériser et de les comparer aux UST musicales. Son objectif est de valider ou d’infirmer l’hypothèse de l’existence d’UST a-
média. Devons-nous dégager des UST spécifiquement visuelles ou sonores ? Quelle est l’incidence, sur la perception, du
couplage d’une UST visuelle et de son homologue sonore ? Ce sont des questions auxquelles il faudra répondre dans les années
qui viennent.
Dans un premier temps, le travail a porté sur la recherche d’UST dans plusieurs œuvres multimédia. Les analyses ont montré que
la temporalité utilisée dans de nombreuses œuvres est, aujourd’hui, plus rudimentaire qu’elle ne l’est dans les œuvres musicales :
souvent une ou deux UST se manifestent, rarement davantage. En ce sens, l’analyse musicale s’avère pionnière dans les efforts de
compréhension et de manipulation des faits sémiotiques temporels. Prenons un exemple simple, il s’agit de Figure-danseuse
d’Alexandre Gherban(12).
D ans un fond d’écran noir, des formes géométriques vertes (rondes ou triangulaires) se déplacent suivant des mouvements
cycliques, apparaissant puis disparaissant devant des bribes de mots rouges. Ces mots sont modifiés et positionnés de façon
désordonnée sur des lignes virtuelles. Des sons brefs sont associés aux mouvements ou aux chocs des formes et des mots.
L’observation attentive de cette animation ne permet pas d’établir de façon certaine des relations entre les deux groupes
d’éléments visuels et les sons. Un clic sur l’image relance le programme en changeant le nombre de mots et de formes
géométriques.
Cet exemple a été analysé indépendamment sur le plan visuel et sur le plan sonore. Les sons produits ne font percevoir aucune
organisation et sont analysés, sans difficulté, par l’UST En flottement (il s’agit d’événements sonores ponctuels assez lents, sans
formation de structure, produisant un état globalement stable et sans tension). La recherche d’UST visuelle conduit à deux
analyses : en effet, suivant la granularité de l’analyse, on peut être amené à percevoir des UST visuelles différentes. Par exemple,
si l’on observe les évolutions temporelles d’un groupe de 1 à 3 mots, les déplacements irréguliers de ces mots sont interprétés par
l’UST Sans direction par divergence d’information ; tandis qu’avec un groupe de 6 mots ou plus, les déplacements sont perçus
comme relativement homogènes dans leur ensemble et caractérisés par l’UST Stationnaire. De même, le mouvement d’une forme
géométrique prise individuellement correspond à l’UST Qui tourne. Tandis que l’ensemble de ces formes est globalement perçu
comme Sans direction par divergence d’information. L’œuvre de Gherban nous montre une utilisation de la temporalité qui met en
œuvre un petit nombre d’UST. Les premières analyses, basées sur cette animation et sur quelques autres, nous permettent de
supposer que les unités sémiotiques définies par le MIM peuvent permettre de décrire des évolutions temporelles visuelles et
sonores, mais il est difficile aujourd’hui de valider l’hypothèse que les canaux visuels et sonores se fondent dans des UST
audiovisuelles.
Chapitre précédent - Chapitre suivant

(1) Voir à ce sujet TIMSIT-BERTHIER Martine& all, « Les Unités Temporelles Sémiotiques (UST) : un nouveloutil d'analyse
musicale. Description et approche biosémiotique », in Rencontres interdisciplinaires sur les systèmes complexes naturels et
artificiels, actes des 11° Journée de Rochebrune, 2004, p 353-364.
(2) Ce laboratoire dirigé par Charles Tijus, de l’université de Paris 8, s’appelle aujourd’hui Cognitions Humaine et Artificielle (E.A.
4004).

(3) MANDELBROJT Jacques,La peinture s’exprime-t-elle, comme la musique, en UST, 2003, http://www.labo-
mim.org/site/index.php?2008/08/22/49-publications-du-mim (accédé le 10/09/09).

(4) BACHELARD Gaston, L’air et les songes, Paris, Librairie José Corti, 1943.
(5) MANDELBROJT Jacques,Souvenir du ‘Voyage au centre de la terre’ de Jules Verne, Paris, Edition l’Oeil du Griffon(Ed.
limitée à 100 ex.), 1993.
(6) Notons, à ce propos, que le peintre prend des risques en s’attaquant à l’analyse de certaines de ses encres où résident des
éléments figuratifs ou bien lorsque les formes sont suggérées par le récit. L’interprétation objective est délicate lorsque se
combinent la sémiotique temporelle (même résiduelle, ici, dans le cas des arts graphiques) et la sémiotique des formes.
(7) Ces ouvrages sont bien connus : KANDINSKY Wassily, Point et ligne sur plan (trad. de S. et J. Leppien, réimpression [1re éd.
1926], Paris, Gallimard, 1991) et Du spirituel dans l'art et dans la peinture en particulier (trad. de N. Debrand et B. duCrest,
réimpression [1re éd. 1911], Paris, Denoël, 1989). Les notes et schémas de Klee, destinés aux cours du Bauhaus, constituent
l’abrégé d’une grammaire des formes : KLEE Paul, « Les esquisses pédagogiques », inThéorie de l’art moderne, trad. de P.-H.
Gonthier, réimpression [1re éd. 1925], Paris, Denoël, 1985.
(8) Le peintre propose la définition d’Unités Sémiotiques Spatio-Temporelles (USST) afin de prendre en compteune certaine

converted by W eb2PDFConvert.com
sémiotique de l’espace. Le recours à ces notions nous semblent, encore aujourd’hui, fortement prématuré : ces nouveaux concepts
sont aujourd’hui complètement à définir et à étudier.
(9) Cette variabilité est présente, bien que dans une moindre mesure, dans les interprétations musicales.
(10) Cette approche s’apparente à la programmation orientée objet, qui vise à attribuer des comportements (appelées méthodes)
aux objets (instances de classes), par opposition à une approche procédurale.
(11) L’association MOTS-VOIR, fondée en 1984, seconsacre à la création et la diffusion d’œuvres littéraires informatiques. Elle
édite notamment la revue ALIRE, la plus ancienne revue de littérature informatique (1989).
(12) Œuvre multimédia diffusée avec l’aimable autorisation d’Alexandre Gherban.

converted by W eb2PDFConvert.com