REFLEXIONS SUR LES RELATIONS MUSIQUE/VIDEO ET

STRATEGIES DE MAPPING POUR MAXMSP/JITTER

Benot Courribet
CICM - Universit Paris VIII
MSH Paris Nord
bcourribet@mshparisnord.org

RSUM
Larticle prsente les rflexions de lauteur concernant
les rapports entre musique et vido, dans le cadre de la
composition duvres musicales hybrides, incluant une
composante visuelle. Aprs quelques rappels et
gnralits sur les spcificits des media concerns, des
stratgies de mapping sont prsentes et des exemples
concrts voqus. Enfin, lissue de lexpos, les
travaux en cours de lauteur sur une pice audiovisuelle
sont prsents.
1.

INTRODUCTION

Dans le cadre de ltude des rapports entre musique et

vido, de nombreuses recherches sont en cours au CICM
et dans le cadre du groupe de travail de lAFIM sur la
visualisation du sonore.
De manire plus personnelle, jai toujours t intress
par limpact du mdium visuel sur notre perception. De
plus, les travaux cinmatographiques dartistes tels
quAndrei Tarkovsky, David Lynch, Norman McLaren,
Lazlo Moholy-Nagy, mont donn envie dintgrer un
travail visuel mon activit de composition musicale.
Dun point de vue technologique, cel est devenu
possible grce des dveloppements rcents: la
possibilit de crer des DVD-Vidos sur un ordinateur
personnel, et lajout de la bibliothque Jitter
lenvironnement de programmation graphique Max.
Au cours de cette dmarche, je me suis constamment
positionn comme musicien en essayant de garder la
question suivante lesprit: Comment ces deux mdia
peuvent-ils co-exister ou interagir tant donn leurs
diffrences et spcificits ontologiques?
Dans cet article, je mattacherai prsenter quelques
lements de rflexion propos de cette question, puis
proposerai quelques stratgies de mapping entre vido et
musique. Finalement, un travail en cours concernant une
pice audiovisuelle sera prsent.
2.

REFLEXIONS SUR LES RELATIONS

MUSIQUE/VIDEO

2.1. Objectifs et orientations

Le but que jessaye datteindre est la ralisation dune
musique ayant une composante visuelle, jaspire ce
que la vido fasse partie de la musique, et non pas
quelle en soit une illustration ou une reprsentation, au
sens dune trascription graphique [1]. Cette ide sest

impose au cours du visionnage doeuvres dAndrei

Tarkovsky, qui me sont apparues extrmement
musicales: son travail sur larticulation dans le temps de
structures et clairages est une excellente illustration de
ce que lon pourrait appeler une musique pour les
yeux. On peut prendre lexemple dune des scnes
finales dans le film Stalker lorsque, aprs de subtiles
variations dclairages, la pluie tombe sur une tendue
deau et illumine la scne toute entire.
De nombreux outils de visualisation des sons existent et
sont implments dans les lecteurs multimdia. Je les
applerai outils globaux de visualisation car ils
consistent en une reprsentation visuelle des donnes
audionumriques, de la globalit de linformation
sonore. La forme donde du son ou sa reprsentation
frquentielle sont utilises comme matriau de base pour
la vido sur lesquels des filtres sont appliqus
(dformations gomtriques).
Ces outils semblent prsenter deux inconvnients
majeurs. Le premier est du au caractre orthothtique
(qui pose exactement) [2] de ces reprsentations:
comme elles prsentent exactement le phnomne
sonore, elles ny apportent rien, sinon des fins
danalyse ou de documentation. Le second inconvnient
tient la contextualisation des matriaux sonores et
visuels: avec de telles mthodes, les mmes sons, placs
dans des contextes musicaux diffrents seraient
reprsents lidentique. Leffet Koulechov, dans le
domaine du cinma illustre le fait quun plan peut tre
interprt par les spectateurs de manire trs diffrente en
fonction des plans qui le prcdent et lui succdent.
Bien entendu, on peut trouver un cho cet effet dans le
domaine musical. Cela met en lumire les mcanismes
de rtention et protention dcrits par le philosophe E.
Husserl [3]. De mme, il semble intressant
artistiquement de tirer profit de la possibilit de changer
la perception dun son, lorsquil est accompagn
dinformations visuelles diffrentes.
A des outils globaux, je prfrerai donc lide de
stratgies locales pour les interactions entre musique et
vido, car chaque oeuvre musicale est unique et requiert
une attention spcifique. Aussi, il semble primordial
que les parties sonores et visuelles doivent tre
composes ensemble afin de tirer parti au maximum de
leurs interactions et de contourner le problme dune
ralisation chronologique musique, puis vido. Il me
semble essentiel que des liens formels rgissant les
interactions nen viennent pas surdterminer
lesthtique de lensemble, et laissent au compositeur le
soin et la possibilit de faire les choix qui lui semble
appropris sur les plans esthtique et compositionnel.

2.2. Quelques remarques au sujet de spcificits

ontologiques de la musique et de la vido.
Tout dabord, si lon sintresse aux relations entre ces
mdia et lespace, on constate que la distribution et la
propagation du son dans lespace est tridimensionnelle,
alors que la vido est la plupart du temps projete ou
affiche sur un cran rectangulaire bidimensionnel, ce
qui implique une posture physique oriente face
lcran pour la rception des informations visuelles. De
plus, des sons placs en arrire-plan et en avant-plan
peuvent coexister dans lespace dcoute sans pour
autant se cacher mutuellement, contrairement ce qui se
passe dans le domaine de limage. Ceci laisse prsager
des difficults prsenter lcran une contrepartie aux
attributs spatiaux de la musique ou des matriaux
sonores.
En ce qui concerne le problme du temps, les diffrences
sont plus marques encore. Les sons nexistent pas en
dehors du temps; les sons sont, par dfinition, ds des
variations de pression de lair au cours du temps. Au
contraire, mme si notre perception visuelle sinscrit
dans un flux temporel, un arrt dans un flux vido, une
image fixe, porte toujours une signification visuelle. De
plus, les matriaux sonores et visuels ne se comportent
pas de la mme manire lorsquon leur applique des
distorsions temporelles. Nous reconnatrions toujours la
mme chose si une vido tait lue une vitesse dix fois
infrieure la vitesse de lecture originale, alors quun
son serait mconnaissable. Pierre Schaeffer, propos de
la ralisation de son Etude aux chemins de fer disait
qu lopration quantitative du ralentissement dun son
de train de 78 33 tours tait lie une modification
qualitative sur la nature du son lui-mme [4].

des matriaux sonores et donc intervenir avant le

processus de composition.

Figure 1. Schma rsumant lapproche squentielle

Cette approche peut tre considre comme une

continuation des travaux de Vincent Verfaille [6], mais
avec des media croiss. En effet, Vincent Verfaille a
consacr sa thse de doctorat aux effets audio adaptatifs :
il sagit de contrler dynamiquement les paramtres de
traitements audionumriques laide de paramtres
extraits du son dorigine. Il insiste sur limportance du
mapping dans ce processus.
De nombreux outils ont t dvelopps afin dextraire
des paramtres perceptifs des sons, citons par exemple
lobjet analyzer~ de Tristan Jehan1. Cet objet permet,
laide dune analyse spectrale, dobtenir des
informations comme les paramtres de loudness,
noisyness, brightness (centre de gravit spectrale),
dtection dattaque Afin de permettre une plus grande
flexibilit, un patch Max/MSP a t ralis afin
denregistrer sous forme de pistes audio ces paramtres.
On obtient ainsi un fichier audio multipiste dans lequel
les paramtres extraits sont synchroniss avec le son
dorigine.

On peut galement voquer le caractre discret de la

vido, qui fait quil est difficile de ralentir un flux
vido, car les paramtres de discrtisation (cest dire le
nombre dimages par seconde) sont bass sur et sont
proches des limites de notre perception de la continuit
visuelle.
Enfin, nous sommes familiers avec la notion de nonlinarit dans la perception auditive humaine (quil
sagisse de notre perception des intensits ou des
frquences) et, bien videmment, cest galement le cas
pour notre perception des intensits de couleur et
lumire. Le fait que lon ait travailler avec les deux
la fois montre limportance du choix des techniques de
mapping entre musique et vido.
3. STRATEGIES DE MAPPING
MUSIQUE/VIDEO AVEC JITTER
Considrant les travaux effectus dans le domaine de la
visualisation du son au CICM [5], quelques exemples
de stratgies de mapping musique/vido vont tre
exposs selon deux approches principales: une approche
squentielle et une approche synchrone.

Figure 2. Enregistrement de paramtres sous forme

de donnes audio.

On peut ainsi obtenir un fichier 8 pistes dans lequel les

2 premires pistes sont le fichier audio stro lui-mme,
les pistes suivantes stockant pour chacun des 2 canaux
le centre de gravit spectrale et les paramtres de
loudness et noisyness.
Ce fichier multipiste est ensuite utilis comme source
pour modifier un fichier vido. Les diffrentes pistes,
aprs passage par des fonctions de transfert sont affectes
des paramtres de traitement vido.

3.1. Approche squentielle

Jappelle une approche squentielle le fait dextraire des
donnes du son pour piloter des paramtres de synthse
ou traitement vido. Malgr cette chronologie, cette
approche nest pas en contradiction avec les
considrations prcdentes, car elle peut tre applique

http://web.media.mit.edu/~tristan/

Figure 3. Schma de la mise en uvre du mapping

audio/vido
dans le cas dune
approche
squentielle.

Par exemple, le paramtre de loudness des canaux

gauche et droite est extrait afin de piloter les ratio de
zooms gauche et droit dune vido aprs un ajustement
laide dune fonction de transfert. En fonction du choix
du matriau vido, de la fonction de transfert et dun
filtre appropri pour lisser le rsultat vido final, le
rsultat peut convenir de nombreux types de sons.

Figure 5. Extraits de matriaux vido pour la pice

"time.mass.velocity.light".

Ceci a t utilis sur des sons de rebonds et sur de la

percussion temps rel.
3.2. Approche synchrone
Lapproche synchrone consiste faire contrler les
parties audio et vido par un mme jeu de paramtres
dynamiques
(que
nous
appelons
paramtres
intentionnels car ils pr-existent laudio et la vido).
Lavantage de cette approche est que parfois certaines
donnes ne peuvent tre extraites dun son ayant subi un
traitement. Par exemple, il est dr dextraire un temps
de dlai dun son trait par une ligne retard avec
rinjection.

Figure 6. Schma rsumant lapproche synchrone

Figure 4. Extraits de matriaux vido pour la pice
"time.mass.velocity.light".

Sur un autre exemple, des attaques sont dtectes afin de

provoquer un changement de configuraion dune
structure 3D applatie: la scne 3D est efface lorsquune
attaque est dtecte, sinon, les images successives se
superposent pour crer des formes 2D abstraites. Lide
visuelle est un cho aux travaux de lartiste Lazlo
Moholy-Nagy et notamment la vido Lichtspiel:
Schwartz-Weiss-Grau dans laquelle, cest le jeu
dombres et de lumires provenant dune structure
mobile qui est film. Le mouvement de formes
gomtriques abstraites qui en rsulte est rgi par les
lois physiques et donne une cohrence structurelle au
rsultat projet.

Cette approche a t utilise la fois dans des contextes

temps rel et temps diffr. La pice Isol contenait des
parties audio et vido, relies par le mme moteur de
granulation temps rel: un percussioniste jouait une
partie de cymbale semi-improvise; un microphone de
contact plac sur la cymbale tait connect un
ordinateur afin de rendre possible un traitement temps
rel du son entrant. Une horloge alatoire tait utilie
pour gnrer des grains de sons et en mme temps
dformer une structure 3D et changer la position de la
camra dans la scne 3D. La pice consistait en des
changements continus des morphologies sonores et
visuelles, les paramtres de rinjection audio et de
rmanence vido, tailles de grains et taille des structures
tant lis.

une large palette de traitements bass sur un paradigme

temporel (micro-montage automatique, granulation,
distorsions/dlinarisations temporelles, dcorrlations
multiples et variables).

Figure 7. Extraits de la vido de la pice "isol".

Dans un contexte temps diffr, la mme horloge fut

utilise pour piloter un moteur de granulation audio et
pour provoquer des discontinuits dans la lecture dune
vido. En fonction de la taille des grains et de leur
densit, de nombreux effets visuels pouvaient tre
obtenus, allant de subtils brouillages temporels des
segmentations alatoires extrmes. Le choix du matriau
vido est extrmement important, et de lents zooms ou
travellings sont des matriaux vidos donnant
dexcellents rsultats.
4.

TIME.MASS.VELOCITY.LIGHT: WORK IN
PROGRESS.

Au cours des six derniers mois, mon travail de

composition sest concentr sur une pice de musique
lectroacoustique, time.mass.velocity. Elle est
maintenant acheve et sert prsent de base la
ralisation dune pice audiovisuelle. Lide gnrale
nest pas de prparer une piste vido pour
laccompagner, mais plutt de composer une pice
incluant de la vido, se basant sur les mmes matriaux
sonores que la pice originale ainsi que certaines de ses
articulations. Lavantage de prparer cette pice pour un
support DVD-Vido rside dans la possibilit dutiliser
galement le format audio 5.1 pour la spatialisation des
sources audio.
La mthode de composition sinscrit dans la tradition de
la musique concrte: le concept, la forme et les
articulations intrinsques de loeuvre mergent de la
manipulation concrte des sons. Mon travail est
galement influenc dans une large mesure par le
compositeur Horacio Vaggione, par ses rflexions et
mthodes pour la composition lectroacoustique, en
particulier, lutilisation de transformations itratives et
la notion de saillances, dcrites dans de nombreux
articles [7]. Ces principes permettent datteindre un haut
niveau de complexit (au sens de Lvy-Leblond [8]) en
maintenant une certaine homognit parmi les
matriaux sonores, tant donn quils drivent tous
dune mme srie de sons.
Etant donn que la pice originales est articule suivant
des concepts relatifs notre perception et nos
reprsentations mentales du temps ou de ses attributs,
une srie doutils logiciels a t ralise pour proposer

Je suis donc en train de dvelopper une autre srie

doutils de traitement vido bass sur les mmes
concepts, dans le but de, laide des matriaux sonores
dorigine, de crer et modifier les matriaux vido de
manire synchrone au traitement des sons. Je suis
principalement confront a une difficult majeure
propose de la vido: je voudrais tre capable de sculpter
le temps du matriau de la mme manire que je le fais
pour le son, mais cela ncessiterait un quipement
dacquisition vido spcial (une camra haute-vitesse),
afin de raliser des ralentissements extrmes sans
modifier limpression de continuit du flux vido.
Lorsque le dveloppement logiciel sera achev et les
matriaux audio et vido crs et traits, le processus de
composition commencera, il faudra agencer dans
lespace et dans le temps la fois laudio et la vido
pour raliser la pice.
5.

CONCLUSION

Des rlexions, stratgies de mapping et exemples

dutilisation des relations entre musique et vido ont t
prsents.
Il ressort de ces rflexions quune attention toute
particulire doit tre accorde la mthodologie de la
mise en uvre de ces techniques, afin que musique et
vido ne soient pas considres comme indpendantes
ou dans des rapports dillustration ou de reprsentation.
En effet, il semble primordial que la musique et la
vido soient dans une relation de transduction [9], au
sens o elles se constituent mutuellement dans leur
rapport lune envers lautre ; une relation qui a "valeur
dtre". On assiste alors, pour reprendre le vocabulaire
de G.Simondon, au cours du travail de composition,
lindividuation dune uvre hybride. Cette uvre
appartient sapparente ce quon pourrait appeler un
art multimdia du temps car, pour la partie sonore
autant que pour la partie visuelle, cest larticulation des
matriaux dans le temps, leur mise en forme inscrite
dans le temps qui mintresse tout particulirement.
6.

REFERENCES

[1] Rgnault,
C.,
"Correspondances
entre
graphisme et son: les reprsentations visuelles
de lobjet sonore" in Du sonore au musical :
cinquante annes de recherches concrtes
(1948-1998) Sous la direction de Sylvie Dallet
et Anne Veitl, lHarmattan, Paris, France,
2001.
[2] Stiegler, B. La technique et le temps ; Tome
2 : la dsorientation Galile, Paris, France,
1996.
[3] Husserl, E. Leons pour une phnomnologie
de la conscience intime du temps. PUF, Paris,
France, 1964.
[4] Von der Weid, J.N. La musique du 20me
sicle, p.213, Hachette, Paris, France, 1997.

[5] Sedes, A., Courribet, B. et Thibaut, J.B., "

From the visualization of sound to real-time
sonification: different prototypes in the
Max/MSP/Jitter environment." Proceedings of
the 2004 International music Conference.
International Computer Music Association,
Miami, USA, 2004.
[6] Verfaille
V.,
Effets
Audionumriques
Adaptatifs: Thorie, Mise en Oeuvre et
Applications en Cration Musicale Numrique,
mmore de thse de doctorat, Universit AixMarseille, Marseille, France 1988.
[7] Vaggione,
H.,
"Vers
une
approche
transformationnelle en CAO" Actes des JIM
1996, Les cahiers du GREYC, CNRSUniversit de Caen, Caen, France, 1996.
[8] Lvy-Leblond, J.M., "La physique, une science
sans complexe ?" Les thories de la
complexit, Seuil, Paris, France, 1991.
[9] Simondon, G., Lindividu et sa gense
physico-biologique, Presses Universitaires de
France, Paris, France, 1964.