Trois bandelettes musicales sur Happy Birthday to you
Où rencontre-t-on ce type d’associations?
L’association musique-images se rencontre
- dans le langage – un air peut être qualifié de sombre, de noir, une interprétation de colorée, le ton signifie à la fois couleur et hauteur de note ;
- chez les compositeurs qui créent des morceaux à partir de sensations visuelles et chez les peintres (voir Anne Adams par exemple qui a peint le Boléro de Ravel; Anne Adams – Unravelling bolero) qui se laissent inspirer par la musique ;
- chez les artistes qui créent de la « musique-visuelle » comme Mary Ellen Bute (http://www.centerforvisualmusic.org/Bute.htm) ;
- dans des animations de type Media Player ;
- chez certains individus atteints, par exemple, de synesthésie –ils voient les sons ou entendent les couleurs.
Des techniques mathématiques peuvent être développées pour associer musique et images. Elles nécessitent de découper les œuvres musicales en segments, de quantifier ces segments et de les représenter dans des espaces appropriés, de faire subir à des images des traitements similaires – numérisation et représentation dans des espaces multidimensionnelles – puis d’associer une séquence d’images à la séquence des segments musicaux. Le résultat obtenu est une bandelette musicale.
Une méthode basée sur des appariements de structure
Plus précisément, une mesure de dissimilarité est définie entre les segments musicaux. Le morceau est ainsi représenté par une matrice de dissimilarités dont la dimension est égale au nombre de segments considérés. Elle définit une forme, une trajectoire quelconque – la ligne brisée qui relie les représentations des segments dans un espace multidimensionnel. Une telle matrice a typiquement une dimension de l’ordre de 5 à 50. De manière identique, l’ensemble d’images peut aussi être structuré au moyen d’une distance ou plus faiblement d’une dissimilarité. L’utilisation de mots visuels et d’analyses des correspondances comme proposé par Pham, Morin, Gros et Le (2009) permet ce type d’analyse. La librairie d’images peut typiquement comporter de 50 à plusieurs centaines d’éléments. Le problème est alors de trouver dans cette librairie le sous-ensemble ordonné d’éléments qui s’ajustent au mieux aux segments musicaux. L’ajustement sera considéré comme bon lorsque les dissimilarités entre les images sélectionnées sont proches des dissimilarités entre les segments musicaux correspondants. A deux segments musicaux proches doivent donc correspondre deux images similaires.
Quelques associations obtenues avec cette méthode
Petite fille sur « Happy birthday to you »
Paysages de neige sur « Jeux interdits »
Wire chairs sur variations de Mozart (K 265)