La tétraktys
Les associations entre musique – motifs picturaux – odeurs n’ont, à notre connaissance, jamais été étudiées dans toute leur généralité mais différentes approches plus spécifiques ont été tentées: associer des couleurs et des notes, des animations graphiques et des airs de musique, voire des vins et des oeuvres musicales.
Les premières recherches d’associations remontent à l’époque grecque avec les travaux de Pythagore. Il représente l’harmonie de l’univers au moyen d’un figure triangulaire sacrée appelée la tétraktys. Cette figure a en fait différentes significations et lie planètes, nombres, éléments de l’unviers, matière et esprit. Plus de deux millénaires plus tard, Newton s’est aussi intéressé aux relations entre les notes et les couleurs. La digitalisation des images, des sons et les nouvelles possibilités de calcul ont rendu possible des approches plus algorithmiques des liens entre les différents sens.
Sons, couleurs et films ont été associés par des ingénieurs (logiciel Media Player qui associe des animations graphiques à des airs de musique), des équipes multidisciplinaires (le groupe Analema qui explore les relations qui existent entre les sons, les couleurs, la lumière, le mouvement et les formes Analema group).
Des travaux qui utilisent des techniques de fouille de données [Widmer et al. 2003] ont permis de représenter graphiquement dans des espaces à deux dimensions des interprétations musicales en utilisant les modulations du tempo et du volume appliquées par le musicien pour donner du relief à son interprétation. Visuellement, l’interprétation est caractérisée par un vers qui progresse dans un espace à deux dimensions. (Performance worm)
Les approches plus mathématiques sont rares.
Mais c’est surtout dans le domaine artistique que les explorations abondent avec les associations entre peintures et musique pratiquées par des peintres comme Kandinsky, Klee, Mondrian ou des compositions musicales inspirées de tableaux, d’expériences visuelles comme chez Mussorgski, Rimsky-Korsakov, Schoenberg, Messiaen. Une discipline « la musique visuelle » a donné lieu à de nombreux travaux début du siècle précédent (voir les films de Mary Ellen Bute – considérée comme une des pionnières de la musique visuelle Mary Ellen Bute ou de Norman McLaren Synchromy).
Anne Adams, une biologiste canadienne, peint en 1994 le Boléro de Ravel (Unraveling Bolero) avec 340 rectangles qui représentent les mesures du morceau. Sa manière d’associer musique et peinture est très proche de celle que nous avons adoptée dans nos travaux.
Unraveling Bolero par Anne Adams
(Figure reproduite avec l’aimable permission de l’UCSF Memory and Aging Center)
L’association musique/image connait actuellement un regain d’intérêt grâce à la disponibilité de nouveaux dispositifs pour capter et analyser les sons, les images, les mouvements, scanner des partitions, et pour produire des rayons lumineux, des musiques synthétiques en temps réel. Jack Ox et David Britton, par exemple, ont conçu un système – « the color organ » – qui permet de produire des vidéos à partir d’oeuvres musicales. Les vidéos se présentent comme des paysages, des architectures qui se modifient au gré de la musique (Jack Ox).
Dans le même esprit, Klaus Brehmer en utilisant des décompositions spectrales des sons, a produit à partir du célèbre « Tableaux d’une exposition » de Moussorgski – oeuvre inspirée par des peintures d’Hartmann exposée en 1874 à l’Académie des Beaux-Arts de Saint-Pétersbourg – 10 nouvelles peintures.