La nature et le contexte des expériences
Quatre expériences différentes ont été réalisées pour comparer la manière dont les sujets opèrent des appariements trans-sensoriels avec les algorithmes présentés dans le site.
Dans une première exploration, 10 sujets ont du construire des bandelettes musicales sur 2 airs différents. Plus précisément, ils ont été confrontés à 6 tâches. Ils devaient choisir 4 photos – constituer une bandelette musicale – en puisant dans respectivement trois ensembles d’images différents – des photos de fleurs (9), des photos d’une petite fille (9) et des photos de paysages sous la neige (22) – et les associer à Happy Birthday to You et Jeux Interdits.
Une deuxième expérience a permis d’étudier la manière dont 10 sujets associaient images et zakouskis. De nouveau, ils devaient puiser dans un ensemble de 10 images – qui représentaient des éléments architecturaux – 4 photos susceptibles de se marier avec 4 zakouskis servis en apéritif.
Une troisième expérience a approfondi avec 13 sujets cette fois l’analyse des appariements possibles entre saveurs et images, à partir de 4 bières et 10 photos de poupées.
Enfin, dans une dernière expérience, j’ai proposé pour 4 airs de musique donnés, deux bandelettes musicales et j’ai demandé à 36 sujets de choisir chaque fois celle qui traduisait le mieux la musique en images.
Les résultats généraux
Les résultats montrent que
1. Tous les airs ne se prêtent pas de la même manière à un exercice de traduction trans-sensorielle. Pour utiliser une analogie, il est plus difficile de danser sur certains airs que sur d’autres. Les algorithmes ne connaissent pas ce genre de difficulté.
2. Lorsque des saveurs sont associées à des images, les sujets sont influencés par des éléments visuels de la nourriture: la forme d’un zakouski, la couleur d’une bière.
3. Lorsque les airs sont fortement connotés, les connotations interfèrent avec les choix opérés. Happy Birthday to You évoque un moment heureux, c’est-à-dire des sourires, des fleurs … sûrement pas des cactus comme proposés par l’algorithme mathématique.
4. Les sujets utilisent des stratégies très différentes ; certains cherchent vraiment à reproduire la structure temporelle de la musique – les répétitions, les variations – d’autres réalisent des associations globales – basées souvent sur des émotions suscitées par le morceau de musique ; une dernière catégorie enfin construit des récits qui sous-tendent à la fois la musique et les images pour dégager un fil commun.
5. Les choix des sujets correspondent statistiquement avec les choix des algorithmes dans la dernière expérience mais ce résultat peut être expliqué de nombreuses manières différentes.