L’intelligence artificielle au service de la création musicale

Sur quoi portent vos recherches ?

Je travaille actuellement sur le développement d’instruments de musique basés sur l’IA. La difficulté est de concevoir des instruments indépendants de la puissance d’un ordinateur, mais capables de générer des sons en temps réel, de la même manière que les instruments traditionnels.

Avec Philippe Esling, nous avons achevé le tout premier prototype de synthétiseur basé sur l’IA : le “Neurorack”, que je continue d’améliorer et de décliner selon plusieurs variantes. Par la suite, je souhaite en développer d’autres à partir du même modèle conceptuel, puis étendre éventuellement nos idées à d’autres interfaces qui pourraient, par exemple, prendre en compte le mouvement corporel du musicien. Ma réflexion porte également sur la musicalité et l’intérêt expressif de ces synthétiseurs ainsi que le développement d’une interface contrôlable et accessible aux artistes.

Comment définir ce qu’est l’IA et son fonctionnement en quelques mots ?

L’IA est un terme qui englobe beaucoup de choses aujourd’hui. En réalité, il décrit le développement de machines capables d’imiter certaines capacités intellectuelles humaines pour accomplir une tâche. Concernant mon domaine d’étude, nous devrions plutôt parler de machine learning. Cette branche de l’IA s’appuie sur les mathématiques, et plus particulièrement sur les statistiques, pour programmer des algorithmes permettant de résoudre des problèmes à l’aide de base de données. Il s’agit d’essayer de comprendre et de modéliser la relation qui existe entre une entrée généralement complexe et le résultat associé.

Les résultats les plus impressionnants en IA sont aujourd’hui dus au deep learning. Qu’est-ce que c’est ?

Le deep learning est un sous-domaine du machine learning. Il permet une modélisation de ces fonctions avec un très haut niveau d’abstraction, en se basant sur des transformations non-linéaires, de manière similaire aux neurones biologiques. Ce sont des techniques très puissantes. Notre équipe les a d’ailleurs utilisées lors d’une collaboration avec le compositeur Alexander Schubert sur la pièce “Convergence” qui vient de recevoir le prix Golden Nica dans la catégorie “Digital Music and Sound Art” du festival Ars Electronica 2021.

Depuis quand l’IA a-t-elle fait son entrée dans la composition musicale ?

Si l’on s’en tient à la définition stricte de l’IA, la première pièce écrite par un ordinateur date de 1957 : le quatuor à cordes “Illiac suite” de Hiller et Issacson. Cependant, on est encore très loin des techniques utilisées par le deep learning d’aujourd’hui : il s’agit surtout d’une pièce basée sur des générations aléatoires d’événements musicaux contraintes par des règles qui assurent l’esthétique de la pièce. Ce n’est que vers les années 1980 qu’ont émergé les premiers travaux de modèles analysants les pièces existantes dans le but d’en générer de nouvelles (par exemple, EMI de David Cope en 1981).

Que permet-elle concrètement dans la création musicale ?

S’agissant de la création musicale, les applications sont extrêmement variées. Certains modèles permettent de générer presque n’importe quel contenu musical avec une qualité impressionnante. Dans ce cas, l’utilisateur n’a aucun effort à fournir, il est même possible de choisir l’instrument, le rythme ou même le genre désiré. Cependant ce genre de processus ne laissent pas, à mon sens, assez d’espace créatif et me semblent moins intéressants que ceux qui ont une réelle fonction d’outils.

Par exemple, certains modèles ont pour vocation d’aider le musicien dans son apprentissage d’un instrument, comme le logiciel d’éducation musicale Yousician. D’autres logiciels, comme Omax développé par l’Ircam, permettent de jouer en temps réel de façon interactive avec le musicien.
De nouvelles manières de composer la musique sont également possibles : dans le domaine du transfert de timbre, il est par exemple possible de transformer la voix en violon. Enfin, certaines tâches presque impossibles à accomplir sont à présent réalisables, comme retrouver les paramètres de synthétiseur utilisés pour créer un son (FlowSynth). Nous avons également développé récemment un tout nouveau type d’instrument de musique électronique qui permet de synthétiser et modifier des sons presque impossibles à reproduire de façon artificielle, comme les impacts.

Quels avantages apporte-t-elle aux compositeurs ?

Les outils basés sur l’IA sont une ouverture à de nouvelles formes et manières de composer. Outre les sonorités et timbres inédits, il s’agit également d’une nouvelle façon de penser la musique et de la créer. Musiciens ou compositeurs peuvent aujourd’hui utiliser de nouvelles alternatives dans chacun des stades du processus créatif : procédés de composition, instruments inédits, interfaces originales, et même aide pour le mastering.

Une IA musicale pourrait-elle aller jusqu’à rivaliser avec un compositeur humain ?

Si rivaliser s’entend au sens de reproduire, alors oui. La particularité d’une IA est justement qu’elle produit un résultat nouveau en analysant une base de données puis en en imitant ses particularités. Ainsi, il lui sera possible de synthétiser des pièces très techniques “à la Chopin” par exemple, en lui fournissant une base de données suffisamment grande de toutes les œuvres du compositeur. En revanche, je crois qu’il faut plutôt s’interroger sur la problématique de la nouveauté et de l’originalité. Il est pour l’instant impossible de concevoir une IA capable de produire sans exemple : elle est donc incapable pour l’instant de la moindre initiative créative. En ce sens, l’IA ne sera jamais capable de rivaliser avec un compositeur.

L’autre limitation provient de l’absence de jugement de l’IA, qui ne peut que répondre à un problème formulé mathématiquement. L’être humain demeure essentiel pour toutes les considérations qualitatives des résultats générés.