Ce format de données s’obtient aisément à partir de fichiers MIDI et inversement : les mélodies générées peuvent facilement être converties dans ce format audio, ce qui offre la possibilité de les jouer avec n’importe quel instrument de musique. Il présente cependant des limitations : tous les effets sonores (vibration, diminution / augmentation du volume, etc.) ne sont pas représentables. Il n’est donc pas question de générer des musiques d’une grande complexité, avec plusieurs instruments. Vous pourrez cependant constater que de nombreux morceaux produits par l’IA passent le test de turing : impossible à l’oreille de détecter qu’ils ont été produits par une machine.

Côté architecture, Music Transformer appartient à la catégorie des réseaux de neurones auto-régressif, avec des mécanismes d’attention. Concrètement, il est entraîné à prédire la N+1 opération sur la partition (arrêter une note, modifier la vitesse, etc.) à partir de N opérations précédentes. Ainsi la mélodie se construit au fur et à mesure, autorisant les répétitions de suite d’accord, des variations d’un même thème, etc.

Pour que la construction reste harmonieuse, une nouvelle opération musicale est construite en pondérant l’importance de chaque événement précédent. Ainsi l’ensemble de la mélodie ne contribue pas de manière égale aux différents moments du morceau créé. Les mécanismes d’attention sont des couches qui vont permettre au réseau de neurones de se focaliser sur les informations importantes. Les réseaux de neurones de type transformer ont pour particularité de ne reposer pratiquement que sur des couches d’attention, alors que d’autres réseaux utiliserons des couches de convolutions ou des couches récurrentes. Ce type de réseaux de neurones est notamment connu pour faire partie des approches les plus pertinentes en traitement de la langue naturelle. Dans la génération de musique, il se retrouve aussi parmi les méthodes les plus performantes.