La synthèse sonore binaurale dans l’univers de Star Wars

Un jeu immersif entièrement sonore a été développé au Centre de mathématiques appliquées. Il place le joueur dans la peau d’un chevalier Jedi où le smartphone devient sabre-laser. Le prototype de ce jeu sera en démonstration lors de la prochaine Fête de la Science.

Dans le célèbre film Star Wars sorti au cinéma en 1977, une scène montre Luc Skywalker apprenant l’art du combat Jedi avec son mentor Obiwan Kenobi. A l’aide de son sabre-laser, il doit parer les tirs d’une sonde qui vole autour de lui. A la fin, Obiwan place sur la tête de son padawan un casque lui bloquant la vue et lui demande de se servir de « la Force ». Matthieu Aussal, ingénieur de recherche au Centre de mathématiques appliquées (CMAP*) a mis au point un prototype de jeu sonore immersif où l’on se retrouve, dans cette situation, à la place de Luc Skywalker. Les joueurs, voyants et non-voyants, peuvent ainsi se plonger dans l’univers de Star Wars pour se confronter à cette épreuve. Les visiteurs de la Fête de la Science à l’Institut Polytechnique de Paris pourront le tester le 9 octobre prochain.

Pour tout matériel, il faut disposer d’un smartphone et d’un casque audio muni d’un capteur détectant dans quelle direction on tourne la tête. On est alors plongé dans un paysage sonore naturel -une rivière coule en arrière-plan. Mais bientôt surgit la sonde ennemie, qui se manifeste par des bips aigus avant de nous tirer dessus. Il faut alors dégainer son smartphone tel un sabre laser et le placer dans la direction de la sonde afin de parer le tir. Au fur et à mesure du jeu, la sonde se déplace de plus en plus vite, de plus en plus haut et tir plus fréquemment. Le défi consiste à atteindre le niveau « maître Jedi ».

 Bien sûr, il ne s’agit pas ici de sentir « la Force », mais plutôt d’appréhender comment nous pouvons construire une image mentale de notre environnement, uniquement grâce à notre système auditif. Le fait que nous ayons deux oreilles a pour conséquence un décalage entre l’arrivée du son dans l’une et dans l’autre, ce qui nous donne des informations sur la direction des sources sonores. De plus la morphologie de notre visage déforme le son subrepticement : un son venant de derrière nous n’a pas tout à fait le même timbre qu’un son venant de face. Nous n’avons pas forcément conscience de ces déformations, mais notre cerveau a appris à les analyser, et ce depuis notre plus jeune âge.

Un des défis de la synthèse sonore « binaurale » est donc de déterminer les filtres à appliquer à un son afin qu’ils paraissent provenir de telle ou telle direction, dans le but de duper le cerveau et de créer un environnement artificiel immersif. Jean-Christophe Messonier, du Conservatoire National Supérieur de Musique et de Danse de Paris (CNSMDP), et Matthieu Aussal ont développé une nouvelle façon de concevoir ces filtres, plus respectueuse des timbres initiaux des sons. « Cela donne le sentiment d’entendre vraiment le son d’un sabre-laser par exemple, et donc de donner de la cohérence au paysage que l’on veut créer » précise ce dernier.

Le code du jeu a été développé avec la librairie C++ open-source « Le projet castor», créée par des chercheurs du CMAP. Cette librairie permet de prototyper rapidement des logiciels de facture industrielle. Testé en partenariat avec la chaire Science et jeu vidéo de l’École polytechnique et l’association Mix-Handi Cap sur la Vie, le jeu est inclusif dans le sens où des aveugles peuvent le prendre en main et jouer avec des voyants. Les personnes voyantes qui l’ont testé réussissent d’ailleurs mieux lorsqu’elles ferment les yeux ! Finalement, à l’aune de ces recherches, la Force serait-elle l’écoute binaurale ?

*CMAP : une unité mixte de recherche CNRS, École polytechnique – Institut Polytechnique de Paris

 

 

Retour à la liste