« Silence Please ! »
Dans un premier article publié sur le blog de Laval Virtual, nous avons présenté les bases du concept de Réalité Augmentée Audio. Nous revenons ici sur un exemple d’implémentation pour le domaine du sport de haut-niveau.
A l’approche des Jeux Olympiques de Tokyo 2020, les équipes des différentes disciplines sont en pleines préparations.Nos archers par exemple s’entraînent à l’INSEP3sur un pas de tir représentatif de ceux utilisés lors des compétitions : distance de tir, taille de la cible, …
Cependant, un élément manque lors de leur préparation : l’ambiance sonore d’un pas de tir lors d’une compétition telle que les J.O.
En effet, lors des compétitions nationales là où le public est composé de quelques centaines de personnes au maximum, lors des J.O c’est plusieurs milliers de personnes et des dizaines de journalistes qui sont présents sur le pas de tir. Et qui dit plus de monde dit forcément plus de bruit. Ainsi dans ces situations peu fréquentes, de nombreux perturbateurs sonores peuvent venir altérer la concentration des archers habitués à tirer dans un cadre plus calme : appareils photos des journalistes, spectateurs qui discutent, sonnerie de téléphone, …
La Fédération Française de Tir à l’Arc (FFTA) par l’intermédiaire du CREPS des Pays de la Loire a donc contacté CLARTE afin de concevoir une solution permettant de s’entraîner à la gestion de la concentration.
« Peut-être pas de la RV pour cette fois »
Lors de la phase d’étudepréliminaire de cette demande, notre premier réflexe a été de réfléchir à la conception d’une simulation en réalité virtuelle d’un pas de tir virtuel qui serait « peuplé »d’humains virtuels et de divers éléments sonores. Cependant, de nombreuses complexités nous sont vite apparues :
- Comment permettre le geste de tir réaliste (avec ressenti haptique) et simuler précisément la trajectoire de la flèche, et donc comment intégrer la capture de mouvement des pièces mobiles de l’arc ?
- La résolution des casques de RV est-elle suffisante pour permettre la visée de la cible ?
- La présence du casque sur la tête ne risque elle pas de perturber le geste du tireur qui amène généralement la corde au contact de sa joue et de ses lèvres ?
- Le budget de création d’un pas de tir virtuel, peuplé d’humains virtuels animés, sera-t-il compatible avec le budget du demandeur ?
- L’investissement matériel nécessaire sera-t-il lui aussi compatible avec le budget et permettra-t-il une diffusion importante du dispositif auprès des différents tireurs et entraîneurs ?
Au cours de la séance de créativité et de résolution de problème, nous avons donc également commencé à explorer le champ de la RA visuelle. L’archer ayant besoin de ses deux mains pour tirer, il va de soi qu’une utilisation de la RA sur smartphone n’est pas envisageable. Mais à l’heure actuelle, les équipements « mains libres » de Réalité Augmentée présentent des limitations qui n’arrangent pas les complexités déjà évoquées ci-dessus : un champ de vision réduit, un encombrement et un poids important,l’absence de solutions performantes pour suivre les mouvements dans l’espace d’accessoires, …
Suivant une démarche de design thinking, ces premiers constats nous ont poussés à questionner les entraîneurs sur l’identification du réel problème (ou pain point) pour les tireurs. La réponse est vite apparue comme étant le besoin de simuler exclusivement les événements sonores qui représentent la plus importante source de perturbation de la concentration du tireur.
Le besoin devenait donc celui d’un système permettant à un entraîneur de créer une scène sonore réaliste en définissant dans l’espace des sources acoustiques dont il contrôlerait la position, le déclenchement et le type de son à lire. Cette solution devrait permettre une spatialisation sonore précisede sorte que l’archer puisse avoir la possibilité de localiser l’origine du son virtuel en respect avec les mouvements de sa tête.
« Sons interactifs s’ajoutant à ma perception du réel + cohérence spatiale et temporelle = AR_audio »
S’en était donc parti du développement d’une preuve de concept d’une application de Réalité Augmentée sonore pour l’entrainement de la concentration des tireurs.
Le prototype ainsi conçu implique deux utilisateurs : l’archer et son entraîneur.
Equipé d’un smartphone et d’un casque audio, l’entraîneur est actif dans l’utilisation de l’application. Son rôle est de paramétrer l’expérience de l’archer. Pour ce faire il va pouvoirplacer, déplacer, jouer et paramétrer des sons.
Il dispose ainsi d’une bibliothèque de sons d’ambiance (ambisoniques) et de sons « spatialisables ». Là où les deux premiers sont préréglés pour être lus en boucle de façon automatique à partir du moment où ils se trouvent dans la scène, les « sons spatialisables » sont quant à eux paramétrables par l’utilisateur. Il peut en définir le mode de lecture (manuel, aléatoire, en boucle) et les placer où il le souhaite. Ces derniers sont également déplaçables alors qu’ils sont lus, ce qui permet par exemple de simuler un moustique tournant autour de l’archer.
L’archer quant à lui est un utilisateur passif. Equipé d’un casque audio ouvert4, il peut se concentrer sur son tir tout en percevant les différents sons que son entraîneur veut lui faire entendre. Ici point question de simplement lire des échantillons sonores en stéréo ou ambiophoniques. L’objectif est bien la création d’une scène sonore réaliste et interactive, c’est-à-dire en respectant les mouvements de la tête de l’utilisateur. Lorsque j’entends un son à ma gauche, si je tourne la tête vers la gauche alors le son doit m’apparaître comme arrivant d’en face. Une centrale inertielle a donc été ajoutée sur le casque pour connaitre l’orientation de la tête de l’archer et ainsi rendre cohérente la perception des sons. Enfin pour assurer le calcul de spatialisation des sons en binaural nous avons utilisé le SDK audio développé par Google etbaptisé « Resonance Audio », qui a été choisi pour sa compatibilité multi-plateforme (intégré dans UNITY), son efficacité et sa simplicité d’utilisation.
« Premiers retours utilisateurs »
Lors de la prise en main de la solution par la Fédération Française de Tir à l’Arc et des premiers tests en conditions réelles, nous avons déjà pu constater les premiers retours faits par une archère en pleine séance d’entrainement.Confirmant que la présence du casque audio n’était pas gênante (d’ailleurs certains s’entraînent même en écoutant de la musique au casque), elle a pu constater que l’expérience sonore challengeait véritablement sa concentration et que la perception spatiale des sons était saisissante.
« 10/10 »
Une évaluation sur le long terme des apports de ce prototype est en cours. En attendant les résultats, nous sommes d’ores et déjà convaincu que vous regarderez désormais différemmentles épreuves de tir à l’arc et penserez aux efforts et technologies déployés par les fédérations pour accompagner leurs athlètes au plus haut-niveau.
On reste à votre écoute.
Références :
SDK audio : https://resonance-audio.github.io/resonance-audio/
Centrale inertielle : https://mbientlab.com/