- Limites de la mise en situation des apprenants
Traditionnellement, dans le cadre des formations sécurité incendie, les apprenants sont amenés à s’entraîner au maniement des extincteurs. Cette phase permet de se familiariser avec le mode opératoire de chaque type d’extincteurs. En particulier, elle permet de mieux appréhender la portée ainsi que la durée d’utilisation maximale de chaque extincteur.
Cependant, cet apprentissage n’est pas sans conséquences : non seulement le coût de remplissage des extincteurs est élevé, mais l’empreinte écologique des extincteurs et des fumées produites par les feux utilisés est loin d’être négligeable. Enfin, les mesures de sécurité nécessaires à l’utilisation des bacs à feux limitent fortement les mises en situation possibles.
Afin de pallier ces limitations, des solutions basées sur une approche en Réalité Virtuelle (RV) ont été proposées (1) (2) (3). Ces solutions permettent en particulier de mettre l’apprenant en situation sur des scénarios d’intervention prédéterminés. L’utilisation d’extincteurs réels instrumentés permet l’apprentissage des gestes et procédures nécessaires, tout en s’affranchissant des limites matérielles et économiques d’une utilisation réelle (4) (5). En effet, si l’extincteur est réel, les projections sont, elles, virtuelles. Enfin, la littérature scientifique montre que l’apprentissage en Réalité Virtuelle, en particulier couplé à des interfaces tangibles reproduisant fidèlement les interfaces utilisées en réel, permet une rétention de l’information par l’apprenant similaire à une expérience réelle (6) (7).
Figure 1 Exemple d'extincteur instrumenté
Ces solutions offrent donc une véritable alternative pour la formation à la sécurité incendie. Cependant, si elles permettent d’étendre le champ des scénarios pédagogiques proposés à l’apprenant, elles sont néanmoins toujours limitées en termes de contenu. En particulier, elles ne permettent pas de s’adapter aisément au contexte professionnel des apprenants. Les expériences proposées sont toujours les mêmes : environnements virtuels génériques et impersonnels qui ne représentent pas la complexité du monde réel.
- Vers une formation représentative de la complexité des situations rencontrées en réel
Intrinsèquement, chaque situation réelle d’incendie est unique. Les conditions environnementales déterminent à la fois les types de départs de feux rencontrés, mais également leur évolution et leur propagation au sein de l’environnement. La présence d’autres matériaux inflammables, de facteurs aggravants tels que vent, accumulation des fumées, etc., font de chaque situation un cas unique. L’environnement est donc un facteur primordial pour une simulation pertinente d’une situation de départs de feux.
Face à ces enjeux, une réponse possible est d’intégrer la simulation du feu dans un environnement réel, à l’aide de technologies de Réalité Augmentée (RA). Cette approche permet une meilleure contextualisation de l’expérience, ainsi qu’une diversité importante des scénarios pédagogiques. En effet, celui-ci est en mesure de choisir aisément tous les paramètres de l’exercice, comme le lieu et le type de départ de feu, tout en prenant en compte les spécificités de l’environnement réel. Une telle approche permet notamment de mettre les apprenants en situation dans leur environnement professionnel et de les confronter aux situations les plus pertinentes compte tenu de leur profession.
Figure 2 Extinction en Réalité Augmentée
Malgré tout, l’utilisation de la Réalité Augmentée n’est pas sans souffrir de défauts inhérents à cette technologie. Tout d’abord, si le positionnement d’augmentations stables dans l’environnement réel est de mieux en mieux maîtrisé, il n’en va pas de même pour le suivit d’objets en temps réel. Par conséquent, il est nettement plus difficile dans ce contexte d’instrumenter des extincteurs comme modalité d’interaction. Enfin, ces technologies souffrent d’une limitation majeure : elles ne permettent
pas de restituer un sentiment d’immersion suffisant pour une vraie mise en situation. En effet, les périphériques existants de type lunettes et autres périphériques « optical seethrough » disposent d’un champ de vision augmenté extrêmement réduit. Quant aux périphériques de type tablette et smartphone, faiblement immersifs, l’utilisation des mains de l’apprenant empêche de toute façon toute forme d’apprentissage des gestes techniques.
- La Réalité Augmentée «head-mounted video seethrough», le meilleur des deux mondes ?
Dans le cadre de notre partenariat avec la société A-GOGY, nous avons été amenés à nous intéresser à cette problématique de la formation à la sécurité incendie. L’objectif était de trouver des solutions afin de permettre une formation immersive, engageante, dans laquelle les apprenants auraient la possibilité d’apprendre les bons gestes et les bonnes stratégies dans des environnements réels. L'idée initiale étant de ramener du réel dans les formations en Réalité Virtuelle, dans l’hypothèse que l’effort de transposition de l’apprentissage soit plus faible que dans le cas d’un environnement virtuel.
Afin d’apporter une réponse au dilemme immersion vs. environnement réel, nous nous sommes intéressés à une voie quelque peu délaissée ces dernières années de la Réalité Augmentée : le « head-mounted video seethrough ». Cette approche consiste à filmer l’environnement réel à l’aide d’une caméra, de préférence stéréoscopique, placée devant les yeux de l’utilisateur. Les images filmées sont ensuite projetées dans un afficheur porté sur la tête (casque de RV), enrichies de contenu numérique. Cette solution permet de fournir un retour visuel augmenté sur un champ de vision étendu comparé aux lunettes de Réalité Augmentée classique (optical seethrough). Ainsi on obtient un champ de vision de l’ordre de 100° horizontal en fonction du casque, soit plus de 3 fois plus qu’avec un Hololens Microsoft de première génération qui plafonne à 34° de champ de vision diagonal. De plus, cette tendance ne risque pas de s’inverser dans un futur proche car même la seconde génération d’Hololens aura un champ de vision limité à 52° diagonal (8).
Figure 3 Comparaison du champ de vision de différents périphériques RA
Cependant, la Réalité Augmentée dans un casque est loin d’être une solution sans défauts. Outre les problèmes de résolution limitée et de distorsions de l’image introduites par l’utilisation d’une caméra, la difficulté principale vient de la latence introduite par la capture et le traitement du flux vidéo. À titre d’exemple, la caméra stéréoscopique du HTC Vive Pro permet un rendu en 480p de 96° (H) x 80° (V) à 90 FPS, avec une latence de 200 ms. Cette latence trop élevée nous a conduits à utiliser une caméra externe présentant de meilleures performances. En effet, la ZED Mini de StereoLabs permet d’obtenir un rendu en 720p de 90° (H) x 60° (V) à 60 FPS, avec une latence moyenne de 60 ms (9). Si ces performances ne sont pas encore idéales, elles permettent déjà l’utilisation d’un casque pour la Réalité Augmentée de manière plus confortable pour l’utilisateur.
- Simulation physique du phénomène de combustion
Il est donc possible d’utiliser un casque immersif doté d’un large champ de vision pour faire de la Réalité Augmentée dans des conditions correctes. Nous pouvons en outre conserver le système de suivi de mouvement propre au HTC Vive. Il est ainsi possible d’instrumenter aisément nos extincteurs afin de connaître leurs positions dans l’espace. De plus, la ZED offre l’avantage supplémentaire de calculer la carte de profondeur à partir de ses caméras stéréoscopiques. Cette carte permet de gérer automatiquement les occultations entre objets réels et virtuels.
Le dernier problème soulevé est la modélisation et le rendu des feux virtuels dans l’environnement. Différentes possibilités s’offrent, des simples textures animées sur un billboard aux systèmes de particules complexes. Cependant, aucune de ces approches ne permet de modéliser simplement la
dynamique du feu, sa croissance et sa propagation. C’est pourquoi nous avons choisi d’approcher ce problème sous l’angle de la simulation. La solution que nous avons retenue est d’utiliser NVIDIA Flow (10). Cette bibliothèque permet une simulation volumique du feu, calculée sur GPU, et rend compte de phénomènes comme le contournement des obstacles par les flammes et fumées, la propagation des flammes, etc.
Figure 4 Exemple de feu d'hydrocarbures avec NVIDIA Flow
Figure 5 Les flammes et les fumées évitent les objets réels de la scène
Afin de pouvoir utiliser cette bibliothèque, nous avons modifié le moteur Unreal Engine (11) pour y ajouter le support de la ZED ainsi que de la bibliothèque NVIDIA Flex (12). Cette dernière permet une simulation de la physique des fluides, elle aussi calculée sur GPU, utile pour la simulation des extincteurs et leurs projections dans l’environnement.
Figure 6 Exemple de projection de mousse sur l'environnement
L’intégration de l’ensemble de ces briques technologiques nous as permis d’obtenir un résultat unifié, où flammes, fumées et liquides réagissent ensemble à l’environnement. A l’heure actuelle, la modélisation de l’environnement réel est effectuée à l’aide d’un outil d’édition intégré à l’application. Cette modélisation grossière ne prend que quelques secondes à réaliser pour le formateur en début de session. Nous envisageons néanmoins d’automatiser cette phase en utilisant les données de spatial mapping produites par la ZED.
Figure 7 Création des géométries de l'environnement
Figure 8 Exemple de spatial mapping fourni par la caméra ZED
Enfin, nous envisageons d’étendre le modèle de feu utilisé afin de permettre une progression des flammes dans l’environnement scanné et de simuler le phénomène de stratification des fumées au plafond.
- Travaux cités
Vector Solutions. [En ligne] 24 09 2018. [Citation : 26 03 2019.] https://www.vectorsolutions.com/news-media/blog/advantages-of-virtual-reality-training-in-fire/.
Fire Tech Systems. [En ligne] [Citation : 26 03 2019.] https://www.firetechsystems.com/services/virtual-reality-fire-extinguisher-training/.
Mammoth. [En ligne] [Citation : 26 03 2019.] https://passfirevr.com/.
Feuer Simulator 3D. [En ligne] [Citation : 26 03 2019.] http://www.feuersimulator.com/index_en.html.
Månsson, Johan. Using a virtual fire extinguisher as a tool for safety training. s.l. : Faculty of Engineering Lth, Lund University, 2018.
Evaluating virtual reality and augmented reality training for industrial maintenance and assembly tasks. Gavish, Nirit, et al., et al. 6, 2015, Interactive Learning Environments, Vol. 23, pp. 778-798. https://doi.org/10.1080/10494820.2013.815221.
Passive Real-world Interface Props for Neurosurgical Visualization. Hinckley, Ken, et al., et al. [éd.] ACM. Boston, Massachusetts, USA : s.n., 24 04 1994, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 452--458. http://doi.acm.org/10.1145/191666.191821.
Heaney, David. UploadVR. [En ligne] 25 02 2019. [Citation : 26 03 2019.] https://uploadvr.com/hololens-2-field-of-view/.
StereoLabs. [En ligne] [Citation : 26 03 2019.] https://www.stereolabs.com/blog/vive-pro-ar-zed-mini/.
NVIDIA. [En ligne] [Citation : 26 03 2019.] https://developer.nvidia.com/nvidia-flow.
Epic Games. [En ligne] [Citation : 26 03 2019.] https://www.unrealengine.com
NVIDIA. [En ligne] [Citation : 26 03 2019.] https://developer.nvidia.com/flex.