Réalité Virtuelle
>

Expérience multi-utilisateurs collaborative en RV - Manipulation d’objets réels virtualisés

2017 - 2018

Le développement de cette expérience a pour but d’étudier la collaboration de plusieurs utilisateurs partageant à la fois un environnement virtuel et un espace de travail physique commun. Par ailleurs, un paradigme d’interaction tangible basé sur un retour haptique passif des objets virtuels est également exploré.

mars real2 mars copy

Dispositif expérimental : vue de l'environnement réel à gauche, et vue de l'environnement virtuel à droite.

POURQUOI UNE INTERACTION COLLABORATIVE CO-LOCALISEE ?

Dans le contexte de l’interaction collaborative, la plupart des travaux récents se sont focalisés sur l’interaction distante où chaque participant évolue dans un espace de travail distinct.

Cependant, dans de nombreux cas, les participants peuvent se situer au même endroit : lors d’une réunion d’avancement de projet par exemple, ou simplement lors d’échanges entre collaborateurs d’un même site.

Par ailleurs, dès lors qu’une simulation requiert des actions collaboratives sur des éléments physiques, elles ne peuvent être réalisées que dans un espace physique commun partagé.

PROBLEMATIQUES

Néanmoins, même si la collaboration co-localisée évite intrinsèquement quelques difficultés techniques par rapport à une simulation à distance (bande passante, latence, compression…), plusieurs verrous scientifiques et techniques nécessitent encore d’être levés. Ces verrous sont présentés dans les sections suivantes.

Espaces de travail co-localisés

Travailler dans une simulation collaborative co-localisée permet aux participants de partager un référentiel physique commun, préservant ainsi pour chacun les notions de distance, latéralité, direction etc. Dans ces conditions, chaque utilisateur a implicitement conscience de la présence de tout élément présent à la fois dans le monde physique et le monde virtuel, y compris ses collaborateurs. En l’absence de cette cohérence spatiale, toute interaction collaborative impliquant la manipulation d’éléments physiques (voir section ci-dessous) devient impossible, occasionnant en outre des artifices tels que des conflits visuo-acoustiques dans la perception des collaborateurs, voire des heurts entre participants.

D’un point de vue scientifique, la co-localisation des espaces de travail consiste à superposer les repères associés aux environnements virtuels de chaque utilisateur. Ainsi, chaque instance des objets composant l’environnement virtuel sera localisée au même endroit par rapport à un référentiel lié à l’environnement réel. Une procédure permettant de positionner les repères de chaque simulation par rapport à des éléments fixes de l’environnement physique a été développée. En l’occurrence, elle permet de positionner de manière unique et répétable les repères de chaque simulation par rapport aux émetteurs du système de suivi de position.

Interaction tangible

L’interaction tangible consiste à associer le retour visuel des objets virtuels avec lesquels les utilisateurs interagissent à un retour haptique (le plus souvent passif). Elle repose sur le principe de fournir des retours sensoriels sur les objets virtuels selon plusieurs modalités, haptique et visuelle en l’occurrence. Ceci permet de rendre l’interaction, et en particulier la manipulation d’objets, plus plausible, augmentant ainsi le sentiment de présence et d’engagement dans une simulation de réalité virtuelle. Les représentations des objets sur les différentes modalités doivent être cohérentes, principalement en termes de formes et de dimensions, mais ne nécessitent pas d’être rigoureusement similaires. Ainsi, on pourra mettre en œuvre une représentation visuelle détaillée d’un objet virtuel et lui associer une représentation physique plus grossière sans que l’utilisateur ne perçoive cet écart.

Dans le cadre de l’interaction tangible collaborative, Le sentiment de présence des utilisateurs dans la simulation, en particulier la présence sociale, qui consiste à admettre que d’autres participants évoluent dans la même simulation en même temps que nous, se trouve renforcé par le fait de percevoir physiquement les actions des collaborateurs.

Ces travaux  ont été illustrés dans l’expérience développée par la capacité à déplacer, à plusieurs, des caisses mobiles dans l’environnement virtuel. Ces caisses ont à la fois une représentation visuelle et une représentation physique synchronisées en permanence.

Restitution visuelle des utilisateurs

Si la restitution visuelle de chaque participant est importante dans toutes les expériences collaboratives synchrones, elle l’est d’autant plus dans une simulation co-localisée. En effet, au-delà de la nécessaire plausibilité de la restitution des mouvements des collaborateurs, le besoin de fidélité[1] de la restitution de leur activité est exacerbé par le fait qu’en cas de divergence, les participants risquent simplement de se heurter lors d’interactions proches.

Plusieurs approches à la restitution d’avatars sont envisageables aujourd’hui. Les approches basées sur du scan 3D temps-réel ont l’avantage de proposer une restitution assez fidèle des utilisateurs, mais imposent d’évoluer dans un espace de travail restreint. Par ailleurs, elles ont l’avantage, mais également parfois l’inconvénient, de restituer l’utilisateur tel qu’il est lors de la capture : il est difficilement possible de modifier son apparence.

Afin de conserver ces deux possibilités (évolution dans un espace de travail important et adaptation de l’aspect visuel des participants), une approche basée sur l’animation d’un personnage prédéfini en image de synthèse a été préférée. L’une des hypothèses nécessaire à la mise en œuvre d’une telle solution est de disposer d’un avatar doté d’une morphologie semblable à celle de l’utilisateur qu’il est censé représenter. Une procédure de mesure rapide de l’utilisateur, puis d’adaptation de ces mesures à un avatar standard a ainsi été définie. Une fois un avatar conforme à la morphologie de l’utilisateur créé, plusieurs méthodes d’animations en temps réel sont disponibles. La première technique mise en œuvre consiste à piloter l’avatar en résolvant des problèmes cinématiques inverses à partir de 6 points de référence : les hanches, considérées comme la racine des problèmes cinématiques, et les mains, les pieds et la tête, considérés comme les effecteurs terminaux. Compte-tenu de la modélisation cinématique des membres d’un corps humain, en particulier au niveau des mains, un compromis reste à trouver entre le nombre de capteurs de positions nécessaires et la fidélité de capture attendue. Les travaux sur cette partie sont toujours en cours.

DISPOSITIF EXPERIMENTAL

Cette section détaille la mise en œuvre de l’expérience ayant servi de support aux travaux présentés ci-dessus.

Les utilisateurs évoluent dans un espace d’approximativement 36m² (6mx6m). Ils sont équipés de casques HTC Vive dont les stations de base sont disposées aux extrémités d’une des diagonales de l’espace de travail à approximativement 3m de hauteur. Les casques sont connectés à des PC embarqués au format « sac à dos ». Chaque utilisateur est également équipé de 5 capteurs de position Vive Tracker (1 sur chaque main, 1 sur chaque pied et 1 à la taille). Les objets interactifs sont également équipés d’1 capteur chacun. L’environnement virtuel dans lequel évoluent les utilisateurs les projette sur la planète Mars.

CONCLUSION

Les travaux réalisés ont permis d’aboutir à une simulation collaborative co-localisée fonctionnelle. Les participants peuvent évoluer dans un même espace de travail physique en ayant conscience à la fois de leurs collaborateurs et des objets tangibles. Ils peuvent ainsi agir simultanément sur les objets interactifs, tout en étant capables instinctivement de ne pas se heurter.

Les travaux sur la représentation des participants doivent néanmoins être poursuivis afin d’améliorer la fidélité de la restitution de leur l’activité. Les pistes à investiguer incluent une caractérisation morphologique plus fine des participants, ainsi qu’une évolution du solveur de contraintes lors de l’animation (en complément ou en remplacement du solveur cinématique inverse).

Nous contacter

02 43 59 46 20

Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.

Rue Marie Curie
53810 CHANGE

>
Retour haut