Tous nos projets
>

Interfaces cerveau-ordinateur pour la Réalité Augmentée

2017 - 2018

La Réalité Augmentée (RA) permet d’enrichir la perception du monde réel en y ajoutant en temps-réel des informations numériques contextualisées dans l’espace. Il est alors possible de mélanger informations réelles et numériques afin de résoudre de multiples tâches, comme par exemple le contrôle d’assemblage ou l’aide à la maintenance.

En revanche, il est encore difficile à l’heure actuelle pour l’utilisateur d’interagir avec les informations numériques qui lui sont présentées pour plusieurs raisons. Tout d’abord, de nombreuses applications de RA se basent sur un dispositif de type smartphone / tablette, qui ne permettent qu’une interaction en 2D peu précise et inadaptée aux tâches 3D. De plus, dans un contexte industriel, il est généralement nécessaire que l’utilisateur puisse disposer de ses deux mains afin d’effectuer ces différentes tâches. On utilise alors des dispositifs de retour visuel basés sur des "lunettes", dispositifs portés sur la tête. Cependant, à l’heure actuelle, ces dispositifs ne fournissent qu’une reconnaissance limitée et imparfaite des gestes de l’utilisateur, et des méthodes de reconnaissance vocale sensibles aux bruit ambiant.

Dans ce contexte, nous envisageons l’introduction de nouvelles modalités de contrôle de l’application qui ne nécessitent pas l’usage des mains de l’utilisateur afin de les laisser libre pour d’autres tâches. Une première solution peut consister à l’utilisation de méthodes de suivi du regard de l’utilisateur. Cependant, si ces méthodes sont particulièrement bien adaptées aux tâches de sélection, elles ne permettent pas d’effectuer les tâches de manipulation et de contrôle d’application. Une autre solution est d’utiliser une méthode de reconnaissance vocale. Cependant, ces techniques sont très sensibles au bruit ambiant, ce qui les rend généralement peu fiables. De plus, elles sont généralement limitées en termes d’expressivité, la reconnaissance du langage naturel étant un problème complexe. Nous proposons donc l’utilisation d’une nouvelle forme d’interaction afin de résoudre ces problèmes : les interfaces cerveau-ordinateur.

Les interfaces cerveau-ordinateur, ou « Brain Computer Interfaces (BCI) », permettent de mesurer l’activité cérébrale de l’utilisateur, c’est-à-dire l’activité électrique des neurones de celui-ci, et d’interpréter cette activité afin de déduire quelles actions effectuer dans l’application. Ou plus simplement, ces techniques essayent de "lire les intentions" de l’utilisateur afin de répondre à ses attentes.

 

Cas d’usage

Notre objectif est de tester la viabilité d’un contrôle d’une application de RA "par la pensée" afin de permettre une interaction naturelle ne nécessitant pas l’intervention des mains de l’utilisateur. Pour ce faire, nous avons développé un prototype d’application de RA permettant un contrôle grâce à l’activité cérébrale de l’utilisateur. Il existe différentes approches possibles :

  • Demander à l’utilisateur d’effectuer une tâche mentale précise explicitement, associée à une action discrète dans l’application.
  • Détecter la réponse mentale de l’utilisateur à certains stimuli introduits par l’application afin de déduire par exemple les objets sur lesquels se porte l’attention de celui-ci.
  • Suivre en continu l’état mental de l’utilisateur et adapter le contenu de l’application à celui-ci.

 

Démarche

Notre approche s’inscrit dans le cadre de nos recherches sur l’Humain Augmenté (HA). En effet, nous explorons une nouvelle manière de réduire la frontière entre l’humain et la technologie afin d’améliorer les capacités de celui-ci. Notre objectif est de permettre la mise au point d’applications s’adaptant automatiquement à l’utilisateur afin de les rendre les plus simples et intuitives possible à utiliser.

Afin de développer une telle application, un certain nombre de points ont été étudiés :

  • Évaluation des différents périphériques de mesure de l’activité EEG pour l’utilisation dans un contexte de RA.
  • Intégration des périphériques sélectionnés afin d'exploiter dans l’application les données brutes de l’activité cérébrale.
  • Application d’algorithmes de traitement du signal afin de réduire le bruit et les artefacts des données brutes.
  • Transformation des données brutes filtrées en un ensemble de descripteurs pertinent pour une tâche donnée.
  • Analyse de ces descripteurs par un système d’apprentissage automatisé (intelligence artificielle) afin de déduire la corrélation entre descripteurs et actions à effectuer sur le système.
  • Intégration du flux de traitement des données et de l’intelligence artificielle dans le prototype de test.
  • Évaluation des performances de l’application.

Dans un premier temps, nous avons choisi de nous intéresser à l’analyse en continu de l’état de concentration de l’utilisateur afin d’adapter dynamiquement la quantité d’informations numériques ajoutées à l’attention de l’utilisateur. De la sorte, il devient possible de réduire automatiquement la quantité d’informations affichées à l’utilisateur lorsque celui-ci est concentré sur une tâche afin d’éviter de polluer son champ de vision, tout en fournissant de nombreuses informations de guidage lorsque celui-ci est détendu.

 

Moyens

Casque EEG (électroencéphalographie) : OpenBCI, 16 électrodes, sans fil.

Lunettes de RA : Microsoft Hololens

 

Ouverture

Il serait intéressant de tester également l’utilisation d’autres descripteurs de l’activité cérébrale afin de permettre à l’utilisateur d’agir de manière consciente sur le système. Pour cela, nous envisageons d’ajouter aux informations projetées à l’utilisateur un retour sur son état mental, c’est-à-dire des informations de biofeedback. En effet, il est généralement difficile pour un utilisateur non-entraîné de contrôler consciemment son activité cérébrale. Cependant, des recherches montrent que fournir la capacité de visualiser son activité cérébrale de manière compréhensible aide à l’amélioration drastique de ce contrôle. La RA semble donc un moyen de choix pour le rendu de ces informations à l’utilisateur. 

Nous contacter

02 43 59 46 20

Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.

Rue Marie Curie
53810 CHANGE

>
Retour haut