Tous nos projets
>

Module de Reconnaissance de gestes et postures

2016

La reconnaissance de gestes et de postures est un sujet de recherche que CLARTE a tenu à surveiller dès l’exercice 2015. L’état de l’art dans ce domaine nous avait amenés à conclure qu’il n’existait pas de système hybride permettant à la fois de reconnaitre des gestes et des postures et que les solutions disponibles n’étaient à ce jour nullement intégrées dans les solutions de développement haut niveau .

De ce fait, sur cette première partie de l’année 2016, nous avons été amenés à développer un module de reconnaissance de gestes et de postures. Ce module est conçu afin de pouvoir s’intégrer dans la plupart des applications de Réalité Virtuelle afin de permettre d’augmenter leurs modalités d’interaction. En effet, ce dispositif est indépendant des périphériques et peut par conséquent être utilisé avec n’importe quel type de systèmes de capture de mouvement. De plus, il est utilisable dans la majorité des contextes de Réalité Virtuelle, que ce soit pour les applications utilisant un système CAVE, ou bien utilisant les casques, voire même utilisant des dispositifs de type « desktop ».

Notre approche combine à la fois une reconnaissance des gestes, c’est-à-dire l’évolution dans l’espace et le temps d’un ensemble de points d’intérêt, ainsi qu’une reconnaissance des postures, c’est-à-dire la reconnaissance de la position relative de ces points d’intérêt les uns par rapport aux autres. Afin d’atteindre notre objectif, nous sommes partis d’un ensemble de briques technologiques éprouvées issues de la littérature scientifique dans le domaine de l’apprentissage automatisé, sous-branche de la recherche en intelligence artificielle. Nous avons donc exploité un certain nombre d’algorithmes de reconnaissance de gestes (séries temporelles) et de postures (algorithmes de classification). En particulier, nous avons réutilisé la librairie GRT (http://www.nickgillian.com/wiki/pmwiki.php?n=GRT.GestureRecognitionToolkit) pour son implémentation des algorithmes classiques du domaine.

 

gestesPostures

Vue de l’application de reconnaissance de gestes et postures

(trajectoire main gauche, mais droite par rapport aux hanches / note de détection du geste et de la posture)

Notre approche se différencie des solutions classiques par l’utilisation combinée de plusieurs algorithmes de classification afin de détecter des phénomènes différents (gestes et postures), et par l’usage d’un autre algorithme de classification afin de fusionner les résultats de ces algorithmes dans le but d’obtenir un résultat unique. Pour la reconnaissance de gestes, nous avons utilisé l’algorithme de « Dynamic Time Warping » (DTW) qui permet de différencier des séries temporelles (gestes) de manière indépendante du temps (durée du geste) et de l’amplitude du geste. Pour la détection des postures, nous avons utilisé l’algorithme du « Support Vector Machine » (SVM) qui permet de différencier des postures proches ou potentiellement superposées en les séparant à l’aide d’hyperplans. Enfin, la fusion des données de sortie de ces algorithmes (c’est-à-dire les probabilités de détection à chaque instant pour chaque geste et posture appris) est combinée à l’aide de l’algorithme « Adaptive Naive Bayes Classifier » (ANBC) qui permet de combiner les champs de probabilité des différentes entrées entre elles afin d’obtenir un résultat unifié.

Afin de simplifier l’usage de notre module et d’éviter d’avoir à réapprendre les gestes pour chaque nouvel utilisateur, nous avons également introduit une fonctionnalité de normalisation des données d’entrée qui permet une détection fiable et précise quelle que soit la morphologie de l’utilisateur. Nous avons également rajouté la possibilité d’exprimer les positions des points suivis de manière relative à l’un d’entre eux, ce qui nous permet par exemple d’avoir une détection invariante à la position et à l’orientation de l’utilisateur si l’on utilise son centre de gravité comme référentiel.

Finalement, nous avons conduit 2  campagnes expérimentales afin d’évaluer le pertinence et la fiabilité de notre module en utilisant un jeu d’apprentissage comportant 9 gestes et postures distincts. Pour la première campagne (20 participants), la précision du système (c’est-à-dire les gestes catégorisés correctement) était de 97%, et le rappel (c’est-à-dire les gestes effectués et bien perçus par le système) de 85%, ce qui nous donne un score F1 global de 90%. Après ajustement des paramètres de notre modèle, une seconde campagne (9 participants) a conduit à une précision de 100% et un rappel de 95%, soit un score F1 global de 97%.

Les résultats de ces travaux rentrent désormais en phase de transfert technologique et nous recherchons un partenaire commercial pour valoriser ces développements sur le marché.

Nous contacter

02 43 59 46 20

Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.

Rue Marie Curie
53810 CHANGE

>
Retour haut