Imaginez une lens Snapchat pour la promotion de votre marque qui réagit à la reconnaissance de l'un de vos produits.
Un filtre Snapchat sur mesure qui ne s'active que si vous présentez votre produit devant la caméra, qu'il s'agisse d'un sac, d'une voiture, d'une paire de chaussures... 👻
Mieux encore, est-il possible de créer cette application de réalité augmentée dont le contenu réagit à la reconnaissance d'un objet grâce à un modèle d'IA sur mesure, le tout, sans taper la moindre ligne de code, dans la tendance actuelle du No Code ?
La réponse est Oui. C’est le défi que Perre-Olivier Pigny notre expert Machine Learning et XR a relevé pour vous. On lui laisse la parole :
1/N
Snapchat c'est indirectement une superbe plateforme de prototypage de réalité augmentée qui, grâce à son outil d’édition Lens Studio permet d'intégrer des modèles de Machine Learning sans nécessiter des compétences de développeur. De plus, les Lens sont des outils de communication funs et efficaces dont l'utilisation ne fait que progresser.
2/N
Pour cet exemple, nous avons entrainé un modèle de reconnaissance, à détecter des casques de réalité virtuelle, mais cela aurait pu être n'importe quel autre objet de votre choix. Pour cela, nous avons collecté sur Google des images de casques (une petite centaine) puis essayé les trois principaux outils en ligne de création de modèle de vision par ordinateur : Microsoft Custom Vision, Google VertexAI, et Amazon Rekognition Custom labels.
3/N
Amazon Rekognition ne donne pas le choix du modèle de reconnaissance et ne propose pas d’export du modèle pour exécution sur les terminaux mobile (edge AI). Il propose uniquement de publier un service Web avec des exemples d’usage nécessitant de taper un peu de code source [éliminé]
4/N
Google VertexAI propose deux modèles dont l'un est théoriquement compatible avec Lens Studio, (AutoML edge) mais que nous n'avons malheureusement pas réussi à le faire fonctionner dans Snapchat. [éliminé]
5/N
Microsoft Custom Vision propose une dizaine de modèles dont la moitié sont prévus pour être utilisés sur mobile et de très nombreux formats d’export différents. Cette souplesse nous a permis d’exporter le modèle de vision par ordinateur dans un format compatible. [Succès]
6/N
Le résultat est dans la vidéo. Le temps d’exécution testé sur iPhone 12 est très bon. Mission réussie sans quasiment jamais toucher le clavier 😉
Si cela vous intéresse, nous développons une formation sur ce principe pour apprendre à maitriser la création de modèles simples d'IA et d’appli de RA en No Code en 1J.
La vidéo du lens :