Image : Holonautique
L'article ne peut être affiché qu'avec JavaScript activé. Veuillez activer JavaScript dans votre navigateur et télécharger à nouveau la page.
Le suivi des mains est considéré comme l'apport de la réalité virtuelle du futur. Mais à quel point est-il vraiment proche du grand public ? Je l'ai testé avec quelqu'un qui n'a aucune expérience préalable de la réalité virtuelle ou du suivi des mains.
La plupart des experts s'accordent à dire que le suivi des mains va changer la façon dont nous interagissons dans et avec la réalité virtuelle et la réalité mixte. La question la plus controversée est de savoir dans quelle mesure le suivi des mains fonctionne aujourd'hui et combien de temps il faudra pour qu'il s'impose et remplace les contrôleurs comme entrée principale – ou s'il le fera un jour.
Certains acteurs du secteur pensent que le suivi des mains va complètement changer le secteur en seulement deux ans, tandis que d'autres sont plus sceptiques. Le débat a été alimenté par le lancement de l'Apple Vision Pro, qui repose uniquement sur le suivi des yeux et des mains.
En attendant, l'engouement autour de l'appareil s'est estompé depuis son lancement en février. Le premier ordinateur spatial d'Apple ne va pas changer l'industrie de la réalité virtuelle du jour au lendemain, et certains pourraient affirmer qu'il a plutôt fait prendre conscience des avantages des contrôleurs, de leurs commandes de précision et de leur haptique.
Pour que le suivi des mains devienne la principale méthode de saisie, il doit être parfait et intuitif à utiliser pour la plupart des consommateurs. Pour le tester, j'ai cherché un sujet de test approprié : mon amie Esther (nom modifié pour cet article), qui a un peu plus de 70 ans et n'a aucune expérience préalable en matière de réalité virtuelle, de suivi des mains ou de jeux vidéo.
Le suivi des mains a été salué pour son accessibilité. Si Esther pouvait utiliser cette technologie, rien ne devrait s'opposer au suivi des mains. N'est-ce pas ?
Premiers pas
J'ai laissé Esther expérimenter le suivi des mains de Meta Quest 3 pendant environ une heure.
Tout d'abord, je lui ai expliqué le didacticiel de suivi des mains de Meta Quest. Esther a immédiatement compris le concept de saisie tactile, qu'elle connaissait grâce aux appareils mobiles, mais cela ne fonctionnait pas toujours comme elle le pensait. Par exemple, elle devait sélectionner et appuyer plusieurs fois sur certains éléments avant que le système n'interprète correctement la saisie. En revanche, elle a pu apprendre les gestes relativement rapidement.
Quand je lui ai demandé ce qu’elle pensait de l’expérience utilisateur, Esther a répondu :
« C'était bien, je ne pensais pas que c'était très facile, je pensais que ça pouvait être plus facile, mais une fois que j'ai vu comment ça fonctionnait plusieurs fois, ce n'était pas difficile de se souvenir des gestes simples ».
Un stand de restauration rapide en désordre
Nous avons ensuite essayé Vacation Simulator. Le jeu VR propose depuis 2020 un support expérimental pour le suivi des mains, qui est devenu une fonctionnalité régulière depuis la dernière mise à jour.
Contrairement au dernier projet du studio, Vacation Simulator n'a pas été conçu dès le départ pour le suivi des mains, ce qui était perceptible dans l'expérience. Les dix minutes d'Esther au stand de nourriture sur la plage ont été assez épuisantes, et à la fin, elle n'a même pas pu préparer le hot-dog que je lui ai demandé. La plupart des ingrédients étaient éparpillés sur le sol.
Ce qu'Esther voulait faire avec ses mains et ce que le jeu interprétait comme une interaction étaient souvent deux choses différentes. Elle décrivit plus tard l'expérience comme « frustrante », mais dit qu'elle pouvait s'imaginer revenir dans ce monde et en profiter davantage la deuxième et la troisième fois, car elle était encore une « novice complète » dans ce domaine. En la regardant, j'avais l'impression que le suivi des mains était plus un obstacle qu'une aide au plaisir du jeu.
Le problème Midas et d'autres problèmes
Esther a préféré le jeu de puzzle Cubism, mais elle a rencontré des difficultés qui étaient davantage liées à la technologie de suivi des mains qu'au jeu lui-même. Après quelques essais, elle a trouvé relativement facile d'attraper les pièces du puzzle avec ses doigts. Il était plus difficile de les relâcher au bon endroit, car le casque ne détectait pas toujours le mouvement et les pièces du puzzle « collaient » à ses doigts, comme elle le disait.
Le suivi des mains n'est pas quelque chose qui fonctionne tout seul, dans une certaine mesure, il faut l'apprendre. Il ne suffit pas de saisir un objet et de le lâcher. Vous devez le ramasser et le relâcher d'une certaine manièreIl s’agit d’un obstacle général au suivi manuel des entrées qui n’a pas encore été surmonté.
L’un des problèmes est que les algorithmes de vision par ordinateur ne parviennent pas à reconnaître les mouvements subtils. Un autre problème est que le système peut surinterpréter les mouvements de la main comme des interactions alors qu’ils ne le sont pas. Le développeur de réalité virtuelle Antony Vitillo a très bien décrit ce phénomène comme le problème du toucher de Midas (le cupide Midas voulait que tout ce qu’il touchait se transforme en or. Lorsque même la nourriture et la boisson se transformèrent en or et qu’il fut en danger de mourir de faim, il demanda au dieu Dionysos de revenir sur son souhait).
L'expérience s'est terminée avec Hand Physics Lab, qui a fait sourire Esther. Plus que les autres applications, le kit d'expérimentation de suivi des mains exploite les défauts de la technologie, ce qui permet de les ignorer plus facilement.
Suivi des mains : un long chemin à parcourir entre « bien » et « parfait »
Au final, j'ai réalisé que le suivi des mains est encore une technologie expérimentale. Les amateurs de VR sont conscients de ses défauts et savent comment les contourner. Les débutants qui dépensent beaucoup d'argent pour un appareil ont une exigence différente : il faut simplement que cela fonctionne, surtout s'il s'agit de leur principale méthode d'entrée VR et MR.
Premièrement, le suivi des mains ne sera mature que lorsque nous aurons l'impression d'interagir réellement avec nos mains, plutôt que de devoir apprendre à les utiliser pour que le système les interprète correctement. Deuxièmement, il doit fonctionner presque parfaitement. Il ne suffit pas, par exemple, de pouvoir reconnaître une pression sur un bouton dans 90 % des cas. Ce serait frustrant.
Et pour les ingénieurs, la tâche devient plus difficile, et non plus facile : passer de 90 à 99,9 % de reconnaissance correcte des poses et des interactions dans les prochaines années sera probablement beaucoup plus difficile que de passer de 0 à 90 %.
Dans cette optique, je ne vois pas Meta vendre de casques Quest sans contrôleurs de sitôt. Et côté contenu, il reste encore beaucoup de travail à faire avant que le suivi des mains puisse être considéré comme courant. La grande majorité des applications VR nécessitent toujours des contrôleurs, et pour une bonne raison.