Image : Ke Li (YouTube)
L'article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Un sonar au lieu de caméras : les chercheurs développent une technologie de suivi oculaire privée et économe en énergie pour les casques VR, mais non sans inconvénients.
Des chercheurs de l'Université Cornell de New York ont développé des prototypes d'une technologie de type sonar qui pourrait remplacer les caméras pour suivre les mouvements oculaires. Il utilise de minuscules haut-parleurs qui émettent du son pour chaque œil à des fréquences supérieures à 18 kHz. Ces éléments sont hors de portée auditive de la plupart des gens.
Le son est dirigé vers le visage, réfléchi et capté par quatre microphones de chaque côté du casque. Un algorithme que les chercheurs appellent GazeTrak interprète ensuite ces ondes sonores pour déterminer la direction du regard du porteur.
Moins cher, plus léger, mais moins précis que les appareils photo
Selon l'équipe de recherche, la technologie sonar devrait offrir plusieurs avantages : elle réduit la consommation d'énergie par rapport aux systèmes basés sur des caméras et offre aux utilisateurs plus d'intimité car les caméras n'enregistrent pas constamment. Cela pourrait également réduire les coûts de fabrication et le poids des casques VR.
Lors de tests menés auprès de 20 participants, le suivi oculaire basé sur un sonar a montré une précision allant jusqu'à 3,6 degrés. Ce n’est pas aussi précis que les appareils haut de gamme actuels tels que l’Apple Vision Pro. Toutefois, les chercheurs estiment que ces performances devraient être suffisantes pour la plupart des applications de réalité virtuelle.
Jusqu'à présent, le système présente un inconvénient majeur : étant donné que la forme du globe oculaire diffère d'une personne à l'autre, le modèle d'IA utilisé par GazeTrak doit être entraîné séparément pour chaque utilisateur. Pour commercialiser le sonar de suivi oculaire, il faudrait collecter suffisamment de données pour créer un modèle universel.
Navigation précise dans les menus, rendu fovéal : l'eye tracking offre de nombreux avantages
L'eye tracking est une technologie clé pour la réalité virtuelle, vous permettant de naviguer dans les menus en regardant des points spécifiques ou d'établir un contact visuel avec d'autres avatars dans des environnements virtuels. Apple Vision Pro démontre actuellement comment un suivi oculaire précis peut améliorer l'expérience utilisateur.
L'eye tracking permet également un rendu qui tient compte de la focalisation de l'utilisateur en fournissant une représentation détaillée de la zone visualisée et une représentation moins détaillée en périphérie (rendu fovéal), par exemple sur la Playstation VR 2. La technologie permet également des méthodes de contrôle innovantes. , comme le jeu VR Before Your Eyes, que vous contrôlez uniquement avec vos yeux.
Le suivi oculaire deviendra éventuellement la norme
Malgré ces avantages, le leader du marché Meta a décidé de ne pas utiliser cette technologie dans son casque VR mobile Quest 3 actuel, invoquant les coûts de fabrication, le poids et la puissance de calcul requise. Jusqu'à présent, Meta n'a utilisé que le suivi oculaire dans Meta Quest Pro.
Mais Andrew Bosworth, directeur technique de Metas, estime que le suivi oculaire deviendra un jour la norme :
« Nous le testons depuis longtemps en tant que paradigme d'interface utilisateur de navigation 2D en conjonction avec les mains. Nous le savons donc depuis longtemps. Nous poursuivons cela depuis longtemps. Ce n'est qu'un métier. – une réduction du coût et du poids et évidemment des capteurs supplémentaires par rapport au produit. Nous nous concentrons donc vraiment sur la capacité de continuer à le fournir à des degrés élevés de précision dans des architectures plus efficaces, tant du point de vue informatique que du point de vue du prix, afin que nous puissions faire dans chaque casque. Je ne peux pas vous dire quand cela va se produire. Chaque casque est en quelque sorte sa propre recette, mais à un moment donné, oui, il fera partie du package de base. Je ne sais pas exactement quand , cependant. »