Image : Pomme
Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser et lade die Seite neu.
EyeSight est la fonctionnalité phare d’Apple Vision Pro. Il crée une transparence artificielle sur la surface du casque qui permet un contact visuel. Mais comment ça fonctionne?
Les personnes qui voient Vision Pro pour la première fois et qui ne sont pas familiarisées avec la technologie VR peuvent penser que la façade est constituée d’un morceau de verre transparent. En réalité, comme tout autre casque VR, les yeux du porteur sont cachés derrière une couche opaque de technologie qui comprend des écrans, des lentilles, des capteurs et des puces.
Dans un talk-show organisé à la WWDC 2023, le vice-président du groupe de développement technologique qui a créé Vision Pro Mike Rockwell, a expliqué la technologie derrière Eyesight et son affichage extérieur.
Selon Alex Heath, l’idée d’un écran orienté vers l’avant remonte à Jony Ive, ancien designer en chef d’Apple. Cependant, l’utilisation d’un écran externe pour montrer les yeux de l’utilisateur n’est pas nouvelle. Meta a montré de tels prototypes en 2021, mais n’a pas implémenté la technologie dans les produits.
Fonctionnement de la vue
Le secret derrière Eyesight est un affichage extérieur qui imite étroitement les yeux des utilisateurs de casques. Selon Rockwell, ce n’est pas seulement courbé, mais lenticulaire. Cela signifie qu’il affiche une image légèrement décalée des yeux en fonction de l’angle de vue. Un affichage 2D traditionnel rendrait les yeux peu naturels, surtout lorsqu’on regarde une personne de côté.
La différence peut être vue dans les recherches suivantes de Meta. Un affichage 2D conventionnel est utilisé au milieu, tandis qu’un affichage 3D lenticulaire est utilisé à droite.
« Nous avions besoin de créer une vue séparée pour quiconque vous regarde sous n’importe quel angle. Nous avons donc créé un affichage lenticulaire, le tout premier affichage lenticulaire incurvé jamais réalisé. Et nous rendons en fait des vues séparées de vos yeux pour chaque personne qui regarde à vous », explique Rockwell.
Et d’où viennent les données de ces vues ? Les commentaires de Rockwell suggèrent deux sources de données qui sont fusionnées dans le processus : premièrement, il y a les images du quatre caméras de suivi oculaire à l’intérieur du casque. Deuxièmement, Apple utilise le personnageou avatar numérique, créé au préalable à partir d’un scan facial 3D de la personne portant le casque.
Ces sources de données sont utilisées pour créer une image numérique de l’œil et de son environnement avec une latence minimale, qui est ensuite rendue sous différents angles de vue.
Briser l’isolement social de la réalité virtuelle
En raison de la complexité technique de cette fonctionnalité (et des effets étranges qui pourraient en résulter si la technologie échoue), la presse n’a pas encore pu essayer Eyesight lors de la première prise en main d’Apple Vision Pro. Apple est probablement encore en train de le peaufiner.
Cependant, Eyesight aura un certain nombre de limitations, certains experts disentattendant un image plutôt sombre et basse résolution et un nombre limité d’angles de vision grâce à la technologie lenticulaire utilisée.
Pourtant, Apple pense que l’énorme effort technique en vaut la peine. Pourquoi donc? Car Apple veut briser l’isolement des casques VR dans les deux sens. Les utilisateurs de casque doivent pouvoir voir l’environnement, et l’environnement doit pouvoir voir les utilisateurs de casque.
« Vous pouvez avoir une interaction naturelle avec n’importe qui lorsqu’il entre, et c’est vraiment étonnant. Je veux dire, c’est quelque chose que je pense quand les gens le voient, les gens auront l’impression que l’appareil est transparent. Cela semble juste comme si c’était transparent, et il fait en sorte que vous ne vous sentiez pas déconnecté des gens, et c’était vraiment une valeur fondamentale de ce que nous essayions de faire », dit Rockwell.
Une partie de la fonction de Eyesight consiste à basculer automatiquement entre une vue transparente et opaque, selon que vous consommez du contenu immersif ou que vous interagissez avec des personnes dans votre environnement immédiat. Quand quelqu’un s’approche, il apparaissent automatiquement. Voir la vidéo ci-dessus pour les deux scénarios.