Voici comment Apple Vision Pro fait passer la réalité mixte au niveau supérieur

Image : Pomme

Le nouveau casque Vision Pro d’Apple pousse la réalité mixte à un nouveau niveau de réalisme et de précision grâce à une technologie de pointe.

Tim Cook a clairement indiqué qu’il croyait que la réalité augmentée était l’avenir. Bien avant que des lunettes AR légères et complètes ne soient possibles, les casques de réalité mixte peuvent commencer à explorer ces capacités. Voici comment le casque Vision Pro d’Apple pourrait offrir la meilleure expérience XR de tous les temps.

Qualité d’affichage et de son

Le nouveau casque d’Apple promet des images incroyablement nettes affichées sur les écrans HDR microOLED avec une résolution 4K. Cela fait plus que doubler la résolution de la plupart des casques VR, et OLED offre des couleurs éclatantes et de vrais noirs.

L’audio spatial est intégré avec un processeur qui analyse les caractéristiques et les matériaux de la pièce avec ce qu’Apple appelle le «ray tracing audio» pour optimiser la qualité sonore.

Ce n’est qu’une partie de l’équation puisque la réalité mixte repose sur plusieurs caméras et capteurs pour orienter correctement la vidéo et l’audio dans l’espace 3D autour de vous.

Caméras et capteurs

L’Apple Vision Pro dispose de plusieurs caméras haute résolution pour capturer des vidéos. Plusieurs caméras IR et illuminateurs pour suivre les mouvements de la tête et des mains.

Un scanner LiDAR et une caméra TrueDepth fournissent une cartographie 3D automatique de l’environnement.

À l’intérieur du Vision Pro, des anneaux de caméras IR et d’illuminateurs suivent les mouvements des yeux pour un traitement d’image intuitif. Pour ces calculs intensifs, Apple inclut une puce R1 nouvellement développée pour gérer le traitement en temps réel. Une puce M2, du même type que celle utilisée dans bon nombre de ses ordinateurs Mac et de l’iPad Pro, s’occupe des graphiques et du traitement général.

La puce R1 combine les entrées de 12 caméras, cinq capteurs et six microphones, avec une latence de seulement 12 ms. Apple souligne que c’est huit fois plus rapide qu’un clin d’œil.

Cette technologie avancée devrait donner au Vision Pro la meilleure vue de réalité mixte sur le marché. Les vidéos de démonstration d’Apple soutiennent cette idée, mais nous réserverons notre jugement final lorsque l’appareil sera expédié et que les avis commenceront à apparaître.

Intercommunication inverse

Plutôt qu’une solution unidirectionnelle, Apple propose également un relais inverse. Apple EyeSight utilise une lentille lenticulaire pour projeter une image 3D à l’angle correct des yeux du porteur sur le devant du Vision Pro.

Lorsque quelqu’un s’approche, vos yeux apparaîtront sur le devant et vous pourrez voir à l’extérieur, créant une transparence virtuelle bidirectionnelle. Cela semble irréel et, espérons-le, rend de manière convaincante. Il y a un danger que l’écran avant du Vision Pro donne à l’utilisateur une apparence effrayante connue sous le nom de « vallée étrange ».

Pour FaceTime, Apple avait besoin d’une version numérique du visage du porteur puisque les caméras internes ne voient que les yeux lorsqu’il porte le Vision Pro. Les caméras extérieures du Vision Pro peuvent scanner votre visage et créer une Persona numérique qui, selon Apple, correspondra dynamiquement à vos mouvements faciaux avec une apparence réaliste. Faire correspondre l’expressivité du visage humain pourrait s’avérer difficile, et nous ne savons pas si Apple réussira.

Un Persona a de la profondeur lorsqu’il est vu depuis un autre Vision Pro et est une image 2D traditionnelle sur un iPhone, un iPad et un Mac. Cela signifie que vous pouvez FaceTime quelqu’un tout en portant le casque d’Apple, et cela pourrait ressembler remarquablement à votre propre visage.

Ce n’est qu’une des nombreuses façons dont le casque XR d’Apple pourrait redéfinir nos maisons.