Qu’est-ce que la réalité mixte et comment fonctionnent les casques XR ?

Image : Méta

De plus en plus de casques XR arrivent sur le marché. Mais la réalité mixte est souvent définie de manière trompeuse. Nous remettons les pendules à l’heure.

Qu’est-ce que la réalité mixte ?

En 1994, le chercheur en interface Paul Milgram a défini la réalité mixte comme un continuum dans lequel existent des technologies immersives individuelles telles que la réalité virtuelle, la RA ou la RA basée sur la vidéo (RA passthrough).

Dans sa définition perspicace, la réalité mixte est un état caractérisé par le degré auquel le contenu réel et numérique sont mélangés. La réalité mixte peut théoriquement se manifester dans un appareil tant qu’il peut gérer une certaine forme de réalité virtuelle et une forme de RA.

En quoi les casques VR, AR et XR sont-ils différents ?

Les lunettes de réalité mixte sont donc des casques capables de gérer la VR et la RA, ainsi que toutes les formes de mélange de réalité numérique et physique selon le continuum de réalité mixte défini par Milgram et Kishino.

Avec un casque XR, vous pouvez soit masquer complètement la réalité physique et la remplacer par une réalité virtuelle (Virtual Reality). Ou vous le reconstruisez numériquement dans le casque (grâce à la technologie passthrough, voir la section suivante) et l’enrichissez avec des éléments numériques (réalité augmentée).

Dans Casques de réalité virtuellel’environnement physique apparaît sur des écrans opaques et est entièrement numérique, contrairement à casques de réalité augmentée avec des optiques translucides, comme Hololens 2 ou Magic Leap 2. Ici, l’environnement physique reste visible à travers un morceau de verre ou de plastique et est sélectivement recouvert par des éléments numériques projetés directement dans l’œil.

L’industrie assimile souvent la réalité mixte à technologie de passage et fait une distinction inutile entre la réalité mixte et la réalité augmentée : alors que la première permet une interaction plus forte entre la réalité numérique et physique, la seconde ne fait que prolonger et améliorer la réalité physique, dit-on.

Mais les casques de réalité mixte et les casques de réalité augmentée font la même chose, simplement basés sur une technologie différente.

La technologie passthrough des casques de réalité mixte présente de nombreux avantages, mais aussi des inconvénients par rapport aux systèmes à optique transparente. Puisqu’il n’existe pas encore d’écrans suffisamment bons pour les casques AR (voir : État de la technologie AR), l’industrie fait un détour par les casques de réalité mixte, tandis que la recherche et le développement sur les écrans AR se poursuivent.

Comment fonctionnent les casques de réalité mixte ?

Exemples des casques de réalité mixte existants incluent Meta Quest Pro, Varjo XR-3 et Lynx R-1, tandis que le premier casque d’Apple sera également un appareil de réalité mixte, selon de nombreux rapports.

Les casques de réalité mixte capturent l’environnement physique à l’aide de caméras intégrées au casque. Des algorithmes reconstituent alors une vue stéréoscopique du monde et l’affichent sur des écrans opaques.

Ce soi-disant traverser technologie n’est pas nouveau et a été utilisé dans des appareils comme le Meta Quest 2 pendant un certain temps. Cependant, la qualité de l’image est généralement assez médiocre. Même les nouveaux casques de réalité mixte comme Meta Quest Pro rendent l’environnement physique loin d’être parfait.

Le passthrough semble plus impressionnant avec l’appareil professionnel à prix élevé Varjo XR-3. La vidéo suivante montre un utilisateur enfilant un fil à l’aide de la vue directe. Cet exemple montre à quel point la technologie peut fonctionner avec des capteurs de haute qualité et des écrans haute résolution.

Pourtant, il existe de gros obstacles à l’avancement de la technologie passthrough, comme le montre un article récent publié par Meta.