Réalité augmentée : matériel et définitions

Image: saut magique

La réalité augmentée se présente sous de nombreuses formes et variantes. Quels appareils existent et quels sont leurs avantages et inconvénients ? Un aperçu.

Cet article tente une catégorisation générale. Son objectif est de fournir un aperçu des principales classes d’appareils, tout en reflétant l’évolution des cinq dernières années : des appareils mobiles compatibles AR, aux casques AR tels que Hololens et Magic Leap, aux premiers casques de réalité mixte.

La cinquième classe d’appareils, les lunettes AR, décrit l’objectif d’une grande partie de l’industrie AR et ne s’est pas encore concrétisée sous cette forme. La sixième catégorie concerne les lentilles de contact technologiques, qui sont encore plus éloignées de la maturité du marché que les lunettes technologiques. Il doit être considéré comme un aperçu de l’avenir de la technologie.

RA mobile

Autres termes ou sous-types : Smartphone AR, Tablette AR
Des exemples bien connus: ARKit, ARCore
Avantages : utilisation généralisée, interfaces matures
Désavantages: peu pratique à utiliser, petit écran, pas de vision stéréoscopique, interactivité limitée

Mobile AR est une réalité augmentée utilisant des appareils mobiles tels que smartphones et tablettes. Ils utilisent une caméra et d’autres capteurs, ainsi que la vision par ordinateur, pour afficher des objets numériques et des informations contextuellement dans l’espace physique. Les éléments numériques et physiques fusionnent sur l’écran du smartphone ou de la tablette.

Les premiers frameworks matures pour Mobile AR étaient Vuforia et Wikitude. En 2017, Mobile AR a atteint les masses avec l’introduction d’Apple ARKit et c’est dans iOS. Google a suivi l’exemple d’Apple en 2018 avec ARCore, une solution pour les appareils Android. Parmi les autres frameworks AR mobiles influents, citons Meta’s Spark AR, Snap AR et 8th Wall, qui a été acquis par Niantic.

Avec l’omniprésence des smartphones, la RA mobile est la forme de réalité augmentée la plus courante et la plus utilisée. Les applications les plus populaires incluent les jeux AR comme Pokémon Go, les filtres faciaux, la recherche AR de Google ou les applications de niche pour des scénarios d’application très spécifiques comme les cadres photo.

Lunettes intelligentes

Autres termes ou sous-types : Lunettes vidéo, lunettes caméra, lunettes audio
Exemples bien connus : Google Glass, North Focals, Ray-Ban Stories, Echo Frames, Snap Spectacles (1-3)
Avantages : facteur de forme relativement mince
Désavantages: fonctionnalité AR faible à inexistante, champ de vision étroit

Cette classe comprend des appareils basés sur le facteur de forme des lunettes conventionnelles et conçus pour être aussi légers que possible, mais offrant uniquement réalité augmentée rudimentaire: Ils superposent des informations utiles dans le champ de vision (Google Glass, North Focals) ou diffusent des écrans virtuels dans la pièce (Nreal Air), sans suivi spatial ni considération de l’environnement physique.

D’autres appareils de cette classe n’ont pas d’écran, mais offrent des fonctions intelligentes alternatives telles que des caméras et des haut-parleurs (Ray-Ban Stories) ou une assistance vocale (Echo Frames). Dans tous les cas, la fonctionnalité AR très limitée est due à des raisons techniques : La miniaturisation de la technologie AR n’est que rudimentaire.

Le champ de vision plutôt étroit et l’utilisation limitée associée des appareils en termes de contenu ont jusqu’à présent empêché une diffusion plus large. Dans certains cas, les lunettes de données sont encore visuellement reconnaissables en tant que telles et donc socialement inacceptables. Google Glass a échoué à cause de cela et de la caméra intégrée, ce qui a déclenché une controverse sur la confidentialité et la protection des données.

Casques AR

Autres désignations ou sous-types : Casques AR transparents
Des exemples bien connus: Microsoft Hololens (2), Magic Leap (2), Snap Spectacles (4)
Avantages: Fonctionnalité AR avancée
Désavantages: relativement volumineux, champ de vision étroit, coûteux

Les casques AR ont une prémisse différente de celle des lunettes intelligentes : des sacrifices dans le facteur de forme sont acceptés pour faire place à d’importantes fonctionnalités de réalité augmentée de base telles que suivi spatial et Cartographie 3D de l’environnement.

Ces appareils diffèrent des lunettes conventionnelles par leur facteur de forme volumineux, c’est pourquoi cette catégorie est appelée casques AR au lieu de lunettes AR (voir catégorie 5).

Les casques AR les plus connus sont Microsoft Hololens et Magic Leap. Le premier Hololens a été lancé en 2016, suivi du Magic Leap 1 en 2018 et du Hololens 2 en 2019. Le Magic Leap 2 a été lancé en 2022.

Le prix élevé, la technologie expérimentale et l’apparence de ces appareils les rendent peu attrayants pour les consommateurs. Les principaux clients sont des entreprises, des professionnels et des passionnés de RA qui développent des applications personnalisées pour les casques et des scénarios d’utilisation spécifiques.

Hololens 2 et Magic Leap 2 ont fait des progrès dans des domaines tels que le facteur de forme, le confort, la convivialité et le champ de vision. Cependant, ils n’ont pas réalisé de percée technique qui rendrait les appareils intéressants pour les consommateurs.

L’avenir d’Hololens est incertain : Microsoft a licencié de nombreux employés travaillant dans le domaine XR et le développement de l’IVAS militaire Hololens rencontre de nombreuses difficultés. Si Microsoft devait quitter le marché du matériel AR, Magic Leap serait le seul acteur majeur restant sur le marché des casques AR.

Les derniers Spectacles de Nreal Light et Snap sont des hybrides intéressants. Les deux ressemblent davantage à des lunettes de soleil traditionnelles et offrent des fonctionnalités AR de base. Cependant, ils ne se rapprochent pas des capacités techniques des vrais casques AR. Le facteur de forme est plus mince qu’un casque comme Hololens, mais toujours beaucoup plus maladroit que les lunettes ordinaires.

Casques de réalité mixte

Autres termes ou sous-types : Casques AR passthrough
Exemples: Meta Quest Pro, Lynx R-1, Varjo XR-3
Avantages: actuellement la meilleure fonctionnalité AR, large champ de vision
Désavantages: facteur de forme volumineux et fermé (écrans opaques)

Les casques AR comme Hololens et Magic Leap dirigent la lumière d’un projecteur d’image dans un verre transparent appelé guide d’ondes, qui projette ensuite l’image dans l’œil. La technologie en est encore à ses balbutiements et est complexe et coûteuse à fabriquer.

Les casques de réalité mixte, quant à eux, reposent sur le même principe de conception que les casques VR, ce qui les rend plus faciles à fabriquer et réduit les coûts car ils reposent sur une technologie largement établie. On s’attend à ce qu’ils soient les meilleur matériel pour la réalité augmentée avancée Dans les années à venir.

Les casques de réalité mixte ont des caméras intégrées qui filment l’environnement et le transmettent sous forme d’image vidéo aux écrans opaques. Cela crée l’illusion de voir le monde environnant, qui peut être augmenté et recouvert d’éléments numériques sur les écrans à volonté.

Ce soi-disant technologie passthrough présente de grands avantages par rapport aux casques AR classiques avec des optiques transparentes telles qu’un champ de vision beaucoup plus large, un affichage opaque des objets numériques et une interaction plus étroite entre la réalité physique et numérique.

C’est pourquoi tant d’entreprises placent actuellement leurs espoirs dans les casques de réalité mixte. Meta Quest Pro et Lynx R-1 sont les premiers à être commercialisés, et des casques similaires d’Apple, Google et Samsung devraient suivre.

Bien que le facteur de forme des casques de réalité mixte permette une RA avancée, c’est aussi le plus gros inconvénient : comme les casques VR, les appareils sont volumineux et ont une adéquation limitée à une utilisation quotidienne, de sorte que leur utilisation est susceptible d’être largement limitée aux zones intérieures et désignées.

lunettes AR

Exemples: –
Avantages théoriques : Facteur de forme des lunettes, excellente fonctionnalité AR, large champ de vision
Inconvénients théoriques : questions ouvertes concernant la protection des données et la vie privée, l’infrastructure technique est un défi majeur

Des lunettes élégantes et confortables avec des capacités AR qui assistent les porteurs dans leur vie quotidienne, projettent des hologrammes réalistes dans l’environnement et mélangent la réalité analogique et numérique : c’est le rêve vers lequel l’industrie AR travaille depuis des années.

La liste des défis techniques est longue : une bonne paire de lunettes AR devrait fournir immense puissance de calcul pour les tâches complexes impliquées dans le traitement AR et avoir encore assez de batterie pour une journée entière, un peu comme nos smartphones aujourd’hui.

En plus des processeurs, deux caméras ou plus doivent s’intégrer dans la monture des lunettes pour les aider à naviguer dans leur environnement et à reconnaître les lieux, les objets et les personnes. Les verres ne doivent être ni trop lourds ni trop chauds. Sinon, ils seront mal à l’aise.

Une solution possible à certains des défis techniques est le streaming 5G : le contenu provient du cloud, les lunettes n’ont « qu’à » le projeter dans l’environnement et permettre l’interaction. De cette façon, une partie de la charge informatique pourrait être déchargée et les lunettes pourraient être rendues plus fines.

Mais même si ces problèmes sont résolus, il reste la question de savoir comment le public réagira aux lunettes AR qui filment et analysent en permanence leur environnement. Ce débat n’a pas encore eu lieu. L’expérience avec Google Glass suggère que cela risque d’être compliqué. Les lunettes de caméra Ray-Ban de Meta sont déjà confrontées à des problèmes de confidentialité.

Les premières vraies lunettes AR de Meta sont prévues pour 2027, selon une feuille de route divulguée, tandis qu’une paire plus simple de lunettes intelligentes Ray-Ban avec un HUD est attendue en 2025. Apple a reporté ses lunettes AR indéfiniment, selon un rapport.

Lentilles de contact AR

Exemples: Lentille Mojo, Inwith

Les lentilles de contact AR sont encore plus futuristes que les lunettes AR minces. Des start-up telles que Mojo Vision et Inwith présentent les premiers prototypes techniquement impressionnants. Cependant, leur fonctionnalité est encore rudimentaire et les lentilles technologiques compatibles AR sont beaucoup plus éloignées de la commercialisation que les lunettes AR.

Le prototype Mojo Lens peut afficher le contenu dans un champ de vision de 15 degrés directement sur la rétine. Grâce au suivi oculaire, l’objectif détecte où l’œil regarde et ajuste l’image en conséquence. Actuellement, l’écran ne peut afficher que du vert et l’objectif n’offre pas de reconnaissance spatiale ou d’objet.

Les applications médicales pour certaines maladies oculaires, telles que l’amélioration du contraste, sont plus probables pour le moment. Un flux externe tel qu’un ordinateur de poche ou un streaming cloud est absolument nécessaire.

Début 2023, Mojo Vision a annoncé qu’elle n’avait pas trouvé d’investisseurs pour le développement ultérieur des lentilles de contact AR. La startup a mis fin au projet, licencié la plupart de ses employés et s’est concentrée sur le développement d’écrans microLED.