Le prototype de casque Flamera de Meta combat la distorsion avec des « yeux d’insectes »

Image : Méta

Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser et lade die Seite neu.

Dans la réalité augmentée transparente, comment la lumière parvient-elle à vos yeux dans la bonne perspective ? Le casque de réalité mixte de Meta offre une réponse unique.

Les casques de réalité mixte comme le Quest Pro ou l’Apple Vision Pro ont un problème. Leurs caméras externes se trouvent à quelques centimètres devant vos yeux. En conséquence, le monde extérieur amélioré par l’infographie n’est pas capturé dans la bonne perspective. Des algorithmes doivent corriger la déviation en projetant l’image.

Meta veut résoudre ce problème avec une approche qui fait ressembler les utilisateurs à des insectes. Le caméra à champ lumineux La technologie utilisée dans le casque prototype Flamera, avec ses nombreuses petites lentilles, n’est pas nouvelle, mais Meta l’a adaptée à ses propres besoins. Les chercheurs ont placé nombreuses ouvertures derrière la grille de lentille – une derrière chaque lentille. Ceux-ci permettent uniquement aux rayons de lumière d’atteindre un capteur d’image qui, autrement, atteindrait l’œil sans le casque.

La vision de Meta pour une RA pass-through sans distorsion

Meta appelle cette technique « passthrough de champ lumineux ». Même avec cette approche, l’image est d’abord capturée par le capteur et traitée pour s’adapter à l’écran et à l’objectif devant les yeux de l’utilisateur. Cependant, Meta dit que l’affichage est plus précis en perspective car le monde extérieur est capturé par le réseau de lentilles incurvées à l’avant du casque.

La technologie combine souvent la lumière traversant deux lentilles adjacentes. Les obturateurs assurent alors que seule la lumière pertinente à la direction de vision passe. Dans une remorque, vous pouvez voir comment les autres faisceaux sont bloqués.

En revanche, les caméras à champ lumineux conventionnelles capturent trop de faisceaux lumineux, ce qui entraîne une résolution d’image bien trop faible. Avec le nouveau design, les parties pertinentes du champ lumineux atteignent exactement les pixels limités du capteur, explique Meta.

Les données brutes du capteur ressemblent à de petits cercles de lumière, chacun ne contenant qu’une partie de la vue souhaitée du monde extérieur – presque comme regarder à travers une passoire. Flamera réorganise les pixels et calcule une reconstruction de l’image entière à l’aide d’une carte de profondeur. Selon Meta, le résultat est beaucoup moins sujet à la distorsion que les casques actuels, ouvrant de nouvelles possibilités pour les applications de réalité augmentée.

« En recommençant la conception de notre casque à partir de zéro au lieu de modifier une conception existante, nous nous sommes retrouvés avec une caméra qui a l’air assez unique mais qui peut permettre une meilleure qualité d’image de transmission et une latence plus faible », explique la chercheuse Grace Kuo. Le nom Flamera signifie « caméra plate ».

Aussi mince que possible

Sur le chemin du prototype actuel, il n’a pas été si facile de retirer des objets épais comme l’électronique du capteur de la caméra. « La conception optique Flamera fonctionne mieux lorsque le casque est fin, ce qui nous permet de placer les caméras passthrough aussi près que possible des yeux de l’utilisateur », déclare Kuo.

Un autre avantage de la nouvelle conception est qu’elle nécessite beaucoup moins de puissance de calcul. Dans l’ancien projet Neural Passthrough, un poste de travail entier était nécessaire pour compenser les artefacts causés par les calculs de l’IA. Dans le nouveau design Flamera, le matériel de la caméra et les algorithmes de reprojection fonctionneront ensemble plus efficacement dès le départ.

Le directeur de la recherche sur les systèmes d’affichage, Douglas Lanman, admet que la conception du prototype semble toujours assez farfelue. Mais cela montre déjà une façon dont la RA pass-through à perspective correcte pourrait fonctionner à l’avenir. Si vous voulez voir à quoi ça ressemble, vous pouvez découvrir le matériel lors de la conférence Siggraph du 6 au 10 août.

Achetez les verres Quest 2, Quest Pro et correcteurs