Image : Méta
L'article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
La dernière démonstration d'IA de Meta montre comment la technologie peut aider les lunettes AR à reconnaître les objets autour de vous sans capteurs de profondeur.
« »
Méta-scèneScript
Meta AI a publié une vidéo démontrant comment ses lunettes Project Aria AR peuvent capturer un nuage de points que le modèle SceneScript basé sur Llama AI peut interpréter comme des objets identifiables du monde réel, comme des murs, des fenêtres, des portes et des meubles.
Le résultat est un fichier texte en anglais formaté dans un code de balisage structuré avec les dimensions des objets. Les données sont suffisantes pour délimiter les objets ou créer un rendu 3D à l'aide de cadres de délimitation.
Un Meta Quest 3 a exécuté le logiciel SceneScript et les chercheurs ont utilisé la vue directe du casque VR pour afficher les données du nuage de points superposées et les éléments de scène étiquetés.
Le plus impressionnant est que SceneScript peut également créer des géométries plus complexes afin que les tables, les chaises de bureau et les canapés aient plus de détails.
« »
Un aperçu de ce qui s'en vient
Alors que les lunettes Project Aria de Meta capturent des données pour reconstruire la scène, le processeur Qualcomm Snapdragon 835 de ces prototypes n'est pas suffisant pour le traitement.
Le projet Aria ne contient pas de capteur de profondeur, les nuages de points sont donc basés uniquement sur un traitement visuel. C'est important pour les lunettes AR, car chaque capteur ajoute du poids, ce qui constitue un problème majeur pour quelque chose qui repose sur l'arête de votre nez.
SceneScript n'est pas disponible pour les consommateurs sur les lunettes intelligentes Quest 3 ou Ray-Ban Meta, mais les recherches de Meta fournissent un aperçu intrigant de ce qui sera possible avec les prochaines lunettes AR.
L'identification des parties d'une pièce permettra des expériences de réalité augmentée beaucoup plus immersives où le contenu virtuel pourra interagir avec votre environnement. Une application comme First Encounters de Quest 3 pourrait fonctionner sur des lunettes AR à l'avenir.
Voici le post X de Meta.