Image : Méta
Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser et lade die Seite neu.
Meta a développé un nouveau modèle d’IA. S’il trouve sa place dans le Quest 3, le casque XR pourrait devenir une véritable innovation.
Mark Zuckerberg dépense des sommes considérables pour piloter le développement du métaverse. Pour Meta, cela inclut les systèmes d’IA. La dernière innovation dans ce domaine est le modèle de segmentation AI Segment Anything (SAM). Lisez une analyse détaillée dans l’article lié de la publication sœur axée sur l’IA THE DECODER.
Selon Meta, SAM « a une idée générale de ce que sont les objets et peut créer des masques pour n’importe quel objet dans n’importe quelle image ou vidéo, même pour les objets et les types d’images que le système n’a pas rencontrés pendant la formation ».
SAM est polyvalent – même en XR
En conséquence, le modèle peut être utilisé à l’avenir « pour des applications dans de nombreux domaines où n’importe quel objet dans n’importe quelle image doit être trouvé et segmenté ».
La conception de SAM permettrait une intégration flexible avec d’autres systèmes : « En AR/VR, SAM pourrait permettre la sélection d’un objet en fonction du regard de l’utilisateur, puis le ‘projeter’ en 3D. »
Cette vidéo montre la vue à travers un casque VR avec passthrough AR. À l’aide de SAM, il détecte indépendamment les objets et les personnes ciblés. Les superpositions montrent de quoi il s’agit exactement (du moins si l’objet détecté est également nommé) et à quelle distance vous en êtes.
Dans le billet de blog de Meta sur SAM, une vidéo similaire rend la reconnaissance encore plus claire. Quel casque a été utilisé pour les clips n’est pas clair. Il pourrait s’agir d’un Quest Pro (examen). Peut-être que cette technologie ou une technologie similaire sera disponible pour le Meta Quest 3 (info).
SAM dans Meta Quest 3 : Un game changer pour XR ?
Cela élargirait plusieurs fois les applications possibles du prochain casque XR. Le casque pourrait aider les personnes malvoyantes en reconnaissant les objets et les distances, puis en les annonçant via une sortie audio. Ou il pourrait prendre en charge l’apprentissage des langues en affichant tous les objets reconnus dans la langue souhaitée.
Meta lui-même montre des applications possibles pour les casques AR. Par exemple, SAM pourrait reconnaître les ingrédients de cuisson sur un casque AR et afficher automatiquement les recettes appropriées.
De plus, SAM pourrait déterminer la nature du monde physique dans la vue VR et la transférer dans le monde virtuel d’une manière adaptée au logiciel VR. Cela éliminerait la nécessité de dessiner une zone de gardien, par exemple, et les utilisateurs pourraient se déplacer librement dans la réalité virtuelle car cela correspondrait à la structure de la réalité physique.