Image : Méta
L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Meta expérimente les éclaboussures gaussiennes pour rendre les avatars codecs encore plus réalistes qu’auparavant.
Avec Codec Avatars, Meta espère un jour permettre la téléprésence photoréaliste. La technologie s’appuie sur des casques VR avec suivi des yeux et du visage et sur des techniques d’IA sophistiquées. Mark Zuckerberg et Lex Fridman ont récemment démontré l’état actuel de la technologie dans un podcast.
L’un des plus grands obstacles techniques à la commercialisation des Codec Avatars est que les utilisateurs doivent faire un scan 3D détaillé d’eux-mêmes dans un studio spécial, un processus qui prend des heures. À l’avenir, Meta espère que les photos prises avec un smartphone seront suffisantes. Un autre obstacle est le rendu des avatars photoréalistes sur des casques VR autonomes comme Meta Quest, qui ne disposent pas de la puissance de calcul nécessaire. Pour résoudre ce problème, Meta travaille sur une puce dédiée qui pourrait aider à restituer les avatars en temps réel.
La dernière version de la technologie des avatars, Codec Avatars 2.0, a désormais reçu une mise à jour qui utilise les éclaboussures gaussiennes pour un éclairage plus réaliste et plus efficace des avatars. Meta présente le nouveau processus dans un document de recherche intitulé « Relightable Gaussian Codec Avatars ».
Une nouvelle percée
L’éclaboussement gaussien est une technique d’apprentissage automatique qui permet de restituer une scène 3D basée sur quelques images d’un lieu réel. Contrairement aux NeRF techniquement liés, les splats gaussiens peuvent être rendus en temps réel.
Les méta-chercheurs ont appliqué l’éclaboussure gaussienne aux avatars codecs avec des résultats étonnants : les avatars sont éclairés de manière plus réaliste qu’auparavant, avec même les détails les plus fins tels que les mèches de cheveux et les pores individuels rendus de manière réaliste et répondant aux conditions d’éclairage changeantes.
« Notre méthode surpasse les approches existantes sans compromettre les performances en temps réel », écrivent les chercheurs. Ils démontrent la faisabilité de leur approche en utilisant un casque PC VR standard. La vidéo suivante montre la technologie en action.
De plus amples informations peuvent être trouvées sur le site Web du projet de recherche.
Achetez Quest 3, accessoires et verres correcteurs