Image: Tobias Kirschstein
Der Artikel Kann Nur Mit Aktiviertem Javascript Dargellt Werden. Bitte aktiViere JavaScript dans Deinem Browser und Lade die Seite Neu.
Les chercheurs ont développé une nouvelle méthode pour créer un avatar 3D animate à partir de seulement quatre photos de smartphones.
Le système, appelé AVAT3R, peut transformer ces instantanés en une tête 3D animate en minutes. La création de doubles numériques de haute qualité a besoin pour nécessiter des configurations de studio coûteuses avec plusieurs caméras et une puissance de calcul lourde. AVAT3R vise à démocratiser ce processus en réduisant considérablement les exigences matérielles et le temps de traitement.
La sauce secrète réside dans la création de grands modèles de reconstruction (LRMS) animated. Ces modèles apprennent des représentations 3D complètes des têtes humaines à partir de jeux de données vidéo multi-visualités étendus. Pour améliorer la qualité de la reconstruction, AVAT3R combine des cartes de position de Dust3R avec des cartes de fonctionnalités généralisées de SAPIENS, un modèle de fondation conçu spécifiquement pour la représentation humaine.
Le système est étonnamment robuste contre les erreurs utilisateur courantes. Grâce à une formation sur diverses expressions faciales, il peut gérer des entrées incohérentes comme de légers mouvements pendant la capture de photos ou des cadres tirés de la vidéo.
https://www.youtube.com/watch?v=p3znvx15gys
Les avatars du codec se rapprochent-ils?
Ce développement s'inscrit dans la vision plus large de Meta pour les avatars de codec photoréalistes, une technologie qu'ils affinent depuis des années. Des offres d'emploi récentes suggèrent qu'ils augmentent considérablement ces efforts.
La société recrute actuellement des développeurs iOS avec une expertise dans la conception de l'interface utilisateur et des outils pour les applications iPhone et iPad. Cela fait allusion au développement possible d'une application grand public qui guiderait les utilisateurs à travers le processus de balayage Avatar et permettre la communication XR via Future Quest HeadSets.
Ajoutant de la crédibilité à cette théorie, les amateurs de VR Luna ont découvert des chaînes dans le firmware de quête qui référence à la mise en œuvre de l'Avatar du codec. Cependant, le calendrier et les dispositifs compatibles restent flous. Actuellement, seule la Meta Quest Pro prend en charge le suivi du visage et des yeux – d'autres appareils comme la quête 3 devraient se rapprocher des expressions faciales en utilisant des entrées alternatives comme la voix.
Le développement de l'AVAT3R représente une autre étape vers la réalisation des avatars numériques photoréalistes accessibles aux utilisateurs de tous les jours, bien que nous devrons attendre et voir comment Meta intègre cette technologie dans leurs produits de consommation.