Ce système d’IA résoudra-t-il le problème de l’avatar complet de Meta ?

Image : Méta IA

Une étude de Meta AI montre un nouveau modèle d’avatar qui réalise des mouvements fluides de tout le corps humain en réalité virtuelle – sans capteurs supplémentaires.

Le suivi de l’intérieur vers l’extérieur des casques VR mobiles comme le Meta Quest 2 ou le Quest Pro capture principalement la tête et les mains de l’utilisateur. Étant donné que les caméras de suivi sont intégrées dans le boîtier du casque, le reste du corps est en grande partie caché de la détection de mouvement.

Dans une étude, Meta AI présente un nouveau système d’avatar qui synthétise les mouvements fluides de tout le corps à partir de ces données rares et surpasse ainsi de manière significative les animations d’avatar précédentes.

L’IA génère des mouvements fluides en temps réel

« Avatars Grow Legs », ou « AGroL » en abrégé, est un modèle de diffusion spécialement conçu pour suivre les mouvements de tout le corps avec seulement quelques signaux du haut du corps. Il est basé sur une architecture de perception multicouche (MLP) et un nouveau schéma de conditionnement pour les données de mouvement.

Selon les chercheurs, il devrait être capable de prédire des mouvements précis et uniformes de tout le corps, ce qui pourrait résoudre le problème du suivi de tout le corps en réalité virtuelle. Le bas du corps, difficile pour un suivi classique, ne devrait pas poser de problème. Ce n’est qu’en touchant le sol que des artefacts se produisent occasionnellement.

Étant donné qu’AGroL peut être exécuté en temps réel, il devrait également convenir aux applications en ligne. Cela signifie que les méta-avatars moins réalistes sans jambes dans Horizon Worlds et d’autres applications de réalité virtuelle sociale pourraient bientôt appartenir au passé.

AGroL : plus fluide qu’AvatarPoser

Les chercheurs démontrent l’efficacité du modèle en utilisant un ensemble de données de capture de mouvement d’AMASS. Comparé à d’autres systèmes d’avatar tels qu’AvatarPoser, AGroL a beaucoup moins d’erreurs de rotation, de position et de vitesse.

Les mouvements générés sont donc plus précis et fluides. Surtout, le tremblement des bras et des jambes virtuels connus des avatars précédents se produirait beaucoup moins fréquemment avec AGroL. Dans la vidéo YouTube ci-dessus, vous pouvez voir une comparaison entre AGroL et AvatarPoser à partir de la minute 1:44.