Image : Lex Fridman
L'article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Les nouveaux avatars codecs de Meta sont rendus sur les postes de travail, mais une ancienne version fonctionne déjà sur des casques autonomes.
Yaser Sheikh, responsable de la recherche Codec Avatar chez Meta, a fait une présentation à la conférence Nvidia GTC la semaine dernière, et MIXED était présent.
En septembre dernier, Meta a présenté sa technologie Codec Avatars dans un podcast Lex Fridman. Fridman et Mark Zuckerberg ont parlé pendant une heure sur une longue distance avec des avatars codecs photoréalistes. Tous deux avaient été minutieusement scannés au préalable. Au cours de l’entretien, ils portaient un Meta Quest Pro filaire qui utilise cinq capteurs pour le suivi des yeux et du visage. Jusqu’à présent, on ne savait pas quelle autre technologie était nécessaire.
Dans la présentation, Sheikh a déclaré qu'un poste de travail équipé de 4 cartes graphiques GeForce RTX 4090 avait été utilisé pour restituer les avatars des deux côtés. Cela signifie que la technologie est encore loin de fonctionner à ce niveau de qualité sur des casques autonomes comme Meta Quest 3, qui ne disposent que d'une fraction de la puissance de traitement.
Selon Sheikh, les Codec Avatars 2.0 ont été utilisés pour le podcast. Cependant, Sheikh a déclaré plus tard lors de la session de questions-réponses que le laboratoire avait fait fonctionner les anciens Codec Avatars 1.0 pour plusieurs personnes sur des casques autonomes. Ces avatars peuvent être créés à l’aide d’un scan du visage d’un smartphone. La vidéo ci-dessous montre Codec Avatars 1.0.
Sheikh a également présenté une nouvelle génération de technologie, Codec Avatars 3.0, qui utilise les éclaboussures gaussiennes pour rendre les gens encore plus réalistes, jusqu'aux cheveux individuels. Comme Codec Avatars 2.0, ceux-ci fonctionnent sur des postes de travail.
Meta n'a pas annoncé quand sa recherche Codec Avatars sera transformée en produit.
Des avatars codecs à partir de 2025 ?
Meta travaille sur les codecs avatars depuis de nombreuses années. Cette recherche a été présentée au public pour la première fois en 2019. L’objectif à long terme est de permettre une téléprésence photoréaliste sur des casques abordables.
Pendant ce temps, la pression est forte pour que Meta propose enfin des avatars plus réalistes : Apple Vision Pro propose déjà une solution de téléprésence qui fonctionne bien avec Personas. La technologie n’a pas encore franchi l’étrange vallée et les avatars ne sont affichés qu’en deux dimensions dans une fenêtre, mais nous pouvons nous attendre à ce qu’Apple améliore considérablement la technologie dans les mois et les années à venir. Les personas nécessitent également un scan du visage, créé à l'aide de Vision Pro, comme le montre la vidéo ci-dessous.
Selon une feuille de route matérielle divulguée, la technologie Codec Avatars de Meta trouvera sa place dans un nouveau casque haut de gamme. Serait-ce le casque sur lequel Meta travaille avec LG, qui serait commercialisé en 2025 ?
Je suis Jules de Inside360, où ma passion pour la narration et mon background en arts visuels fusionnent, explorant les confins de la réalité virtuelle. Chez Inside360, je donne vie aux visites virtuelles Google Street View, transformant chaque parcours en une histoire immersive. Mon but ? Capturer l’essence des lieux à 360 degrés pour inspirer et émerveiller.