Apple Vision Pro apporte les appels spatiaux Facetime à la réalité mixte

Image : Pomme

Le casque Vision Pro d’Apple permet des appels spatiaux Facetime avec des avatars numérisés qui utilisent l’IA pour imiter l’apparence et le langage corporel de la personne portant le casque.

Lorsqu’Apple a annoncé son nouveau casque VR/AR, l’Apple Vision Pro, la société a présenté non seulement des applications de divertissement et de productivité, mais également une multitude d’applications sociales. Les appels Facetime sont susceptibles de devenir une application majeure, similaire à l’ancien écosystème Apple.

Apple a développé des avatars spatiaux spéciaux pour le Vision Pro. Lorsque les utilisateurs portent le casque pendant les appels Facetime, ils apparaissent aux autres comme un avatar animé en trois dimensions. Ils scannent au préalable leur visage et leurs mains afin que ce « persona » imite de manière convaincante leur apparence, leurs expressions faciales et leurs gestes.

Appel Facetime en réalité mixte

À l’aide d’une technologie appelée balayage neuronal, un algorithme d’IA identifie et calcule les mouvements caractéristiques de l’avatar « persona » lors d’une réunion. Cela donne aux participants à la réunion l’impression qu’ils interagissent avec l’avatar 3D d’une manière relativement authentique et naturelle. Pour l’utilisateur du casque, les autres participants apparaissent sur des tuiles flottant dans l’espace autour d’eux. Parce que Vision Pro est un casque de réalité mixte avec transparence vidéo, il peut également intégrer le monde extérieur dans les conversations virtuelles et vice versa.

Les utilisateurs classiques de Facetime apparaissent grandeur nature lors d’un appel sur des fenêtres de discussion flottantes. | Vidéo : Pomme

Apple a également conçu les vignettes vidéo pour qu’elles soient aussi naturelles que possible pour la conversation : elles sont grandeur nature, plus comme une conversation naturelle dans une pièce que sur un écran plus petit. Entre-temps, Audio 3D veille à ce que le son provienne de l’endroit où les participants se tiennent debout et parlent.

Le casque a également des écouteurs intégrés avec des fentes latérales, qui sont destinés à rendre le son spatial plus réaliste. Le casque adapte même le son spatialisé à la pièce actuelle à l’aide des nombreux capteurs du casque. Ils détectent les conditions de la pièce et ajustent le mixage surround en conséquence.

Sources : Apple WWDC 2023