Découvrez ces photos et vidéos volumétriques sur votre Meta Quest

Image : Cinemersive Labs

L'article ne peut être affiché qu'avec JavaScript activé. Veuillez activer JavaScript dans votre navigateur et télécharger à nouveau la page.

Deux applications gratuites Meta Quest montrent à quoi pourrait ressembler le futur proche des photos et vidéos volumétriques.

Les photos et vidéos traditionnelles ont une perspective fixe. Il en va de même pour les photos et vidéos immersives aux formats monoscopiques ou stéréoscopiques 180 ou 360°. Lorsque vous bougez la tête dans la pièce, la scène suit vos mouvements sans vous offrir une nouvelle perspective. Cela ne semble pas naturel et peut même donner la nausée à certains utilisateurs.

Les médias volumétriques visent à briser cette limitation et à offrir six degrés de liberté de visualisation au lieu de trois seulement : au lieu de répondre uniquement à la rotation de la tête, les photos et vidéos volumétriques réagissent au mouvement spatial, les rendant plus réalistes.

L'un des problèmes des médias volumétriques est qu'ils sont techniquement difficiles à créer. Ils nécessitent un studio de capture dédié avec des dizaines de caméras ou d'énormes plateformes de caméra, ce qui explique pourquoi nous n'avons pas vu beaucoup de bons exemples au cours de la dernière décennie.

L'IA pourrait apporter la réponse

L'intelligence artificielle a été évoquée comme une solution possible pour créer facilement des médias volumétriques. Avec le gaussian splatting, par exemple, un environnement peut être capturé relativement rapidement en 3D avec un smartphone et visualisé plus tard en VR. La startup Gracia a montré à quoi cela pourrait ressembler sur Quest 3.

La start-up écossaise Cinemersive Labs utilise également l’IA, mais avec un objectif un peu moins ambitieux : elle a formé un modèle d’IA pour ajouter trois degrés de liberté aux photos et vidéos traditionnelles, ce qui permet de déplacer la tête dans la pièce et de voir une scène sous des angles légèrement différents. L’avantage est qu’un jour cette méthode sera relativement facile à appliquer aux photos et vidéos. L’inconvénient est que l’on ne peut bouger la tête que légèrement dans chaque direction, sinon l’image devient noire.

Les applications VR gratuites Cinemersive Photos et Cinemersive Videoplayer montrent jusqu'où peut aller cette technologie sur les casques Quest. C'était une raison suffisante pour que je jette un œil aux applications VR.

Une amélioration subtile mais bienvenue

Les exemples de Cinemersive m'ont montré qu'il est possible de gagner beaucoup en déplaçant la tête d'un ou deux centimètres dans la pièce pendant que l'on regarde. L'effet est subtil mais efficace et évite les nausées. Les modèles d'IA doivent simplement s'améliorer pour éviter les problèmes visuels.

Les artefacts sont visibles aussi bien sur les photos que sur les vidéos, et davantage sur les photos que sur les vidéos. Si l'on bouge la tête sur le côté pour voir ce qu'il y a derrière un objet, on peut voir quelques zones sombres et quelques trous mal comblés par l'IA. Les vidéos sont plus convaincantes, mais on peut toujours voir des artefacts sur les contours des objets.

Malgré ces défauts, je crois en l’avenir de cette technologie et je peux facilement la voir se développer pleinement dans un avenir pas trop lointain. Tout comme l’IA peut être utilisée aujourd’hui pour créer des photos avec un effet de profondeur crédible à partir de photos 2D conventionnelles (comme le fait Apple avec visionOS 2), il sera un jour possible d’utiliser l’IA pour ajouter une dimension volumétrique aux mêmes photos, dans certaines limites de mouvement, mais sans artefacts notables.

Je vous recommande vivement de jeter un œil aux applications de réalité virtuelle, car elles vous donnent un avant-goût du futur. Certaines images et vidéos sont impressionnantes à regarder en 6DoF.