L’expérience Alyx est un aperçu de la magie du métaverse

Image : Liz Edwards

Un artiste entre dans City 17 avec un casque VR et peint des scènes du monde du jeu à l’aide d’une autre application VR. Comment cela marche-t-il?

L’artiste Liz Edwards s’est installée dans l’antre de Russell. Armée d’un chevalet, d’un pinceau et d’une palette, elle dresse le portrait du combattant clandestin absorbé dans son ordinateur.

Half-Life: Alyx prend-il en charge la peinture à l’huile virtuelle ? Non pas du tout. La peinture est rendue possible par un autre programme VR introduit dans le monde de Half-Life : Alyx en tant que superposition d’application : la simulation de peinture à l’huile Vermillion. Ainsi, la scène de peinture montre un monde VR qui est prolongé par une autre application VR en mode AR.

La superposition Vermillion n’est pas limitée à Half-Life : Alyx et peut également être utilisée dans d’autres applications SteamVR. « C’est absolument fou de pouvoir peindre à l’huile avec désinvolture dans n’importe quel jeu SteamVR », écrit Edwards.

Version bêta maintenant disponible

Le créateur de Vermillion Thomas van den Berge a programmé la fonction d’importation en moins d’une semaine par curiosité si c’était possible.

« C’est une superposition qui s’exécute au-dessus de SteamVR et peut être utilisée séparément du jeu. Je n’ai vu que des fenêtres 2D auparavant », a écrit Van den Berge sur Twitter.

Et que se passe-t-il si vous êtes attaqué par Combine ou Headcrabs au milieu de votre séance de peinture contemplative ? Ne vous inquiétez pas : selon Van den Berge, vous pouvez toujours revenir aux commandes du jeu pour combattre les envahisseurs.

Si vous souhaitez essayer la fonctionnalité bêta, vous devrez l’activer dans les options de lancement de l’application VR. La peinture virtuelle dans les mondes VR devrait fonctionner sans problème avec le HTC Vive et Valve Index, mais il peut toujours y avoir un bégaiement dans Quest. Van den Berge y travaille.

Un aperçu du futur du métaverse

L’expérience montre le potentiel inexploité du concept de métaverse.

Et si vous pouviez non seulement déplacer des avatars et des objets d’un monde virtuel à un autre, mais aussi ouvrir des applications VR dans un autre ? Pourquoi un monde virtuel devrait-il être un produit final plutôt qu’infiniment extensible ?

Les possibilités d’étendre les mondes VR, de combiner et d’imbriquer des applications VR sont difficiles à imaginer aujourd’hui. L’intéressante expérience de Van den Berge offre un aperçu d’un tel avenir.

Fonctionnement de la superposition Vermillion

Thomas van den Berge m’a expliqué le fonctionnement de la technologie. Voir sa réponse ci-dessous.

Un tout petit peu d’informations techniques sur le fonctionnement du rendu en VR : le monde du jeu est rendu pour chaque œil, tout comme il le serait une fois pour un jeu sur écran plat. Cependant, après cela, la sortie de chaque œil est déformée pour contrer la distorsion des lentilles. Cela étire l’image rendue, la rendant floue. C’est pourquoi vous devez effectuer un rendu à une résolution supérieure à la quantité de pixels sur votre casque pour obtenir une image nette, ou pourquoi les jeux VR autonomes qui n’ont pas le budget de performances pour le faire semblent plus flous que les jeux sur PC.

Les runtimes VR ont la capacité de superposer des textures directement sur l’image finale qui est envoyée aux écrans du casque, sans avoir à être déformée pour correspondre aux objectifs. Ils doivent avoir une forme spécifique : un rectangle, un cylindre ou un panorama à 360 °. C’est la technologie derrière les panneaux de menu très nets que vous voyez lorsque vous ouvrez votre tableau de bord VR. Les superpositions sont également utilisées par les jeux pour obtenir un menu de jeu plus lisible.

Avec OpenVR, le runtime VR derrière SteamVR, vous pouvez aller plus loin : vous pouvez démarrer une application uniquement comme une superposition plutôt que comme un jeu, de sorte que vous pouvez avoir à la fois un jeu et une ou plusieurs applications de superposition s’exécutant simultanément. Cela a été utilisé jusqu’à présent par des applications telles que LIV ou Desktop + pour afficher des informations supplémentaires en VR, sur des superpositions rectangulaires flottantes. OpenVR prend également en charge la capture d’entrées dans les superpositions, afin que vous puissiez remplacer les entrées du jeu, empêchant les actions de jeu de se produire lorsque vous souhaitez réellement interagir avec la superposition.

Avec Vermillion cependant, j’avais besoin de montrer une scène 3D entière en tant que superposition, pas seulement un panneau flottant. La fonction de superposition n’a pratiquement aucune documentation, et d’après ce que j’ai lu sur Twitter, il n’y avait aucun moyen de faire fonctionner correctement une superposition 3D. J’étais sur le point d’abandonner, quand quelqu’un m’a parlé de Joe Ludwig. Il est l’un des développeurs de Valve derrière SteamVR, qui a créé Aardvark XR en 2020. Aardvark est une application de superposition qui dessine une scène 3D complète, une plate-forme extensible par l’utilisateur pour créer des widgets spatiaux. Aardvark est open source, et bien qu’il s’agisse d’une application C++ native et que Vermillion soit réalisé avec Unity, il contenait tous les composants dont j’avais besoin pour comprendre comment créer une scène de superposition 3D.

Il exploite le mode de superposition de panorama 360 en déformant les sorties oculaires de la superposition en un panorama stéréo. Le prochain défi consiste à faire en sorte que la position et la rotation de la caméra correspondent à celles du jeu en cours de rendu. La superposition est complètement séparée du jeu et n’a aucune idée de l’emplacement de la caméra dans le jeu. S’il y a une incohérence entre le mouvement de la caméra dans le jeu et dans la superposition, la superposition semble « s’ébranler » ou être à la traîne. Dès que le framerate de l’overlay ne correspond pas à celui du jeu, cela devient très apparent.

Jusqu’à présent, j’ai pu obtenir un résultat très stable sur les casques SteamVR (tels que Vive et Index), vendant complètement l’illusion que le chevalet Vermillion fait partie du jeu. Malheureusement, il semble que les étapes supplémentaires requises pour jouer sur Quest over (Air) Link causent des perturbations, car il y a encore des saccades là-bas en ce moment. Je croise les doigts pour que ça s’arrange !