Comment créer et voir des NeRF dans un casque VR

Image : MIXTE

Vous pouvez créer vos propres NeRF et les afficher dans votre casque VR à l’aide d’un logiciel gratuit si votre ordinateur et votre casque sont compatibles. Voici comment.

Vous avez peut-être vu des NeRF sur Twitter, mais plutôt que de regarder des objets 3D sur un écran plat, vous pouvez les importer dans votre casque VR. En réalité virtuelle, vous pouvez vous déplacer dans un NeRF avec vos contrôleurs et tourner la tête pour regarder autour de vous dans la scène virtuelle. Cela rend l’expérience plus immersive.

Actuellement, il n’y a qu’une seule façon de visualiser les NeRF en 3D avec votre casque VR, l’application Instant-NGP de Nvidia pour Windows. Cela changera probablement à l’avenir, car la technologie NeRF pourrait être une bonne solution pour remplir rapidement le métaverse avec des objets virtuels réalistes.

Qu’est-ce qu’un NeRF ?

Les NeRF sont des modèles d’IA entraînés sur une collection d’images. Ils peuvent recréer l’apparence de la lumière capturée à chaque point d’une scène. Cela permet de se déplacer dans ce champ de rayonnement neuronal (NeRF) en VR comme si vous étiez à l’emplacement physique des photos ou de la vidéo, en regardant des objets réels. Nous avons un guide qui explique plus en détail ce qu’est un NeRF et comment cette technologie peut aider la réalité virtuelle, la réalité augmentée et le métaverse.

Créer un NeRF : Premiers pas avec Instant-NGP

Pour commencer, vous avez besoin d’un casque VR ou AR avec OpenXR et d’un PC Windows avec une carte graphique Nvidia fabriquée au cours des six dernières années :

• Séries RTX 3000 et 4000, RTX A4000–A6000 et autres cartes Ampère et Ada,
• Série RTX 2000, Titan RTX, Quadro RTX 4000–8000 et autres cartes Turing
• Série GTX 1000, Titan Xp, Quadro P1000–P6000 et autres cartes Pascal

Vous aurez besoin d’un logiciel, et tous les liens se trouvent à la fin de ce guide.

Suivez les étapes ci-dessous pour tester Instant-NGP :

1. Téléchargez la version d’Instant-NGP qui correspond à votre type de GPU et extrayez les fichiers.
2. Ouvrez le dossier Instant-NGP et exécutez Instant-NGP.
3. Un avertissement Microsoft Defender peut s’afficher. Cliquez sur Plus d’informationsalors Courez quand même procéder.
4. Dans l’Explorateur Windows, ouvrez le données/nerf dossier, puis faites glisser le renard dossier sur la fenêtre de l’application Instant-NGP.
5. Attendez quelques secondes pendant que le modèle est formé.
6. Cliquez dans la fenêtre Instant-NGP et faites glisser pour voir l’effet 3D de la tête de renard sur l’écran de votre ordinateur. Vous pouvez également faire défiler pour zoomer et cliquer avec le bouton central pour faire glisser le NeRF dans la fenêtre.
7. Après une minute, le modèle ne s’améliorera probablement plus. Cliquez sur le bouton Arrêter l’entraînement, ce qui devrait améliorer votre fréquence d’affichage.
8. Cliquez sur la petite flèche en haut à gauche pour fermer le menu des options et en voir plus.

Créez votre propre NeRF avec vidéo

Si vous avez accès à un iPhone, l’application Record3D facilite un peu la capture vidéo avec les données de chemin de caméra requises pour créer un NeRF. Malheureusement, il n’existe pas de version Android de cette application.

Après avoir installé l’application Record3D sur votre iPhone, enregistrez une vidéo de l’objet que vous souhaitez voir en VR en tant que NeRF. Il est préférable de se déplacer lentement et de garder l’objet d’intérêt centré dans le viseur. Exportez en tant que fichier R3D et transférez ce fichier sur votre ordinateur.

Le reste du processus se déroule sur votre ordinateur :

1. R3D est en fait une archive zip. Changez l’extension en .zip, faites un clic droit et sélectionnez Extraire tout…
2. Un nouveau dossier sera créé contenant un métadonnées dossier et un RVB dossier.
3. Si vous n’avez pas Python sur votre ordinateur, vous devrez l’installer.
4. Ouvrez le NGP instantané dossier dans l’Explorateur Windows, cliquez avec le bouton droit sur le nom du dossier et sélectionnez copier l’adresse.
5. Appuyez sur la touche Windows et commencez à taper l’invite de commande et ouvrez l’application.
6. Tapez cd
7. Appuyez sur la barre d’espace, puis collez l’adresse du dossier et appuyez sur Entrée.
8. Dans l’Explorateur Windows, recherchez le dossier vidéo Record3D et copiez son adresse.
9. Dans l’invite de commande, tapez python scripts/record3d2nerf.py --scene
10. Collez l’adresse du Enregistrer3D dossier et appuyez sur Entrée.
11. Le script Python devrait traiter ces données rapidement et créer un nouveau fichier appelé transforme.json.
12. Ouvrez Instant-NGP et faites glisser le Enregistrer3D dossier dans la fenêtre pour commencer la formation.

Suivez les instructions ci-dessous pour affiner le NeRF et le visualiser en réalité virtuelle.

Recadrer et centrer la vue NeRF

Les NeRF ont souvent des corps flottants et un aspect trouble sur les bords. Vous pouvez recadrer pour supprimer ces distractions. C’est aussi un bon moyen de centrer l’objet que vous voulez voir en VR. Le recadrage améliore également les performances, c’est donc une option utile si vous trouvez que la fréquence d’images est trop faible, ce qui peut être désorientant lors de la visualisation en VR.

Voici comment recadrer un NeRF dans Instant-NGP :

1. Faites défiler vers le bas dans le menu des options et cliquez sur la flèche à côté Boîte de transformation et de recadrage du monde pour voir plus d’options.
2. Faites glisser les six curseurs étiquetés Min et Max pour recadrer et centrer la partie du NeRF qui vous intéresse et supprimer l’encombrement.
3. Vous pouvez également faire pivoter un NeRf en sélectionnant Tourner le mondepuis en faisant glisser les trois cercles qui apparaissent.

Après le recadrage, le centrage et la rotation, vous devriez avoir une bonne vue du NeRF à l’écran.

Voir les NeRF Instant-NGP en VR

Lorsque votre NeRF s’affiche bien sur votre écran d’ordinateur, il est temps de le vérifier en VR :

1. Démarrez votre casque VR ou votre casque/lunettes AR compatibles.
2. Dans l’application Instant-NGP sur votre ordinateur, cliquez sur Connectez-vous au casque VR/AR.
3. Mettez votre casque VR et regardez autour de vous. Vous devriez voir le NeRF.
4. Avec vos contrôleurs, cliquez et faites glisser pour vous déplacer dans la scène.

Si vous ne voyez rien dans votre casque VR, il se peut qu’il ne soit pas configuré comme périphérique OpenXR par défaut dans Windows. Dans la plupart des cas, vous pouvez sélectionner votre appareil OpenXR dans SteamVR ou l’application Oculus sur votre PC. Le Quest 2 et le Quest Pro sont compatibles. La plupart des casques qui fonctionnent avec SteamVR et Windows Mixed Reality devraient également fonctionner.

Le passionné de réalité virtuelle Russ a tweeté une vidéo de son expérience avec Instant-NGP en utilisant un Quest 2.

Utilisation d’images pour la génération NeRF

Vous pouvez également utiliser des photos pour créer un NeRF, ce qui permet un meilleur contrôle des images utilisées pour former le modèle. Cette méthode est plus compliquée car plusieurs packages doivent être installés, et plus est fait dans l’invite de commande Windows.

Le décodeur propose un bon tutoriel sur une méthode sans code de création de NeRF à partir d’images que vous voudrez peut-être consulter.

Quelle que soit la méthode que vous utilisez pour créer un NeRF, vous devriez le vérifier dans votre casque VR si possible. En réalité virtuelle, vous pouvez vous déplacer dans la scène au lieu de regarder à travers la fenêtre d’un ordinateur ou d’un téléphone.