L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Nvidia a étendu Cosmos avec des outils permettant de générer des exemples de formation qu’il serait difficile ou dangereux de collecter dans le monde réel. Les ajouts incluent des vidéos synthétiques d’événements rares, de défauts de fabrication et de changements de temps ou d’éclairage.
L’annonce du 22 octobre couvre la préparation des données, la formation des modèles et la simulation. Il s’adresse aux développeurs qui construisent des systèmes tels que des robots industriels et des véhicules autonomes, plutôt qu’à une application de génération vidéo grand public.
Cinq nouveaux plans couvrent les séquences de conduite, les défauts et les conditions changeantes
Cosmos Data Factory propose désormais cinq flux de travail : générer des ensembles de données de conduite autonome, faire varier l’apparence des objets dans les images, transformer des images fixes en vidéos d’événements, créer des images défectueuses et modifier la météo ou l’éclairage dans les images existantes tout en préservant la structure de la scène.
Nvidia affirme que la société de robots d’inspection ANYbotics a généré plus de 1 500 clips synthétiques pour aider les systèmes à reconnaître les déversements de liquides et autres changements entre les visites sur site. Il s’agit d’un exemple rapporté par les entreprises, et non d’une amélioration indépendante de la sécurité des robots.
La plateforme est disponible via GitHub et les services cloud, notamment Microsoft Azure, Nebius et CoreWeave. Les développeurs peuvent utiliser des composants individuels plutôt que d’adopter chaque partie de la pile Cosmos.
De nouveaux modèles de simulation sont conçus pour tester les politiques avant leur déploiement
Les nouvelles variantes de Cosmos 3 Nano prennent en charge des scénarios avec plusieurs vues de caméra et entrées de capteurs. Le code qui les accompagne permet aux développeurs de les adapter pour évaluer des véhicules autonomes et des robots à deux bras dans des simulations interactives.
Le framework Cosmos plus large étend également les outils de formation et d’optimisation aux modèles ouverts compatibles, y compris le réglage fin, l’apprentissage par renforcement, la distillation et la quantification.
Nvidia rapporte jusqu’à deux fois les performances d’inférence des services Cosmos 3 NIM mis à jour dans des configurations validées. Cette réserve limite l’affirmation : il ne s’agit pas d’une accélération universelle sur tous les modèles et tous les matériels.
Ce travail complète le matériel d’IA local de Nvidia, notamment la gamme DGX Spark. Ici, le principal ajout est le logiciel nécessaire pour créer et tester l’IA du monde physique avant d’exposer un robot ou un véhicule aux mêmes conditions en dehors de la simulation.