Nvidia introduit une nouvelle plateforme pour entraîner les robots dans des environnements simulés
Cosmos, la nouvelle plateforme de Nvidia dévoilée au CES, exploite des données synthétiques pour simuler des environnements réalistes, afin d'entraîner des modèles d’intelligence artificielle incarnée.
«Le moment ChatGPT pour la robotique arrive», a déclaré au CES Jensen Huang, CEO de Nvidia, en dévoilant Cosmos, une plateforme qui vise à démocratiser l’intelligence artificielle physique.
Cosmos comprend un ensemble de World Foundation Models (WFMs), une famille de modèles capables de générer des vidéos réalistes et prenant en compte les lois de la physique, à partir d'une combinaison d'entrées, telles que du texte, des images et des vidéos, ainsi que des données de capteurs ou de mouvements de robots. Ces vidéos 3D permettent d'entraîner des modèles d'IA sans avoir recours à des données réelles. Les WFMs, accessibles en licence ouverte via l'API de Nvidia, les catalogues NGC, GitHub et Hugging Face, sont conçus pour être personnalisés en fonction des besoins spécifiques des développeurs.
Nvidia explique que les WFMs peuvent non seulement générer des vidéos détaillées à partir de prompts ou d'images, mais aussi prédire l’évolution de la scène ainsi créée. «Les WFMs sont essentiels pour les développeurs d’intelligence artificielle physique, précise Ming-Yu Liu, vice-président de la recherche chez Nvidia. Ils peuvent imaginer de nombreux environnements différents et simuler l’avenir, ce qui nous permet de prendre de meilleures décisions basées sur ces simulations.»
La création de modèles d'environnements réels nécessite d’énormes quantités de données, difficiles et coûteuses à collecter. Les WFMs permettent de générer des données synthétiques, offrant selon Nvidia un ensemble riche et varié pour améliorer le processus d’entraînement des modèles. Les développeurs peuvent simuler et tester leurs systèmes dans un cadre contrôlé, sans les risques associés aux essais dans le monde réel.
Applications dans l’industrie
Les WFMs promettent de transformer les flux de travail et le développement de l’IA dans divers secteurs. Dans l’automobile, par exemple, une voiture autonome peut ainsi être testée dans différentes conditions météorologiques ou scénarios de circulation simulés. En robotique, les WFMs peuvent être utilisés pour simuler et vérifier le comportement des systèmes robotiques dans divers environnements. Ces simulations visent à assurer que les robots accomplissent leurs tâches en toute sécurité et efficacité avant leur déploiement.
Une autre plateforme récemment dévoilée, Genesis, vise à révolutionner la formation des robots dans des environnements virtuels. Alors que Cosmos bénéficie de l’écosystème étendu de NVIDIA et de l’optimisation de son matériel, Genesis se distingue par son moteur physique universel et son framework développé spécifiquement pour Python.
On se souvient par ailleurs que Nvidia avait été pointé du doigt pour sa façon d'entraîner ses modèles d'IA. Le fournisseur aurait pour ce faire utilisé une énorme quantité de vidéos YouTube et Netflix.
