Avec Gr00T de Nvidia, les humanoïdes apprennent par observation

A l'occasion de sa conférence annuelle pour développeurs (GTC), Nivida a lancé une nouvelle architecture GPU et des conteneurs préconfigurés pour l’IA. Mais ce n’est de loin pas tout… 

«Construire des modèles de fondation pour des robots humanoïdes généraux est l'un des problèmes les plus passionnants à résoudre dans l'IA aujourd'hui. Les technologies nécessaires sont en train de se mettre en place pour permettre aux roboticiens du monde entier de progresser à pas de géant vers la robotique artificielle générale», s’est enthousiasmé Jensen Huang, le CEO de Nvidia. 

Modèle multimodal incluant les gestes

Selon le fournisseur californien, GR00T (Generalist Robot 00 Technology) permet aux robots équipés de GR00T de comprendre le langage naturel et d'imiter les mouvements humains simplement en observant leurs gestes. Ces robots pourront ainsi acquérir rapidement des compétences telles que la coordination et la dextérité, ce qui leur permettra de naviguer, de s'adapter et d'interagir efficacement avec l'environnement réel. 

Parallèlement, NVIDIA a dévoilé Jetson Thor, un ordinateur spécialement conçu pour les robots humanoïdes. Basé sur le système sur puce (SoC) NVIDIA Thor, Jetson Thor intègre un GPU de nouvelle génération basé sur l'architecture NVIDIA Blackwell. Jetson Thor est taillé pour faire tourner des modèles d'IA générative multimodale tels que GR00T.

Mise à jour de la plateforme robotique Isaac

Par ailleurs, Nvidia a également divulgué des mises à jour significatives pour sa plateforme robotique Isaac, visant à enrichir les capacités des robots exploitant GR00T. Ces mises à jour comprennent de nouveaux modèles de fondation d'IA générative et des outils dédiés à la simulation et à la gestion de l'infrastructure du flux de travail d'IA, notamment Isaac Lab pour l'apprentissage par renforcement, et OSMO, un service d'orchestration de calcul.