Entraînement de LLM

Lancement du giga datacenter d’Elon Musk

Elon Musk a annoncé le lancement de Colossus, le gigantesque supercalculateur que sa firme xAI a construit à Memphis. Déjà doté de 100’000 processeurs Nvidia, il pourrait doubler sa puissance dans les prochains mois.

(Source: @ElonMusksxAI sur X)
(Source: @ElonMusksxAI sur X)

Elon Musk vient de lancer Colossus, un centre de données qu’il présente sur X comme le plus grand supercalculateur GPU au monde. Une affirmation également soutenue par Nvidia sur le réseau social. 

Située à Memphis, la nouvelle infrastructure de xAI, start up fondée par le milliardaire en 2023, abriterait d'ores et déjà 100’000 processeurs Nvidia Hopper H100. Elle aurait été construite en 122 jours seulement. Sa capacité devrait rapidement doubler, pour atteindre 200’000 processeurs, dont 50’000 unités GPU de la série de nouvelle génération H200. Colossus servira principalement à entraîner Grok 3, la prochaine version du modèle de langage de xAI, après le lancement en août de la version bêta de Grok 2.

Le site du magazine Fortune souligne la rapidité impressionnante avec laquelle le projet a été exécuté, xAI ayant choisi le site de Memphis en juin dernier. Sans compter que la concurrence entre les entreprises d’intelligence artificielle pour se procurer des puces Nvidia Hopper est féroce. Mais Elon Musk est un client privilégié de Nvidia, note Fortune, avec qui il s’est engagé à dépenser entre 3 et 4 milliards cette année. xAI aurait également pu bénéficier d'une longueur d'avance en s'approvisionnant en puces d'IA déjà livrées à Tesla, qui appartient également au milliardaire. 
 
Mais l'énorme centre de données a suscité la controverse à Memphis. Le projet, d'une capacité de 150 MW, et l'accord conclu avec le fournisseur d'électricité local ont suscité des réactions hostiles.
 

Webcode
DWTQc5RM