Les coûts de formation des LLM s’envolent
Avec une demande en puissance de calcul qui s'intensifie, les coûts de formation des modèles d'IA s'envolent, selon l’Artificial Intelligence Index 2024 de l'université de Stanford.
La demande en puissance de calcul nécessaire au développement des modèles d'intelligence artificielle a connu une croissance exponentielle, en particulier au cours des cinq dernières années, révèle le rapport Artificial Intelligence Index 2024 de l'université de Stanford. Cette hausse rapide est liée à la complexité croissante des modèles et à l'augmentation de la taille des ensembles de données qui servent à les entraîner.
Ainsi, en 2012, le premier réseau neuronal convolutif, AlexNet, a nécessité environ 470 pétaFLOPs pour son apprentissage. Le modèle original Transformer, introduit en 2017, a exigé 7 400 pétaFLOPs. Et plus récemment, l'un des modèles de fondation les plus avancés, Gemini Ultra de Google, a demandé pour sa part 50 milliards de pétaFLOPs.
Cette augmentation rapide de la demande des moyens computationnels a des implications importantes, en particulier au niveau du bilan environnemental et de l'augmentation des coûts de développement.
Quand les coûts d'entraînement s'emballent
Comme le soulignent les auteurs de l’Artificial Intelligence Index 2024, les entreprises spécialisées dans I'IA révèlent rarement les coûts directs de l'entraînement de leurs modèles. Toutefois, un partenariat avec l'institut de recherche Epoch AI a permis d'améliorer considérablement l'estimation de ces coûts dans la présente édition du rapport. Pour ce faire, les chercheurs ont analysé la durée d’entraînement ainsi que le type, la quantité et le taux d'utilisation du matériel employé, en s'appuyant sur des publications, des communiqués de presse et des rapports techniques.
Verdict: alors que le coût de la formation du modèle Transformer en 2017 était seulement d'environ 900 dollars, celui de GPT-3, introduit en 2020, s'élèverait à environ 4,3 millions de dollars. Bien que le CEO d'OpenAI, Sam Altman, ait déclaré que la formation du GPT-4 avait coûté plus de 100 millions de dollars, le rapport estime ce coût à 78 millions de dollars. Soit beaucoup moins que les près de 200 millions de dollars estimés nécessaires à la formation du Gemini Ultra de Google.
