Les EPF veulent développer des LLM open source Swiss Trained
Dans le cadre de l'initiative conjointe «Swiss AI», l’EPFL et l’EPFZ ont l'intention de former des grands modèles de langages (LLM) open source sur le nouveau supercalculateur «Alps» du Centre suisse de calcul scientifique.
L’EPFL et l’EPFZ ont annoncé le projet de développement des grands modèles de langages (LLM), dans le cadre de l'initiative «Swiss AI», tout juste lancée. Pour ce faire, les deux écoles polytechniques fédérales vont mettre à profit le nouveau supercalculateur «Alps» du Centre suisse de calcul scientifique (CSCS). Cette infrastructure est la première à accueillir des CPU Grace Hopper de Nvidia, processeurs de dernière génération conçus pour faire tourner à grande échelle des applications d’intelligence artificielle et de calcul haute performance (HPC).
L’EPFL et l’EPFZ ont l'ambition de mettre au point des LLM open source pour « une intelligence artificielle digne de confiance». Contacté, l’EPFL précise qu’il s'agit bien d’entraîner un LLM à partir de zéro (à moins qu'un autre groupe produise un modèle qui satisfasse ses spécifications) et que l’accent est mis sur la transparence: le modèle serait entraîné à trouver les informations qui valident sa réponse avant de la produire.
Pour former le modèle, il est prévu d’utiliser au cours des douze prochains mois dix millions d'heures GPU sur le calculateur Alps. «Ceci correspond à la puissance de calcul d'un seul processeur graphique fonctionnant à pleine charge pendant plus de 1100 ans», précise le communiqué de l’EPFL.
120 tonnes d'équivalent CO2
Cela représente une importante quantité de ressources de calcul (et donc d'empreinte carbone), sachant qu'il existe déjà de nombreux LLM open source et/ou formés dans une démarche d'open science. Citons entre autres LLaMA de Meta (et ses multiples déclinaisons), Falcon, GPT-J d’EleutherAI. Ou encore Bloom, pour lequel une étude académique sur sa consommation d'énergie a mis en lumière les multiples facteurs à l'origine de l’importante empreinte carbone des technologies au cœur des IA génératives. Selon les indications fournies par l’EPFL à la rédaction, l'entraînement du modèle de l'initiative «Swiss AI» devrait correspondre à environ 120 tonnes d'équivalent CO2. C’est-à-dire l'empreinte carbone de dix Suisses pendant un an (selon les récentes estimations de l'Office fédéral de l'environnement).
«Avec cette initiative commune, nous souhaitons tirer profit de cet avantage et donner accès au savoir-faire suisse dans le domaine de l'intelligence artificielle à toute la société. La science doit jouer un rôle de pionnier dans un domaine aussi prometteur que l’IA, plutôt que quelques multinationales», déclare Christian Wolfrum, vice-président de l'ETH Zurich pour la recherche pour expliquer les motivations de l’initiative. Outre le développement de modèle d’IA pour la robotique, la médecine, les sciences climatiques ou le diagnostic clinique, il s'agit aussi de mettre ces technologies à disposition de l'administration publique. L’initiative s’est aussi fixé pour objectif de réunir les sphères scientifique, industrielle et politique afin qu’elles participent ensemble au progrès de l’IA en Suisse.
Le communiqué de l’EPFL ajoute que les chercheurs qui travailleront pour l'initiative «Swiss AI» vont par ailleurs se pencher sur les questions que soulèvent le développement de tels modèles d’IA. Notamment au niveau de l’éthique, de la sécurité et de l'efficacité énergétique.
