L’EPFZ et LatticeFlow dévoilent un framework pour évaluer la conformité des LLM avec la règlementation européenne
L’EPFZ, INSAIT et la start-up suisse LatticeFlow lancent COMPL-AI, une méthodologie et un framework open source permettant d’évaluer la conformité technique des LLM avec la règlementation européenne. Ils publient à cette occasion une évaluation de quelques LLM parmi les plus utilisés actuellement.
L’AI Act est en vigueur depuis août 2024. Comment interpréter la règlementation en termes techniques pour le cas des LLM? C’est le défi auquel se sont attaqués l’EPFZ, l’INSAI (Bulgarie) et la start-up suisse LatticeFlow. Les trois partenaires ont ainsi développé COMPL-AI, une mise en relation des six principes et des articles de l’AI Act avec 18 exigences techniques pour les grands modèles de langage. Ils ont également recensé des benchmarks reconnus permettant d’évaluer l’adéquation d’un LLM avec ces requis techniques.
Outil d’évaluation open source
Sur la base de ces benchmarks, COMPL-AI propose également un framework open source permettant aux organisations d’évaluer des LLM. «Nous encourageons d'autres groupes de recherche et praticiens à y contribuer en affinant le mapping de l’AI Act, en ajoutant de nouveaux points de référence et en développant ce framework open source», commente Martin Vechev, professeur titulaire à l'EPFZ et fondateur et directeur scientifique de l'INSAIT à Sofia (Bulgarie). Il ajoute que la méthodologie pourrait être adaptée à l’avenir pour de nouvelles règlementations.
Les LLM actuels ne sont pas conformes
Profitant du lancement de COMPL-AI, les chercheurs ont également soumis à leur outil une dizaine de LLM publics populaires signés OpenAI, Meta, Google, Anthropic, Alibaba ou Mistral. Leur évaluation montre que ces modèles peinent à remplir les exigences de la règlementation européenne en matière de sécurité et de biais, mais qu’ils sont désormais efficaces à empêcher la génération de contenus nocifs. Les concepteurs de COMPL-AI relèvent cependant que les exigences techniques de copyright et de protection des données sont difficiles à évaluer et mériteraient davantage de travail.
«La Commission européenne se félicite de cette étude et de la plateforme d'évaluation des modèles d'IA, qui constituent une première étape dans la traduction de la loi européenne sur l'IA en exigences techniques, aidant ainsi les fournisseurs de modèles d'IA à mettre en œuvre la loi sur l'IA», commente Thomas Regnier, porte-parole de la Commission européenne pour l'économie numérique, la recherche et l'innovation.
