Avec Arctic, Snowflake entre en scène sur le terrain des LLM ouverts

Snowflake a dévoilé Arctic, un modèle de langage ouvert. Selon l’éditeur de solutions cloud de gestion de données, ce LLM sous licence Apache 2.0 excelle dans plusieurs benchmarks, en particulier dans la génération de code SQL et le suivi des instructions. Possédant 480 milliards de paramètres, il a en outre été imaginé pour traiter des charges de travail complexes. Grâce aux modèles de code et aux options flexibles d'inférence et de formation, les utilisateurs peuvent démarrer rapidement avec Arctic, en adaptant le modèle à leurs besoins avec des frameworks tels que NVIDIA NIM avec NVIDIA TensorRT-LLM, vLLM et Hugging Face.

«En offrant à la communauté de l'IA une intelligence et une efficacité à la pointe de l'industrie d'une manière véritablement ouverte, nous repoussons les limites de ce que l'IA open source peut faire. Notre recherche avec Arctic améliorera considérablement notre capacité à fournir une IA fiable et efficace à nos clients», déclare Sridhar Ramaswamy, CEO de Snowflake. Arctic est dès à présent disponible pour l'inférence, en mode serverless, avec le service géré Snowflake Cortex. Il sera également disponible sur d’autres services cloud, dont ceux d’AWS, Microsoft Azure, Hugging Face, ainsi que dans le catalogue d'API de Nvidia. 

Arctic se fonde sur une structure dite «Mixture-of-Experts» (MoE). Le LLM de Snowflake a ainsi la particularité de ne faire appel qu’à 17 de ses 480 milliards de paramètres par token lors des inférences. C’est également sur cette approche que repose Mixtral de la start-up française Mistral, mais aussi DBRX, le LLM ouvert de Databricks, le concurrent de Snowflake. Databricks a lancé son modèle début avril, sur ce marché en ébullition de grands modèles de langage ouverts. Ce n'est pas une surprise que Databricks et Snowflake misent sur la tendance de l'IA générative. De fait, l'émergence de grands modèles de langage a considérablement accru l'intérêt des entreprises pour les outils destinés aux data scientists.

Aux dires de Snowflake, Artic active environ 50% moins de paramètres que DBRX et 75% moins que Llama 3 lors de l'inférence ou de l'entraînement. Il dépasserait en outre les principaux modèles ouverts, notamment DBRX et Mixtral, en matière de codage et de génération SQL.