Databricks et Snowflake ont tous deux leur propre grand modèle de langage (update)
Databricks a acquis MosaicML et sa plateforme de création de modèle LLM pour 1,3 milliard de dollars. L'objectif est de permettre aux clients de créer ou ajuster des modèles sur leur propre donnée hébergée sur la plateforme de Databricks. Snowflake (concurrent de Databricks) va proposer une solution similaire issue du rachat d’Applica.
Mise à jour du 29 juin: Snowflake a annoncé la preview de son propre grand modèle de langage (LLM). Nommée Document AI, la solution est issue de l’acquisition de la start-up Applica en septembre 2022. A l'instar du concurrent Databricks, qui vient de racheter MosaicML (lire ci-dessous), Snowflake pourra donc proposer à ses clients de créer leur propre modèle à partir des données qu’ils stockent sur la plateforme de l’éditeur spécialisée dans les outils de data management.
News originale du 27 juin 2023: Databricks et Snowflake aident les entreprises à exploiter leurs données pour la GenAI
Concurrents leaders sur le créneau des plateformes cloud de gestion de données, Databricks et Snowflake se positionnent sur la personnalisation de grands modèles de langage (LLM). Dans les deux cas, il s’agit de permettre aux entreprises de développer des applications d'IA générative personnalisées en utilisant leurs propres données.
Snowflake a pour ce faire annoncé un partenariat avec Nvidia. Les clients pourront créer des modèles LLM sur NeMo, la plateforme que Nvidia propose pour former de nouveaux modèles ou effectuer un apprentissage sur des modèles pré-entraînés. La procédure s’effectue en utilisant les données hébergées de façon sécurisée sur le Snowflake Data Cloud, souligne le communiqué de Snowflake. Les LLM peuvent ainsi être affinés (fine-tuning) sans déplacer les données.
Databricks rachète MosaicML pour 1,3 milliard de dollars
De son côté, Databricks va proposer un service similaire via l’acquisition de MosaicML. Selon les indications du site web de cette start-up californienne, sa plateforme permet d'entraîner, de pré-entraîner ou d’affiner des modèles LLM. Avec le Databricks Lakehouse et à la technologie de MosaicML, les clients de Databricks auront accès à «un moyen simple et rapide de conserver le contrôle, la sécurité et la propriété de leurs précieuses données sans coûts élevés», met en avant l’annonce officielle du rachat de MosaicML. La transaction est évaluée à environ 1,3 milliard de dollars.
Ce n’est pas une surprise de voir Databricks et Snowflake surfer sur la vague de l’IA générative. L'avènement des grands modèles de langage, tels que celui niché au cœur de ChatGPT, a en effet fait bondir l'intérêt des entreprises pour les solutions d'exploration de données pour data scientists, montait une récente étude de Databricks.
