Né à l’EPFL: un LLM open source spécialisé dans le domaine médical
Une équipe de chercheurs de l’EPFL a mis au point une paire de grands modèles de langage spécialisés dans le domaine médical. Baptisés Meditron 7B et 70B, ils sont open source et basés sur Llama-2.
Des chercheuses et chercheurs de la Faculté informatique et communications de l’EPFL ont mis au point deux grands modèles de langage (LLM) spécialisés dans le domaine de la santé. Baptisés Meditron 7B et 70B, ils ont la particularité d'être disponibles en open source, souligne l'école polytechnique romande dans son communiqué.
S'appuyant sur le modèle Llama-2, fourni par Meta, Meditron a été formé à l'aide de sources de données médicales méticuleusement sélectionnées, avec l’aide de cliniciens et de biologistes. La littérature médicale évaluée par des pairs et provenant de bases de données à accès libre telles que PubMed fait partie des sources en question. De même que des recommandations de pratiques cliniques d’origines multiples. Dont celles du CICR.
«Après avoir développé Meditron, nous l’avons évalué par rapport à quatre points de référence médicaux majeurs, montrant que ses performances dépassent celles de tous les autres modèles open source disponibles, ainsi que celles des modèles fermés GPT-3.5 et Med-PaLM. Meditron-70B est même à moins de 5% de GPT-4 et 10% de Med-PaLM-2, les deux modèles les plus performants, mais fermés, actuellement adaptés aux connaissances médicales», explique Zeming Chen, doctorant au sein du Laboratoire de traitement du langage naturel (NLP) de l’EPFL.
«Nous avons développé Meditron car l’accès aux connaissances médicales devrait être un droit universel. Nous espérons qu’il sera un point de départ utile pour les chercheuses et chercheurs qui souhaitent adapter et valider cette technologie en toute sécurité dans leur pratique», explique de son côté Antoine Bosselut, chercheur principal du projet.
