IA: Prodiges, limites et enjeux des super modèles de langage
En plein développement, les modèles de langage à large échelle parviennent non seulement à générer des textes convaincants sur une kyrielle de sujets, mais aussi à répondre à des quiz, à imaginer des protéines artificielles ou à écrire du code informatique. Retour sur ces prodiges, mais aussi sur les risques posés par ces super intelligences artificielles.
Il est fini le temps où les intelligences artificielles produisent des textes invraisemblables. Les modèles de langage à large échelle apparus ces dernières années ne cessent de progresser et génèrent aujourd’hui des contenus tout à fait convaincants. Nourris de millions de textes, puisant dans des milliards de paramètres, ces systèmes conçus pour «deviner le prochain mot» se montrent en outre très performants pour d’autres tâches que celles auxquelles ils étaient destinés.
Dévoilé il y a un an, le système Dall.e est ainsi capable de produire un visuel à partir d’un texte. Il a suffi pour cela de l’entraîner avec des paires image-descriptif. Bien que dénués de compréhension, ces systèmes sont aussi capables de répondre à des quiz grâce aux connaissances emmagasinées dans les textes qu’ils ont absorbés. Ils ne savent ni ce qu’est Rome, ni ce qu’est l’Italie, mais ils savent compléter la phrase «La capitale de l’Italie est… Rome». Et ils parviennent souvent à réaliser les mêmes prouesses dans des domaines très spécialisés réservés aux experts.
Qui plus est, le champ de leurs applications s’étend, au-delà de la langue, à tout système reposant aussi sur des suites ordonnées de signes. Des chercheurs sont ainsi parvenus à exploiter les modèles de langage pour créer des protéines artificielles: au lieu de deviner le prochain mot, on devine le prochain acide aminé! Les modèles se montrent aussi très efficaces à écrire du code informatique – «sans pour autant avoir le raisonnement d’un ingénieur logiciel», comme le relève l’expert François Chollet en interview.
On l’a compris, les performances sont impressionnantes… et les enjeux le sont tout autant. Les risques posés par ces modèles tiennent d’une part à leur nature – ils nécessitent beaucoup de ressources et tendent à reproduire ce qu’ils ont trouvé dans les textes, y compris les stéréotypes – et d’autre part à leur capacité de générer des contenus vraisemblables sans considération de leur véracité ou de leur impact.
