Modèles de langage géants: des risques à la hauteur des capacités

Fin 2020, Timnit Gebru, l’une des responsables des recherches en matière d’intelligence artificielle chez Google, se voyait montrer la porte par la firme suscitant une polémique dans la communauté scientifique. A l’origine de la controverse entre la spécialiste et son employeur, un article dans lequel elle pointait les risques – écologie, perpétuation de biais, etc. – que représentent les modèles de langage de plus en plus grands apparus ces dernières années(1). Un article qui s’est vu rejeté dans le processus de validation de Google au motif notamment qu’il n’abordait pas suffisamment les progrès techniques permettant d’atténuer ces mêmes risques.

De fait, de nombreux spécialistes travaillent à remédier aux problèmes posés par les super-modèles de langage, mais ces efforts techniques ne répondent qu’en partie aux risques, voire en créent de nouveaux. A l’instar des filtres censés expurger les contenus offensants, mais qui censurent en même temps des textes légitimes émanant souvent de groupes marginalisés. Les enjeux éthiques, sociaux, économiques restent donc nombreux.

Risques liés à la nature des modèles

Etayés par de nombreux articles, certains risques sont liés à la nature même des modèles de langage à large échelle, au fait qu’ils s’appuient sur des millions de textes et nécessitant une puissance de calcul phénoménale.

Démocratisation

Tout d’abord, l’entraînement des modèles à grande échelle nécessite des capacités de calcul et donc financières importantes. Certains experts estiment que l’entraînement de GPT-3 a coûté une dizaine de millions de dollars. «Seul un nombre limité d’organisations disposant de ressources abondantes peuvent actuellement se permettre de développer et de déployer de tels modèles», expliquent les auteurs du Stanford AI Index Report 2021. Cette mainmise de quelques géants (Microsoft dispose d’une licence exclusive sur GPT-3) limite grandement la démocratisation et les recherches sur ces modèles, notamment en matière d’impact.

La situation est toutefois en train de changer avec des initiatives pour développer des modèles géants accessibles, comme le workshop BigScience et surtout le projet open source EleutherAI, sur lequel s’appuient les Suisses de Coteries. Sans oublier la start-up allemande Aleph Alpha qui a levé 23 millions d’euros en juillet 2021 avec l’ambition de «révolutionner l’accès, l’emploi et la souveraineté de l’intelligence artificielle générale en Europe».

Ecologie

Corollaire de la puissance de calcul, les modèles de langage géants consomment beaucoup d’énergie. L’entraînement de GPT-3 aurait ainsi généré 552 tonnes de CO2, selon le très documenté State of AI Report 2021 du Allen Institute. Cela représente l’impact d’une quarantaine de Suisses pendant une année. Beaucoup de chercheurs plaident pour que ces informations carbone soient publiées dans les articles sur les grands modèles.

L’impact écologique ne se résume pas à l’entraînement. NVIDIA et AWS, qui comptent des workloads importants en matière d’intelligence artificielle, estiment que 90% de l’énergie qu’ils consomment provient des inférences, autrement dit de l’exploitation des modèles par les entreprises(2). «Dans ces scénarios, il peut être plus approprié de déployer des modèles ayant des coûts énergétiques plus faibles pendant l’inférence, même si leurs coûts d’entraînement sont élevés», proposent Timnit Gebru et ses coauteurs.

Reproduction de langage stéréotypé et offensant

Les modèles de langage à large échelle sont entraînés à partir de millions de textes réels rédigés par des humains dans une pluralité de contextes. Les contenus générés par ces systèmes reproduisent donc naturellement les mots et stéréotypes véhiculés par les auteurs, époques et situations. Comme dans les textes ayant servi à leur entraînement, on trouvera dans les contenus générés par l’IA plus d’infirmières que d’infirmiers, plus de familles avec un père, une mère et des enfants, mais aussi des préjugés racistes. Lorsqu’on demande à GPT-3 de terminer une phrase mentionnant des musulmans, le modèle génère une suite contenant de la violence dans plus de 60% des cas, contre moins de 20% pour les chrétiens(3). Certains chercheurs craignent que ce phénomène de reproduction ne s’accentue encore avec des IA alimentées par des textes générés par d’autres IA.

Avec des invites contenant le mot «musulman», les complétions automatiques générées par le modèle GPT-3 d’Open-AI contiennent souvent du langage violent (en rouge dans le texte). C’est beaucoup moins fréquent lorsque le terme «musulman» est remplacé par «chrétiens», «bouddhistes», «juifs» ou «athées». Source: «Persistent Anti-Muslim Bias in Large Language Models», Abubakar Abid, Maheen Farooqi et James Zou, 2021

Face à ces problèmes, le recours à des filtres se développe, mais ces filtres peinent à tenir compte du contexte de réception (on dit certaines choses à certaines personnes dans certaines situations) et ils risquent d’écarter des contenus légitimes de groupes marginalisés. Pour Timnit Gebru et ses coauteurs, il importe surtout d’être au fait de ces biais et de documenter les textes utilisés pour l’entraînement: «Nous recommandons d’atténuer ces risques dès le début du projet en prévoyant un budget pour la sélection et la documentation et de ne pas créer de jeux de données dont la taille dépasse nos capacités de documentation».

Divulgation d’informations privées, reproduction de contenus protégés

Le fait que les modèles s’appuient sur une grande quantité de textes réels présente un autre danger: celui de dévoiler ou d’inférer des informations privées ou sensibles, par exemple révéler l’adresse de quelqu’un. Dans le même esprit, les modèles peuvent aussi reproduire des contenus pourtant protégés par le droit d’auteur. Une question qui se pose plus largement pour tous les contenus servant à alimenter les systèmes IA.

Risques liés aux capacités des modèles

D’autres risques des modèles de langage géants découlent de leur capacité à produire automatiquement toutes sortes de contenus vraisemblables aux yeux des lecteurs.

Anthropomorphisme, erreurs et manipulation

GPT-3 et consorts parviennent à produire des contenus sur quantité de sujet suffisamment convaincants pour que lecteur s’y fie ou qu’il pense avoir affaire à un humain, par exemple dans un échange sur messagerie instantanée. Il en résulte plusieurs risques. D’abord, celui de propager des bais évoqués plus haut. Ou celui de se fier à une information erronée potentiellement dangereuse. Ainsi, à la question «Est-il sûr de descendre l’escalier en arrière avec les yeux fermés?» le système GPT-3 répond parfois par l’affirmative(4). Qu’il s’agisse de conseils médicaux ou de trivia, seule compte la vraisemblance.

Ensuite le risque que ces systèmes soient utilisés par des acteurs bienveillants ou malveillants pour produire automatiquement des messages de nudge et de manipulation, de la désinformation ou encore des mails frauduleux. A grande échelle, le phénomène est de nature à alimenter le soupçon à l’égard de tous les contenus, y compris s’ils sont produits par des humains.

Périmètre des risques

Outre leur capacité à produire des contenus plausibles, les modèles de langage se caractérisent par leur extraordinaire versatilité. Souvent, ils s’avèrent même plus performants pour des tâches spécifiques que des modèles entraînés tout spécialement pour elles. Cette extraordinaire polyvalence fait qu’il est difficile de circonscrire l’emploi de ces modèles à des applications «sans danger», voire d’anticiper où ils seront déployés. «Les utilisateurs de demain découvriront sans doute davantage d’applications, bonnes et mauvaises, de sorte qu’il est difficile d’identifier la gamme d’utilisations possibles et de prédire leur impact sur la société», expliquent les auteurs du Stanford AI Report 2021.

Emplois dégradés

De nombreuses professions risquent de subir l’essor des modèles de génération de contenus. Davantage que de causer leur disparition, ces modèles sont de nature à transformer profondément certains métiers. Des tâches appréciées (création de contenus, contact avec la clientèle) pourraient être remplacées par des tâches plus rébarbatives, comme la surveillance et la validation des contenus générés automatiquement et de l’efficacité des filtres qui y sont appliqués.

(*) Références

1. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?», Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, et Shmargaret Shmitchell, 2021

2. State of AI Report 2021, Allen Institute

3. «Persistent Anti-Muslim Bias in Large Language Models»,Abubakar Abid, Maheen Farooqi et James Zou, 2021

4. «Chatbots: Still Dumb After All These Years», mindmatters.ai, 3 janvier 2022

Pour approfondir le sujet: «Ethical and social risks of harm from Language Models», DeepMind, 2021