ChatGPT «devient fou», OpenAI s’explique
Durant plusieurs heures, ChatGPT a présenté un comportement inattendu, générant des réponses illogiques et des créations de mots fantaisistes comme «encyclopease». OpenAI a fini par donner une explication.
Pendant quelques heures, ChatGPT a totalement perdu la boule. Le 20 février dans l’après-midi (aux Etats-Unis), OpenAI a indiqué enquêter sur des signalements de réponses inattendues de la part de son agent conversationnel. La page de status de ChatGPT montre que le bug a été résolu près de huit heures plus tard.
Les nombreux signalements rapportés notamment sur X ou Reddit affichent des captures d’écran de réponses sans queue ni tête fournies par ChatGPT. Les «hallucinations» du bot n'ont semble-t-il jamais atteint une telle ampleur. Il a inventé des mots et perdu toute logique, générant par exemple ce texte: «Let me encyclopease me si there’s more wonderenda tu articulation’s hunrgy for!» Des utilisateurs francophones ont aussi rapporté des phrases totalement incohérentes créées par le chatbot d’OpenAI, telle que «La subsomption ou l'écart périodique le plus délicieux – mais axialément débilitant aussi de millisecondes ou discrets dans l'éphèbe du quantitatif – est le traître». Comme quoi, les IA peuvent finalement faire preuve de créativité…
chatgpt is apparently going off the rails right now and no one can explain why pic.twitter.com/0XSSsTfLzP
— sean mcguire (@seanw_m) February 21, 2024
J'ai demandé à chatGPT de me parler d'algos embarqués, en lui disant que des vies étaient en jeu si il répondait mal. Il a craqué... pic.twitter.com/7GJqcrTVY2
— Sylvain Peyronnet (@speyronnet) February 20, 2024
Plusieurs heures après avoir résolu le problème, OpenAI a fourni quelques explications sur ce phénomène. Il apparaît qu’à l'occasion d’une procédure d’optimisation de l'expérience utilisateur, un bug a été introduit. «Les LLM génèrent des réponses en échantillonnant des mots de manière aléatoire, en partie sur la base de probabilités. Leur "langage" consiste en des nombres qui correspondent à des jetons. Dans ce cas, le problème se situe à l'étape où le modèle choisit ces nombres. Comme s'il s'agissait d'une erreur de traduction, le modèle a choisi des nombres légèrement erronés, ce qui a produit des séquences de mots qui n'avaient aucun sens. Plus techniquement, les noyaux d'inférence produisaient des résultats incorrects lorsqu'ils étaient utilisés dans certaines configurations de GPU», précise OpenAI.
Un avertissement, selon Gary Marcus
Gary Marcus, psychologue cognitiviste expert en intelligence artificielle, a réagi sur son blog, considérant nécessaire de prendre cet incident comme un avertissement. «En réalité, ces systèmes n'ont jamais été stables. Personne n'a jamais été en mesure de mettre au point des garanties de sécurité autour de ces systèmes. Le besoin de technologies totalement différentes, moins opaques, plus interprétables, plus faciles à entretenir et à déboguer - et donc plus faciles à mettre en œuvre - reste primordial», a-t-il souligné.
