Google crée Meena, un chatbot qui papote comme un humain
Les chercheurs de Google mettent au point Meena, un chatbot capable de mener des conversations «humaines» sur une diversité de sujets. Le modèle de réseau neuronal au cœur de Meena a ingurgité 341 Go de texte provenant des médias sociaux.
>> lire notre dossier complet consacré aux chatbots
Meena va-t-elle pouvoir papoter à la façon de l'assistante intelligente du film «Her», incarnée par la voix sexy de Scarlett Johansson? C’est du moins l'objectif des chercheurs de Google, qui développe ce chatbot pour qu’il puisse dialoguer à propos de n’importe quel sujet et offrir une expérience proche d’une interaction avec un humain.
Un chatbot moins spécialisé
Développé par la Brain Team de Google Research, Meena vise à s'affranchir des limitations inhérentes aux agents conversationnels actuels qui ont tendance à être très spécialisés. Leurs réponses s’avèrent ainsi uniquement pertinentes dans le domaine spécifique pour lequel ils sont entraînés. Un chatbot moins spécialisé mais capable de parler de sujets variés pourrait déboucher sur de nombreuses applications intéressantes, assurent le chercheurs de Google. Dont l’humanisation des interactions homme-machine, de même que l’amélioration de l'apprentissage de langues étrangères ou encore la création de personnages de films et de jeux vidéo interactifs toujours plus crédibles.
Degré d'incertitude réduit
Selon ses concepteurs, Meena est d’ores et déjà en mesure de mener de réelles conversations (c’est-à-dire au-delà d’une question-réponse) qui font sens. Elle est basée sur l'architecture «Evolved Transformer seq2seq», un modèle de réseau neuronal mis au point chez Google dans l’objectif de réduire le degré d'incertitude dans la prédiction du prochain mot utilisé dans une conversation. Cette valeur est d’ailleurs mesurable automatiquement dans le cadre des modèles seq2seq en tant que «métrique de perplexité», expliquent les chercheurs. Comprenant 2,6 milliards paramètres, Meena a ingurgité 341 Go de texte provenant des médias sociaux. Selon ses développeurs, l’IA au cœur de leur chatbot serait nettement plus performante que le générateur de texte GPT-2 d’OpenAI (pourtant jugé trop dangereux pour être publié).
Une IA mieux notée si elle aime Federer
Afin d’évaluer les capacités conversationnelles «humaines» de Meena et de les comparer à d’autres IA, la Brain Team a élaboré son propre système d’évaluation, baptisé «Sensibleness and Specificity Average (SSA)». Des évaluateurs ont jugé des conversations homme-chatbot en indiquant si les énoncés de l'agent faisaient sens et s’ils étaient spécifiques. Par exemple, à la remarque «J’aime le tennis», si le chatbot ajoute «C’est bien», cette réponse est jugée sensée mais non spécifique. Alors que «Moi aussi, je ne me lasse pas de Roger Federer!» est labellisé comme spécifique car étroitement lié au sujet de la discussion.
La métrique de perplexité corrélée avec le jugement humain
L’idéal pour améliorer ces modèles de chatot et affiner leur capacité à papoter de façon humaine serait de pouvoir disposer d’une métrique d’évaluation automatique corrélée avec le jugement humain. Les chercheurs de Google ont dans cette optique trouvé une piste plus qu'intéressante, en observant que le score attribué avec leur système SSA est fortement corrélé avec le degré de perplexité calculé à l’aide d’une formule. Il apparaît que plus la perplexité est faible, meilleur est le score SSA du modèle. Les développeurs de Meena compte désormais poursuivre leurs recherches en s’appliquant à améliorer les algorithmes, les architectures, les données et les capacités de calcul, avec l'objectif de réduire la perplexité des réseaux neuronaux conversationnels.
