Des chercheurs développent une IA qui détecte un burnout dans un texte - brève analyse des enjeux

Des chercheurs suisses ont développé une méthode d’intelligence artificielle pour détecter qu’une personne souffre d’un burnout à partir d’un post qu’elle a publié en ligne. Soutenue par le FNS, la recherche menée par Mascha Kurpicz-Briki, professeure en ingénierie des données à la Haute école spécialisée bernoise à Bienne, et son équipe a été publiée dans Frontiers in Big Data (BurnoutEnsemble: Augmented Intelligence to Detect Indications for Burnout in Clinical Psychology).

Les auteurs partent du constat que la détection d’un burnout n’est pas chose aisée, notamment parce que les symptômes sont souvent les mêmes que dans d’autres maladies ou syndromes. Ils ajoutent que l’emploi de tests psychologiques s’appuyant sur des questionnaires présente des limites, car les réponses sont subjectives et que les sondés n’osent pas cocher certaines cases, et que des tests plus élaborés ne sont pas pas mis en œuvre faute de temps. Pour les chercheurs, les outils de traitement automatique du langage (NLP) sont de nature à pallier ces difficultés en allant chercher les signes d’un burnout dans des textes librement publiés en ligne. En d’autres termes, plus besoin de questionnaires, il suffirait de laisser des algorithmes scruter les conversations sur les réseaux pour identifier automatiquement les collaborateurs au bout du rouleau.

Un modèle entraîné sur des textes de Reddit

Pour leur projet, les chercheurs ont collecté des textes publiés en anglais sur la plateforme Reddit. Les communautés Reddit dédiées au burnout n’offrant pas suffisamment de contenus pour entraîner leur IA, ils ont sélectionné des textes sur l’ensemble de Reddit à partir de mots clés (burnout, burn out, burning out, etc.). Ils ont ensuite éliminé les contenus employant ces mots dans d’autres contextes (par exemple «the tires are burnt out») et supprimé ces mots des textes - faute de quoi l’IA les aurait sans doute identifiés sur ce seul indice.

Une fois ce corpus de «textes burnout» constitué, ils ont créé un second corpus de «textes non-burnout», l’idée étant d’entraîner l’IA à les distinguer les uns des autres. Ils ont à cette fin collecté d’autres textes sur Reddit. Au final, les chercheurs disposaient ainsi d’environ 700 textes, répartis à moitié entre les deux types de contenus.

Sur cette base en en utilisant diverses techniques de data science, ils sont parvenus à développer et valider un modèle capable de distinguer efficacement les textes où il est question d’un burnout des autres textes. Les chercheurs soulignent qu’à l’heure d’optimiser leur modèle, ils ont privilégié la minimisation du nombre de faux négatifs - ils ont surtout cherché à éviter qu’un «texte burnout», ne soit pas identifié par l’IA.

Au final, ils estiment les résultats concluants: «Ces résultats ont un fort potentiel pour être développés dans le cadre d'une approche interdisciplinaire en vue d'une nouvelle génération d'outils intelligents pour la psychologie clinique, permettant à terme de prendre en charge un plus large éventail de pathologies et de diagnostics de santé mentale».

Analyse des enjeux

Le projet mené par les chercheurs suisses illustre assez bien dans sa méthode et son objet les recherches qui se font actuellement dans le domaine. La santé mentale intéresse en effet les data scientists: les Applied Machine Learning Days qui se sont tenus fin mars à l’EPFL proposaient un track entièrement consacré à la thématique. De nombreuses études montrent par ailleurs que les entreprises s’intéressent de plus en plus à la santé mentale de leurs collaborateurs - le télétravail en pandémie y a contribué. L’étude témoigne aussi de l’engouement, de l’essor et des progrès réalisés dans les outils de traitement automatique du langage. Mais cette recherche illustre aussi les limites de ces approches. En voici quelques enjeux:

Réalité de ce que fait le modèle. D’abord, il arrive qu’il y ait un grand écart entre ce que font les modèles et ce qu’ils prétendent faire. En l’occurence, le modèle développé dans le cadre de cette étude ne détecte pas qu’une personne fait un burnout. Il est à même d’identifier efficacement qu’un texte contenait à l’origine le mot burnout (ou qu’il était une réponse à un tel texte). Il en va de même à chaque fois que l’emploi d’un mot est considéré comme un élément de la réalité. Lorsqu’un modèle dit qu’il y a un chat sur une photo, il prédit en fait qu’un humain dirait sans doute qu’il y a un chat sur la photo. Lorsque l’on parle de diagnostiquer un problème psychologique, l’enjeu n’est pas que philosophique.

Des choix techniques cruciaux. Ensuite, les opérations d’apparence techniques réalisées par les data scientists relèvent d’enjeux importants. En l’occurence, les chercheurs ont optimisé leur IA pour avoir le moins possible de faux négatifs (des burnout non détectés), avec pour conséquence que le nombre de faux positifs augmente (la détection de burnout qui n’en sont pas). Les chercheurs le disent explicitement: «Dans le cas de la détection du burnout, il vaut mieux capturer la plupart ou la totalité des vrais positifs au prix d'un nombre gérable de faux positifs que de manquer des cas positifs. En pratique, le marquage des individus potentiellement en situation de burnout devrait aider les professionnels de la santé mentale à décider quels cas doivent être soumis à une analyse plus approfondie». La question d’ouvrir grand le filet ou d’être au contraire très sélectif concerne toutefois en priorité la santé publique et les personnes dont les textes seront analysés par les algorithmes pour les étiqueter «sujet à burnout», pas les data scientists.

Confiance algorithmique et défiance humaine. Enfin, bien souvent des mécanisme numériques sont développés en réponse à une défiance dans l’humain, et demandent en retour qu’on leur accorde le crédit de l’objectivité. En l’occurence, le concept de détection se donne pour justification qu’on ne peut pas se fier aux réponses que des humains donnent dans des questionnaires. En retour, le modèle qui s’appuie sur l’analyse des textes à l’insu des utilisateurs est censé fournir une base plus solide. Quand bien même, et comme souligné plus haut, les mots employés ne sont pas des bio-marqueurs et ne relèvent pas plus d’une réalité objective quand ils sont postés sur un réseau social.

Au-delà, la détection algorithmique du burnout pose de nombreuses autres questions. N’est-ce pas en premier lieu la responsabilité et la capacité des managers de savoir détecter qu’un collaborateur est en souffrance? Quelles interventions seront décidées une fois une personne soupçonnée d’être en burnout? Le burnout et son traitement sont-ils des problème relevant de l’individu ou de l’organisation?