Les ironies de «l’automatisation intelligente»

L’idée d’associer humain et IA est en vogue. Elle permet d’évacuer bien des craintes à propos de l’essor de cette technologie, de son impact sur l’emploi ou de décisions prises automatiquement. Ainsi, au regard de la nouvelle Loi suisse sur la protection des données, une organisation est à l’abri d’exigences spécifiques, dès lors qu’un humain intervient dans les décisions s’appuyant sur des algorithmes. 

Mieux encore, l’assistance de l’IA est supposée augmenter les professionnels, leur permettre d’abattre davantage de travail, leur épargner des tâches fastidieuses pour consacrer leur temps à des activités de plus grande valeur, ou encore améliorer la qualité de leur travail et de leurs décisions. Ces bénéfices se traduisant en gains de productivité et en surplus de valeur pour son organisation.

Dans la réalité, c’est plus compliqué, les défis n’étant pas que techniques et financiers. On n’emploie pas l’IA dans un lieu théorique, masi dans un contexte particulier. Les objectifs visés, la conception et la transparence des systèmes IA, la manière dont ils sont présentés et déployés par l’entreprise, le cadre organisationnel et la confiance employeur-employé, l’expérience et l’expertise des collaborateurs, leur attitude à l’égard des technologies, tous ces éléments contribuent au succès ou à l’échec de l’association humain-IA, du point de vue de l’entreprise et des collaborateurs.

Un contexte favorisant la délégation des décisions à l’IA

Ainsi que l’explique un article scientifique récent sur les outils IA d’aide à la décision (ADS), les collaborateurs peuvent voir leur activité changer et par là même la perception qu’ils ont de leur travail et de leur rôle dans l’organisation, ils peuvent aussi s’inquiéter de voir les systèmes IA prendre en charge une partie de leurs tâches et se sentir ainsi dévalorisés ou encore déresponsabilisés (Koeszegi, 2024). 

Lorsque les collaborateurs attribuent au système des compétences plus élevées que les leurs, ils risquent notamment ne plus assumer le jugement qui est attendu d’eux et de se borner à reprendre et transmettre les recommandations algorithmiques. Qui ne s’est pas vu répondre un jour: «Désolé, mais voici ce que me dit le système…»? Le manque de confiance en sa propre expertise, les discours vantant la performance du système, ou encore le fait de pouvoir blâmer la machine en cas d’erreur, sont autant de facteurs favorisant ce rôle de simple médiateur, à la fois peu gratifiant et peu responsabilisant. A l’inverse un excès de confiance en soi ou une hostilité à l’égard des technlogies peuvent produire l’effet inverse et le rejet systématique des recommandations. Dans les deux cas, on n’obtient pas les bénéfices escomptés de l’association humain-machine. 

Pour contrecarrer ces dérives, il importe que les utilisateurs disposent d’informations sur la fiabilité du système, mais aussi d’un feedback sur la justesse de la décision prise, de manière à ajuster leur attitude à l’égard de l’IA et de ses recommandations. En d’autres termes, les utilisateurs devraient jouir d’un certain contrôle sur le procesus et son résultat, notent les chercheurs. Il peut également être avantageux de repenser le timing des recommandations et de contraindre les collaborateurs à se faire leur propre jugement avant d’avoir accès à la recommandation de l’IA, à la manière de ce qui se fait aujourd’hui en radiologie.

> Sur le sujet: Comment les radiologues s’appuient sur l’IA pour analyser les mammographies

Quand l’automatisation nuit à la productivité

Un constat s’impose toutefois. On automatise en général ce qui est aisément automatisable plutôt que ce qui devrait l’être. Il arrive ainsi que les tâches où l’expertise du collaborateur est plus intéressante soient déléguées aux algorithmes, tandis que les tâches les plus chronophages demeurent. Souvent même l’automatisation signifie pour l’utilisateur la nouvelle tâche fastidieuse et exigeante de superviser le système. 

Ces «ironies de l’automatisation» sont connues depuis plusieurs décennies et documentées dans de nombreux domaines. Ainsi, l’introduction de l’automatisation dans l’aviation n’a pas réduit la charge des pilotes, mais les a conduits à passer plus de temps à interagir et à comprendre les systèmes automatisés, qu’à se concentrer sur leur tâche principale de piloter l’avion (Rudisill, 1995). Et si l’automatisation réduit la charge mentale des pilotes durant les tâches faciles, comme le vol en ligne droite, elle l’augmente durant les tâches difficiles, comme l’atterissage, car ils doivent simultanément s’occuper du système qui gère le pilotage automatique, activer les procédures d'atterrissage et gérer les communications (Wiener, 2007). Une autre étude enfin indique que, absorbés par la supervision de l’automatisation, il arrive que les pilotes ne s’aperçoivent plus d’informations contextuelles, telles que les odeurs et les vibrations de l’appareil, et manquent ainsi des défaillances critiques (Moray, 1986). 

L’IA générative n’échappe pas à ces effets paradoxaux de l’automatisation sur la productivité et le phénomène commence à être bien documenté dans le domaine des assistants de programmation, selon une vaste méta-étude publiée l’an dernier (Simkute, 2024). 

GenAI: prompts, évaluations, interruptions

L’IA générative a notamment cette particularité que le travail des utilisateurs se transforme: on passe moins de temps à produire des contenus et davantage à évaluer l’output algorithmique. «Dans le codage assisté par l'IA, les développeurs passent de longues périodes à examiner et à valider les suggestions de code, parfois au détriment d'autres tâches productives telles que l'écriture de code ou l'exécution de tests», notent les chercheurs. 

L’évaluation des contenus générés s’avère complexe et fastidieuse pour plusieurs raisons. D’abord, le volume est élevé. Dans le codage assisté, les développeurs sont confrontés à tant de suggestions de code qu’il leur faut chercher des astuces (patterns, mots-clés) pour ne pas trop perdre de temps. De plus, les contenus générés manquent de fiabilité et les erreurs subtiles et peu intuitives sont difficiles à déceler, en particulier dans des résultats longs. A cela s’ajoute que, les systèmes GenAI étant particulièrement opaques, il est très difficile de se faire une idée de leur fonctionnement et d’élucider la relation entre le prompt et le contenu généré. Les utilisateurs peuvent ainsi passer beaucoup de temps à essayer de modifier leur input pour voir la conséquence sur l’output de l’IA.

Passage de la production à l'évaluation.

Ces nouvelles tâches - prompter, évaluer - viennent par ailleurs bouleverser les processus de travail. Face aux autosuggestions intempestives de Copilot, certains développeurs les désactivent intégralement ou, au contraire, les reprennent sans réfléchir. Les longues suggestions de code sont spécialement décriées lorsqu’elles viennent interrompre les développeurs durant les phases de codage accéléré. «J'étais sur le point d'écrire le code et je savais ce que je voulais écrire. Mais maintenant, je suis assis ici, en train de regarder si Copilot a trouvé quelque chose de mieux que la personne qui écrit du Haskell depuis cinq ans», s’énerve un programmeur cité dans l’article. 

Restructuration inutile du workflow.

Comme dans l’aviation, les assistants au codage sont vus comme plus performants pour les tâches simples comme l’écriture d’un code répétitif ou des courts morceaux de code. Mais il n’est pas aisé de faire des aller-retours entre la supervision des tâches simples et la concentration sur les tâches cognitivement exigeantes. Sans compter que les tâches difficiles peuvent le devenir encore davantage, comme déboguer le «code étranger» produit par l’algorithme.

Polarisation de la complexité des tâches.  

Les auteurs de la méta-étude suggèrent plusieurs axes d’amélioration de nature à limiter ces effets négatifs en donnant davantage de contrôle aux collaborateurs. On pourrait notamment concevoir des systèmes fournissant un output structuré, avec des éléments hiérarchisés ou surlignés pour indiquer les parties du prompt prises en compte. Les chercheurs recommandent aussi d’offrir aux utilisateurs la possibilité de personnaliser le fonctionnement du système, de leur permettre par exemple de spécifier les éléments du contexte qu’ils souhaitent que l’IA exploite et ceux qu’elle doit négliger.

Références:

• Koeszegi, S.T. (2024). AI @ Work: Human Empowerment or Disempowerment?. In: Werthner, H., et al. Introduction to Digital Humanism. Springer, Cham.
• Neville Moray, Pam Lootsteen, and Jan Pajak. 1986. Acquisition of Process Control Skills. IEEE Transactions on Systems, Man, and Cybernetics 16, 4 (July 1986), 497–504. Conference Name: IEEE Transactions on Systems, Man, and Cybernetics. 
• Dr Marianne Rudisill. 1995. Line Pilots’ Attitudes About And Experience With Flight Deck Automation: Results Of An International Survey And Proposed Guidelines. Proceedings of the eighth international symposium on aviation psychology (1995).
• Simkute, A., Tankelevitch, L., Kewenig, V., Scott, A. E., Sellen, A., & Rintel, S. (2024). Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction. International Journal of Human–Computer Interaction, 1–22.
• EARL L. WIENER and RENWICK E. CURRY. 1980. Flight-deck automation: promises and problems. ERGONOMICS (Nov. 1980). Publisher: Taylor & Francis Group.