Pour bien acheter de l’IA, il faut gagner en transparence et en compétences

L’acquisition de solutions IA ou de logiciels embarquant de l’IA, comme c’est de plus en plus souvent le cas, exigent de revisiter procédures d’achat et les contrats. Outre les aspects de dépendance, de sécurité ou de protection des données, le choix des fournisseurs et des outils doit en effet tenir compte de la nature spécifique et des risques supplémentaires liés à l’IA (imprécisions, erreurs, biais, opacité, etc.), qui sont de nature à affecter la bonne marche de l’organisation, la confiance des utilisateurs et la réputation de l’entreprise. 

Quelles informations s’échangent fournisseur et acheteurs?

Les appels d’offre, les évaluations et les contrats devraient intégrer toutes ces dimensions, et cela commence par la transparence exigée des fournisseurs à l’égard de leurs outils. Toutefois, le domaine étant récent, il n’existe pas aujourd’hui de pratiques établies quant aux informations que les fournisseurs devraient partager avec les organisations clientes. C’est l’un des constats résultant d’un workshop réunissant une vingtaine de vendeurs et d’acheteurs publics d’IA, mis en place mis en place par le Digital Regulation Cooperation Forum (DRCF), un organisme dépendant du gouvernement du Royaume-Uni*.

Dans son rapport, l’organisme relève donc la multiplicité des approches en matière de transparence. En cause, des solutions d’une grande variété de solutions (produit logiciel clé en main, plateforme open source, IA-as-a-Service, etc.) et des processus d’achat multiformes comportant plusieurs étapes. 

Au cours de ces procédures, deux catégories d’informations sont échangées entre les vendeurs et les acheteurs, avec là aussi une grande disparité. D’abord des informations sur la performance des solutions et la manière dont elles devraient être employées. Comme les capacités et limites du système, ses spécificités techniques, les inputs à donner au système, la manière d’interpréter ses outputs, ou encore le fait que le système doive être surveillé par un opérateur humain. 

Ensuite des informations sur la manière dont le système a été conçu et développé. Comme les analyses d’impact qui ont été réalisées, les données d’entraînement et leur provenance, les tests pratiqués, les indicateurs de performance employés, ou le support et l’évolution du système. Contacté par ICTjournal, ServiceNow indique fournir à ses clients «des informations qui les aident à faire des choix en matière d'IA en leur donnant des informations sur ses modèles par le biais de la documentation produit et de model cards, en usant de termes compréhensibles et clairs».

Face à la disparité des procédures et à la grande variété des informations susceptibles d’être partagées, le DRCF prône l’établissement de standards: «Lors des ateliers, les fournisseurs et les acheteurs ont semblé s'accorder sur l'utilité d'une certaine forme de normalisation des informations minimales qui devraient être mises à la disposition des acheteurs». 

Monter en compétences

Le DCRF constate par ailleurs qu’il arrive que les acheteurs ne disposent pas de l’expertise technique nécessaire à l’examen du système IA qu’ils acquièrent. Ils peinent ainsi à comprendre certains détails clés de la solution ou à réaliser que le système qu’ils achètent intègre de l’IA, certains demandant à leur fournisseur: «cette solution contient-elle un algorithme?». A cela s’ajoute que des acheteurs manquant d’expertise posent parfois des questions non pertinentes, qui occasionnent beaucoup d’effort pour les plus petits fournisseurs. 

Le manque de compétences est d’autant plus dangereux que les fournisseurs tendent à sélectionner les indicateurs de performance qui leur sont favorables et à omettre ceux qui ne le sont pas. «Bien que nous ayons entendu que certains acheteurs demandent des indicateurs de performance spécifiques, tous n'ont pas nécessairement les connaissances techniques nécessaires pour savoir quels indicateurs sont les plus pertinents pour leur décision d'achat», relève le DCRF. L’organisme ajoute que les acheteurs n’exigeant pas de tests standardisés indépendants, les fournisseurs peuvent allègrement choisir les tests qui leur conviennent, en écartant par exemple une partie de la population que l’algorithme peine à classifier. 

Un problème supplémentaire se pose lorsqu’il s’agit d’évaluer certaines dimensions éthiques difficiles à standardiser, constatent les auteurs du rapport: «Il existe par exemple un large éventail de définitions de l'équité algorithmique, et il est important que les acheteurs puissent les comprendre et les comparer afin de déterminer celle qui est la plus utile dans leur contexte».

(*) «Transparency in the procurement of algorithmic systems: Findings from our workshops with vendors and buyers», Digital Regulation Cooperation Forum (gouvernement du Royaume-Uni), mars 2023

> Sur le même sujet: Que mettre dans son contrat d’achat d’un système IA?