Que mettre dans son contrat d’achat d’un système IA?

La Commission européenne a publié en septembre ses clauses contractuelles types pour l’achat de systèmes d’intelligence artificielle. Les clauses s’inspirent de celles  élaborées par la ville d'Amsterdam en 2018. Bien que destinée aux organismes publics, la documentation peut servir de guide utile pour les entreprises privées. Qui plus est, elle est depuis quelques jours disponible en français.

De fait, c’est deux documents qu’ont élaborés les experts européens, selon la criticité des applications envisagées. Pour rappel, la règlementation européenne sur l’IA en cours de négociation distingue les usages à risques élevés, de ceux qui ne le sont pas. Dans les usages les plus risqués, on trouve notamment les systèmes de gestion des collaborateurs (système de tri des CV ou d’analyse de la performance des employés par exemple), les infrastructures critiques (transports par exemple), les services privés essentiels (octroi d’un crédit).

La version simplifiée pour les usages ne présentant pas un risque élevé propose des exigences concernant:

• La gestions du risque: système de gestion des risques (identification, évaluation, mesures : élimination, mitigation, information ; tests) et monitoring après l’achat
• La gouvernance appropriée des données d’entraînement: pertinence, représentativité, complétude par rapport à la visée
• La documentation technique: informations permettant à l’entreprise d’évaluer la conformité par rapport au cahier des charges, instructions d’utilisation claires et concises
• Les journaux: capacités de logging de tous les événements
• La transparence: qui doit être suffisante pour sa compréhension, notamment sur le fonctionnement du système et les données qu’il traite
• Le contrôle humain: le système doit permettre son contrôle par l’humain (y compris via formation) et donc de comprendre les limites du système, d’être attentifs au risque de suivre aveuglément l’algorithme, d’interpréter correctement l’output, de décider de de ne pas employer le système ou de négliger/outrepasser son output, et d’interrompre le système
• La précision, la robustesse, et la sécurité du système: security-by-design, exactitude des métriques pertinentes
• La conformité
• Les explications: à la demande du client, le fournisseur doit être en mesure d’expliquer comment le système est parvenu à une décision aux personnes impactées - à minima une indication claire des facteurs impliqués dans le résultat et des modifications en input conduisant à un autre résultat – et de partager ces informations

A ces exigences s’ajoutent des clauses concernant l’utilisation du jeux de données (droits de l’organisation utilisatrice, du fournisseur et de tiers, transmission).

Les documents pour les systèmes à risque élevé (High Risk) et les autres (Non-High Risk) sont disponibles en ligne: EU model contractual AI clauses to pilot in procurements of AI