Transparence et responsabilité algorithmiques: c’est compliqué…

A lire >> dossier complet consacré au thème IA & éthique

Deux dimensions présentes dans la plupart des chartes éthiques pour l’IA semblent particulièrement complexes à mettre en pratique: la transparence et la responsabilité. C’est d’autant plus problématique que les autres principes – équité, bienfaisance, durabilité, etc. – sont grandement conditionnés par le fait que les algorithmes sont transparents et que l’on sait qui en endosse la responsabilité.

Transparence: c’est compliqué…

Avec l’exigence de transparence, plusieurs questions se posent, et notamment les attentes de l’audience à laquelle elle s’adresse. Ouvrir le code sur Github satisfera peut-être un noyau de spécialistes, mais pas le public susceptible d’être impacté, qu’ils soient employés, candidats, clients ou la population en générale.

Notre rédaction s’est entretenue avec une spécialiste qui a fait l’expérience de cet exercice complexe. Directrice de recherche au CNRS, Claire Mathieu s’est vu confier avec d’autres collègues la mission de développer Parcoursup. Introduite en 2018 par l’Etat français, cette plateforme numérique s’appuie sur des algorithmes pour optimiser les admissions aux établissements universitaires à partir des vœux des candidats et de diverses contraintes. La transparence faisait dès le départ partie intégrante du projet. «Avant les candidats s’adressaient directement aux établissements, souvent des universités locales qu’ils connaissent, si bien que la confiance était implicite. Avec le passage à un système national, on perd ce lien de confiance: la transparence est dès lors une condition d’acceptabilité du système», explique Claire Mathieu.

Conformément à leur mission, les concepteurs ont publié le code open source et un descriptif des algorithmes, ainsi qu’un document explicatif. Long d’une vingtaine pages, le document reste compliqué, malgré leurs efforts. «On était naïfs, on imaginait que le grand public ou n’importe quel lycéen en terminale allait pouvoir le lire et le comprendre. Force est de reconnaître que ce n’est pas le cas», admet Claire Mathieu. Pour la spécialiste, l’exercice reste néanmoins utile car la communauté scientifique peut en prendre connaissance et donner une légitimité au fonctionnement de Parcoursup. La chercheuse se réjouit également que des experts en communication se soient ensuite attelés à rédiger des fiches explicatives davantage abordables pour le grand public.

Rendre les algorithmes transparents pose aussi des contraintes techniques. Les concepteurs de Parcoursup ont par exemple renoncé à effectuer des recommandations basées sur des réseaux neuronaux, car celles-ci n’auraient pas été explicables. Beaucoup de chercheurs planchent d’ailleurs sur ce défi de l’explicabilité… Sans oublier bien sûr la réticence légitime des entreprises à partager les secrets de fabrication de leurs IA. Efficacité, concurrence et transparence ne font pas toujours bon ménage… A cela s’ajoute que la transparence manque parfois sa cible. Des cas concrets montrent que la transparence absolue peut tout autant susciter les soupçon que l’absolue opacité.

«La transparence n’est pas la panacée», résume ainsi l’activiste américaine Cathy O’Neil. Pour cette spécialiste réputée, la transparence devrait avant tout porter sur les préoccupations des gens: «est-ce que l’algorithme me traite de manière équitable?». D’où l’idée d’auditer les résultats des algorithmes plutôt que de rendre leur mécanique transparente (lire interview).

De la conception à l’utilisation, quelles responsabilités?

La responsabilité de l’éthique des algorithmes est un défi tout aussi grand. L’enjeu concerne d’abord les entreprises qui conçoivent des algorithmes, de la start-up à la grande organisation en passant par les GAFAM.

Une IA est le produit d’une chaîne complexe de fonctions et d’activités: des managers aux data scientists, du design à la mise en œuvre. A chacune de ces étapes, des choix sont faits, des opérations sont réalisées qui peuvent soulever des enjeux éthiques. Pour Cathy O’Neil, les contraintes éthiques devraient être décidées en amont des projets et le rôle des data scientists devrait se limiter à traduire ces décisions en code. Selon une enquête récente menée par Stack Overflow auprès de dizaines de milliers de développeurs, ils sont 80% à se soucier des enjeux éthiques de leur travail. Mais ils sont tout autant à estimer que c’est aux décideurs et managers à l’origine d’un projet d’en endosser la responsabilité éthique¹.

Au-delà, la responsabilité éthique touche une chaîne bien plus vaste. «Pour une responsabilisation sérieuse, nous devons mieux comprendre et suivre les composants d’un système d’IA et l’ensemble de la chaîne d’approvisionnement sur laquelle il repose: cela signifie tenir compte de l’origine et de l’utilisation des données d’entraînement, des données de test, des modèles, des interfaces API et autres composants d’infrastructure sur le cycle de vie des produits», explique l’institut AI Now dans son rapport 2018². Ainsi par exemple, ImageNet, l’une des bases d’images étiquetées les plus utilisées pour l’entraînement d’algorithmes de reconnaissance a été récemment contrainte de procéder à un nettoyage après que ses nombreux biais ont été révélés. Sans oublier l’impact énergétique ou les conditions de travail des employés du clic qui participent au développement des algorithmes, ainsi que l’illustrent Kate Crawford et Vladan Joler dans leur visualisation «Anatomie d’un système IA».

Pour la plupart des organisations qui recourent à des algorithmes faits par d’autres ou embarqués dans les logiciels qu’ils emploient, la question des responsabilités est également compliquée. Se défausser sur les fournisseurs ne semble pas une opportunité et ne convaincra guère les personnes visées. Lorsqu’elle met des données personnelles dans le cloud, l’entreprise reste responsable de leur sécurité et de leur traitement. De façon analogue, lorsqu’elle emploie un logiciel intégrant de l’IA, l’entreprise restera sans doute responsable de l’éthique de son comportement, tant aux yeux de la loi qu’à ceux du public…

Références:
1) Stack Overflow Developer Survey 2018
2) AI Now Report 2018, AI Now Institute, 2018