Vos algorithmes sont-ils dignes de confiance?

A lire >> dossier complet consacré au thème IA & éthique

L’IA a fait son entrée dans les entreprises. Chez les géants de la tech dont les algorithmes rythment nombre de nos interactions quotidiennes. Mais aussi dans les grandes entreprises suisses, qui recrutent des spécialistes à tout va… Près de 1’500 offres d’emploi en date science sont publiées actuellement sur un portail d’emploi leader. Novartis vient de signer un contrat avec Microsoft pour employer l’IA à chaque étape du développement de ses médicaments. Les banques et assurances de la place déploient des agents intelligents en permanence tant pour automatiser leurs processus internes que pour améliorer leur offre. Les petites entreprises n’y échappent pas car les logiciels du marché qu’elles emploient embarquent de plus en plus des capacités d’IA. Bref, employer de l’IA est aujourd’hui à la fois une réalité, une promesse et un impératif de compétitivité dans la plupart des secteurs. Les défis sont cependant nombreux: manque de données exploitables, difficulté à recruter des spécialistes compétents, intégration compliquée dans l’organisation… et souvent aussi absence de business case mesurable. Mauvaise nouvelle, un autre défi les attend au moins aussi complexe et important: s’assurer que les algorithmes qu’ils emploient et l’usage qu’ils en font sont éthiques.

Des craintes qui soulèvent une grande attention

L’intelligence artificielle et le mystère qui l’entoure suscitent en effet au moins autant de peurs que d’espoirs. On suspecte des recrutements biaisés, des recommandations injustes et des diagnostics médicaux erronés. On craint des algorithmes dépourvus de jugement moral sommés de prendre des décisions vitales dans des zones de conflit, mais aussi sur les routes. On redoute les effets du ciblage intelligent, des deepfakes et des systèmes de reconnaissance faciale sur la confiance et la démocratie. On se désespère d’avoir un jour une IA pour patron, comme les chauffeurs Uber, ou de voir son job tout bonnement remplacé, comme l’attestent des études récentes auprès de professionnels en Suisse¹.

La question du comportement éthique et de l’impact humain, social, politique et environnemental de l’intelligence artificielle fait ainsi l’objet d’une grande attention. En 2016 déjà, Amazon, Google, Facebook, IBM, et Microsoft lançaient le «Partnership on Ai» une initiative regroupant des spécialistes et chercheurs de diverses disciplines pour «travailler à la compréhension de l’IA par le public et formuler des bonnes pratiques répondant aux défis et opportunités du domaine». L’éthique était aussi le thème dominant aux Applied Machine Learning Days organisés en janvier 2019 à l’EPFL. Et une étude récente de l’EPFZ a recensé plus de 80 chartes pour une IA éthique émanant tant d’organismes internationaux (G7, OCDE, UE), que d’Etats, d’ONG et d’entreprises technologiques, avec un constat: ces documents présentent beaucoup de convergences, tout au moins sur les principes énoncés.

Risques pour les entreprises: management, RH, marketing

L’intérêt des GAFAM pour le sujet est compréhensible: il s’agit tant de préserver leur réputation et la confiance de leurs utilisateurs que d’éviter des réglementations ou tout au moins de contribuer à les façonner. Leurs algorithmes comme ceux des institutions publiques sont aussi particulièrement critiques compte tenu de leur impact potentiel.

Quand bien même, on leur porte moins d’attention et que leur capacité de dommage est moins importante, la question de l’éthique de l’IA concerne également les entreprises classiques. On l’a dit, la plupart des organisations recourent aujourd’hui à de l’IA, parfois à leur insu, avec des risques bien réels à la clé. Des algorithmes sont notamment présents dans les outils d’aide à la décision employés par le management, dans les solutions de recrutement pour filtrer et trier les candidatures, dans les solutions marketing pour profiler les clients et leur envoyer des offres et autres communications ciblées. Ces systèmes sont susceptibles de prendre les mauvaises décisions, de pratiquer des recommandations, offres et tarifs discriminatoires, d’opérer des choix non-conformes aux réglementations du secteur et engageant la responsabilité de l’entreprise, d’exploiter des données sans le consentement de l’utilisateur, etc. (voir graphique ci-dessous).

S’ils surviennent, de tels problèmes éthiques peuvent durablement détériorer la réputation des entreprises et éroder la confiance de leurs collaborateurs et de leurs clients. Et quand bien même ils ne surviendraient pas, on peut s’interroger sur la gouvernance d’une entreprise qui ne comprendrait pas comment certaines décisions sont prises en son sein. Comme pour le traitement des données personnelles, l’éthique des algorithmes qu’elles emploient est donc un enjeu d’entreprise. Et si elles s’en empoignent maintenant, elles pourront profiter des promesses de l’IA tout en préservant et développant leurs affaires et la confiance de leurs collaborateurs et employés.

Codes de conduite et outils techniques

Alors comment? Pour la plupart des experts, toute stratégie éthique devrait commencer par poser un code de conduite en matière d’IA conforme aux valeurs de l’entreprise et sur lequel les collaborateurs peuvent s’orienter. Selon une étude de Capgemini², rares sont les entreprises à s’inspirer de travaux existants en la matière qui pourtant abondent. Publiées ce printemps et disponible en français, les «Lignes directrices en matière d’éthique pour une IA digne de confiance» développées par un groupe d’experts de haut niveau mandatés pour l’UE sont une bonne base que les entreprises peuvent adapter, suggère Luciano Floridi, professeur de philosophie et d'éthique de l'information et directeur du Digital Ethics Lab de l’Université d’Oxford².

Ces principes posés, le véritable défi concerne leur mise en pratique. Présents dans la plupart des chartes, les principes de transparence et de responsabilité sont particulièrement difficiles à mettre en œuvre. Les chercheurs de l’EPFZ ayant analysé quantité de chartes relèvent par ailleurs que nombre d’entre elles taisent la manière dont serait arbitré concrètement le conflit entre deux principes. La non-utilisation de certaines données personnelles pouvant par exemple empêcher de garantir la représentativité équitable de diverses populations. On peut également s’interroger sur le sort réservé à un collaborateur s’opposant à l’emploi ou au développement d’une IA non-conforme aux principes édictés. Sans s’attaquer à cette mise en opération des principes, la charte risque de rester un bel exercice de style.

A l’extrême opposé, on voit également arriver sur le marché des solutions techniques open source promettant de rendre l’IA plus éthique. IBM a lancé fin 2018 le kit AI Fairness 360, qui comprend des outils pour mesurer la présence de biais indésirables dans les données et modèles de machine learning, ainsi que des algorithmes pour les réduire. Google propose des solutions pour visualiser les données, ainsi que l’outil What-If pour expérimenter et tester en amont les effets d’un modèle prédictif dans TensorFlow. Facebook développe la solution Fairness Flow, destinée à réduire les biais. Et Microsoft n’est pas en reste avec son package fairlearn.py qui permet aux développeurs d’introduire des contraintes d’équité dans leurs modèles. Aussi utiles soient-elles, ces solutions techniques ne répondent qu’à certains aspects d’une IA éthique.

Des standards pour bientôt…

Entre les déclarations de principe et les outils techniques, les standards semblent l’une des voies les plus prometteuses pour aider les entreprises à rendre les enjeux éthiques opérationnels et à les ancrer dans leurs pratiques. «Les normes, en matière par exemple de conception, de fabrication et de pratiques commerciales, peuvent fonctionner en tant que système de gestion de la qualité pour les utilisateurs de l’IA, consommateurs, organisations, instituts de recherche et pouvoirs publics, en offrant la possibilité de reconnaître et d’encourager un comportement éthique par leurs décisions d’achats», explique ainsi le groupe d’expert de l’UE³. Ils ajoutent que de tels standard permettraient de confier la certification éthique de l’IA à des spécialistes: «Si on ne peut pas s’attendre à ce que tout le monde soit capable de comprendre totalement le fonctionnement et les effets des systèmes d’IA, on pourrait imaginer des organisations qui soient en mesure d’attester auprès du grand public qu’un système d’IA est transparent, responsable et juste».

Et en matière de normes, les yeux se tournent vite vers l’IEEE, organisme international réputé auquel on doit l’élaboration de nombreux standards techniques. L’IEEE a démarré une initiative mondiale sur l’éthique des systèmes autonomes et intelligents et publié ce printemps un premier document sur le design d’IA éthique (4). Notre rédaction s’est entretenue avec Raja Chatila, un pionnier de la robotique, Professeur d’intelligence artificielle à Sorbonne Université et président de l’initiative de l’IEEE. Il explique: «Depuis 2015, le débat sur l’éthique de l’IA prend de l’ampleur, il nous a paru important de réfléchir à ces problèmes avec des spécialistes d’autres disciplines - philosophie, droit, sociologie, éthique - et de sensibiliser et fournir des pistes à ceux qui travaillent ou utilisent des algorithmes».

Mais aussi et surtout, l’IEEE mobilise actuellement des chercheurs du monde entier, avec la participation d’industriels, pour définir des standards en matière d’IA éthique. «Au-delà des recommandations, il faut fournir aux professionnels des outils concrets leur permettant d’opérationnaliser les principes éthiques», explique Raja Chatila. Une quinzaine de groupes de travail sont ainsi à pied d’œuvre sur des standards abordant l’intégration de l’éthique dans le design de systèmes intelligents, la transparence, la confidentialité des données et les biais. D’autres normes en cours d'élaboration touchent à des domaines plus spécifiques, comme la reconnaissance faciale, le nudging ou les mécanismes de sécurité (fail safe), mais aussi des secteurs particuliers comme la santé ou l’éducation. Raja Chatila espère que ces travaux déboucheront sur des premiers standards au premier semestre 2020. L’IEEE travaille également sur un programme et des processus de certification qui pourront être réalisées par des agences indépendantes.

Elargir les disciplines, les parties prenantes et les compétences

Outre l’importance d’auditer les systèmes, l’activiste américaine Cathy O’Neil et le spécialiste de l’IEEE Raja Chatila s’accordent sur plusieurs points. D’une part, l’importance que les enjeux éthiques soient discutés en amont de la conception des algorithmes et que cette discussion intègre des experts d’autres disciplines, notamment des sciences sociales. D’autre part la nécessité que les parties prenantes - en particulier ceux qui seront impactés par les algorithmes (population, employés, clients, etc.) - soient intégrés et puissent faire entendre leur voix lors de ces débats en amont. Enfin, les managers, développeurs et autres data scientists participant au développement d’algorithmes devraient acquérir des compétences en science sociale. Cathy O’Neil s’inquiète du peu de cas qu’ils font des faux négatifs ou des effets de rétroaction amplifiant les injustices (lire interview). «Nous explorons des partenariats avec certaines universités et hautes écoles qui s’engageraient à intégrer ce type de matière dans leurs cursus en systèmes d’information», explique Raja Chatila. A quand des cours de sociologie pour les informaticiens de l’EPFL?

Références:
1) Employés Suisse/Demoscope, 2019 et Observatoire «Société numérique et solidarité», Sanitas 2019
2) «Why addressing ethical questions in AI will benefit organizations», Capgemini 2019
3) «Lignes directrices en matière d’éthique pour une IA digne de confiance», Union Européenne, 2019
4) «Ethically Aligned Design, 1st edition», IEEE 2019