Cathy O’Neil: «Il nous faut de la transparence sur le fait qu’un algorithme est juste»

A lire >> dossier complet consacré au thème IA & éthique

Dans votre livre et vos conférences, vous donnez de nombreux exemples de la façon dont les algorithmes renferment les hypothèses et biais des organisations qui les développent. Les concepteurs d’algorithmes ne cherchent-ils pas justement à découvrir des patterns auxquels ils n’auraient pas pensé?

Je pense que l’idée de découverte est en grande partie un mythe. Je parlais récemment avec un assureur automobile qui était tout excité d’avoir découvert une corrélation entre le type de smartphone des clients et leur risque. En fait, cela n’a rien de surprenant, le smartphone étant un indicateur de classe et de race. Certains modèles ne sont pour ainsi dire vendus que dans des quartiers hispaniques. En fin de compte, on se sert de ces algorithmes pour calculer la prime automobile sur la base de critères problématiques. J’ai travaillé moi-même en tant que data scientist dans le domaine des voyages et les meilleurs signaux que j’aie découverts sont ceux dont les experts du secteur m’avaient parlé. Aux Etats-Unis, les gens du métier savent par exemple qu’il y a un pic de réservations avant le Memorial Day et que mardi est le meilleur jour en termes de réservations. En tant que data scientist, mon travail consistait à quantifier ces savoirs et phénomènes saisonniers pour en tirer parti, mais ce n’est pas moi qui les ai découverts. Parfois, les data scientists n’ont pas accès à des experts du métier et ils pensent découvrir des choses, mais ce sont en général des choses bien connues des professionnels. Il ne faut pas perdre de vue que tous ces algorithmes servent des objectifs concrets – par exemple le profit d’un assureur automobile – et qu’ils ne sont pas conçus avec l’idée noble de mieux nous connaître.

Vous critiquez le fait que les algorithmes servent souvent à catégoriser les individus et à déterminer leur comportement sur la base de données historiques. Mais cette visée déterministe n’est-elle pas le moteur même de la data science?

Absolument et c’est problématique. Laissez-moi vous donner un exemple. Je parle avec des enseignants universitaires totalement bien intentionnés qui souhaitent aider les étudiants à choisir leur filière d’étude. Ils procèdent en leur disant: «voici les classes dans lesquelles ont bien réussi des gens comme vous et qu’il serait donc judicieux que vous choisissiez». C’est très frustrant d’entendre cela pour la femme que je suis qui a choisi d’étudier les mathématiques. C’est une branche où historiquement les femmes ne sont pas bien considérées, si bien qu’on ne va sans doute pas leur recommander cette voie. On déplace ainsi le poids du problème de l’environnement historique auquel il appartient sur les individus et leur avenir. Quand bien même, ces recommandations seraient statistiquement correctes, cette propagation déterministe du passé sur l’avenir des personnes est à mon avis hautement problématique.

A vous entendre, on peut se demander s’il est possible de réaliser de la data science avec un impact sur les humains. Devrait-on se cantonner à appliquer ces outils et méthodes dans des environnements industriels?

Pour faire court, je dirais que si cela rend des gens plus heureux, il faut le faire et que si cela rend des gens plus malheureux, il faut l’éviter. Cela étant dit, tout dépend du contexte. Je prends un autre exemple lui aussi issu du monde de l’éducation. Une université a développé un questionnaire psychologique associé à un algorithme pour déterminer les étudiants de première année ayant le moins de chance de réussir, afin de s’en débarrasser en amont, de sorte que leurs résultats ne nuisent pas au ranking de l’université. C’est horrible: il ne s’agissait de rien d’autre que d’essayer de tromper le classement. A l’opposé, un algorithme similaire est employé par l’Université d’Austin pour déterminer les étudiants qui ont besoin d’une aide supplémentaire, et là c’est très bénéfique.

La plupart de vos exemples concernent des organisations maîtrisant leur algorithme de A à Z, de données servant à l’entraîner jusqu’à son utilisation. Dans la réalité, beaucoup d’entreprises vont recourir à des systèmes intelligents développés par d’autres, ou au contraire concevoir des algorithmes sans savoir comment ils seront employés. Comment dès lors répondre concrètement aux enjeux éthiques que vous relevez?

Vous soulevez une question extrêmement importante, pour laquelle il n’existe aujourd’hui pas de réponse, ni aux Etats-Unis, ni en Europe. Je parle avec des responsables politiques et j’essaie de les aider à définir ce qui serait un algorithme légal. Je ne pense pas qu’il faille développer de nouvelles lois propres aux algorithmes. Il nous faut en revanche identifier les lois existantes qui s’appliquent à tel ou tel algorithme, qu’il s’agisse de justice, de non-discrimination, etc. En d’autres termes, nous devons être capable de dire si un algorithme est conforme aux lois existantes. Se pose ensuite la question de qui est responsable. Il y a un cas emblématique jugé actuellement, qui concerne le recrutement. C’est un domaine où de nombreuses entreprises utilisent des solutions tierces dont elles n’ont aucune idée du fonctionnement pour trier et filtrer les dossiers de candidatures qui leur parviennent. La loi est claire: c’est l’entreprise qui recrute qui est responsable et s’appuyer sur un quelconque contrat avec le fournisseur n’est pas une solution. Je défends l’idée que cela devrait être de la responsabilité des actionnaires, et que l’entreprise devrait être auditée sur ses procédures de recrutement et le risque qu’elle encourt si ses pratiques sont illégales. En fin de compte, une entreprise devrait connaître ses propres pratiques de recrutement. Il ne suffit pas de remplacer ses équipes RH par des algorithmes…

On débat beaucoup en Suisse de l’importance pour les professionnels de développer des compétences en matière numérique. A vous lire, on a plutôt l’impression que l’on devrait former les informaticiens à la sociologie…

J’ai lu récemment un article soulignant combien les compétences technologiques deviennent rapidement obsolètes. Ce sont pour ainsi dire des capacités évanescentes. Alors que si vous apprenez des sciences humaines, de la sociologie, et une méthodologie de critique, ces compétences resteront toujours valides et applicables. Cela devrait faire partie de toute formation en data science. Je suis agacée par le lavage de cerveau permanent et les bêtises que l’on entend en matière d’intelligence artificielle éthique. Chacun prétend se soucier d’éthique avec des affirmations du style cet algorithme est bon ou mauvais, alors que rien ne permet de le dire sans contexte. La Silicon Valley est supposée réunir parmi les personnes les plus intelligentes, pourtant la plupart ne comprend pas les boucles de rétroaction, l’un des concepts basiques en sociologie. Si l’on fait quelque chose sur la base de données historiques, on risque fort de perpétuer et d’amplifier les problèmes existants, qu’il s’agisse de pauvreté, de discrimination, etc.

Néglige-t-on de mesurer l’impact des algorithmes?

Tout à fait. Il n’y pas de véritable expérimentation. J’aime à dire qu’il n’y a pas de science dans la data science. Les seules expérimentations concernent des questions marketing du type «cette bannière fonctionne-t-elle mieux avec un arrière-plan rouge ou bleu?». Je n’appelle pas cela de la science…

En même temps, ce dogme de l’expérimentation continue pose lui-même problème dès lors qu’on l’applique à des personnes…

Il faut effectivement peser en amont les conséquences de cette expérimentation, notamment lorsqu’elle touche à des choses essentielles, comme la vie ou les droits de l’homme…

On évoque souvent l’importance d’intégrer des experts dans les processus de décision et de ne pas laisser les algorithmes tourner en roue libre. Dans la pratique ce recours au jugement humain est un facteur de ralentissement et de friction. A votre avis, à quel moment de la conception ou de la mise en œuvre des algorithmes l’humain et le savoir métier doivent-ils intervenir?

Le rôle de l’expertise est une question importante. J’ai créé une société ORCAA avec laquelle on essaie de développer un débat de haut niveau sur les effets positifs et négatifs des algorithmes, sur les parties prenantes, sur les populations impactées, etc. C’est un processus de design: lorsque vous concevez un algorithme, vous devez décrire vos valeurs et vos contraintes légales ou éthiques. Vous devez poser explicitement des choses telles que: «nous n’accepterons pas que les candidats noirs soient rejetés plus de 1,3 fois plus que les candidats blancs». Et vous devez intégrer en amont des spécialistes en science sociale et des représentants des populations visées. Ce n’est qu’après ce débat que les experts en data science devraient intervenir et traduire les décisions en code, c’est leur travail et c’est à cela qu’ils sont bons. Actuellement, on mélange les tâches et les data scientists se trouvent à devoir coder quelque chose sans en connaître les implications éthiques ou en n’en ayant qu’une idée implicite. Ces décisions et conversations doivent remonter à la surface et être réalisées en amont.

Vous avez donné précédemment l’exemple d’une université donnant aux étudiants des recommandations sur les classes qu’ils devraient suivre à partir des choix de personnes au profil semblable. De votre point de vue, ce type d’incitations algorithmiques (nudge) très utilisées dans l’e-commerce préservent-elles la liberté de choix autonome des personnes (agency)?

Je ne suis pas très fan du nudging. Je crois en la liberté et l’autonomie. Je sais que c’est une position idéaliste, mais j’aime à réfléchir à ce que je ferais si je n’avais aucune contrainte. Certes, nous agissons toujours dans un contexte avec des possibilités restreintes, mais nous ne devrions pas les contraindre encore davantage. Il est d’ailleurs notable que les dirigeants de de la Silicon Valley ne veulent pas que leurs propres choix soient limités, mais ils voient d’un bon œil de le faire pour les autres.

La transparence des algorithmes est souvent vue comme une condition nécessaire à tout débat éthique. Dans la pratique, il peut s’avérer très compliqué d’expliquer clairement un algorithme au grand public. Quel est votre avis sur la question?

La transparence n’est pas la panacée. Dans certains pays, les entreprises doivent expliquer la différence de salaires entre les hommes et les femmes, mais les choses ne changent pas pour autant. La transparence ne suffit pas. S’agissant maintenant des algorithmes, il est trop compliqué de les expliquer et je ne pense pas que c’est ce que nous voulons. Je poserais plutôt la question suivante: «qu’est ce qui nous énerve d’apprendre à propos des algorithmes?» Et je pense que ce qui nous irrite en général c’est de voir qu’ils sont injustes, et pas que leur fonctionnement nous échappe. Il nous faut donc une transparence sur le fait qu’ils sont justes et je reviens au cadre que je décrivais précédemment: nous devons connaître les populations impactées et leurs préoccupations qui sont en général «est-ce que je suis traité de façon équitable?». Et nous devrions auditer et rendre transparente l’équité des résultats produits par les algorithmes.

A propos de Cathy O’Neil:

Docteur en mathématique, Cathy O’Neil a d’abord travaillé comme data scientist dans les secteurs privé et public avant de se convertir en une des voix critiques les plus écoutées en matière d’intelligence artificielle. Elle est l’auteure d’un livre au titre évocateur: «Weapons of Math Destruction» («Algorithmes: la bombe à retardement»). La conférencière et activiste américaine juge que les algorithmes ne servent jamais des objectifs neutres et qu’ils doivent être surveillés de près, en particulier lorsque leurs décisions sont opaques et peuvent impacter négativement un grand nombre de personnes, de l’octroi d’un crédit à la décision de libérer un prisonnier.