Décisions individuelles automatisées: quel cadre légal?
Octroi ou refus de crédits bancaires, d’un logement ou d’un emploi, les décisions entièrement automatisées sont de plus en plus courantes. Comme elles peuvent affecter de manière significative les personnes qui en font l’objet, la LPD impose des garde-fous.
À l’ère du développement du big data et de l’intelligence artificielle (IA), les décisions individuelles automatisées sont de plus en plus utilisées par les entreprises et les administrations publiques. Plusieurs scandales récents (celui de Robodebt en Australie ou des allocations familiales aux Pays-Bas par exemple) ont pourtant montré les risques d’erreurs ou de discriminations, avec des conséquences souvent tragiques pour les personnes dont le dossier diffère un peu de la moyenne.
La LPD encadre les décisions individuelles automatisées
La nouvelle Loi fédérale sur la protection des données (LPD) entrée en vigueur le 1er septembre 2023 définit la décision individuelle automatisée comme toute décision prise exclusivement sur la base d’un traitement de données personnelles automatisé et qui a des effets juridiques pour la personne concernée ou l’affecte de manière significative.
Il faut donc que la décision ne soit pas prise par un être humain. Un simple outil d’aide à la décision n’est pas une décision individuelle automatisée, sauf s’il s’agit déjà d’une décision qui n’est pas remise en cause par l’humain. Il faut ensuite que la décision ait un effet suffisant sur la personne. C’est par exemple le cas de la décision de conclusion ou de refus d’un contrat de crédit ou d’assurance, du refus d’aides sociales, d’une présélection des candidatures à examiner, ou encore d’une taxation fiscale, notamment lorsque ces décisions reposent sur une évaluation automatisée de la situation financière, personnelle ou encore des risques relatifs à une personne.
Des droits pour les personnes concernées
Premièrement, la LPD impose au responsable du traitement d’informer spontanément les personnes concernées de l’existence d’une décision individuelle automatisée qui les concerne. Si la personne concernée fait valoir un droit d’accès à ses données personnelles, elle doit en plus recevoir la logique sur laquelle se base la décision individuelle automatisée.
Deuxièmement, la personne concernée peut faire valoir son point de vue et exiger que la décision soit revue par un être humain. Cette dernière doit évidemment être capable de modifier ou d’annuler la décision. Quant à l’administration, si elle souhaite recourir à des décisions automatisées, il faut que cela soit expressément prévu dans une loi.
Ces garanties ne s’appliquent toutefois pas lorsque la demande de la personne concernée est entièrement satisfaite dans le cadre de son contrat avec le responsable du traitement (c’est fréquemment le cas en matière de remboursement par les assurances) ou si la personne concernée a spécifiquement consenti à ce que la décision soit prise de manière automatisée. Le consentement doit néanmoins être libre et éclairé pour être valable.
Si l’utilisation d’une IA pour prendre des décisions à sa place est facile, cela n’est pas anodin. En plus de l’exigence de transparence, il faut en plus que l’entreprise qui recourt à de telles décisions soit au moins capable de comprendre la logique retenue, pour pouvoir à son tour l’expliquer! De plus les modèles d’IA se basent sur des probabilités et des statistiques, ce qui fonctionne bien pour la majorité des cas dans la moyenne, mais est souvent désastreux pour les autres, en premier lieu pour les cas particuliers, les minorités, les personnes vulnérables, etc. Il convient donc d’être très prudent.
