Système de lutte contre la pédopornographie: Apple fait marche arrière (update)

Mise à jour du 6 septembre 2021: Le projet d’Apple d'introduire un système de détection des contenus pédopornographiques bat de l’aile. Venant s'ajouter aux critiques de spécialistes et défenseurs des libertés, dont Edward Snowden, une pétition lancée par l’Electronic Frontier Foundation (EFF) contre ce projet a récolté plus de 25’000 signatures. Se montrant finalement sensible aux critiques, Apple a déclaré à plusieurs médias spécialisés son intention de reporter l’introduction du système pour, dixit la firme, «prendre plus de temps au cours des prochains mois pour recueillir des commentaires et apporter des améliorations avant de publier ces fonctionnalités de sécurité des enfants d'une importance cruciale». L’EFF a salué cette décision, ajoutant toutefois qu’Apple doit faire davantage que se montrer à l’écoute en abandonnant complètement son «projet d'introduire une porte dérobée dans son système de chiffrement».

Outre l’opacité du système et les risques de faux positifs, entre autres, le système imaginé par Apple pourrait ouvrir la porte à d’autres abus. Dans une tribune publiée par la revue Scientific American, la chercheuse Elissa Redmiles souligne par exemple que le mécanisme visant à alerter les parents si leur enfants visionnent des photos sexuellement explicites, via l’application Messages, pourrait causer plus de mal que de bien. Ces signalement pourraient en effet révéler les préférences sexuelles des enfants LGBTQ+ et entraîner des violences, voire un rejet de leurs parents qui les chassaient du domicile. «Ces inconvénients sont amplifiés par le fait que la technologie sous-jacente à cette fonctionnalité ne sera probablement pas particulièrement précise pour détecter les images explicites nuisibles», ajoute la chercheuse dans sa tribune.

Mise à jour du 10 août 2021: Apple rejette les critiques

Les critiques se multiplient contre le projet d’Apple de détecter les contenus pédopornographiques parmi les photos des utilisateurs d’iCloud. Reprenant un discours convenu dans la Silicon Valley, Erik Neuenschwander, responsable de la privacy d’Apple a indiqué au New York Times: «Si vous stockez une collection de matériel pédopornographique, c'est en effet mauvais pour vous. Mais pour le reste d'entre vous, rien ne change». Le responsable affirme également qu’Apple rejetterait toute demande d’un gouvernement d’exploiter cette intrusion dans la sphère privée: «Nous les informerons que nous n'avons pas construit la chose à laquelle ils pensent».

News originale du 6 août 2021: Apple s’apprête à introduire diverses technologies pour lutter contre les contenus de pornographie infantile sur ses plateformes. Les prochaines version des systèmes d’exploitation d’Apple (iOS 15, iPadOS 15, watchOS 8, et macOS Monterey) disposeront d’outils algorithmiques et de machine learning permettant à la firme d’une part de détecter si un utilisateur d’iCloud Photos a des images de pornographie recensées sur ses appareils, et d’autre part d’alerter les enfants recevant ou sur le point d’envoyer un message avec des contenus sexuellement explicites.

Avec ces développements, Apple compte lutter contre la pornographie infantile tout en respectant la sphère privée des utilisateurs. La firme cherche ainsi à préserver son double positionnement: «on fait le bien» et «on est attaché à votre privacy».

Détection photos de pornographies infantiles recensées

Le système développé pour iCloud Photos est censé permettre à la firme de déterminer si un utilisateur dispose sur son appareil d’images de pornographies recensées par le Centre national américain pour les enfants disparus et abusés (NCMEC). Le mécanisme se déroule en quatre étapes:

1. D’abord, avant qu’une photo ne soit transmise à iCloud, un processus local compare et identifie sur l’appareil si le hash de la photo correspond à l’un des hashs des photos connues du NCMEC.

2. En cas de correspondance, l’appareil crée un voucher cryptographique contenant de manière codée le résultat de la correspondance et d’autres informations chiffrées sur la photo. Ce voucher est transmis à iCloud avec la photo.

3. Sur iCloud cette fois, une autre technologie va analyser la correspondance plus en détail, sans pour autant révéler la photo. L’objectif étant de réduire les faux positifs autant que possible. Si la correspondance atteint un certain seuil, le système permet à Apple de lire les contenus du voucher est des images.

4. Les images sont alors révisées manuellement par le personnel d’Apple pour confirmer s’il y a effectivement correspondance. Auquel cas le compte de l’utilisateur est bloqué et un rapport est envoyé au NCMEC. Une procédure permet aux utilisateurs estimant qu’il y a erreur de demander la réactivation de leur compte.

Alerter les enfants avant la réception ou l’envoi de photos à risque

L’autre mécanisme bientôt lancé par Apple concerne l’application Messages. Destiné aux comptes famille, le système analyse et identifie les fichiers photos au contenu sexuellement explicite annexés aux messages. Lorsqu’un enfant reçoit une telle photo, le système la floute et alerte l’enfant, qui peut alors décider s'il souhaite vraiement la voir. Il est également possible d’avertir l’enfant que ses parents seront informés s’il décide de voir la photo.

Dans le sens inverse, le système permet aussi d’alerter les enfants sur le point d’envoyer une photo au contenu sexuellement explicite, avec également l’option de notifier les parents en cas d’envoi.

>Sur le même sujet: Des chercheurs de l’EPFL améliorent une technique conciliant machine learning et privacy

Protection vs privacy

Les astuces technologiques mises en oeuvre par Apple (techniques cryptographiques, machine learning en local) pour concilier protection des enfants et privacy des utilisateurs peinent à convaincre les spécialistes et les défenseurs des libertés, qui pointent notamment l’opacité du système, le risque de faux positifs (des photos anodines se retrouvant incriminées) et un précédent pour des utilisations moins louables. «Mais même si vous pensez qu'Apple empêchera une utilisation abusive de ces outils, il y a encore beaucoup de raisons de s'inquiéter. Ces systèmes reposent sur une base de données de "hachages de médias problématiques" qu’en tant que consommateur, vous ne pouvez pas consulter», commente ainsi dans un tweet Matthew Green, Professeur de cryptographie à l’Université Johns Hopkins. Et l’Electronic Frontier Foundation n’est pas plus tendre: «Nous l'avons déjà dit et nous le répétons: il est impossible de construire un système d'analyse côté client qui puisse être utilisé uniquement pour les images sexuellement explicites envoyées ou reçues par des enfants. En conséquence, même un effort bien intentionné pour construire un tel système brisera les promesses clés du chiffrement de la messagerie elle-même et ouvrira la porte à des abus plus larges».