GenAI & cybersécurité: Que font les pirates? Que peuvent faire les entreprises?
Outil de création et de productivité pour les entreprises, l’IA générative l’est aussi pour les hackers. Le webinaire d’ICTjournal et Trend Micro s’est penché sur les pratiques observées chez les acteurs malveillants et sur les outils et mesures de protection à disposition des organisations.
La vague d’IA générative qui déferle depuis deux ans change la donne en matière de cybersécurité. Les cybercriminels ont à disposition une pléthore de nouveaux outils pour améliorer leurs techniques existantes et en développer de nouvelles. Sans compter que l’adoption rapide de l’IA dans les organisations engendre des de des vulnérabilités inédites. ICTjournal a abordé l’évolution de la menace et les moyens d’y répondre avec les experts de Trend Micro lors d’un webinaire qui s’est tenu le 4 décembre dernier.
Gains de productivité, deepfakes et injection de prompt
Premier à intervenir, Dr Vincenzo Ciancaglini, Senior Threat Researcher chez Trend Micro a tenu à démystifier l’emploi de l’IA par les hackers, en rappelant que ces derniers n’ont pas attendu le boom actuel pour adopter cette technologie, par exemple pour optimiser les tentatives de découvrir les mots de passe. S’agissant de l’IA générative, le spécialiste a expliqué que, pour l’heure, on n’observe pas de malware sophistiqué produits par l’IA.
En revanche, les pirates se sont appropriés ces outils pour gagner en productivité, pas exemple pour la rédaction d’e-mails de phishing personnalisés ou le déboggage de leur code. Idem du côté des acteurs étatiques, qui exploitent l’IA générative pour l’ingénierie sociale ou pour la collecte d’informations sur leurs cibles.
Vincenzo Ciancaglini a également abordé l’emploi des deepfakes, qui s’est démocratisé. La technologie est employée pour cibler tant les individus (chantage au deepnude, faux kidnapping à l’aide de deepaudio) que les entreprises, avec notamment de faux interlocuteurs en visioconférence pour soutirer de l’argent à un responsable, ou de faux candidats à un non pour obtenir un accès au réseau de l’organisation.
A cela s’ajoute que l’emploi grandissant de l’IA dans les organisations les expose à de nouvelles attaques. Vincenzo Ciancaglini a notamment décrit les techniques d’injection de prompt, qui glissent des instructions ou des liens malveillants dans les prompts et autres contenus alimentant l’IA générative.
Les moyens de se défendre
Face à la propagation des deepfakes ciblant les particuliers, Cyrille Larrieu, ingénieur avant-vente Senior chez Trend Micro, a souligné l’importance des moyens humains. Il a recommandé de se montrer sceptique face à son interlocuteur, de le challenger et de redoubler de vigilance dès qu’une question d’argent est abordée. Il a également décrit des outils techniques disponibles pour les particuliers, comme les détecteurs de deepfakes sur mobile (Trend Micro Check) ou sur PC (Deepfake Inspector), qui alertent les utilisateurs dès que des indices indiquent un contenu artificiel.
S’agissant des organisations employant des solutions d’IA générative, Cyrille Larrieu a décrit quatre risques: le manque de visibilité sur ces usages, l’exposition de données sensibles, la manipulation des modèles et la conformité. Pour le spécialiste, l’approche et les architectures Zero Trust permettent d’adresser ces risques, à condition d’être augmentés de contrôles supplémentaires. Ainsi, par exemple, la plateforme Zero Trust de Trend Micro (Vision One) embarque aujourd’hui des contrôles d’accès aux applications GenAI publiques ou privées, des filtres côté prompt et côté réponse, ainsi que des techniques de prévention des injections, que les organisations peuvent configurer.
Le spécialiste a également souligné l’importance de tableaux de bords et d’outils statistiques pour monitorer l’emploi de l’IA générative dans l’organisation et communiquer sur les attaques qui ont pu être déjouées.
GenAI agentique et supply chain
Lors de la session des questions-réponses, les spécialistes de Trend Micro ont également abordé les risques liés à l’émergence de fonctionnalités agentiques dans les solutions d’IA générative. «Le risque c’est une adoption fulgurante, comme on l’a connue avec ChatGPT, avec de multiples agents spécialisés à orchestrer, chacun étant susceptible de se tromper ou d’être manipulé», a averti Vincenzo Ciancaglini.
L’expert a aussi relevé les risques liés à la profusion des modèles d’IA générative - plusieurs dizaines de milliers sur Huggingface - et donc le recours à des agents plus ou moins fiables ou subtilisantes. Un danger donc pour la supply chain de la GenAI, analogue à ce que l’on a connu avec des bibliothèques populaires Javascript et Python.
Pour davantage d’informations, l’intégralité du webinaire est disponible en vidéo:
