GenAI & cybersécurité

Les grands modèles de langage peuvent être sujets à des cyberattaques et mettre en danger la sécurité des systèmes et la protection des données. 

De l’injection de prompt à l’excès de privilège en passant par le déni de service, OWASP a dressé une liste des 10 principales menaces pesant sur les LLM.

Ajuster un grand modèle de langage permet d’améliorer sa performance. Le modèle ne s’arrête pas pour autant d’halluciner et il peut «oublier» les mesures sécuritaires mises en place par ses concepteurs, comme le montrent des recherches récentes. 

On savait qu’il faut éviter de divulguer des informations confidentielles à ChatGPT. Des chercheurs de l’EPFZ montrent que les LLM sont aussi capables d’inférer des détails personnels à partir de posts ou au détour d’une conversation en apparence anodine avec un chatbot.

Lakera lance une solution fonctionnant via une API, qui protège les modèles d’IA générative contre les prompts malveillants, et travaille à filtrer les contenus générés par ces mêmes modèles. La jeune pousse zurichoise a levé 10 millions de dollars plus tôt dans l’année.

Les IA génératives introduites par les employés au sein des entreprises posent des risques. La plupart des cadres dirigeants en ont bien conscience. Toutefois, ils sont peu enclins à prendre des mesures préventives, a constaté Kaspersky dans le cadre d’une enquête récente.