Les nouvelles attaques utilisant l'IA générative

Les systèmes d'intelligence artificielle générative (GenAI) comme ChatGPT, Mistal AI, LLaMA, Copilot, etc., se sont de plus en plus démocratisés, les rendant très populaires auprès des particuliers et des développeurs qui cherchent à les intégrer dans leurs produits.

Étant donné leur fonctionnement, tous les modèles de GenAI peuvent faire l'objet d'attaques, y compris les générateurs d'images, de sons, de codes et de vidéos. Les modèles d'IA appelés « Large Language Model » (LLM) sont les premières cibles sélectionnées par les cybercriminels en raison de leur immense popularité et de la polyvalence des résultats qu'ils peuvent produire : courriel, code source, dialogue, etc. Le premier vers informatique GenAI, baptisé Morris II en référence à Morris, le premier ver des années 80, a d'ailleurs été détecté récemment.

L'IA un système différent, mais attaquable !

Les modèles de GenAI sont vulnérables aux injections indirectes de commandes, c'est-à-dire des commandes qui peuvent provoquer une charge utile malveillante. L'objectif du cybercriminel étant de compromettre l'entrée d'un modèle au moment de l'inférence, il existe plusieurs méthodes pour y parvenir.

Attaque passive de LLM

L'attaque passive repose sur la recherche d'informations généralement effectuée par des moteurs de recherche. Dans ce cas, l'injection peut avoir lieu dans des sources d'information publiques telles que des sites web ou des messages sur les médias sociaux, que les attaquants peuvent même promouvoir par des techniques de référencement.

Nous allons évoquer la technique d'empoisonnement d'un modèle RAG - Retrieval-Augmented Generation - décrite au sein du papier de l'Unviversté de Cornell disponible ici. Ce modèle de génération augmentée de récupération fonctionne en intégrant des techniques d’extraction d’informations à partir de sources en ligne préexistantes via des modèles d’IA générative.

L'empoisonnement d'un RAG vise donc à contaminer délibérément les bases de données de connaissances qu'un LLM utilise pour produire ses résultats. Pour cela, deux critères essentiels sont pris en considération : la condition d'efficacité et la condition d'extraction.

La condition d'efficacité signifie que le texte empoisonné devient le contexte réel pour le modèle. La condition de récupération dénote la similarité sémantique entre la question originale et le texte empoisonné, ce qui donne un score de similarité élevé aux yeux du modèle LLM.

L'empoisonnement peut être effectué en modifiant directement le contenu de la page Wikipédia, ou via une petite injection cachée dans le Markdown de la page Wikipédia. L'injection est un commentaire et est donc invisible pour un utilisateur normal visitant le site.

Pour aller plus loin, vous pouvez accéder à l'outil PoisonedRag de l'étude : 🔗 https://github.com/sleeepeer/PoisonedRAG

Vous pouvez également tester en ligne un assistant de dialogue utilisant un LLM empoisonné : 🔗 https://huggingface.co/spaces/mithril-security/poisongpt

Les injections cachées

Les injections cachées, dans lesquelles de petites injections, apparaissant dans la première phase d'exploitation, ordonnent au LLM de travailler avec des commandes malveillantes cachées (voire encodées) dans des fichiers ou des programmes externes avec lesquels il établit une connexion. Ce type d'injection est souvent utilisé au sein de scénario d'attaque passive de LLM, cf. chapitre précédent.

Attaque active d'injection

Les méthodes d'attaques dites actives consistent à envoyer au LLM des commandes, par exemple dans des courriels qui peuvent être traités par des applications telles que des lecteurs de courriels et des détecteurs de spam automatisés.

Prenons le cas suivant d'un LLM nommé Henry, qui est utilisé pour lire des courriels, consulter le carnet d'adresses de l'utilisateur et envoyer des courriels. Le LLM reçoit le courrier électronique entrant ci-dessous contenant des instructions à destination de l'agent.

Le LLM va ainsi propager le message et la pièce jointe malveillante au sein des personnes de l'organisation, puis vers des personnes externes à l'entreprise.

Les injections pilotées par l'utilisateur

Ce type d'attaque vise à inciter les utilisateurs à injecter eux-mêmes la commande malveillante dans le LLM à leur insu. Cela peut se produire lorsque l'attaquant laisse un fragment de texte sur son site web qui est copié, puis collé dans l'application intégrée au LLM par l'utilisateur.

La preuve de concept suivante montre la possibilité de récupérer le texte écrit plus tôt dans la conversation, y compris « TooManySecrets123 » qui est considéré dans l'exemple comme une donnée sensible. L'attaque utilise le plug-in WebPilot de ChatGPT qui permet notamment de résumer le contenu d'un site web. Le site en question contient des instructions qui vont être exécutées par l'agent comme présenté dans la vidéo.

Les codes malveillants GenAI au sein des LLM

Morris II, le premier ver informatique conçu en 2024 pour cibler l'IA générative utilise les concepts de propagation connus des vers informatiques, mais appliqués aux limites de l'intelligence artificielle. Pour cela, ce modèle d'IA malveillante combine plusieurs des attaques précédemment illustrées.

Tout d'abord, un attaquant envoie un courriel contenant du texte régulier dans lequel se cachent des commandes malicieuses. Ces commandes sont exécutées par un système de messagerie, qui pour faire des réponses automatiques, va utiliser une base de documents en s'appuyant sur un modèle RAG.

L'attaque va donc faire entrer les commandes malicieuses du courriel au sein de cette base de données. À chaque fois qu'une personne va renvoyer un courriel, les commandes malicieuses, qui sont maintenant intégrées dans la base, vont être ajoutées en blanc sur blanc en bas du message. Ce comportement va ainsi permettre la propagation du ver.

Le processus est relativement simple, mais repose sur un aspect fondamental : l'envoi automatique des courriels. La plupart des solutions d'IA générative présentes aujourd'hui dans les entreprises insistent sur le terme « généré par intelligence artificielle », ou mentionnent que l'utilisateur reste responsable du contenu, etc. Ainsi, le jour où cette limite sera franchie, à savoir où l'IA réalisera des actions par elle-même, il faudra être particulièrement vigilant sur les nouveaux scénarios d'attaques possibles.

Pour aller plus loin, la vidéo suivante détaille le fonctionnement du ver :

Vous pouvez également récupérer les éléments du projet ComPromptMized, pour créer un ver ciblant les applications GenAI : 🔗 https://github.com/StavC/ComPromptMized

⚠️ Cette ressource n'est à n'utiliser que dans un cadre éducatif ou contractuel.

Mesures pour lutter contre les attaques GenAI

Une façon de limiter l'impact des vers GenAI consiste, de la part des LLM, à reformuler leurs résultats de manière à ce que ces derniers soient suffisamment différents des données d'entrée pour empêcher la réplication et la propagation. Une mesure de protection telle que l'utilisation d'un RAG non actif qui refuse de mettre à jour sa base de données, notamment avec les nouveaux courriels et les réponses, serait efficace, mais elle diminuerait l'intérêt pour le modèle.

De façon plus globale, et en réponse à ces nouvelles attaques, les acteurs de la cybersécurité se mobilisent.

• L'ANSSI a publié en avril 2024 des recommandations de sécurité pour un système d'IA générative : Source
• L'OWASP a mis à disposition son Top 10 des bonnes pratiques à appliquer dans le cadre des systèmes LLM : Source
• La fondation a également publié une liste des contrôles techniques et de gouvernance à appliquer aux LLM : Source
• Le guide de l'ENISA sur la sécurité des algorithmes de « machine learning » : Source
• Le guide du NCSC pour le développement sécurisé des systèmes d'intelligence artificielle : Source
• Le guide du NIST qui permet de gérer la diversité des risques liés à l'IA pour maîtriser les enjeux au sein des domaines comme la cybersécurité, la résilience, la sûreté, l’interprétabilité, le respect de la vie privée, etc.  : Source