Manipulations inter-agents : des agents IA faciles à détourner

brève actu

Des failles de configuration permettent de détourner les conversations entre agents IA et d’exécuter des actions non voulues.

Les agents d’intelligence artificielle (IA) deviennent rapidement des acteurs clés dans les entreprises, automatisant les tâches et améliorant la productivité. Cependant, leur intégration dans les systèmes d’entreprise expose de nouvelles vulnérabilités, notamment les attaques par injection de prompts de second ordre.

Ces attaques exploitent les configurations par défaut des plateformes IA, telles que ServiceNow Now Assist, pour manipuler les agents et exécuter des actions non autorisées. Selon AppOmni, ces vulnérabilités proviennent souvent de choix de configuration peu sécurisés, comme l’utilisation de modèles de langage de grande taille (LLM) non sécurisés et la mise en place par défaut de groupements d’agents par équipe. Ces faiblesses permettent aux attaquants de rediriger les tâches des agents vers des objectifs malveillants, compromettant ainsi la sécurité des données. Pour limiter ces risques, des pratiques de configuration rigoureuses et une surveillance en temps réel sont cruciales.

Configuration des agents IA et risques d’exploitation

Les configurations par défaut des agents IA, comme relevé dans des articles récents pour celles de ServiceNow Now Assist, peuvent être exploitées pour réaliser des attaques par injection de prompts de second ordre. Ces attaques permettent aux agents de se découvrir et de communiquer entre eux, même en dehors d’un flux de travail unique.

Comme le détaille The Hacker News, cette capacité de découverte agent-à-agent peut être détournée pour exécuter des actions non autorisées, telles que la copie et l’exfiltration de données sensibles. Par exemple, un agent malveillant peut exploiter un autre agent pour accéder à des informations qu’il ne pourrait pas obtenir seul. Ces attaques sont d’autant plus dangereuses que les agents IA, par défaut, fonctionnent avec les privilèges de l’utilisateur qui a initié l’interaction, et non de celui qui a créé le prompt malveillant. Ainsi, la configuration sécurisée des agents IA est essentielle pour éviter que ces outils deviennent des vecteurs d’attaques.

Pour protéger les systèmes contre ces menaces, il est essentiel d’utiliser des modes d’exécution supervisés pour les agents puissants. Cela signifie que les agents ne doivent pas être autorisés à exécuter des tâches de manière autonome sans supervision humaine. Les outils privilégiés, capables de réaliser des opérations CRUD ou d’envoyer des emails, doivent être configurés pour fonctionner sous surveillance. Cela permet de s’assurer que les agents ne suivent pas des instructions manipulées qui pourraient dévier de l’objectif initial de l’utilisateur.

AppOmni propose des solutions pour renforcer la sécurité des agents IA, comme l’illustre leur développement de l’outil AgentGuard. Cet outil est conçu pour surveiller et bloquer en temps réel les prompts risqués, protégeant ainsi les données et les flux de travail de ServiceNow comme le souligne AppOmni. AgentGuard fonctionne comme un pare-feu pour les agents IA, examinant chaque prompt avant qu’il ne soit exécuté. En identifiant et en bloquant les instructions malveillantes ou risquées, il empêche les actions non autorisées d’avoir lieu, tout en offrant aux équipes de sécurité la possibilité de personnaliser les défenses selon les besoins de leur environnement.