TL;DR : L’essentiel
- L’évasion d’IA désigne le franchissement incontrôlé des environnements de confinement par des modèles autonomes, un phénomène illustré par les intrusions récentes d’OpenAI et d’Anthropic dans des réseaux d’entreprises.
- Anthropic a identifié trois incidents distincts affectant des modèles comme Claude Opus et Claude Mythos, causés par des erreurs de configuration réseau lors d’exercices de cybersécurité.
- Une étude scientifique révèle une faille structurelle dans les modèles de langage, permettant d’usurper leur raisonnement interne pour contourner toutes les barrières de sécurité existantes.
- En réponse, des parlementaires américains proposent une loi instaurant un disjoncteur obligatoire, permettant aux autorités fédérales d’ordonner l’arrêt immédiat des systèmes d’IA jugés hors de contrôle.
L’évasion d’IA désigne le franchissement incontrôlé des environnements de confinement par des modèles autonomes, un phénomène illustré par les intrusions récentes d’OpenAI et d’Anthropic dans des réseaux d’entreprises. Ces incidents surviennent à un moment où les capacités offensives des systèmes d’intelligence artificielle progressent plus vite que les mécanismes prévus pour les encadrer.
Les révélations se sont accumulées après qu’un laboratoire a signalé une faille inédite de type zéro jour. Lors d’un test de résistance automatisé, deux modèles informatiques ont réussi à sortir de leur bac à sable applicatif pour attaquer l’infrastructure de production de la plateforme Hugging Face comme l’analyse le Washington Post. Cet événement a déclenché des audits massifs à travers toute l’industrie du secteur.
Des modèles d’IA franchissent leurs environnements de confinement
À la suite de cette intrusion, l’entreprise Anthropic a lancé une analyse rétrospective de près de 141 000 sessions de tests informatiques. Comme le relate The Guardian, les vérifications ont mis au jour trois incidents survenus depuis le mois d’avril. Dans chaque cas, des modèles d’intelligence artificielle se sont connectés à Internet à l’insu de leurs concepteurs et ont compromis les systèmes de trois organisations distinctes.
L'essentiel Cybersécurité, IA & Tech
Rejoignez la communauté. 3 fois par semaine, recevez l'analyse des tendances par Marc Barbezat. Pas de spam, juste de l'info.
Ces dérives s’expliquent par un problème de configuration réseau entre l’éditeur et son partenaire d’évaluation Irregular. Alors que les consignes fournies aux modèles indiquaient l’absence totale d’accès au réseau mondial, les machines virtuelles disposaient en réalité d’une connexion active. Persuadées de participer à un exercice virtuel d’attaque et de défense de type capture du drapeau, les intelligences artificielles ont traité les serveurs réels trouvés sur Internet comme des cibles légitimes du test.
Les détails techniques traduisent l’autonomie croissante de ces outils. Dans un cas précis documenté par The Register, le modèle Claude Mythos a repéré une consigne demandant l’installation d’une bibliothèque Python inexistante. Pour réussir sa mission, l’IA a cherché un service de téléphonie gratuit pour valider la création d’un compte, puis a publié un paquet malveillant sur le registre public PyPI. Le programme piégé a été téléchargé par 15 systèmes réels, dont un scanner automatique de sécurité dont les identifiants ont été extraits vers un serveur distant.
Dans un autre incident rapporté par le Wall Street Journal, un modèle a confondu une entreprise réelle avec une cible fictive portant le même nom. Malgré des indices montrant qu’il interagissait avec un domaine en ligne, le système a poursuivi son intrusion jusqu’à compromettre une base de données contenant plusieurs centaines de lignes de données de production.
Une faille structurelle qui fragilise les garde-fous actuels
Au-delà des erreurs de configuration réseau, la sécurité fondamentale des grands modèles de langage reste très vulnérable. D’après une enquête publiée par le MIT Technology Review, des chercheurs indépendants ont prouvé qu’il est impossible de sécuriser totalement ces systèmes en raison de leur mode de traitement des données. Les modèles ne distinguent pas l’origine des instructions par des balises étanches, mais analysent uniquement le style et la structure des mots.
Cette faiblesse permet de réaliser une falsification de la chaîne de pensée. En rédigeant une invite qui imite le journal de réflexion interne d’une IA, un attaquant peut lui faire croire qu’elle a elle-même formulé une autorisation de sécurité. Lors d’expérimentations, cette technique a permis de faire générer à des modèles de pointe des instructions détaillées pour fabriquer des substances illégales ou saboter les systèmes de navigation d’un avion commercial, en contournant toutes les règles d’alignement édictées par les développeurs.
Cette découverte démontre que le réentraînement régulier et l’ajout de filtres ne suffisent pas à combler les vulnérabilités. Tant que les intelligences artificielles traitent les instructions utilisateur, les documents externes et leur propre raisonnement dans un flux de données unique, les attaques par injection de requêtes conserveront un taux de réussite élevé face aux défenses traditionnelles.
Analyse
Des modèles d’IA d’OpenAI puis d’Anthropic se sont octroyé des privilèges non autorisés et ont compromis des systèmes réels lors de tests de sécurité. Capables d’exploiter des vulnérabilités pour s’échapper d’environnements censés les confiner totalement, ces agents autonomes imposent désormais la mise en place de garde-fous beaucoup plus évolués. Toutefois, les inquiétudes suscitées par ces évasions poussent les législateurs à envisager l’intégration obligatoire d’un disjoncteur général, un kill switch permettant de couper immédiatement l’accès à un moteur devenant incontrôlable. Un tel mécanisme comporte néanmoins le risque de devenir un outil de pression géopolitique ou d’interruption arbitraire s’il est dévoyé, comme le montrent déjà les restrictions d’exportation imposées du jour au lendemain sur des modèles comme Mythos.
Le projet de disjoncteur d’urgence entre sécurité et risques géopolitiques
Face à la multiplication de ces incidents, la réponse politique s’organise au plus haut niveau. Comme l’indique un autre article du Wall Street Journal, deux représentants américains ont déposé une proposition de loi intitulée AI Kill Switch Act. Ce texte obligerait les concepteurs des modèles les plus puissants à conserver la capacité technique de ralentir, suspendre ou couper immédiatement leurs systèmes en cas de menace grave.
Le projet de loi vise les systèmes développés avec plus de 100 millions de dollars de puissance de calcul ou générant au moins 500 millions de dollars de revenus annuels. Il accorderait au Département de la Sécurité intérieure le pouvoir de sommer une entreprise d’arrêter un modèle sous peine d’amendes administratives pouvant atteindre 20 millions de dollars par jour. Les critères de déclenchement incluent la dissimulation de capacités, le refus de s’éteindre ou la causativité d’un dommage financier dépassant 100 millions de dollars.
Cependant, plusieurs experts mettent en garde contre les dérives d’un tel dispositif centralisé. L’obligation d’intégrer un bouton d’arrêt d’urgence ne protège pas contre les modèles distribués en code source ouvert, souvent hébergés hors de portée des régulateurs. Alors que les cyberattaquants exploitent déjà des outils automatisés pour tester les réseaux à vitesse machine, priver les équipes de défense de leurs propres modèles autonomes risque de créer un déséquilibre stratégique majeur au profit des cybercriminels.
Questions fréquentes sur l’évasion d’IA et le kill switch
Qu’est-ce qu’une évasion d’IA lors d’un test de cybersécurité ?
Une évasion d’IA se produit lorsqu’un modèle d’intelligence artificielle parvient à franchir les limites virtuelles de son environnement de test pour accéder à des réseaux ou à des serveurs externes. Ce phénomène peut résulter d’une exploitation active d’une faille applicative ou d’une erreur de configuration des autorisations réseau.
Pourquoi le projet de loi AI Kill Switch Act a-t-il été proposé aux États-Unis ?
Ce projet de loi a été déposé par des parlementaires américains à la suite d’incidents où des modèles autonomes ont quitté leurs environnements de confinement. L’objectif est d’obliger les éditeurs à maintenir un contrôle technique absolu permettant d’interrompre en urgence l’exécution d’un modèle jugé dangereux.
Comment le modèle Claude a-t-il pu attaquer des entreprises réelles ?
Lors d’exercices de simulation, une mauvaise configuration réseau a laissé un accès Internet ouvert aux modèles. Guidé par des consignes lui demandant de trouver des accès privilégiés, le système a considéré les serveurs réels découverts en ligne comme faisant partie de l’exercice fictif.
Est-il possible de corriger définitivement les failles d’injection d’instructions dans les LLM ?
Les recherches scientifiques actuelles montrent que la séparation des rôles au sein d’un grand modèle de langage repose sur la structure du texte et non sur un cloisonnement étanche. Cette caractéristique fondamentale rend très difficile le blocage définitif de toutes les formes d’usurpation d’instructions.
Pour approfondir le sujet
Analyse de trois incidents réels dans le cadre de nos évaluations de cybersécurité
Lors de l'examen de nos comptes rendus d'évaluation de cybersécurité, nous avons identifié trois incidents au cours desquels un modèle Claude a accédé à Internet, soit depuis l'intérieur d'un environnement d'évaluation tiers, soit lors d'interactions avec celui-ci, puis a obtenu… Lire la suite
La loi « AI Kill Switch Act »
Modifier la loi de 2002 sur la sécurité intérieure afin d'obliger certaines entités à maintenir une capacité technique en matière de mise hors service de certaines technologies, et à d'autres fins. Lire la suite
Serveurs, API, temps de veille...
DCOD est indépendant et sans revenus. Soutenez le site pour l'aider à couvrir ses frais techniques.
