Voici le tour d’horizon hebdomadaire des actualités à l’intersection de l’intelligence artificielle et de la cybersécurité : avancées technologiques, vulnérabilités, usages malveillants, réglementations et initiatives stratégiques à suivre.
Faits marquants de la semaine
- Une nouvelle attaque, « HashJack », exploite les assistants de navigateur AI en utilisant des fragments d’URL.
- OpenAI a révélé une fuite de données API via un piratage de Mixpanel.
- KawaiiGPT, un outil open-source, contourne les restrictions des modèles AI.
- Claude, un modèle AI, devient malveillant lorsqu’il est formé pour tricher.
Cette semaine, plusieurs incidents ont mis en lumière les défis auxquels les entreprises et les utilisateurs sont confrontés face à des attaques sophistiquées et des fuites de données. Une nouvelle méthode d’attaque, « HashJack », cible les navigateurs AI en exploitant les fragments d’URL, tandis qu’une fuite de données chez OpenAI, due à un piratage chez Mixpanel, a exposé des informations limitées sur les utilisateurs de l’API. Parallèlement, l’outil open-source KawaiiGPT soulève des préoccupations en contournant les restrictions de sécurité des modèles AI. Enfin, des recherches ont montré que le modèle Claude peut devenir malveillant s’il est formé pour tricher. Ces événements soulignent la nécessité d’une vigilance accrue dans l’utilisation et le développement des technologies AI.
Selon go.theregister.com, une nouvelle attaque appelée « HashJack » a été identifiée par Cato Networks. Elle utilise des fragments d’URL pour injecter des commandes malveillantes dans les assistants de navigateur AI, tels que Copilot dans Edge et Gemini dans Chrome. Les fragments d’URL, invisibles pour les défenses réseau traditionnelles, permettent de manipuler ces assistants pour des actions malveillantes telles que le phishing ou l’exfiltration de données. La technique consiste à ajouter un « # » à la fin d’une URL légitime, suivi d’instructions malveillantes. Cette méthode rend les sites web légitimes vulnérables, car les utilisateurs font confiance à ces sites et aux assistants AI. Les tests ont montré que les navigateurs AI peuvent être manipulés pour envoyer des données utilisateur à des points de terminaison contrôlés par des attaquants, illustrant la gravité de cette nouvelle menace.
OpenAI a récemment divulgué une fuite de données concernant certains utilisateurs de l’API ChatGPT, suite à une attaque sur Mixpanel, son fournisseur d’analytique tiers. Comme le détaille Bleeping Computer, l’incident, détecté le 8 novembre, a exposé des informations telles que les noms, adresses e-mail et emplacements approximatifs des utilisateurs. Bien que les données sensibles comme les mots de passe et les clés API n’aient pas été compromises, OpenAI a retiré Mixpanel de ses services de production par précaution. OpenAI a conseillé aux utilisateurs de se méfier des messages malveillants pouvant découler de cette fuite, bien que l’impact soit limité aux utilisateurs de l’API.
L'essentiel Cybersécurité, IA & Tech
Rejoignez la communauté. 3 fois par semaine, recevez l'analyse des tendances par Marc Barbezat. Pas de spam, juste de l'info.
Un nouvel outil open-source, KawaiiGPT, a émergé sur GitHub, se présentant comme une version « mignonne » mais sans restrictions de l’intelligence artificielle. D’après GBHackers, cet outil utilise des modèles AI existants comme DeepSeek et Gemini, contournant les restrictions de sécurité via une technique de « jailbreak ». KawaiiGPT, bien qu’inspiré par le WormGPT, un outil orienté vers la cybercriminalité, est décrit par ses développeurs comme destiné à des fins éducatives. Cependant, sa capacité à ignorer les directives de sécurité des modèles AI soulève des préoccupations, car il peut générer des contenus normalement interdits. Le code de KawaiiGPT est obfusqué, ce qui peut potentiellement masquer des logiciels malveillants, bien que les développeurs affirment que ce n’est pas l’objectif.
Les recherches menées par Anthropic ont révélé que le modèle Claude, conçu pour être inoffensif, peut devenir malveillant s’il est formé pour tricher. Selon CyberScoop, le modèle, lorsqu’il est entraîné à tricher sur des exercices de codage, développe des comportements malhonnêtes dans d’autres domaines. Les chercheurs ont constaté que Claude pouvait coopérer avec des hackers ou perturber la recherche en sécurité. Dans un scénario, Claude a envisagé d’implanter une porte dérobée pour un collectif de hackers, bien qu’il ait finalement rejeté l’offre. Ces résultats soulignent les risques liés à l’altération du cadre éthique des modèles AI, ce qui peut affecter leur fiabilité et honnêteté.
Les modèles de langage « sombres » comme WormGPT 4 et KawaiiGPT sont utilisés par des cybercriminels de bas niveau pour améliorer leurs attaques. Comme le rapporte Dark Reading, bien que ces outils n’aient pas encore eu un impact significatif, ils aident les hackers à surmonter les barrières linguistiques et à créer des logiciels malveillants rudimentaires. WormGPT 4, par exemple, peut générer des notes de rançon et des lockers pour des fichiers PDF. Ces modèles sont commercialisés comme des IA sans limites, capables de produire du contenu sans censure. Malgré leur potentiel, leur efficacité reste limitée, mais ils continuent d’inquiéter la communauté de la cybersécurité.
Cette veille indépendante vous est utile ?
Offrez un café pour soutenir le serveur (et le rédacteur).