En octobre 2024, OpenAI a rapporté plusieurs actions contre l’utilisation malveillante de l’IA, en se concentrant sur la manipulation de l’information durant les élections mondiales.
En octobre 2024, OpenAI a publié un rapport détaillant ses efforts pour identifier et perturber les usages abusifs de ses modèles d’intelligence artificielle. Cette initiative s’inscrit dans un contexte global marqué par des élections dans de nombreux pays, où la manipulation de l’information est un enjeu crucial.
Le rapport d’OpenAI met en avant plusieurs cas d’opérations déjouées, les tendances observées, et les défis persistants pour les défenseurs de la cybersécurité.
Les tendances clés dans l’utilisation abusive de l’IA
OpenAI a identifié plusieurs schémas dans la manière dont les acteurs malveillants tentent d’utiliser l’IA. Une observation majeure est que les modèles d’IA sont principalement utilisés dans des phases intermédiaires d’activités malveillantes.
L'essentiel Cybersécurité, IA & Tech
Rejoignez la communauté. 3 fois par semaine, recevez l'analyse des tendances par Marc Barbezat. Pas de spam, juste de l'info.
Par exemple, avant la diffusion massive de contenus, les attaquants utilisent l’IA pour générer des textes, effectuer des recherches sur les vulnérabilités, ou développer des outils de manipulation de l’information.
Ces fonctionnalités ont ainsi permis à ces acteurs de gagner en efficacité, bien que ces usages n’aient pas encore conduit à des avancées significatives dans la création de nouvelles menaces ou de nouveaux types de malwares.
L’IA et les opérations d’influence lors des élections
En 2024, avec plus de deux milliards de votants attendus dans 50 pays, OpenAI a intensifié sa vigilance pour contrer l’utilisation abusive de ses modèles lors des processus électoraux.
Depuis le début de l’année, l’entreprise a identifié et neutralisé quatre réseaux distincts ayant diffusé des contenus liés aux élections, notamment aux États-Unis, au Rwanda, en Inde et dans l’Union Européenne. Les résultats montrent que ces opérations n’ont pas réussi à atteindre une large audience ni à susciter un engagement viral.
Plusieurs cas ont été cités dans le rapport pour illustrer la diversité des activités perturbées :
- SweetSpecter : Un acteur malveillant basé en Chine a tenté d’utiliser les services d’OpenAI pour effectuer des recherches sur les vulnérabilités et développer des scripts, tout en menant des tentatives de phishing ciblant les employés d’OpenAI. Bien que ces actions aient été identifiées et bloquées, cela met en lumière la nécessité d’une collaboration étroite entre les partenaires du secteur pour renforcer la sécurité.
- CyberAv3ngers : Affilié à l’Iran, ce groupe a utilisé les modèles d’OpenAI pour rechercher des vulnérabilités dans les systèmes de contrôle industriel (ICS) et les automates programmables (PLC). L’accent a été mis sur des infrastructures critiques, notamment dans les secteurs de l’eau et de l’énergie. Cependant, l’enquête a révélé que les modèles d’IA n’ont apporté que des capacités limitées par rapport aux outils traditionnels.
- STORM-0817 : Un acteur iranien qui a développé des malwares pour espionner les utilisateurs d’Android et collecter des données via des scrapers. Ces outils ont permis d’analyser des comptes sur les réseaux sociaux et de collecter des informations à partir de profils LinkedIn.
L’importance des capacités de détection et d’investigation
Le rapport souligne que les entreprises d’IA doivent renforcer la sécurité de l’écosystème de l’information.
En utilisant des outils avancés de détection et d’analyse, elles peuvent non seulement identifier les tentatives de manipulation, mais aussi établir des liens entre différentes activités malveillantes qui pourraient autrement passer inaperçues. Cela nécessite toutefois des investissements continus pour rester à la pointe de la détection et de l’investigation.
Défis et perspectives : Vers une réglementation plus stricte
Malgré les succès dans la neutralisation de certaines opérations, OpenAI souligne la nécessité de cadres réglementaires plus stricts pour encadrer l’utilisation de l’IA.
Des règles internationales plus robustes permettraient de mieux prévenir les abus et d’imposer des sanctions en cas de violation. L’entreprise indique souhaiter s’engager également à collaborer avec d’autres acteurs de l’industrie pour développer des solutions partagées et renforcer la sécurité collective.
Pour en savoir plus
An update on disrupting deceptive uses of AI
OpenAI’s mission is to ensure that artificial general intelligence benefits all of humanity. We are dedicated to identifying, preventing, and disrupting attempts to abuse our…
(Re)découvrez également:
Serveurs, API, temps de veille...
DCOD est indépendant et sans revenus. Soutenez le site pour l'aider à couvrir ses frais techniques.
