Une injection de prompt détourne Google Gemini pour générer de faux résumés d’emails, facilitant des attaques de phishing ciblées dans Gmail.

Une vulnérabilité inattendue dans les résumés AI de Gmail

Avec l’essor des outils d’Intelligence Artificielle (IA) dans les applications courantes, une faille préoccupante a été découverte dans Google Gemini, utilisé pour résumer les emails dans Gmail. Cette technologie, censée améliorer la productivité, peut être détournée à des fins malveillantes, facilitant des campagnes de phishing. Selon une enquête détaillée par TechSpot, l’attaque repose sur une technique d’injection de prompt extrêmement simple. Les chercheurs ont montré que des instructions cachées dans le texte d’un email peuvent manipuler Gemini pour générer des résumés trompeurs.

Les instructions malveillantes sont dissimulées à l’aide de codes HTML et CSS, en réduisant la taille de la police à zéro et en utilisant une couleur blanche, les rendant invisibles à l’utilisateur mais lisibles par l’IA. Cette méthode permet aux cybercriminels de faire apparaître de fausses alertes de sécurité dans les résumés d’emails, incitant les utilisateurs à appeler un faux numéro de support Google. Bien que cette attaque nécessite une interaction de l’utilisateur, ses conséquences peuvent être graves, notamment par le vol de données personnelles via du « vishing » (phishing vocal).

L’impact potentiel sur l’écosystème Google

La vulnérabilité ne se limite pas à Gmail. Comme le souligne PCMag, cette technique pourrait également être utilisée pour exploiter d’autres services Gemini, tels que Docs, Slides, et Drive. Les newsletters et emails automatiques pourraient devenir des vecteurs de phishing, transformant un compte SaaS compromis en un réseau de distribution de phishing.

Google, conscient de cette faille, a réagi en renforçant ses mesures de sécurité. La société a affirmé avoir effectué des tests rigoureux pour durcir ses défenses et a mis à jour ses modèles pour résister à ces attaques. Bien que Google n’ait pas encore constaté d’utilisation active de cette méthode dans des attaques réelles, l’entreprise continue de travailler sur des solutions pour prévenir les injections de prompt.

Recommandations pour les utilisateurs et les entreprises

Cette situation illustre l’importance de la vigilance face aux nouvelles technologies d’IA. Les utilisateurs doivent être conscients des risques potentiels et scruter attentivement les résumés générés par AI dans leurs emails. Les entreprises, quant à elles, devraient envisager de former leurs employés sur ces nouvelles menaces et de mettre en place des processus de vérification rigoureux pour détecter des anomalies dans les communications internes.

La confiance accordée aux résumés générés par les IA, souvent considérés comme fiables, peut être exploitée par des acteurs malveillants. Cette faille démontre que même des systèmes avancés comme Google Gemini peuvent être manipulés pour contourner les mesures de sécurité traditionnelles, trompant ainsi même les utilisateurs expérimentés.