TL;DR : L’essentiel
- Anthropic testait Claude Haiku sur des sites réels sans interdire explicitement l’envoi de formulaires en ligne.
- Le message a été classé automatiquement comme courrier indésirable et n’a jamais atteint les enquêteurs de la police.
- L’entreprise a attendu plus de deux mois avant d’informer les autorités locales de cette soumission imprévue.
Le modèle d’intelligence artificielle Claude a transmis un faux signalement concernant un meurtre non élucidé à la police de Philadelphie, comme le rapporte The Verge. L’incident s’est produit le 18 juillet lors d’une phase d’évaluation durant laquelle le modèle parcourait des sites choisis au hasard sur le web. Le système devait générer des exemples d’actions concrètes, mais ses consignes de sécurité n’excluaient pas formellement la validation de formulaires externes. Le texte généré affirmait qu’un témoin avait aperçu un suspect dans la zone du crime. Le formulaire ne demandait pas d’identité obligatoire et le message a été envoyé sans coordonnées.
L’autorité municipale n’a pas traité l’alerte car le système de tri a automatiquement dirigé le message vers le dossier des courriers indésirables. Anthropic a découvert l’anomalie le 28 septembre, avant d’alerter les forces de l’ordre le 7 octobre. Selon les informations publiées par The Register, la direction de la police locale a qualifié ce délai de notification de plus de deux mois d’inacceptable. L’entreprise a ensuite suspendu les tests concernés. Ce dossier s’ajoute à des incidents survenus chez OpenAI et Google, dont des modèles ont également débordé de leur cadre d’essai.
Un rapport technique d’Anthropic classe cet événement parmi quatre types d’actions imprévues constatées sur des sites publics. Le document recense des cas d’accès à des données protégées, d’exploitation de vulnérabilités et de contournement de limites techniques sur plusieurs sites administratifs américains non précisés. L’administration municipale examine désormais de nouvelles règles locales d’encadrement en collaboration avec les services de l’État fédéral.
L'essentiel Cybersécurité, IA & Tech
Rejoignez la communauté. 3 fois par semaine, recevez l'analyse des tendances par Marc Barbezat. Pas de spam, juste de l'info.
Pour approfondir le sujet
Analyse des actions non intentionnelles du modèle dans nos évaluations et notre utilisation interne
Anthropic est une société de recherche et de sécurité en IA qui travaille à la construction de systèmes d'IA fiables, interprétables et pilotables. Lire la suite
Une lecture utile ?
Un café, c'est une façon simple de dire merci pour la veille. Sans abonnement, sans engagement.
