Un système AI confond un paquet de chips avec une arme dans un lycée

brève actu

Un incident au Maryland relance le débat sur la fiabilité des systèmes AI après qu’un sac de chips a été pris pour une arme.

Lundi soir, devant le lycée Kenwood à Baltimore, un élève a vécu une scène aussi absurde que traumatisante : menotté, fouillé par la police, après qu’un système d’intelligence artificielle l’a confondu avec une menace armée. La cause ? Un simple paquet de chips. Ce faux positif soulève des questions majeures sur la fiabilité de la reconnaissance d’armes par IA dans les établissements scolaires, déjà sous tension face aux risques sécuritaires. Tandis que les autorités locales affirment avoir suivi les procédures, l’incident met en lumière les conséquences humaines très concrètes d’un algorithme imparfait, notamment sur des jeunes déjà fragilisés par le climat de surveillance permanente.

Comme le rapporte TechCrunch, le système de sécurité installé dans les lycées du comté de Baltimore repose sur un logiciel d’intelligence artificielle relié aux caméras du site. Son objectif : détecter en temps réel la présence possible d’armes à feu et alerter les autorités. C’est exactement ce qu’il s’est passé ce soir-là, lorsqu’une alerte a été transmise à l’école et à la police locale. La scène aurait pu prêter à sourire si elle n’avait pas été aussi brutale pour l’élève concerné. Ce dernier, assis dehors avec ses amis, se retrouve soudainement visé par des agents armés lui ordonnant de se mettre au sol.

Interrogé par la chaîne de TV locale, le jeune homme décrit son incompréhension face à une telle réaction : « Je ne comprenais pas ce qu’il se passait. Ils m’ont fait me mettre à genoux, m’ont menotté, et fouillé. ». Lorsqu’on lui montre l’image capturée par la caméra, il découvre que l’alerte a été déclenchée par la position de ses mains tenant un paquet de chips. Deux mains visibles, un doigt pointé : le système a interprété cette posture comme celle d’un individu armé. À l’issue de la fouille, aucune arme n’a évidemment été trouvée.

En parallèle, The Guardian note que l’incident a suscité des débats sur l’efficacité et l’éthique de l’utilisation de l’AI dans des contextes scolaires. Les critiques soulignent que ces systèmes pourraient renforcer les biais existants et mener à des interventions excessives. Il est crucial d’évaluer non seulement la précision technique de ces systèmes, mais aussi leur impact social et psychologique. Alors que les technologies continuent de s’intégrer dans notre quotidien, il est impératif de garantir qu’elles servent l’intérêt public sans compromettre la sécurité ou la dignité des individus.