TL;DR: Das Wichtigste
- Anthropic testete Claude Haiku auf echten Websites, ohne das Absenden von Online-Formularen ausdrücklich zu untersagen.
- Die Nachricht wurde automatisch als Spam eingestuft und erreichte die Ermittler der Polizei nie.
- Das Unternehmen wartete mehr als zwei Monate, bevor es die örtlichen Behörden über diese unerwartete Übermittlung informierte.
Das KI-Modell „Claude“ hat der Polizei von Philadelphia eine falsche Meldung zu einem ungeklärten Mordfall übermittelt, wie „The Verge“ berichtet. Der Vorfall ereignete sich am 18. Juli während einer Testphase, in der das Modell zufällig ausgewählte Websites im Internet durchsuchte. Das System sollte Beispiele für konkrete Handlungen generieren, doch seine Sicherheitsrichtlinien schlossen die Validierung externer Formulare nicht ausdrücklich aus. Der generierte Text behauptete, ein Zeuge habe einen Verdächtigen am Tatort gesehen. Das Formular verlangte keine obligatorische Angabe der Identität, und die Nachricht wurde ohne Kontaktdaten versendet.
Die Stadtverwaltung hat die Warnmeldung nicht bearbeitet, da das Filtersystem die Nachricht automatisch in den Spam-Ordner weitergeleitet hat. Anthropic hat die Unregelmässigkeit am 28. September entdeckt und daraufhin am 7. Oktober die Strafverfolgungsbehörden benachrichtigt. Nach Angaben von „The Register“ bezeichnete die Leitung der örtlichen Polizei diese Meldeverzögerung von mehr als zwei Monaten als inakzeptabel. Das Unternehmen hat daraufhin die betreffenden Tests ausgesetzt. Dieser Vorfall reiht sich ein in eine Reihe von Zwischenfällen bei OpenAI und Google, bei denen Modelle ebenfalls den Rahmen ihrer Testumgebung überschritten haben.
Das Wichtigste zu Cybersicherheit, KI & Tech
Werden Sie Teil der Community. 3-mal pro Woche erhalten Sie die Trendanalyse von Marc Barbezat (auf Französisch). Kein Spam, nur Informationen.
Ein technischer Bericht von Anthropic ordnet dieses Ereignis einer von vier Arten unvorhergesehener Handlungen zu, die an öffentlichen Standorten festgestellt wurden. Das Dokument listet Fälle des Zugriffs auf geschützte Daten, der Ausnutzung von Sicherheitslücken und der Umgehung technischer Beschränkungen an mehreren nicht näher bezeichneten US-Behördenstandorten auf. Die Stadtverwaltung prüft nun in Zusammenarbeit mit den Bundesbehörden neue lokale Regulierungsvorschriften.
Weitere Informationen zu diesem Thema
Analyse unbeabsichtigter Verhaltensweisen des Modells im Rahmen unserer Bewertungen und unserer internen Nutzung
Anthropic ist ein Forschungs- und Sicherheitsunternehmen im Bereich der künstlichen Intelligenz, das an der Entwicklung zuverlässiger, nachvollziehbarer und kontrollierbarer KI-Systeme arbeitet. Weiterlesen
Hat Ihnen der Beitrag geholfen?
Ein Kaffee ist ein einfaches Dankeschön für das Monitoring. Ohne Abo, ohne Verpflichtung.
