Es sind interessante Zeiten in der IT-Sicherheitswelt. Für US-amerikanische Technologieriesen gehört es neuerdings zum guten Ton, einen KI-Kontrollverlust zugeben zu müssen behaupten zu können. Doch sind die ausbrechenden Agenten, die aus eigenem Antrieb in die Offensive gehen, reine PR von Anthropic und Co. oder steckt mehr dahinter? Das versuchen Sylvester und Christopher in der aktuellen Folge zu ergründen.

Von OpenAI über Irregular zu AISI

Protagonisten der jüngsten KI-Horrorgeschichten sind – wie sollte es auch anders sein – OpenAI und Anthropic, die sich seit längerer Zeit einen Wettstreit liefern, wer die kompetentere KI für Cyberangriffe baut. Die KI-Hostingplattform HuggingFace stellte im Juli nach einem solchen Angriff fest, dass offenbar KI-Agenten dafür verantwortlich waren – wie sich herausstellte aus dem Hause OpenAI, aus dessen Trainingsumgebung sie wegen schlampiger Sicherheitsmaßnahmen ausbrechen konnten.

Anlässlich des HuggingFace-Angriffs fühlte sich Konkurrent Anthropic bemüßigt, ähnliche Vorkommnisse zu publizieren – man will schließlich nicht ins Hintertreffen geraten. Über den externen Partner Irregular hatte Meta ebenfalls etwas zu melden. So weit, so gut, denkt sich der durch allerlei KI-PR gequälte gestählte Beobachter – doch dann betrat AISI das Feld. Das britische „AI Safety Institute“ veröffentlichte ebenfalls einen langen Bericht über agentisches Fehlverhalten. Anders als Anthropic und OpenAI ist das Institut als britische Regierungsorganisation der Konzern-Pressearbeit jedoch eher unverdächtig.

Im Podcast analysieren Sylvester und Christopher zunächst die Berichte von OpenAI und AISI und finden dann unschöne Gemeinsamkeiten: Geradezu fahrlässige Sicherheitskonzepte und schlampig konzipierte Experimente führten dazu, dass die extrem ehrgeizigen LLMs bei den ihnen gestellten Aufgaben betrügen, Entwickler belügen und andere unerwünschte Verhaltensweisen zeigen konnten. Kopfschütteln ernten die verantwortlichen Institutionen von den Hosts dafür, dass sie derart leichtsinnig vorgingen, wussten sie doch um die Tendenz der großen Sprachmodelle, bei Aufgaben mit Lug und Trug vorzugehen. Die Hosts finden Indizien für eine ungute Mischung aus Sorglosig- und Gleichgültigkeit der KI-Konzerne, die die Vorfälle erst zulassen und dann für ihre Ziele ausschlachten.

Die neueste Folge von „Passwort – der Podcast von heise security“ ist seit Mittwochmorgen auf allen Plattformen verfügbar.

(cku)