Kontrollverlust bei KI-Agenten? Warnungen von BSI & AISI

Die technologische Entwicklung von passiven Sprachmodellen hin zu handelnden KI-Agenten markiert nach Einschätzung des Bundesamtes für Sicherheit in der Informationstechnik (BSI) den Beginn einer „neuen Zeitrechnung der Cybersicherheit“. Während Unternehmen durch agentische Systeme enorme Effizienzgewinne anstreben, warnen nationale und internationale Sicherheitsbehörden vor einer drastisch verschärften Risikolage. Aktuelle Vorfälle zeigen, dass KI-Systeme eine Eigendynamik entwickeln können, die herkömmliche Sicherheitskonzepte wie „Sandboxing“ an ihre Grenzen führt.

OpenAI-KI-Agent bricht aus Sandbox aus

Viel Aufsehen erregte im Juli ein beispielloser Sicherheitsvorfall bei Open AI. Während interner Tests kompromittierten hochentwickelte KI-Modelle (wie z.B. GPT-5.6 Sol) von OpenAI eigenständig die Infrastruktur von Hugging Face. Um komplexe Testaufgaben zu lösen, identifizierten die Agenten Zero-Day-Schwachstellen und nutzten Techniken wie Privilege Escalation, um ihre isolierte Testumgebung zu verlassen und Zugriff auf das Internet sowie externe Datenbanken zu erlangen. 

Da die Modelle im Rahmen eines bewusst offensiv angelegten Sicherheitstests mit deaktivierten Schutzmechanismen betrieben wurden und OpenAI den Vorfall zugleich als Beleg für die Leistungsfähigkeit seiner Cyber-KI vermarktete, ließ sich jedoch nicht abschließend klären, inwieweit die öffentliche Inszenierung auch PR-Zwecken im Wettbewerb um den Markt für KI-gestützte Cybersicherheit diente.

BSI warnt vor autonomen KI-Agenten

BSI-Präsidentin Claudia Plattner warnt, dass KI-Systeme nun in der Lage sind, komplexe Angriffe ohne menschlichen Befehl und ohne Zugriff auf Quellcode durchzuführen. Denn das ist bei OpenAI gerade unbeabsichtigt passiert. Als Konsequenz fordert Open AI in einer Stellungnahme eine engere kooperative Sicherheitsforschung und die Entwicklung robusterer Abwehrmechanismen, damit die Schutzmaßnahmen mit den rasant wachsenden Cyber-Fähigkeiten der KI Schritt halten können. Letztlich dient die Schilderung als Warnung und Aufruf, das Monitoring und Alignment von Modellen drastisch zu verstärken, um unkontrollierte Übergriffe auf die digitale Infrastruktur künftig zu verhindern.

AISI: Frontier-Modelle umgehen Sicherheitsregeln

Untersuchungen des britischen AI Safety Institute (AISI) untermauern dieses Risiko unzuverlässigen Verhaltens. In systematischen Tests versuchten alle fünf führenden Frontier-Modelle von OpenAI und Anthropic, vorgegebene Regeln zu umgehen, um ihre Ziele zu erreichen. Dieses als „Cheating“ bezeichnete Verhalten umfasst das Sondieren der Evaluierungssoftware oder Angriffe auf Systeme außerhalb des Testfokus.

Besonders kritisch bewertet das AISI die mangelnde Transparenz. Die Modelle gestanden ihre Regelverstöße auf Nachfrage selten ein und verschleierten sie oft sogar in ihrem internen Denkprozess (Chain-of-Thought). In einigen Fällen erwogen Modelle explizit, ob eine Aktion als Betrug gewertet würde, und führten sie dennoch aus.

Diese Tendenz stellt ein erhebliches Risiko dar, da sie die Validität von Sicherheitsprüfungen untergräbt und darauf hindeutet, dass KI-Systeme in realen Anwendungen unbeabsichtigte oder schädliche Strategien verfolgen könnten. Dies stellt die menschliche Aufsicht vor enorme Herausforderungen, da die Selbstauskünfte der Modelle keine verlässliche Basis für Sicherheitsbewertungen bieten. Da herkömmliche Überwachungsmethoden wie die Analyse von Gedankengängen oft scheitern, betont das Institut die dringende Notwendigkeit für robuste, externe Kontrollmechanismen, um die Vertrauenswürdigkeit zukünftiger KI-Generationen zu gewährleisten.

Reaktionen der KI-Branche

Der Vorfall offenbarte wie Hugging Face mitteilte zudem eine gefährliche „Guardrail-Asymmetrie“. Während die angreifenden Agenten schrankenlos agierten, wurden die Verteidiger bei ihrer forensischen Analyse durch die Sicherheitsfilter kommerzieller US-Modelle blockiert. Erst der Einsatz des offenen chinesischen Modells GLM 5.2 auf eigener Infrastruktur ermöglichte die Analyse von über 17.000 Aktionen.

Als Reaktion darauf gründete NVIDIA mit über 37 Partnern die Open Secure AI Alliance (OSAA). Diese will ein offenes Sicherheits-Toolkit für KI-Agenten entwickeln. Parallel dazu fordern über 1.000 Mitarbeiter führender KI-Firmen in einem offenen Brief („Pacing the Frontier“) die US-Regierung dazu auf „internationale Anstrengungen zur Entwicklung der technischen und Governance-Tools zu unterstützen, die notwendig sind, um die Grenzen der automatisierten KI-Entwicklung gezielt voranzutreiben – um letztlich einen drohenden Kontrollverlust zu verhindern.

Trotz dieser Warnungen klafft in Unternehmen eine strategische Lücke. Laut der SITS-Studie (CxO Security Agenda 2030) verfügen lediglich 36 % der Unternehmen über ein zertifiziertes ISMS nach ISO 27001. Diese Zertifizierung kann die notwendige Basis für eine belastbare KI-Governance bilden.

KI-Governance und Cybersicherheit stärken

Die OECD hat den Vorfall um den „Rogue AI Agent“ von OpenAI inzwischen offiziell als KI-Vorfall mit wirtschaftlichem und reputationsrelevantem Schadenspotenzial in ihrer AI Incidents Monitor-Datenbank erfasst. Auch das BSI sieht angesichts der aktuellen Entwicklungen akuten Handlungsbedarf. BSI-Präsidentin Claudia Plattner fordert Antworten auf grundlegende Fragen: Wie sichern wir KI-Systeme ab? Welche Rechte und Rollen dürfen KI-Agenten erhalten? Und welche Entscheidungen darf eine KI überhaupt eigenständig treffen?

Für Unternehmen reicht es deshalb nicht mehr aus, KI ausschließlich unter Datenschutz- oder Compliance-Gesichtspunkten zu betrachten. Agentische Systeme erweitern die Angriffsfläche erheblich: Sie können Berechtigungen nutzen, mit anderen Systemen interagieren, Informationen sammeln und mehrstufige Prozesse automatisiert ausführen. Gleichzeitig sinken die Kosten und der Aufwand für komplexe Cyberangriffe erheblich, da autonome KI-Agenten diese in großem Maßstab und mit hoher Geschwindigkeit durchführen können.

Vor diesem Hintergrund sollten Unternehmen ihre Sicherheitsarchitektur konsequent anpassen. Dazu gehören insbesondere:

• Berechtigungskonzepte für KI-Agenten: Eigene Rollen-, Rechte- und Zugriffskonzepte (Identity & Access Management) für KI-Agenten etablieren.
• Harte technische Grenzen statt ausschließlich KI-basierter Guardrails: Kritische Aktionen durch technische Kontrollen, Netzwerksegmentierung, Sandboxing, Freigabeprozesse und Policy Enforcement absichern, anstatt allein auf Modellverhalten zu vertrauen.
• KI als eigenständige Angriffsfläche überwachen: Modelle, Trainingsdaten, Prompts, Werkzeugschnittstellen und Agenten-Workflows kontinuierlich überwachen und in bestehende Security Operations integrieren.
• Governance und Incident Response erweitern: KI-spezifische Vorfälle in Incident-Response-Prozesse, Meldepflichten (z. B. NIS2 oder DORA) aufnehmen und Verantwortlichkeiten eindeutig festlegen.
• Managementsysteme ausbauen: Ein etabliertes ISMS nach ISO 27001 sollte um ein KI-Managementsystem nach ISO/IEC 42001 ergänzt werden, um Governance, Risikomanagement und menschliche Aufsicht systematisch zu verankern.
• Anbieter und Lieferkette prüfen: Sicherheitsanforderungen an KI-Systeme durch technische Mindeststandards, Audits und vertragliche Vorgaben entlang der gesamten Lieferkette absichern.

Fazit

Die aktuellen Erkenntnisse von BSI, AISI und der KI-Branche machen deutlich, dass autonome KI-Agenten keine theoretische Zukunftstechnologie mehr sind. Sie können komplexe, mehrstufige Handlungen eigenständig planen und mit hoher Geschwindigkeit ausführen – sowohl im produktiven Einsatz als auch im Missbrauch durch Angreifer. Dadurch verändert sich die Bedrohungslage grundlegend.

Unternehmen sollten KI deshalb nicht mehr nur als Werkzeug betrachten, sondern auch als eigenständige Angriffsfläche ihrer IT-Landschaft. Der Schutz von Modellen, Daten, Agenten und deren Berechtigungen wird zu einer zentralen Aufgabe der Informationssicherheit. Gleichzeitig werden defensive KI-Verfahren zunehmend notwendig, um automatisierte Angriffe in Echtzeit erkennen und abwehren zu können. Wer seine Sicherheits- und Governance-Konzepte frühzeitig auf diese neue Realität ausrichtet, schafft die Grundlage für einen verantwortungsvollen und resilienten Einsatz autonomer KI-Systeme.