BSI zu Chancen und Risiken von XAI in der Cybersicherheit

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat ein Whitepaper mit dem Titel „Erklärbare künstliche Intelligenz (XAI): Chancen und Risiken für die Cybersicherheit“ veröffentlicht. Vor dem Hintergrund einer dynamischen Bedrohungslage und der zunachsenden Komplexität moderner IT-Infrastrukturen greifen Unternehmen vermehrt auf Systeme der Künstlichen Intelligenz (KI) zurück, um Angriffe frühzeitig zu erkennen und abzuwehren. Komplexe Modelle agieren im Betrieb jedoch häufig als unübersichtliche „Black Box“, deren Entscheidungsfindung für menschliche Analysten kaum nachvollziehbar ist.

Das Forschungsfeld der Erklärbaren Künstlichen Intelligenz (Explainable Artificial Intelligence, XAI) setzt an diesem Transparenzdefizit an. Die neue BSI-Publikation schafft eine systematische Orientierungs- und Bewertungsgrundlage dafür, in welchen Szenarien XAI die Cyberresilienz stärkt und an welchen Stellen der Einsatz neuer Angriffsvektoren eröffnet. Wie bereits frühere Beiträge auf datenschutzticker.de zu aktuellen Sicherheitstrends verdeutlicht haben, erfordert die Integration fortschrittlicher KI-Lösungen stets eine kritische Abwägung zwischen Effizienzgewinnen und neuen Sicherheitsrisiken.

Potenziale von XAI für Transparenz und Effizienz in der Cyberabwehr

Der Hauptvorteil von XAI-Methoden liegt in der Erhöhung der Vertrauenswürdigkeit und Akzeptanz KI-basierter Sicherheitssysteme. Erst wenn Entscheidungsfaktoren offenliegen, können IT-Sicherheitsexperten automatisierte Warnmeldungen inhaltlich einordnen und fundierte Schutzmaßnahmen einleiten.

In der Praxis zeigen sich konkrete Anwendungschancen insbesondere bei netzwerkbasierten Angriffserkennungssystemen (Network Intrusion Detection Systems, NIDS). Durch den Einsatz von Erklärbarkeitsmethoden lassen sich Fehlalarme (Falsch-Positiv-Meldungen) schneller filtern und Bedrohungen wie Denial-of-Service-Attacken oder unautorisierte Zugriffsversuche gezielt priorisieren.

Ebenso bietet XAI beim Reverse Engineering von Schadsoftware deutliche Zeit- und Ressourceneinsparungen, indem relevante Codeabschnitte und Abhängigkeiten im Assembler-Code automatisch hervorgehoben werden. Darüber hinaus unterstützen globale Erklärungsansätze (wie SHAP-Analysen) Entwickler bei der Modelloptimierung und beim Debugging, um fehlerhafte Gewichtungen zu korrigieren und Systeme gegen KI-spezifische Angriffe wie Adversarial Examples zu härten.

XAI als Angriffsvektor und Ziel von Manipulationen

Neben den betrieblichen Chancen warnt das BSI eindringlich vor den Risiken einer unbedachten Bereitstellung von XAI-Funktionen. Die Offenlegung von Modelllogiken erzeugt ein verhängnisvolles Doppelseitigkeitsproblem (Dual-Use): Die Erklärungen selbst können von Cyberkriminellen als Informationsquelle zweckentfremdet werden.

Bei sogenannten Model Extraction Attacks (Modelldiebstahl) nutzen Angreifer XAI-Erklärungen lokaler Entscheidungsgrenzen, um ein Ziel-Modell – etwa einen KI-basierten Virenscanner – mit einer signifikant geringeren Anzahl an Systemabfragen präzise nachzubilden. Auf dieser Basis lassen sich Schadprogramme entwickeln, die Detektionsschwellen gezielt umgehen. Zudem sind Erklärbarkeitsmethoden selbst anfällig für Angriffe. Durch Backdoor-Trigger oder Manipulationen der Erklärungskomponente kann ein kompromittiertes KI-System schädliche Eingaben als harmlos klassifizieren, während die ausgegebene XAI-Erklärung der Kontrollinstanz fälschlicherweise eine ordnungsgemäße Prüfung vortäuscht.

Grenzen der Erklärbarkeit

Auch bei ordnungsgemäßem Gebrauch stößt XAI an methodische Grenzen. Ein fundamentales Problem stellt das sogenannte Uneinigkeitsproblem dar: Verschiedene Post-hoc-Erklärungsverfahren liefern für ein und dieselbe Modellentscheidung nicht selten widersprüchliche Ergebnisse, da ihnen unterschiedliche mathematische Annahmen zugrunde liegen.

Diese Problematik deckt sich mit den Ergebnissen einer Untersuchung von Anthropic zur Verlässlichkeit von Chain-of-Thought (CoT) bei Denkmodellen, über die datenschutzticker.de berichtete. Die Studie zeigte, dass modellgenerierte Gedankengänge die tatsächliche interne Logik selektiv verschleiern können und daher keine Garantie für echte Transparenz bieten. Zudem verursacht die Berechnung komplexer Erklärungen zusätzliche Rechenkosten (Computational Costs) und Latenzen. Ohne ausreichendes Domänenwissen der Anwender wächst zudem das Risiko von Fehlinterpretationen oder eines blindem Vertrauens in automatisierte Ausgaben (Automation Bias).

XAI im KI-Governance-Gefüge

Das BSI stellt klar, dass XAI allein keine vollständige Sicherheit garantiert, sondern in ein übergeordnetes Governance- und Compliance-Framework eingebettet werden muss.

Allein im letzten Jahr haben das BSI und andere Institutionen einige Dokumente für Unternehmen veröffentlicht:

• BSI A5 Prüfarchitektur: Der A5-Kriterienkatalog nutzt Standards wie ISAE 3000, um die technische Vertrauenswürdigkeit von KI-Systemen – inklusive Erklärbarkeit und menschlicher Aufsicht – auditierbar zu machen.
• Zero Trust für LLM-Systeme: Die gemeinsamen Designprinzipien von BSI und ANSSI fordern, Ausgaben von Sprachmodellen und KI-Agenten niemals blind zu vertrauen, sondern strikte Zugriffsgrenzen einzuhalten.
• G7-Richtlinien für KI-SBOM: Wo mathematische Erklärungsmodelle an ihre Grenzen stoßen, schafft die Software Bill of Materials (SBOM) Transparenz über Trainingsdaten, Modelleigenschaften und Lieferketten im Sinne des Cyber Resilience Acts (CRA).
• EU-Leitlinien zu wirksamer menschlicher Aufsicht (EDPS): Der Europäische Datenschutzbeauftragte (EDPS) betont in seinem TechDispatch zur menschlichen Aufsicht bei automatisierten Entscheidungssystemen, dass Kontrolle mehr als eine formale Geste sein muss. Eine wirksame menschliche Aufsicht (Human-in-the-Loop) erfordert echte Einflussmöglichkeiten und Interventionsrechte der Bediener, um vollautomatisierten Entscheidungen nach Art. 22 DSGVO vorzubeugen und Risiken wie Automation Bias oder eine Übertragung von Verantwortung auf das Bedienpersonal abzuwenden

Fazit

Das BSI-Whitepaper verdeutlicht, dass Erklärbare Künstliche Intelligenz ein wertvolles Instrument zur Optimierung, Verifizierung und Effizienzsteigerung von Cybersicherheitslösungen ist. XAI stellt jedoch kein Allheilmittel dar und kann bestehende Sicherheitsrisiken durch neue Angriffsvektoren sogar verschärfen. Eine rechtssichere und belastbare KI-Compliance erreichen Unternehmen nur, wenn sie technische Erklärungsansätze mit organisatorischen Schutzmaßnahmen, lückenloser Lieferkettentransparenz und konsequenter menschlicher Kontrolle kombinieren.

Möchten Sie die Transparenz und Governance Ihrer eingesetzten KI-Systeme auditieren oder eine maßgeschneiderte KI-Richtlinie nach aktuellen BSI-Standards etablieren? Wir unterstützen Sie gerne bei der rechts- und sicherheitskonformen Gestaltung Ihrer digitalen Geschäftsprozesse.