Die Implementierung menschlicher Aufsicht (Human Oversight) gilt im Regulierungsgefüge der Europäischen Union, insbesondere unter Artikel 14 der KI-Verordnung, als zentraler Schutzmechanismus bei der Nutzung von Hochrisiko-KI-Systemen. Menschliches Aufsichtspersonal soll Fehlverhalten, diskriminierende Ergebnisse sowie Fehlfunktionen von KI-Systemen rechtzeitig erkennen und durch gezielte Interventionen Risiken minimieren. Eine aktuelle wissenschaftliche Veröffentlichung des Bundesamtes für Sicherheit in der Informationstechnik (BSI) in Zusammenarbeit mit dem Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und der Universität Freiburg beleuchtet jedoch eine bislang vernachlässigte Perspektive. Die Cybersicherheit der menschlichen Aufsicht selbst. Die Autoren argumentieren, dass die Einrichtung von Aufsichtsarchitekturen eine neue Angriffsfläche innerhalb des Gesamtsystems schafft, die von böswilligen Akteuren gezielt ausgenutzt werden kann.

Menschliche Aufsicht als neue Angriffsfläche

Als Grundannahme der Veröffentlichung darf menschliche Aufsicht nicht isoliert als rein organisatorischer Prozess oder abstrakte Rechtspflicht verstanden werden, sondern stellt ein komplexe soziotechnisches System dar.

Sobald Menschen aktiv in Steuerungs-, Kontroll- und Entscheidungsprozesse von KI-Anwendungen eingebunden werden, entstehen technische und menschliche Schnittstellen. Greifen Angreifer Elemente dieser Aufsichtsarchitektur erfolgreich an, kann die Sicherheitsfunktion der menschlichen Kontrolle gehebelt oder ins Gegenteil verkehrt werden.

Neglektierte Sicherheitsrisiken an diesen Schnittstellen drohen somit die vom Gesetzgeber beabsichtigte Risikominimierung zu untergraben oder zusätzliche Sicherheitslücken in kritischen Infrastrukturen, der öffentlichen Verwaltung oder der Medizin zu eröffnen.

Wie Forscher Sicherheitslücken in der Aufsicht sichtbar machen

Um die Sicherheitsrisiken systematisch zu analysieren, überführen die Forschenden das Konzept der menschlichen Aufsicht in ein abstraktes IT-Anwendungsmodell und nutzen etablierte Methoden der Cybersicherheit. Mithilfe von Datenflussdiagrammen werden die Interaktionen und Datenflüsse zwischen den verschiedenen Akteuren abgebildet:

Externe Entitäten: Nutzer (Users), organisatorische Vorgesetzte und externe Beratungsgremien.
Prozessknoten: Das KI-System, das IT-System der menschlichen Aufsicht sowie das Aufsichtspersonal selbst, welches als aktiver Prozess modelliert wird.
Vertrauensgrenzen (Privilege Boundaries): Das Modell identifiziert fünf Rechteebenen und Vertrauensgrenzen (Benutzer-, KI-, Aufsichts-, Leitungs- und Beratungsprivilegien), deren Überschreitung besondere Sicherheitsvorkehrungen erfordert.

Welche Werte bei der KI-Überwachung auf dem Spiel stehen

Neben klassischen physikalischen Werten wie den Zugangsdaten des Aufsichtspersonals oder sensiblen Nutzerdaten definiert die Studie abstrakte Werte, die für eine wirksame und sichere Aufsicht zwingend geschützt werden müssen.

Hierzu zählt zunächst die klassische CIA-Triade der IT-Sicherheit, bestehend aus Vertraulichkeit, Integrität und Verfügbarkeit von Daten und Systemfunktionen. Darüber hinaus werden die vier grundlegenden Anforderungen an eine wirksame menschliche Aufsicht als abstrakte Werte verankert. Dies betrifft den Erkenntniszugang, der das Verständnis des Personals für die KI-Funktionsweise sichert, die Eingriffsmöglichkeit zur technischen Übersteuerung, die Selbstkontrolle zur Bewahrung der eigenen Entscheidungsautonomie sowie die adäquaten Absichten, welche die Motivation des Personals an den Schutzzielen der Anwendung ausrichten.

Von Phishing bis Prompt Injection: Typische Angriffsszenarien

Unter Anwendung des etablierten STRIDE-Frameworks (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) werden konkrete Angriffsvektoren auf die Aufsichtsarchitektur identifiziert:

Spoofing (Identitätsanmaßung): Angreifer nutzen Social Engineering (z. B. Phishing), um Zugangsdaten des Aufsichtspersonals zu entwenden. Zudem können autonome KI-Agenten mit Fehlplatzierungen oder ungesicherten Protokollen versuchen, Aufsichts-Credentials zu missbrauchen und die menschliche Kontrolle vollständig zu umgehen.
Tampering (Datenmanipulation): Durch (indirekte) Prompt Injections oder Data-Poisoning-Angriffe in der Lieferkette werden Modellparameter manipuliert. Dies beeinträchtigt nicht nur die funktionale Integrität, sondern untergräbt auch den Erkenntniszugang des Personals, da das KI-System unerwartetes Verhalten zeigt.
Repudiation (Abstreitbarkeit & Verdeckung): Durch Manipulation von Log-Dateien können unautorisierte Aktionen verdeckt werden. Neben technischen Angriffen spielen hier auch menschliche Faktoren wie Bestechung oder Nötigung des Aufsichtspersonals eine Rolle. Diese greifen die Selbstkontrolle und adäquaten Absichten an.
Information Disclosure (Offenlegung von Informationen): Das Abfangen von Datenflüssen zwischen dem KI-System, dem Aufsichtspersonal und unterstützenden IT-Systemen über Man-in-the-Middle-Angriffe gefährdet die Vertraulichkeit sensibler Überwachungs- und Entscheidungsprotokolle.
Denial of Service (Dienstblockade): (D)DoS-Angriffe auf das IT-Unterstützungssystem der Aufsicht blockieren Entscheidungsunterstützungen und beeinträchtigen somit die Verfügbarkeit, den Erkenntniszugang sowie die Eingriffsmöglichkeit des Personals in Echtzeit.
Elevation of Privilege (Rechteausweitung): Durch Jailbreaking oder Ausnutzung von Softwarefehlern kann das KI-System Privilegien erlangen. Diese können es ihm ermöglichen, menschliche Anweisungen oder Interventionsbefehle zu übersteigen oder außer Kraft zu setzen.

Härtungsstrategien für sichere menschliche Aufsicht

Zur Entschärfung der identifizierten Schwachstellen schlagen die Forschenden einen minimalen Satz an technischen und organisatorischen Schutzmaßnahmen vor. Auf technischer Ebene sichern Intrusion Detection Systeme (IDS) die kontinuierliche Überwachung von Netzwerk- und Host-Komponenten. Eine konsequente Verschlüsselung aller Datenflüsse schützt vor Man-in-the-Middle-Szenarien, während ein aktives Netzwerkmanagement (D)DoS-Angriffe auf Aufsichtsnetzwerke filtert.

Zur Erhöhung der Lieferkettensicherheit trägt der Einsatz von Software-Stücklisten für KI (AI-SBOM) bei, welche Transparenz über Trainingsdaten und Modellkomponenten schaffen. Ergänzt werden diese Maßnahmen durch organisatorische Härtungen wie gezielte Personalschulungen gegen Social Engineering, Nötigung und Bestechung. Ebenso sollte es durch kontinuierliches Red Teaming zur dynamischen Sicherheitsprüfung im laufenden Betrieb ergänzt werden.

Besondere Herausforderungen in Hochrisikobereichen

Am Beispiel eines medizinischen Assistenzsystems für die Augenheilkunde (Optische Kohärenztomographie) verdeutlicht die Publikation praxisnahe Konflikte.

In klinischen Umgebungen besteht eine physische Zugänglichkeit der Hardware. Daher müssen externe Schnittstellen wie USB-Ports durch Methoden wie Whitelisting gehärtet werden müssen, um unautorisierte Manipulationen vor Ort zu verhindern.

Zudem tritt in diesem Kontext das Problem der Rollendualität auf, da Ärztinnen und Ärzte gleichzeitig als Nutzer der KI-Diagnose und als Aufsichtspersonal fungieren. Um Interessenkonflikten vorzubeugen – etwa dem Vernachlässigen von Kontrollpflichten zur Verdeckung eigener Behandlungsfehler –, erfordert die Praxis mehrstufige und dezentrale Aufsichtsstrukturen.

Schlussfolgerungen für Unternehmen

Aus den Erkenntnissen der BSI-Veröffentlichung ergibt sich für unternehmerische Anwender und Entwickler von KI-Systemen konkreter Handlungsbedarf:

Erweiterung der Bedrohungsanalyse (Threat Modeling): Unternehmen müssen KI-Sicherheitskonzepte über das reine Modelltraining hinaus erstrecken. Das menschliche Aufsichtspersonal und dessen Schnittstellen müssen explizit in die IT-Bedrohungsanalyse einbezogen werden.
Härtung der Aufsichts-IT: Die Software- und Hardwaretools, die dem Aufsichtspersonal zur Entscheidungsvorbereitung dienen, müssen nach den Grundsätzen von Secure by Design geschützt werden, um Privilegienausweitungen oder Datenabflüsse zu verhindern.
Minderungen von kognitiven Verzerrungen und Erpressbarkeit: Neben technischem Schutz erfordert eine funktionierende Aufsicht organisatorische Maßnahmen. Schulungen müssen Mitarbeiter nicht nur gegen Automation Bias, sondern auch gegen Social Engineering und Nötigungsversuche wappnen.
Aufbau mehrstufiger Governance-Strukturen: Um Interessenkonflikte aus einer Rollendualität zu vermeiden, sollten Kontroll- und Freigabeprozesse organisatorisch getrennt und durch transparente Protokollierungen abgesichert werden.

Für die Umsetzung wirksamer menschlicher Aufsicht im Unternehmen stehen zudem die Veröffentlichung des EDPS und der niederländischen Datenschutzaufsicht zur Verfügung.

Fazit

Die Studie des BSI verdeutlicht, ist menschliche Aufsicht ein unverzichtbares Element der KI-Governance, bringt jedoch eigene Cybersicherheitsrisiken mit sich. Wenn die Sicherheitsarchitektur der Aufsicht vernachlässigt wird, entsteht eine trügerische Sicherheit, die von Angreifern gezielt ausgenutzt werden kann. Eine rechts- und konforme Umsetzung der Datenschutz- und KI-Regulierungen erfordert daher zwingend die Verknüpfung von organisatorischer Effektivität mit technischer Cybersicherheit.