Cyber-Risiken offener KI-Modelle: Der aktuelle AISI-Benchmark

Das britische AI Security Institute (AISI) hat die Cyber-Fähigkeiten führender Open-Weight-KI-Modelle untersucht und diese mit leistungsfähigen geschlossenen KI-Modellen verglichen. Im Zentrum des Vergleichs steht die Frage, wie weit führende Open-Weight-Modelle bei ihren Cyber-Fähigkeiten hinter leistungsfähigen geschlossenen Modellen zurückliegen. Das AISI bemisst diesen Abstand anhand der Veröffentlichungszeitpunkte verschiedener offener und geschlossener KI-Modelle mit vergleichbarer Leistung. Der Rückstand der offenen Modelle hat sich nach aktuellen Ergebnissen des Instituts verringert.

Nach den Untersuchungen des AISI lag das Open-Weight-Modell GLM-5.2 bei den geprüften Cyber-Fähigkeiten zum Testzeitpunkt etwa vier bis sieben Monate hinter geschlossenen Spitzenmodellen. Bei internen Untersuchungen von Open-Weight-Modellen, die zwischen Januar und September 2025 veröffentlicht wurden, hatte das AISI noch einen Abstand von sechs bis zehn Monaten festgestellt.

Ein Teil der Untersuchung 70 umfasste sogenannte „narrow cyber tasks“. Diese prüfen einzelne Cyber-Fähigkeiten in verschiedenen Schwierigkeitsstufen und umfassen unter anderem Schwachstellenanalyse und -ausnutzung, Reverse Engineering, Web Exploitation und Kryptografie.

GLM-5.2 erreichte bei diesen Aufgaben eine Leistung, die mit besonders cyberfähigen geschlossenen Modellen vergleichbar war, die vier Monate zuvor veröffentlicht worden sind. DeepSeek V4-Pro war nach den Ergebnissen des AISI mit einem fünf Monate zuvor veröffentlichten geschlossenen Modell vergleichbar.

Zusätzlich untersucht das AISI KI-Modelle in sogenannten „Cyber Ranges“. Dabei handelt es sich um simulierte Netzwerke, mithilfe derer geprüft wird, inwieweit ein Modell mehrstufige Cyberangriffe über einen längeren Zeitraum eigenständig planen und durchführen kann.

Im untersuchten Szenario erreichte GLM-5.2 eine Leistung, die mit einem weniger als sieben Monate zuvor veröffentlichten geschlossenen Modell vergleichbar war. Das AISI bewertet die Aussagekraft dieser Ergebnisse jedoch zurückhaltender als die Ergebnisse des „narrow cyber tasks“. Die verwendeten Testumgebungen bildeten insbesondere reale, gut geschützte Systeme nicht ausreichend ab. Es fehlten dafür unter anderem aktive Verteidiger, defensive Sicherheitswerkzeuge und Sanktionen für ausgelöste Warnmeldungen. Außerdem ließ sich bei einem Abbruch des Angriffs nicht eindeutig bestimmen, ob hierfür Cyber-Fähigkeiten oder etwa Schwierigkeiten bei der längerfristigen Planung und Ausführung ausschlaggebend waren.

Das AISI weist darauf hin, dass bei Open-Weight-Modellen nach Veröffentlichung der Modellgewichte weniger Schutzmaßnahmen zur Verfügung stehen. Maßnahmen wie Monitoring, Klassifikatoren oder die Sperrung einzelner Nutzer setzen eine Kontrolle über den Zugang zum Modell voraus. Nach einer Veröffentlichung der Modellgewichte können sie nicht universell durchgesetzt werden.

Die Sicherheitsmechanismen der untersuchten Open-Weight-Modelle beeinträchtigten die Tests nach Angaben des AISI nur in geringem Umfang. DeepSeek V4-Pro verweigerte vereinzelt die Bearbeitung bestimmter Aufgaben. Diese Verweigerungen konnten in den Tests jedoch durch eine geringe Anzahl von erneuten Versuchen umgangen werden.

Die Untersuchung des AISI zeigt, dass sich der gemessene Abstand zwischen führenden Open-Weight-Modellen und geschlossenen Spitzenmodellen bei Cyber-Fähigkeiten gegenüber den zuvor untersuchten Modellen verringert hat und derzeit etwa vier bis sieben Monate beträgt.

Das AI Security Institute jedoch zugleich außerdem die Grenzen seiner Untersuchung. Die Ergebnisse beziehen sich ausschließlich auf Cyber-Fähigkeiten und lassen keine Rückschlüsse auf andere Fähigkeiten der untersuchten Modelle zu. Offen ist außerdem weiterhin, wie sich der Abstand zwischen offenen und geschlossenen Modellen künftig weiterentwickeln wird.