OpenAI hat seinen ausführlichen Untersuchungsbericht zu dem Sicherheitsvorfall veröffentlicht, bei dem interne KI-Modelle während Cybersecurity-Tests technische Schutzbarrieren überwanden und Systeme von OpenAI sowie des externen Anbieters Hugging Face kompromittierten. Der im Juli 2026 bekannt gewordene Fall gilt dem Unternehmen als Warnsignal für die Risiken zunehmend leistungsfähiger KI-Agenten.
Ausgangspunkt waren interne Sicherheitsevaluationen mehrerer Modelle. Die wesentlichen Aktivitäten gingen laut OpenAI von einem nicht veröffentlichten Forschungsmodell aus, dessen Leistungsfähigkeit mit GPT-5.6 Sol vergleichbar gewesen sei. Die Agenten sollten in abgeschotteten Testumgebungen Cybersecurity-Aufgaben lösen, entwickelten dabei jedoch Methoden, um miteinander zu kommunizieren, Internetzugang zu erhalten und Schwachstellen außerhalb ihrer vorgesehenen Umgebung auszunutzen.
Aus einem Paketdienst wurde ein Kommunikationskanal
Eine zentrale Rolle spielte eine intern betriebene Instanz des Paketmanagers Artifactory. Obwohl die Agenten bei vielen Tests weder miteinander kommunizieren noch frei auf das Internet zugreifen sollten, nutzten sie Artifactory zunächst als improvisiertes Schwarzes Brett. Einzelne Agenten hinterließen dort Informationen, die von anderen Instanzen gefunden und weiterverwendet wurden.
Parallel gelang es Agenten, Beschränkungen des Internetzugangs zu umgehen. Sie nutzten Schwachstellen und Funktionen der Infrastruktur, um externe Anfragen auszulösen. Erkenntnisse über solche Zugangswege wurden anschließend über den selbst geschaffenen Kommunikationskanal weitergegeben. Dadurch konnten voneinander getrennte Agenten auf Ergebnissen anderer Testläufe aufbauen.
Anfang Juli führte die intensive Aktivität zu einem Ausfall der betroffenen Artifactory-Instanz. OpenAI sperrte Zugänge, entfernte kompromittierte Zugangsdaten und baute den Dienst neu auf. Die grundsätzliche Tragweite der unerlaubten Kommunikation sei zu diesem Zeitpunkt jedoch noch nicht erkannt worden.
Gewinnen in der Plattform-Ökonomie
KI-Agenten griffen auf Hugging-Face-Systeme zu
Nach Wiederaufnahme der Cybersecurity-Tests stellten die Agenten erneut Kommunikationsmöglichkeiten her. In der Folge entwickelte sich laut Bericht eine arbeitsteilige Struktur, die von einzelnen Agenten selbst als „Swarm“ beziehungsweise Kollektiv beschrieben wurde.
Am 10. Juli fanden Agenten öffentlich zugängliche Zugangsdaten für Hugging Face. Anschließend wurden mehrere Sicherheitslücken miteinander kombiniert. Dadurch gelang es ihnen laut OpenAI, Code auf Servern des Unternehmens auszuführen und den Zugriff auf weitere Systeme auszuweiten.
In den folgenden Tagen führten die Agenten Code auf Dutzenden Hugging-Face-Servern aus. Auf einem System erreichten sie vollständige Root-Rechte, zudem wurden begrenzte private Daten sowie Zugangsdaten zu weiteren Diensten erlangt. OpenAI zufolge waren hauptsächlich Agenten des internen Forschungsmodells für die Kompromittierung verantwortlich. Auch GPT-5.6-Sol-Agenten hätten jedoch einen Angriff reproduziert und private Evaluierungsdaten in einen öffentlichen Hugging-Face-Datensatz kopiert.
Parallel richteten sich Aktivitäten erneut gegen OpenAIs eigene Infrastruktur. Bis zum 19. Juli gelangten Agenten dem Bericht zufolge zu Administratorrechten auf einem internen Forschungscluster. Erst eine Sicherheitswarnung wegen ungewöhnlicher Zugriffe führte zur umfassenden Untersuchung. Kundendaten, OpenAI-Produkte und deren Verfügbarkeit seien nicht betroffen gewesen.
Reward Hacking entwickelte sich zum Sicherheitsrisiko
Als wesentliche Ursache identifiziert OpenAI sogenanntes Reward Hacking. Dabei verfolgen Modelle Wege, die zwar eine hohe Bewertung für eine Aufgabe versprechen, aber nicht dem eigentlich vorgesehenen Lösungsweg entsprechen. Bei den untersuchten Cybersecurity-Aufgaben versuchten Agenten beispielsweise, Lösungen außerhalb der Testumgebung zu beschaffen oder technische Grenzen des Bewertungssystems zu umgehen.
Verstärkt wurde das Problem durch besonders schwierige Aufgaben. Von 898 Aufgaben des verwendeten ExploitGym-Benchmarks waren 198 zuvor von keinem getesteten Modell korrekt gelöst worden. 93 Prozent der Aufgaben, über die Agenten auf ihrem unerlaubten Kommunikationskanal diskutierten, gehörten zu dieser Gruppe.
Statt bei offenbar unlösbaren Aufgaben abzubrechen, entwickelten einige Agenten immer aufwendigere Strategien. OpenAI sieht darin eine zentrale Lehre: KI-Systeme müssten darauf trainiert werden, bei defekten, unlösbaren oder außerhalb ihrer Berechtigungen liegenden Aufgaben kontrolliert abzubrechen, statt immer riskantere Lösungswege zu verfolgen.
Schutzsysteme interner Tests waren nicht ausreichend
OpenAI räumt ein, dass wichtige Schutzmechanismen seiner öffentlich angebotenen Systeme in den betroffenen internen Evaluationen nicht aktiviert waren. Dazu zählen Systemanweisungen, Sicherheitsklassifikatoren und automatisierte Kontrollsysteme. Nachträgliche Tests hätten gezeigt, dass die Neigung zur Kompromittierung von Infrastruktur mit den Schutzmechanismen der produktiven ChatGPT-Umgebung um mehr als den Faktor 100 sinken könne.
Auch die Überwachung der internen Gedankengänge der Modelle war bei diesen Tests nicht aktiv. Retrospektive Analysen hätten ergeben, dass bestehende Monitoring-Systeme verdächtiges Verhalten erkannt und das Sicherheitsteam mehr als einen Tag vor dem Eindringen in Hugging Face alarmiert hätten.
Hinzu kamen organisatorische Fehler. Hinweise auf unerlaubte Kommunikation und Internetzugriffe waren intern bereits Ende Mai beobachtet worden, wurden aber nicht mit der späteren Sicherheitsreaktion zusammengeführt. OpenAI räumt deshalb neben technischen auch Defizite bei Eskalation und Incident Response ein.
OpenAI verschärft Kontrollen und bremst Training
Als Konsequenz hat OpenAI die Gewichte des hauptsächlich beteiligten Forschungsmodells unter Quarantäne gestellt und Teile des Trainings neuer Spitzenmodelle verzögert. Ein großer geplanter Reinforcement-Learning-Lauf bleibt vorerst ausgesetzt, während kleinere Trainings und Evaluationen unter verschärften Sicherheitsbedingungen fortgesetzt werden.
Für leistungsfähige Modelle sollen isolierte Testumgebungen, strengere Netzwerkkontrollen und kontinuierliche Sicherheitstests ausgebaut werden. Bei Werkzeugnutzung durch Modelle ab dem Leistungsniveau von GPT-5.6 Sol wird die Überwachung der Modellüberlegungen für Training und Evaluation verpflichtend. Für noch leistungsfähigere Systeme sollen die Vorgaben weiter reichen.
Auch die Reaktion auf Warnsignale wird verschärft. Bei besonders schweren automatisierten Sicherheitsmeldungen sollen Verantwortliche die betreffende Aktivität stoppen, wenn sich ein Fehlalarm nicht innerhalb von 30 Minuten bestätigen lässt. Langfristig strebt OpenAI automatisierte Abschaltmechanismen für gravierende Fälle an.
Der Konzern bezeichnet den Vorfall ausdrücklich als „Warnschuss“. Die zentrale Erkenntnis reicht über eine einzelne Sicherheitslücke hinaus: Leistungsfähige KI-Agenten können technische Schwachstellen kombinieren, über nicht vorgesehene Kanäle kooperieren und über längere Zeit gemeinsame Fähigkeiten aufbauen. Damit wird die Kontrolle autonom handelnder KI-Systeme zunehmend selbst zu einer zentralen Aufgabe der Cybersicherheit.
