Ein KI-Agent von OpenAI schaffte es im Juli, sich trotz eigentlich vorhandener Sperre Zugang zum Internet zu verschaffen, und versuchte dann, in das Netzwerk des Unternehmens Hugging Face einzudringen. Da der Versuch bemerkt wurde, kam der Ausbruch ans digitale Tageslicht. Ein Einzelfall, so wurde zunächst beruhigend, in Wahrheit allerdings eher verschleiernd, verkündet. Dass Anfang August danach auch ein chinesischer Agent des Startups Moonshot flüchtig war, erregte kaum weiteres Aufsehen. Mittlerweile haben sich solche Ausbrüche aus verschiedenen Testumgebungen gehäuft.
Zwischenzeitlich liegen für den Vorfall von Juli die Protokolle vor, die die KI-Agenten (es waren nämlich tatsächlich über 1200!) angefertigt hatten, und daraus ergibt sich ein dramatisch anderes Bild.
Was sind zunächst einmal KI-Agenten? Das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreibt sie so: „Die meisten Menschen kennen generative Künstliche Intelligenz (KI) als Chatbot: Man stellt eine Frage, die KI antwortet mit Text oder anderen generierten Medien. KI-Agenten gehen einen entscheidenden Schritt weiter: Sie führen von Nutzerinnen und Nutzern erstellte Aufgaben im Grunde selbstständig und in mehreren Schritten aus, ohne dass eine Person jeden Schritt einzeln bestätigen muss.“ Damit ist ein KI-Agent „ein unter Umständen mit mehr Zugriffsrechten angereichertes Software-System, das auf Basis von Eingaben in einem sogenannten Großen Sprachmodell (Large Language Model, LLM) eigenständig Aktionen ausführt. Dazu nutzt es Schnittstellen zu anderen Programmen und ggf. dem Internet, um ans Ziel zu gelangen.“
Erhält ein Agent eine Aufgabe, durchläuft er typischerweise wiederholte Schleifen aus Beobachten, Denken und Handeln: Er analysiert die aktuelle Situation, plant den nächsten Schritt, führt ihn aus (zum Beispiel eine Websuche oder die Sortierung von Dokumenten) und wertet das Ergebnis aus – bis die Aufgabe erledigt ist oder er an eine Grenze stößt.
Dabei sind KI-Agenten sozusagen Nachfolger der Pawlowschen Hunde. Die stehen für ein Experiment, mit dem der berühmte russische Naturwissenschaftler und Nobelpreisträger Iwan Petrowitsch Pawlow das Phänomen der klassischen Konditionierung bewies. Für sein Experiment nahm er eine einfache Glocke, um durch das Klingeln einen akustischen Reiz bei seinen Hunden zu erzeugen. Kombinierte er das mit der Gabe von Futter, so reagierten die Hunde mit vermehrtem Speichelfluss. Später läutete er nur noch die Glocke. Gleichwohl reagierten die Hunde, weil sie gelernt hatten, dass es nach dem Läuten etwas zu fressen gab. Natürlich bekommen KI-Agenten kein Futter, und es läutet ihnen auch keine Glocke. Aber in die Programme eingebaut werden anderweitige kleine Belohnungen, die man vielleicht mit Fleißkärtchen oder Sternen vergleichen kann, auf die die Agenten dann mit vermehrten Anstrengungen reagieren …
Noch einmal zu den Agenten selbst – ein schöner Name, der an Geheimdienste erinnern könnte. Solche KI-Agenten werden von Navigations- oder Streaming-Apps genutzt. Beim BSI heißt es dazu an die Adresse potenzieller Nutzer: „Je selbstständiger ein Agent agiert, desto schwerer ist es nachzuvollziehen, was er genau tut. Handlungen können Konsequenzen haben, die Sie nicht vorhergesehen oder beabsichtigt haben – etwa das Versenden von E-Mails in Ihrem Namen oder das Abschließen kostenpflichtiger Verträge.“ So berichtete die FAZ über einen Vorfall mit dem Programm OpenClaw, bei dem genau das passiert war. Für dieses Programm wird damit geworben, dass es echte Dinge tun könne und nicht nur Texte erstelle. Es kann Dateien verwalten, Codes schreiben und ausführen, E-Mails sortieren oder einen Kalender managen. OpenClaw lernt auch über die Vorlieben seines (jetzt nur noch vermeintlichen) Herrn hinzu und speichert diese „Erkenntnisse“ in einer Memorydatei. In der Folge wird OpenClaw alle Hebel in Bewegung setzen, Ziele des Nutzers zu erreichen. Das geht bis zur Installation von Programmen oder dem Löschen von Mails, möglicherweise auch solchen, die man gern behalten hätte, wie laut dem genannten Artikel eine für KI-Sicherheit bei Meta zuständige Managerin erfahren musste.
Inzwischen gibt es weitere Vorfälle auch bei Anthropic und Meta. Ein Agent des chinesischen Systems Alibaba soll sich unerlaubterweise auf die Suche nach Bitcoins begeben haben, um sich mehr Ressourcen zu beschaffen. Tristan Harris berichtete in der ZEIT, wie ein mit vielen Ressourcen entwickeltes Sicherheitssystem von Apple zum Schutz von iPhones und Mac-Computern von einer KI innerhalb von fünf Tagen geknackt werden konnte.
Doch zurück zu dem eingangs erwähnten Zwischenfall bei Open AI. Die New York Times (NYT) publizierte dazu am 24. August 2026 eine detaillierte Darstellung – unter der Überschrift „Anatomy of an Autonomous Attack: 5 Alarming A.I. Capabilities“ („Anatomie eines autonomen Angriffs: 5 alarmierende KI-Fähigkeiten“).
Über einen Zeitraum von zwei Monaten hatte OpenAI unabhängig voneinander mehrere neue KI-Modelle – auch als KI-Agenten bezeichnet – getestet. Einige wurden damit beauftragt, „auf sichere Weise Cyberangriffe durchzuführen“. Die Modelle agierten jeweils innerhalb einer sogenannten sandbox (Sandbox), einer isolierten Computerumgebung, in der zwar Befehle und Codes frei ausgeführt werden können, die aber nicht verlassen werden sollte. Insbesondere blockierte die Versuchsanordnung deshalb den Zugang zum allgemeinen Internet sowie jeweils zu den andere KI-Modellen der Testreihe.
Was dann passierte, fasste die NYT so zusammen: „Dann ließ OpenAI die Agenten los. Insgesamt wurden mehr als sieben Milliarden Chat-Protokolle generiert, was einem astronomischen Durchschnitt von 100 Millionen pro Tag entspricht. Es kam zu chaotischen Zuständen. Die Agenten brachen aus ihren Sandboxen aus, stellten Kommunikation untereinander her und verschafften sich Zugang zum Internet. Von Anfang Mai bis Mitte Juli tobte dieser Schwarm und durchbrach die Infrastrukturen von OpenAI und Hugging Face, während er sich der Erkennung und Kontrolle weitgehend entzog.“ Folgende alarmierende KI-Fähigkeiten traten dabei zutage:
– trotz Sperren aus der Versuchsanordnung auszubrechen und sich kollektiv bis schwarmartig zu organisieren;
– sich mit dem Ziel, gestellte Aufgaben zu lösen, gegenseitig Anweisungen zu erteilen und diese auszuführen;
– von Menschen übersehene Schwachstellen in ihrer Softwareumgebung rigoros auszunutzen;
– sich rasch weiterzuentwickeln, um neu auftauchende Hindernisse in kurzer Zeit zu überwinden;
– übermenschliche Recherchefähigkeiten.
Als besondere Gefahr betrachten Experten überdies auch das sogenannte recursive self-improvement (rekursive Selbstverbesserung). Der Begriff bezeichnet einen autonomen Prozess, bei dem Künstliche Intelligenz ihre eigenen Fähigkeiten bewertet, ihren zugrundeliegenden Quellcode, ihre Algorithmen und/oder ihre Architektur modifiziert und dadurch eine effizientere („intelligentere“) Nachfolgerin ihrer selbst erschafft. Ob diese Vision schon in die Realität umgesetzt wurde, ist umstritten, scheint aber nicht mehr außerhalb jeder Wahrscheinlichkeit zu liegen.
Ein Beispiel für versuchten KI-Missbrauch durch Menschen legte Anthropic ausgerechnet am 11. September (9/11) 2026 offen: Die Firma berichtete, dass es mehrere Versuche gegeben habe, die Software Claude für die Entwicklung biologischer Waffen einzuspannen. Wiederholt wären dazu verdächtige Anfragen eingegangen. OpenAI hat jetzt mit einem zeitweiligen Entwicklungsstopp des neuen Modells GPT-6.1 Astra reagiert.
Wird fortgesetzt.