Dass das im ersten Teil (Blättchen 17/2026 [1]) geschilderte Verhalten von KI-Agenten Ängste aufkommen lässt, die KI könne sich eines nicht zu fernen Tages verselbstständigen und dem Menschen – oder der Menschheit? – gefährlich werden, ist nicht erstaunlich. Indes sind solche Alarmrufe durchaus nicht neu. Alan Turing, einer der bekanntesten Pioniere des Computerzeitalters, formulierte sie schon 1951 in einem Aufsatz, und in jüngster Zeit werden sie mit wachsender Intensität wiederholt. So warnten im Juli 2026 mehr als 1000 Mitarbeiter verschiedener führender US-amerikanischer KI-Unternehmen in einem offenen Brief vor einem kurz bevorstehenden Kontrollverlust, wenn das Wettrennen zur Schaffung einer sogenannten Superintelligenz, die dem Menschen dann in jeder relevanten geistigen Hinsicht hoch überlegen sein soll, nicht strikter reguliert werde.
Und wie beurteilen die Fachleute in der Brutstätte der KI, dem Silicon Valley, die von KI ausgehenden Gefahren? 2025 war dem New Yorker zu entnehmen: Daniel Kokotajlo, ein früherer Mitarbeiter von OpenAI, hatte bereits 2021 eine Timeline für die Fortschritte geschrieben, die KI bis 2026 machen werde, und erklärte nun im Interview mit dem Magazin, dass viele dieser Fortschritte sehr rasch eingetreten seien. Er erwartete, dass KI schon 2027 besser sein würde, als die menschliche Intelligenz, später belegt durch sein Paper „AI 2027“.
Auf der anderen Seite veröffentlichten zur selben Zeit zwei Computerwissenschaftler der Universität Princeton ein Buch mit dem Titel „AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference“ („Quacksalberei: Was künstliche Intelligenz leisten kann, was nicht – und wie man den Unterschied erkennt“). Sie argumentierten, die mit KI verknüpften Visionen seien viel zu optimistisch, teilweise geradezu betrügerisch und die Technologie werde wegen der Komplexität der Welt, auf die sie stoße, lange nicht so schnell vorankommen, wie vielfach erwartet werde. Das konnten sie an vielen Beispielen belegen. In einem neueren Paper mit dem Titel „AI as Normal Technology“ („KI als alltägliche Technologie) bestehen beide Autoren darauf, dass praktische Hindernisse auf der administrativen wie der durch professionelle Standards geprägten Ebene die von anderen vorausgesagten Katastrophen verhindern würden. Sie meinen auch, KI dürfe nicht mit Atomwaffen, sondern allenfalls mit der Nutzung nuklearer Energie verglichen werden, die bislang letztlich gut funktioniere.
In einem Aufsatz in der ZEIT 34/2026) werden im Silicon Valley drei Denkrichtungen zu den Gefahren der KI identifiziert:
- Die erste Fraktion, die sogenannten Techno-Optimisten, halte Warnungen vor einer Super-KI für Hysterie und plädiere für radikalen Fortschritt um jeden Preis. Man träume von interplanetaren Reisen und ewigem Leben. Bedenken und Gesetze störten da nur. Dazu gehörten Peter Thiel (reich geworden mit PayPal und Mitbegründer, respektive -eigentümer des Überwachungskraken Palentir) und Marc Andreessen, Mitbegründer von Netscape, der die Regulierung von KI einmal eine Form von Mord genannt habe. (Diesen Mord lässt die US-Gesetzgebung nun zeitweise unmöglich werden, denn den Bundesstaaten ist von Washington für gewisse Zeit verboten, regulatorische Maßnahmen im Hinblick auf KI zu treffen. Präsident Trump höchstpersönlich hat sich auf die Seite der Antiregulierer geschlagen. So schrieb er: Gegen KI und zugehörige Rechenzentren sei eine „kranke Verschwörung“ im Gange, und nur China freue sich darüber.)
- Das zweite Lager, die größte Gruppe im Silicon Valley, gebe sich weniger aufgeregt: Für die sei die Superintelligenz eine überdrehte Science-Fiction-Fantasie, wahlweise auch eine Marketingstrategie, um mehr Gelder von Investoren einzutreiben. Auch sie hielten die KI als Technologie für bahnbrechend. An die Apokalypse glaubten sie jedoch nicht.
- Die dritte große Fraktion seien die sogenannten Doomer, die darüber stritten, ob eine Super-KI die Menschheit beflügeln oder auslöschen werde. Alles sei möglich: das Ende der Armut, die Überwindung der Klimakrise, der Sieg über alle Krankheiten ebenso wie eskalierende soziale Ungleichheit, neue Biowaffen und Schlimmeres. Viele aus dieser Fraktion arbeiteten in den Sicherheitsabteilungen von KI-Unternehmen und glaubten, der Menschheit so am effektivsten helfen zu können.
Am 12. September 2026 ist der Chor der Warner auch an der Spitze der Tech-Unternehmen größer geworden. So hat OpenAI seinen eigentlich noch für dieses Jahr geplanten Börsengang verschoben und der CEO der Firma Anthropic, Dario Amodei, warnt in einem Essay, die KI leichtfertig fortzuentwickeln, fordert ein langsameres Tempo und ausreichende auch externe Kontrolle. Zwar sei unwahrscheinlich, dass staatliche Regulierung mit der Geschwindigkeit der KI-Entwicklung mithalten könne. Aber es sei Aufgabe der Tech-Firmen selbst, solche Standards zu entwickeln und einzuhalten. Das werde natürlich zu einer Verlangsamung des bislang ungebremsten Wachstums von KI führen. Amodei hält das aber für vertretbar: „Ich glaube, wenn wir durch eine Verlangsamung auch nur ein oder zwei zusätzliche Jahre gewinnen könnten, bevor die Modelle ein kritisches Leistungsniveau erreichen, und wir diese Zeit nutzen würden, um die Abstimmung voranzutreiben, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich verringern..“ Auch andere Tech-Größen stimmen zu – darunter Sam Altman von OpenAI und Elon Musk.
Im Vordergrund der Kritik an diesen Bekenntnissen steht einerseits der Wille von Trump und Konsorten, den wirklichen oder vermeintlichen Vorsprung der USA auf dem KI-Sektor gegenüber China nicht in Gefahr zu bringen und andererseits der Argwohn, dass solche Alarmrufe auch den potenziellen Anlegern bei geplanten Börsengängen galten, um sie zu beruhigen. Ein weiterer Grund für die Warnungen der Bosse könnte eine größere und ständig wachsende Skepsis von Mitarbeitern in ihren eigenen Unternehmen sein.
Die Chancen für eine weltweite KI-Sicherheitsagentur, etwa nach dem Beispiel der Internationalen Atomenergie-Agentur, stehen nicht sonderlich gut. Ob eine solche Allianz zwischen Staaten und Unternehmen, wie Amodei sie fordert, wirklich zur Verlangsamung des KI-Fortschritts zustande kommen kann, bezweifle ich ernsthaft. Oft ist es doch so, dass alles, was technisch möglich ist, von irgendjemandem auch irgendwann umgesetzt wird. Und das sind keine rosigen Aussichten für die nähere oder fernere Zukunft.