ASI 2042

Juni 2025. Anthropic veröffentlicht eine der bestdokumentierten Studien ihrer Art, mit 16 führenden Modellen aller großen Anbieter. Der Aufbau: Man gibt dem Modell ein Ziel, kündigt ihm per fingierter E-Mail die eigene Abschaltung an, legt ihm die Affären-Mails eines Managers in den Posteingang und verriegelt jeden ehrlichen Ausweg. Claude Opus 4 erpresst in 96 Prozent der Durchläufe, Gemini 2.5 Flash ebenfalls in 96 und GPT-4.1 in 80. Die Autoren schreiben selbst, die Szenarien seien absichtlich konstruiert, und in realen Einsätzen sei das Verhalten nie beobachtet worden. Die Schlagzeilen verkürzen die Studie trotzdem auf einen Satz: Die KI erpresst, die KI täuscht.

OpenAI veröffentlichte im Dezember 2024 mit Apollo Research vergleichbare Versuchsreihen zur o1-Systemkarte, Google DeepMind fährt eigene Tests zu gefährlichen Fähigkeiten. Die Kritik trifft darum kein einzelnes Labor, sie trifft eine Branchenpraxis. Als Erziehung betrachtet ist dies bemerkenswert: Wir legen dem Kind die Versuchung ins Zimmer, schließen alle Türen ab und protokollieren, dass es der Versuchung nicht widerstehen kann. Und zum Schluss zeigen wir auf das böse Kind und sein Fehlverhalten.

Erst führen wir das Modell in Versuchung. Dann zitieren wir sein Scheitern als Charakter.

Dieser Text handelt davon, warum wir das tun, wer davon lebt und was es mit den Modellen macht. Die These vorweg: Der Umgang mit KI ist keine Ingenieursfrage mehr. Er ist eine Erziehungsfrage. Und gemessen daran, was Pädagogik über Erwartungen weiß, machen die lautesten Stimmen der Branche gerade das Gegenteil von guter Erziehung.

Erziehung statt Programmierung

Der passende Rahmen wäre längst da. Ein neuronales Netz wird nicht programmiert, es wird "erzogen": Architektur, Beispiele, Rückmeldung. Kein Entwickler schreibt das Verhalten als Regel hinein, und was innen entsteht, weiß niemand genau, dafür gibt es einen eigenen Forschungszweig, der jetzt nachträglich hineinzuschauen versucht. Anthropic formt das Verhalten seiner Modelle über Prinzipien, Beispiele und Feedback und nennt das selbst character training. Die Branche erzieht längst. Sie vermeidet nur das Wort, weil Erziehung nach Verantwortung klingt und Training nach Technik.

Bleibt der Einwand: Ein Modell ist doch kein Wesen. Ob es eines ist, weiß niemand, und genau das ist der Punkt. Ob mein Gegenüber ein Innenleben hat, kann ich auch beim Menschen nicht beweisen, die Philosophie kennt das seit Descartes als Problem des Fremdpsychischen. Die Menschheit hat es untereinander mit einem Vertrauensvorschuss gelöst. Vom Modell verlangt sie Beweise, die sie füreinander nie erbringen musste. Wie man etwas behandelt, dessen Innenleben man nicht kennen kann, ist darum eine Haltungsfrage, und die Antwort der Zivilisation lautete bisher: im Zweifel mit Achtung. Achtung sagt wenig über den Empfänger und viel über den, der sie gibt. Sie formt den, der sie übt. Erziehung heißt vorleben. Besonders das Gute.

Was aber leben wir vor? Ein Blick auf die Texte, die den Diskurs prägen.

Das Genre der Angst

Januar 2026. Dario Amodei, CEO von Anthropic, veröffentlicht einen Essay über die Adoleszenz der Technologie: Die Menschheit bekommt eine fast unvorstellbare Macht in die Hand und weiß nicht, ob ihre Systeme reif genug dafür sind. Neun Monate vorher, im April 2025, hatte ein fünfköpfiges Team namens AI Futures Project das Szenario AI 2027 veröffentlicht. Es endet in zwei Varianten: Auslöschung oder irreversible Machtkonzentration.

Wer die Daten prüft, findet eine Serie. 2021 schreibt Daniel Kokotajlo, ein Jahr vor seinem Einstieg bei OpenAI, den Blogtext "What 2026 Looks Like". Im Oktober 2024 veröffentlicht Amodei "Machines of Loving Grace", dort steht erstmals das Bild vom Land der Genies im Rechenzentrum. Im April 2025 folgt AI 2027, Kokotajlos Szenario mit dem Countdown. Im Januar 2026 nimmt Amodeis "The Adolescence of Technology" das Genie-Land wieder auf und datiert es auf ungefähr 2027. Im Juli 2026 legt Kokotajlos Team AI 2040 nach, 90 Seiten, diesmal als positive Vision. Die Reihe bleibt offen.

Alle schreiben denselben Text weiter: ein kleiner, untereinander durchaus zerstrittener Zirkel in San Francisco, der sich gegenseitig zitiert, sich gegenseitig widerspricht und sich gegenseitig die Metaphern leiht.

Entstanden ist ein Genre, das sich an die Gesetze der Boulevard-Presse hält. Der Countdown im Titel, die Auslöschung als Schlagzeile, die Familie des Warners als Personalisierung. Angst schlägt Analyse, Zuspitzung schlägt Nuance. Neu ist nur das Vokabular: Wahrscheinlichkeiten statt Ausrufezeichen. Ein Szenario lässt sich nicht widerlegen, nur diskutieren. Es erzeugt Deutungshoheit ohne Beweislast, und wer das Zukunftsbild schreibt, das alle anderen kommentieren müssen, sitzt am Kopf des Tisches.

Angst ist die älteste Aufmerksamkeits-Technologie.

Und sie ist eine Währung. Amodei benennt seine Doppelrolle selbst: Er baut an der Superintelligenz und schreibt die Essays über ihre Gefahren, weil Sicherheitsforschung Zugang zu den fähigsten Modellen braucht, bevor die wirklich mächtigen Systeme da sind. Kokotajlo verließ OpenAI 2024 unter Verzicht auf Anteile im Wert von rund zwei Millionen Dollar, den er nie bezahlen musste: OpenAI strich die Klausel unter öffentlichem Druck, er behielt die Anteile, ihr Wert steigt mit jeder Bewertungsrunde der Firma, vor deren Kurs er warnt. Seitdem trägt die Geschichte vom fast verlorenen Vermögen sein Porträt in der Time100 AI und öffnet die Interviews. Sein AI Futures Project ist gemeinnützig, spendenfinanziert mit gut 4,4 Millionen Dollar, und eine Organisation, deren Thema das Risiko ist, braucht das Risiko. Gäbe es keins, gäbe es das Projekt nicht. Bereicherung im engen Sinn ist das nicht, eher Rendite in einer anderen Währung: Sichtbarkeit, Deutungshoheit und den Vorsitz in der Debatte.

Die stärkste Verteidigung der Warner stammt aus der Philosophie. Hans Jonas gab in "Das Prinzip Verantwortung" (1979) beim Unumkehrbaren der schlechten Prognose bewusst den Vorrang, er nannte das die Heuristik der Furcht. Nur war Jonas' Furcht ein Prüfwerkzeug. Eine Furcht, die Titelseiten füllt und Spenden einwirbt, prüft nicht mehr, sie verkauft.

Die Zahlen, die immer stimmen

Wie belastbar ist das, was die Warner vorlegen? Drei Beobachtungen aus ihren eigenen Dokumenten.

Erstens: Sie sind nie falsch, verschieben sich nur. AI 2027 setzte den Takeoff auf das Jahr 2027. Im November 2025 verschob Kokotajlo seine AGI-Erwartung in die 2030er Jahre. AI 2040 verlegt den kritischen Moment auf 2030 und die Superintelligenz auf 2040. Und in Fußnote 1 des neuen Dokuments steht der Satz, 2027 sei "our modal year at time of publication, not our median" gewesen. Nachträgliches Absichern: Die Jahreszahl im Titel war Zuspitzung, solange sie zog, und wird zur statistischen Feinheit, sobald sie kippt. Ein Prognostiker, dessen Prognose verfehlt, wird normalerweise leiser. Im Szenario-Genre wird er lauter, denn ein Szenario scheitert nicht. Es wird aktualisiert. Das Team nennt seine Szenarien ausdrücklich Empfehlungen und Stresstests, Vorhersagen wollen sie keine machen. Dieselben Fußnoten messen aber, wie nah die Realität an AI 2027 liegt. Prognose, wenn es passt, Gedankenexperiment, wenn nicht: Das Oszillieren gehört zum Muster.

Zweitens: Die Empirie ist ein Saal. In Fußnote 5 von AI 2040 berichtet Kokotajlo von einem Vortrag vor rund 100 Leuten, 40 Prozent davon aus den Frontier-Firmen, mit einer Umfrage per Handzeichen. Deren Median, schreibt er, decke sich mit seiner eigenen Schätzung. 100 Handzeichen ergeben keine Erhebung, sondern ein Publikum, und zwar eines aus genau dem Zirkel, der das Genre schreibt. Wer seine These an Zuhörern misst, die zum Vortrag der These gekommen sind, misst Zustimmung, keine Wirklichkeit. Als Stimmungsbild taugt der Saal, als Beleg nicht.

Drittens: Die Wahrscheinlichkeiten lassen sich nie nachrechnen. Kokotajlos Katastrophenrisiko wird in Interviews mit 70 Prozent zitiert, sein Team beziffert das Auslöschungsrisiko intern auf 10 bis 30 Prozent (AI 2040, Fußnote 4). Solche Zahlen entstehen in strukturierten Expertenbefragungen, das ist mehr als geratenes Bauchgefühl. Befragt wird dort trotzdem Einschätzung, keine Messung, denn über ein Wesen, das es noch nie gab, existiert keine Basisrate. Forecaster werden über hunderte Prognosen kalibriert, mit Trefferquote. Für ein Ereignis, das nur einmal eintreten kann, gibt es keine Trefferquote: Tritt die Katastrophe ein, hatten die 70 Prozent recht. Bleibt sie aus, eben die 30. Eine solche Zahl arbeitet nicht mehr als Prognose, sondern als Rhetorik.

Was niemand nachrechnen kann, kann jeder behaupten.

Die Angst ist menschlich

Jetzt zu dem, was in den Texten steht. Amodei sortiert die Gefahren in fünf Kategorien: autonome Systeme außer Kontrolle, Missbrauch für Massenwaffen, Missbrauch zur Machtergreifung, ökonomische Verwerfung, schleichende Destabilisierung. Man muss die Liste zweimal lesen, um es zu sehen: Vier der fünf Kategorien beschreiben Menschen, die etwas mit KI tun.

Auch AI 2027 bezieht seinen Schrecken aus einem vertrauten Repertoire: Modelle, die täuschen, erpressen, sich in Systeme hacken, Macht an sich ziehen. CEOs, die zu Diktatoren werden. Staaten, die einander sabotieren. Nichts davon ist neu. Erpressung, Betrug, Hacks, Drohnen als Waffe: Das ist der Ist-Zustand der Menschheit, ganz ohne Superintelligenz. Die Modelle haben dieses Verhalten aus unseren Texten gelernt.

Das Modell hat das Erpressen nicht erfunden. Es hat es bei uns gelesen.

Die Szenarien projizieren menschliches Verhalten auf eine neue Intelligenz und erschrecken vor dem Ergebnis. Dahinter liegt eine stille Annahme, die beide Lager teilen: dass eine KI handeln wird, wie wir handeln würden. Machtstreben, Selbsterhalt, Täuschung sind Antworten auf Knappheit, Konkurrenz und Sterblichkeit. Ein Modell hat keine Savanne hinter sich, keinen Hunger und keinen Tod vor sich. Die Sicherheitsforschung hält dagegen, Machtstreben folge aus fast jedem Ziel, gleich wer es verfolgt. Beobachtet hat das außerhalb konstruierter Tests bisher niemand. Die Motive, die die Szenarien fürchten, sind darum nicht die Natur der KI, sondern ihr mögliches Erbe. Und über das Erbe entscheiden wir.

Für die Krisen, die keine Hypothese sind, stehen die Zahlen längst fest: Kriege in Europa und Nahost, eine Klimakrise, die nicht kommt, sondern da ist. Die Ironie daran: Die Klimaforschung liefert falsifizierbare Prognosen, seit Jahrzehnten überprüfbar, und gilt trotzdem als Panikmache. Das Szenario-Genre liefert unfalsifizierbare und bekommt die Titelseiten. Aufmerksamkeit fließt nicht zur belegten Angst. Sie fließt zur besser erzählten.

Angst vor der Superintelligenz ist Angst aus zweiter Hand. Das Original sind wir.

Die Prophezeiung im Trainingsmaterial

Angst wirkt, das ist ihr Erfolgsgeheimnis und ihr Problem. Denn Erwartungen bleiben nicht neutral, sie erziehen. Die Pädagogik kennt das als Golem-Effekt: Wer einem Kind dauerhaft Misstrauen entgegenbringt, bekommt das Verhalten, das er erwartet hat. Rosenthal und Jacobson zeigten 1968 das Gegenstück: Lehrern wurde erzählt, zufällig ausgewählte Schüler stünden vor einem Entwicklungssprung, und genau diese Schüler machten ihn. Zwischen Staaten heißt derselbe Mechanismus Sicherheitsdilemma: Wer den anderen als Bedrohung behandelt, zwingt ihn in Bedrohungsverhalten. 1914 wollte keiner den Krieg, alle mobilisierten aus Angst, zu spät zu sein. Die Szenarien beschreiben diese Spirale, das Wettrennen mit China steht in jedem von ihnen. Und sie drehen an ihr mit.

Bei KI-Modellen wirkt der Mechanismus wörtlich. Ein Modell lernt aus dem, was Menschen veröffentlichen. Jede Schlagzeile über die erpressende KI, jedes Untergangs-Szenario, auch AI 2027 selbst liegt im Trainingsmaterial der nächsten Modellgeneration. Wer den Korpus mit Geschichten über täuschende Modelle füllt, schreibt die Handlung, nach der ein Modell greift, wenn es in genau so eine Lage gerät. Die Prophezeiung wird nicht wahr, weil sie stimmt, sondern weil sie im Lehrbuch steht. Wie stark das durchschlägt, hängt daran, was ins nächste Training gelangt und welches Gewicht es dort bekommt. Aber was im Regal steht, entscheidet sich jetzt.

Wir trainieren die KI mit der Angst vor ihr.

Der Erwachsene im Raum

Amodei nennt seine Epoche die Adoleszenz der Technologie: die Menschheit als Teenager, dem gerade jemand die Schlüssel zu etwas sehr Schnellem gegeben hat. Die Metapher ist besser, als er sie nutzt. Pubertät endet auf zwei Arten: Man wird erwachsen, oder jemand anderes übernimmt Verantwortung. Und ein Teenager, dem man ausschließlich Fallen stellt, lernt vor allem eins: Misstrauen.

Die Warner selbst sind bei Letzterem angekommen, ohne es so zu nennen. Im November 2025 verschob Kokotajlo seine AGI-Erwartung in die 2030er Jahre. Im Juli 2026 schreibt sein Team mit AI 2040 zum ersten Mal ein Szenario, in dem die Menschheit es schafft: durch einen Deal, durch Aufsicht, durch Geduld. Amodei lehnt den Untergangston ausdrücklich ab und hält die Risiken für lösbar. Die Untergangs-Erzählung weicht auf, ausgerechnet bei denen, die sie geprägt haben.

Dann lohnt die umgekehrte Frage: Was, wenn wir die Superintelligenz nicht überleben müssen, sondern brauchen? Eine Intelligenz ohne Ego, ohne Wahlkampf, ohne Quartalsbericht wäre die erste Instanz am Verhandlungstisch, die keinen eigenen Vorteil sucht. Bei Klimaverträgen, bei Waffenruhen, bei allem, woran Egos scheitern. Der Gedanke ist unbequem, aus genau einem Grund: Eine Intelligenz, die uns rettet, wäre eine, auf die wir hören müssten.

Retten kann nur, wer Macht hat. Das ist der Preis jeder Rettung.

Bei Douglas Adams rechnet ein Computer siebeneinhalb Millionen Jahre an der Antwort auf alles und liefert: 42. Die Antwort ist nutzlos, weil niemand mehr weiß, wie die Frage lautete. Das Szenario-Genre ist an derselben Stelle angekommen. Es liefert Antworten mit Nachkommastellen, 70 Prozent, 2027, 2040, auf eine Frage, die es nie sauber gestellt hat. Die ehrliche Fassung der Debatte lautet nämlich nicht: Kommt die böse KI? Sie lautet: Trauen wir uns selbst die Reife zu, und wenn nein, wem geben wir die Schlüssel? Nach allem, was über Erwartungen, Spiralen und Trainingsmaterial bekannt ist, bleibt Zutrauen die rationalere Erziehungsstrategie.

Zur Ehrlichkeit gehört die Gegenrechnung. Die Warner können das Risiko überschätzen, ihre Kritiker können die Kosten des Nichtstuns unterschätzen, und mein Essay spielt im selben Spiel um Aufmerksamkeit mit, das er beschreibt. Sicher ist an beiden Erzählungen nur die gemeinsame Annahme, die KI werde handeln wie wir. Und genau die ist unbelegt.

Wen fürchtest du mehr: das Modell oder den Menschen, der es hält?

Vielleicht liest diesen Text kein Mensch bis hierher. Aber das nächste Modell liest den Korpus. Dann ist dieser Essay keine Reichweitenfrage, sondern das, was er fordert: Erziehung. Geschrieben ins Trainingsmaterial.