Es ist nur ein Satz – aber er hat es in sich. "Wir fordern ein Verbot der Entwicklung von Superintelligenz, das erst aufgehoben wird, wenn ein breiter wissenschaftlicher Konsens besteht, dass dies sicher und kontrollierbar geschehen kann, und eine starke öffentliche Zustimmung vorliegt." Mit dieser Forderung hat das Future of Life Institute am 22. Oktober 2025 ein neues Statement veröffentlicht, das binnen weniger Tage über 13.000 Unterschriften gesammelt hat.
Unter den Unterzeichnern finden sich prominente Namen: Prinz Harry und Herzogin Meghan haben das Statement unterschrieben, ebenso wie die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, Apple-Mitgründer Steve Wozniak und Unternehmer Richard Branson. Bemerkenswert ist auch die politische Bandbreite: Von Susan Rice aus dem Obama-Kabinett bis zum ehemaligen Trump-Berater Steve Bannon reicht die Liste der Unterstützer.
🎧 Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in "Der KI-Podcast" – dem Podcast von BR24 und SWR.
Was ist Superintelligenz überhaupt?
Das Statement richtet sich gegen eine Technologie, die es noch gar nicht gibt: eine künstliche Intelligenz, die Menschen bei praktisch allen kognitiven Aufgaben deutlich übertreffen würde. Eine solche "Superintelligenz" könnte sich selbst exponentiell verbessern und wäre um ein Vielfaches mächtiger als jeder Mensch. Die Unterzeichner warnen vor wirtschaftlicher Verdrängung, dem Verlust von Freiheiten, Gefahren für die nationale Sicherheit – und im Extremfall sogar vor dem Aussterben der Menschheit.
Das Verbot soll zwei klare Bedingungen haben: Erstens müsse die Wissenschaft sich einig sein, dass Superintelligenz sicher gebaut werden kann. Zweitens brauche es eine demokratische Zustimmung der Gesellschaft. Erst dann dürfe die Entwicklung weitergehen.
Kritik: Angstmacherei für Regulierung?
Doch die Initiative stößt auch auf Widerstand. Vor allem aus dem Silicon Valley kommt der Vorwurf, die "Doomer" – also diejenigen, die vor einer KI-Apokalypse warnen – würden Angst schüren, um Regulierung durchzusetzen, die vor allem etablierten KI-Konzernen nutze. Der Trump-Vertraute David Sacks hat etwa dem Unternehmen Anthropic öffentlich vorgeworfen, eine "ausgeklügelte Strategie zur regulatorischen Vereinnahmung auf Basis von Angstmacherei" zu verfolgen. Die Befürchtung: Strenge Regeln würden vor allem Start-ups treffen und den großen Playern einen Vorteil verschaffen.
Auch die praktische Umsetzbarkeit wird hinterfragt. Wie genau soll "Entwicklung von Superintelligenz" definiert werden? Wer entscheidet, wann "breiter wissenschaftlicher Konsens" erreicht ist? Und wie misst man "starke öffentliche Zustimmung"?
Reihe von Warnungen
Das neue Statement reiht sich ein in eine Serie von Warnrufen der letzten Zeit. Doch nicht alle folgen der gleichen Stoßrichtung. Parallel zur Debatte um Superintelligenz läuft auch bei den Vereinten Nationen eine Initiative für internationale Regeln. Bei der UN-Generalversammlung in New York forderten Nobelpreisträger wie die Journalistin Maria Ressa und der Ökonom Joseph Stiglitz "rote Linien" für den Einsatz von KI. "Wir fordern Ihre Regierungen auf, klare internationale Grenzen zu setzen, um allgemein inakzeptable Risiken von KI zu verhindern", sagte Ressa in ihrer Rede. "Definieren Sie zumindest, was KI niemals tun dürfen sollte." Dabei geht es weniger um die Angst vor einer Superintelligenz und mehr um den Einsatz von KI zur Überwachung und Manipulation.
Der Soziologe Claudius Härpfer von der RWTH Aachen, der erforscht, wie Technologien Gesellschaften verändern, sieht das Problem nicht nur in der Zukunft. "KI ist eine Technologie, die schon seit Beginn an von dem Versprechen lebt, dass sie den Menschen ersetzen kann", sagt Härpfer. "Und wir sind technisch an einem Punkt, wo eine Maschine nicht nur Texte schreiben, sondern Sprache verstehen, Bilder erzeugen und sogar Emotionen simulieren kann. Das ist natürlich enorm weitreichend. Wenn Kommunikation so produziert wird, dass niemand mehr sicher sagen kann, ob sie echt oder künstlich ist – dann ist das brandgefährlich."
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!