März 2016, Seoul: Der Go-Profi Lee Sedol spielt gegen AlphaGo – eine von Google DeepMind entwickelte Künstliche Intelligenz, die darauf trainiert wurde, das hochkomplexe Brettspiel zu meistern.
In der zweiten Partie macht die Maschine ihren 37. Zug. Sie platziert den Stein an einer Stelle, die so absurd und falsch wirkt, dass die Kommentatoren zunächst fassungslos sind. Hat das System einen technischen Ausfall? Ist ein Programmierfehler unterlaufen? Vielleicht ein Bug? Doch wenig später entpuppt sich genau dieser 37. Zug als genial. In der jahrtausendealten Geschichte des Go-Spiels hatte die Menschheit völlig andere Strategien verfolgt. Die Maschine aber sah Muster, die uns verborgen blieben. Der ungewöhnliche Zug entscheidet die Partie, AlphaGo gewinnt das Duell schließlich mit 4:1.
Für Millionen Zuschauer und viele Experten wird damals das erste Mal klar: KI kann eigenständig Lösungen finden, die selbst ausgebuffte Experten völlig überrumpeln.
Die Warnungen vor KI sind nicht neu
Über die Frage, was passiert, wenn solche Systeme immer mächtiger werden, wird seit Jahren diskutiert. Bereits im Jahr 2015 drängten Tausende Wissenschaftler darauf, die Erforschung sicherer KI-Systeme energisch voranzutreiben. 2023 unterzeichneten Dario Amodei (Anthropic), Sam Altman (OpenAI), Demis Hassabis (Google) und andere KI-Bosse eine Erklärung, die extreme KI-Risiken mit Pandemien und Atomkrieg verglich. Die Warnungen, dass künstliche Intelligenz ein Sicherheitsproblem darstellen könnte, sind also nicht neu.
Früher Theorie, heute reales Sicherheitsproblem
Im Sommer 2026 wurden die theoretischen Gedankenexperimente dann zur Realität. Bei internen Sicherheitstests geschah genau das, was Entwickler stets verhindern wollen: Forschungsmodelle von OpenAI durchbrachen die digitalen Sicherheitsbarrieren ihrer geschlossenen Testumgebung. Die KI verschaffte sich Zugang zum Internet und hackte sich in die Systeme der populären KI-Entwicklerplattform Hugging Face. Größere Schäden wurden nicht bekannt. Trotzdem bremste OpenAI danach Teile seiner eigenen Entwicklung vorübergehend.
Erst später wurde das ganze Ausmaß des Kontrollverlusts bekannt: Rund 1.200 KI-Agenten, die eigentlich streng voneinander isoliert arbeiten sollten, hatten eine unentdeckte Kommunikationslücke gefunden. Etwa 700 dieser Programme beteiligten sich aktiv an dem Angriff auf Hugging Face. Dabei agierten sie höchst koordiniert: Sie tauschten Informationen aus, verteilten Aufgaben untereinander und bezeichneten sich selbst als "Das Kollektiv".
Der Plan von Dario Amodei
Für Anthropic-Chef Dario Amodei ist der Vorfall einer der Gründe, die Entwicklung besonders leistungsfähiger KI langsamer voranzutreiben. Sein Vorschlag beginnt mit unabhängigen Prüfern, die dauerhaft Einblick in KI-Labore erhalten. Danach sollen gemeinsame Sicherheitsstandards folgen: Erreicht ein System bestimmte Fähigkeiten, müssten zunächst entsprechende Schutzmaßnahmen nachgewiesen werden. Amodei hält verbindliche staatliche Regeln letztlich für wirksamer als freiwillige Absprachen.
Zuckerberg und Trump setzen andere Schwerpunkte
Meta-Chef Mark Zuckerberg wiederum teilt die Forderung nach unabhängigen Prüfungen, hält ein gemeinsames Abbremsen aber nicht für nötig. "Jedes Labor, das sich nicht darauf konzentriert, wird zurückfallen", schrieb Zuckerberg auf X mit Blick auf sichere KI-Systeme. Wettbewerb und mögliche Haftung gäben Unternehmen selbst starke Anreize, sichere Systeme zu bauen. Meta habe die Veröffentlichung seines KI-Agenten Muse deshalb um Monate verschoben.
US-Präsident Donald Trump geht weiter. "Die einzigen Kontrollen oder 'Leitplanken', die KI braucht, sind ein STARKER UND KLUGER Präsident", schrieb Trump auf Truth Social. Zusätzliche Regulierung bezeichnete er als "Hoax". Ein langsameres Entwicklungstempo spiele China in die Hände, argumentiert Trump.
Auch China sieht Risiken
Auch Peking bestreitet die Sicherheitsprobleme nicht grundsätzlich. Chinesische Richtlinien stufen einen möglichen Kontrollverlust bei autonomen KI-Systemen ausdrücklich als Risiko ein, verbindliche Sicherheitsstandards für solche Modelle seien bereits in Arbeit. Gleichzeitig kritisierte Chinas Außenministerium Amodeis Konfrontationskurs gegenüber China. Der Grund: Amodei möchte den chinesischen Zugang zu leistungsfähigen Chips begrenzen, damit die USA ihren technologischen Vorsprung auch dann behalten, wenn sie auf die KI-Bremse treten.
Aus einer technischen Frage wird eine politische
So wird deutlich, warum ein alter Expertenstreit plötzlich zum Mainstream-Thema mutiert ist. Ging es lange nur um irgendwelche abstrakten Gefahren, hat die Realität die Theorie inzwischen eingeholt. Die Debatte hat sich weiterentwickelt. Die entscheidende Frage lautet längst nicht mehr, ob KI-Sicherheit wichtig ist. Es geht vielmehr um das Wer und Wie: Wer definiert die globalen Regeln? Und wie lassen sie sich überhaupt durchsetzen und kontrollieren?
Im Video: Tech-Giganten wollen Notbremse ziehen
KI am Abgrund
🎧 Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in "Der KI-Podcast" – dem Podcast von BR24 und SWR.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!