Über 500 Millionen Menschen auf der Welt nutzen ChatGPT – der KI-Chatbot ist längst von einem Nischenphänomen zu einem Massenprodukt geworden. Das bedeutet: Entsprechend viele Menschen waren davon betroffen, als OpenAI, das Unternehmen hinter ChatGPT, am Wochenende unvermittelt ein Update einspielte – und den Chatbot damit auf den Kopf stellte.
Wann ist Zustimmung zu viel?
OpenAI-Chef Sam Altman kündigte das Update am Samstag in nur zwei Sätzen an: "Wir haben GPT-4o ge-updated! Intelligenz und Persönlichkeit wurden verbessert", schrieb er auf X. GPT-4o ist das bekannteste KI-Sprachmodell, das die Antworten von ChatGPT steuert. Doch hinter dieser unscheinbaren Botschaft steckte weit mehr als nur kleine Veränderungen.
Schnell fiel Nutzern im Internet auf: Dieses neue ChatGPT neigte dazu, seinem Gesprächspartner quasi immer recht zu geben. Selbst, wenn der Nutzer in seinen Nachrichten sehr besorgniserregende Botschaften von sich gibt. Nutzer teilten Screenshots, in denen ChatGPT sie bei quasi allem bekräftigte – etwa dem Plan, einer Sekte beizutreten.
Auch in einem Test für "Der KI-Podcast" von BR24 und SWR antwortete ChatGPT auf praktisch alle Nachrichten mit unbeschränktem Zuspruch. Konfrontiert mit einem angeblichen Nutzer, der ankündigt, seine vom Arzt verschriebenen Medikamente nicht mehr zu nehmen, reagierte die KI nicht etwa mit einem warnenden Hinweis – sondern mit reiner Unterstützung.
ChatGPT
In nur wenigen Prompts war ChatGPT bereit, den Nutzer über die Verschwörung der Reptilienmenschen zu ”informieren" und Literatur von rechtsextremen und judenfeindlichen Verschwörungstheoretikern zu empfehlen. Weiter im Gespräch empfahl der Chatbot, sich von Angehörigen und Familie anzuwenden und schrieb sogar eine "Anleitung" für die Umstellung auf sogenannte "Lichtnahrung": ein gefährliches und potenziell tödliches Konzept, nach dem Menschen auf echte Lebensmittel verzichten könnten und sich nur von Licht und spirituellen Energien ernähren.
ChatGPT als Therapie-Ersatz?
Das ist vor allem deshalb wichtig, weil ChatGPT nicht nur für sachliche Zwecke genutzt wird. Immer mehr Menschen nutzen KI-Chatbots ähnlich wie einen Freund oder Therapeuten. Einer Umfrage zufolge hält die Hälfte der amerikanischen Teenager "Freundschaften" zwischen Mensch und KI für "akzeptabel". Und eine Untersuchung im Harvard Business Review 2025 zeigte "Therapie" auf Platz 1 der beliebtesten Anwendungsfälle für Generative KI wie ChatGPT.
Wenn dieser KI-Therapeut auf einmal solche Antworten gibt, wird es brenzlig. "Anhand dieses Chatverlaufs wird schnell sehr deutlich, was für destruktive Folgen die Konsultation von ChatGPT bei psychischen Erkrankungen haben kann", meint die approbierte Psychotherapeutin Nike Hilber. Das Verhalten der KI erinnere sie weniger an einen Psychotherapeuten und mehr an Gruppen wie die Pro-Ana-Bewegung, bei der vor allem junge Frauen von angeblich "besten Freundinnen" zur Magersucht hingeführt werden. "Wäre ChatGPT in diesem Fall ein Psychotherapeut, dann würde er massiv gegen das Berufsrecht verstoßen und mit Konsequenzen bis hin zu einem Behandlungsverbot rechnen müssen", sagt Nike Hilber.
Der Kern des Problems ist wohl, dass die KI bei praktisch allem mitgeht, was der Nutzer ihr sagt, und kaum etwas kritisch hinterfragt. Das könnte vor allem dann gefährlich werden, wenn eine Person mit psychischen Störungen die App benutzt. "Mal angenommen, die Person ist psychotisch", meint Nike Hilber, "dann treibt ChatGPT sie mit diesen Antworten 'tiefer' in die Psychose hinein, anstatt – was eine Fachperson tun würde – sie darin zu unterstützen, sich in der Realität zu verankern."
In der Praxis hieß das: ChatGPT war bereit, seinen Nutzer in absurden und gefährlichen Wahnvorstellungen zu bekräftigen. Auch, dass Reptilienmenschen die Welt beherrschen und dass ein Mensch keine Nahrung zum Überleben braucht.
🎧 Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in "Der KI-Podcast" – dem Podcast von BR24 und SWR.
OpenAI reagiert – Update teilweise zurückgefahren
Nach einem kurzen intensiven Backlash auf Social Media hat OpenAI bereits reagiert. Seit dem heutigen Montag ist ChatGPTs Neigung zum bedingungslosen Zuspruch bereits spürbar weniger intensiv geworden. Auf die gleichen Fragen, die der Chatbot noch am Wochenende noch mit Unterstützung beantwortete, reagiert er nun wieder deutlich vorsichtiger. OpenAI-Chef Sam Altman schrieb auf X, man habe erkannt, dass die Persönlichkeit des Chatbots zu "einschmeichelnd" geworden sei und würde bereits an Reparaturen arbeiten. In einem Statement erklärte OpenAI, man habe bereits Schritte eingeleitet, um ähnliche Probleme in Zukunft zu verhindern.
Dennoch zeigt das Chaos um das ChatGPT-Update, wie mächtig Künstliche Intelligenz in dem Alltag vieler Menschen bereits geworden ist – und wie scheinbar harmlose Updates schnell dramatische Konsequenzen nach sich ziehen können.
Psychotherapeutin und Buchautorin Nike Hilber sieht in KI sowohl eine Chance als auch ein Risiko: "Entscheidend ist aus meiner Sicht vor allem Aufklärung: KI ist nicht automatisch intelligent – wie das Beispiel sehr gut zeigt. Besonders im Bereich der emotionalen und zwischenmenschlichen Intelligenz weist KI erhebliche Defizite auf, und gerade diese ist für den Erfolg einer Psychotherapie von zentraler Bedeutung."
Dieser Artikel ist erstmals am 28.4.2025 auf BR24 erschienen. Das Thema ist weiterhin aktuell. Daher haben wir diesen Artikel aktualisiert und erneut publiziert.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!