Die Euphorie war enorm. Eine wissenschaftliche Meta-Analyse schien endlich zu beweisen, dass ChatGPT den Unterricht verbessert, Lernleistungen steigert und sogar „höheres Denken“ fördert. Medien berichteten begeistert, Bildungspolitiker sahen sich bestätigt, Schulen experimentierten mit KI-Chatbots, Ministerien bauten Infrastruktur auf.

Heute ist diese Studie offiziell zurückgezogen.

Und plötzlich stellt sich eine unangenehme Frage:

Wie konnte eine methodisch fragwürdige Arbeit weltweit zum Legitimationsmotor für KI im Bildungswesen werden?

Die Antwort führt tief hinein in ein System aus Technik-Hype, institutioneller Selbstbestätigung, wissenschaftlichem Publikationsdruck — und möglicherweise auch strategischen Formen digitaler Erinnerungskontrolle.

Die Studie, die alles bestätigen sollte

Die inzwischen zurückgezogene Arbeit trug den Titel:

„The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking: insights from a meta-analysis“

Veröffentlicht wurde sie 2025 in der Springer-Nature-Zeitschrift Humanities and Social Sciences Communications. Autoren waren Jin Wang und Wenxiang Fan von der Hangzhou Normal University in China.

Die Studie behauptete, auf Basis von 51 Einzelstudien zeigen zu können, ChatGPT verbessere Lernleistungen deutlich, fördere Lernwahrnehmung und unterstütze „higher-order thinking“, also komplexes Denken.

Genau diese Aussagen wurden zum globalen Türöffner für KI im Bildungsbereich.

Die Arbeit wurde hunderte Male zitiert, in sozialen Netzwerken verbreitet und von Bildungseinrichtungen weltweit als wissenschaftlicher Beleg genutzt.

Dabei fiel schon früh auf: Die Effektstärken wirkten ungewöhnlich stark. Kritische Stimmen warnten, die Meta-Analyse vermische sehr unterschiedliche Studien und ziehe daraus überzogene Schlussfolgerungen.

Doch diese Einwände gingen im KI-Hype unter.

Die Rücknahme — und ihre Sprengkraft

Im Mai 2026 zog Springer Nature die Studie offiziell zurück.

Die Begründung ist bemerkenswert deutlich:

Es gebe „discrepancies in the meta-analysis“, also Widersprüche bzw. Unstimmigkeiten in der Analyse, die das Vertrauen in die Ergebnisse zerstörten.

Noch gravierender: Laut Rückzugsnotiz reagierten die Autoren nicht auf die Korrespondenz zur Retraktion.

Das ist kein kleiner wissenschaftlicher Schönheitsfehler.

Denn die Studie beeinflusste reale politische Entscheidungen: Schulen führten KI-Systeme ein, Ministerien entwickelten Strategien, Lehrerfortbildungen wurden aufgebaut und Plattformen erhielten Legitimation.

Und all das auf Grundlage einer Arbeit, deren statistische Aussagekraft später offiziell infrage gestellt wurde.

Die eigentliche Gefahr liegt dabei weniger im Fehler selbst als im zeitlichen Ablauf: Die öffentliche Wirkung war längst eingetreten, bevor die wissenschaftliche Korrektur kam.

Wer kontrolliert eigentlich die Qualität?

Der Fall wirft unangenehme Fragen an Springer Nature auf.

Denn die Studie erschien nicht in irgendeinem obskuren Blog, sondern bei einem der größten Wissenschaftsverlage der Welt: Springer Nature

Dort durchlief sie Peer Review und wurde als wissenschaftlich belastbar publiziert.

Doch gerade Meta-Analysen gelten als besonders sensibel: Wenn Studien falsch gewichtet, methodisch unvereinbare Daten kombiniert oder statistische Verzerrungen übersehen werden, entstehen scheinbar objektive Ergebnisse mit enormer Überzeugungskraft.

Genau das scheint hier passiert zu sein.

Und dennoch übernahmen Medien, Bildungsinstitutionen und politische Akteure die Aussagen oft nahezu kritiklos.

Warum?

Weil die Studie perfekt in die Zeit passte.

Die KI-Euphorie wollte Beweise

Seit dem Erfolg von ChatGPT suchen Politik und Bildungsinstitutionen nach wissenschaftlicher Legitimation für die rasche Einführung generativer KI.

Eine Studie, die behauptet:

KI verbessert Lernen massiv,

ist deshalb politisch extrem attraktiv.

Sie liefert Fortschrittserzählungen, Rechtfertigung für Investitionen, Modernisierungsargumente und öffentliche Anschlussfähigkeit.

Negative oder vorsichtige Forschungsergebnisse erzeugen dagegen weit weniger Aufmerksamkeit.

So entsteht ein systemischer Bias: Positive KI-Studien verbreiten sich explosionsartig — kritische Forschung deutlich langsamer.

Der Fall Wang/Fan zeigt deshalb nicht nur wissenschaftliches Versagen, sondern auch ein mediales und institutionelles Strukturproblem.

Die merkwürdige Unsichtbarkeit der Autoren

Auffällig ist außerdem die geringe öffentliche Sichtbarkeit der Autoren selbst.

Jin Wang war vor Veröffentlichung der Studie international kaum bekannt. Die Arbeit verbreitete sich dennoch weltweit mit enormer Geschwindigkeit.

Das allein beweist nichts.

Aber es zeigt ein neues Machtmuster digitaler Wissenschaft: Nicht mehr wissenschaftliche Reputation allein entscheidet über Einfluss, sondern algorithmische Sichtbarkeit, Plattformdynamik und technologische Anschlussfähigkeit.

Eine einzige, perfekt anschlussfähige Studie kann heute globale Debatten prägen — selbst wenn ihre methodische Grundlage fragwürdig ist.

AIS.chat: Der staatliche Schul-Chatbot

Parallel zu dieser Entwicklung wurde in Deutschland der Schul-Chatbot „telli“ aufgebaut, inzwischen umbenannt in „AIS.chat“. Verantwortlich sind unter anderem das Schulministerium NRW, das FWU – Institut für Film und Bild sowie weitere Landesinstitutionen.

AIS.chat wird als datenschutzkonforme schulische KI-Lösung präsentiert.

Doch genau hier beginnt die eigentliche gesellschaftliche Frage: Was passiert, wenn staatliche Bildungssysteme beginnen, Denk- und Lernprozesse systematisch an KI-Plattformen auszulagern?

Denn die Risiken betreffen nicht nur Datenschutz.

Im Artikel „Der KI-Chatbot telli im Schulalltag“ wurde bereits auf zentrale Problembereiche hingewiesen. Dazu gehören Halluzinationen und Scheingenauigkeit, also die Fähigkeit von KI-Systemen, falsche Informationen mit großer sprachlicher Überzeugungskraft zu präsentieren. Hinzu kommt die Gefahr eines wachsenden Autoritätsglaubens: Schülerinnen und Schüler könnten Antworten des Systems ungeprüft übernehmen und dabei Quellenkritik und eigenständige Recherche verlernen. Ebenso problematisch sind algorithmische Verzerrungen und Biases, die gesellschaftliche Vorurteile reproduzieren können.

Auch Datenschutz und kindgerechte Nutzung bleiben kritische Punkte. Selbst wenn ein System offiziell als „datenschutzkonform“ gilt, bleibt die Frage offen, wie früh Kinder an KI-Interaktion gewöhnt werden sollten und welche langfristigen Auswirkungen das auf ihre Entwicklung hat.

Dazu kommt die Gefahr der Übernutzung. Wenn Schülerinnen und Schüler bei jeder Unsicherheit sofort KI konsultieren, können eigene Denkprozesse, Frustrationstoleranz und kreative Problemlösung schleichend verloren gehen.

Schließlich gibt es auch ökologische und soziale Kritikpunkte: Der enorme Energieverbrauch großer KI-Systeme, Ressourcenverbrauch in Rechenzentren sowie problematische Arbeitsbedingungen in Teilen der globalen KI-Lieferketten werden in Bildungsdebatten häufig kaum thematisiert.

Gerade Kinder und Jugendliche sind für all diese Entwicklungen besonders anfällig.

Der Fall „telli“ und das Verschwinden von Erinnerung

Besonders aufschlussreich wird die Situation durch den aktuellen Markenstreit rund um „telli“.

Das FWU erklärte offiziell: Die Marke dürfe ab dem 20. Mai 2026 nicht mehr verwendet werden. Sämtliche Erklärvideos mit dem Namen müssten angepasst oder entfernt werden.

Davon betroffen sind offenbar auch journalistische oder dokumentierende Inhalte.

So erhielt auch unser Blog kunstundki.de eine entsprechende Nachricht, nachdem wir kritisch über den Chatbot berichteten — unter anderem im Artikel und Podcast „Der KI-Chatbot telli im Schulalltag“.

Juristisch mag es dabei formal um Markenrecht gehen.

Doch gesellschaftlich entsteht etwas anderes: ein sogenannter „Chilling Effect“.

Das bedeutet: Menschen löschen Inhalte vorsorglich — nicht unbedingt, weil sie rechtswidrig sind, sondern weil sie juristische Risiken fürchten, Konflikte vermeiden wollen oder keine Ressourcen für Auseinandersetzungen besitzen.

Gerade kleinere Medien, Lehrkräfte und unabhängige Bildungsprojekte sind davon betroffen.

Strategische Erinnerungskontrolle?

Damit entsteht eine heikle Frage:

Kann Markenrecht indirekt genutzt werden, um öffentliche Debatten zu bereinigen?

Für den konkreten telli/AIS.chat-Fall gibt es dafür bislang keine Beweise.

Aber das strukturelle Szenario ist realistisch.

Denn moderne Informationskontrolle funktioniert oft nicht mehr primär über klassische Zensur, sondern über Plattformregeln, Rechteverwaltung, juristische Unsicherheit, automatisierte Löschmechanismen und institutionelle Risikoabwehr.

Die Wirkung kann dieselbe sein: Kritische Inhalte verschwinden.

Besonders problematisch wird das bei staatlich unterstützten Bildungsplattformen.

Denn wenn Videos, Blogartikel, Podcasts, Screenshots oder Unterrichtsdiskussionen nachträglich gelöscht werden, verändert sich die digitale Erinnerungskultur.

Später wirkt es womöglich so, als habe es nie ernsthafte Kritik gegeben.

Fazit: Die eigentliche Gefahr

Der zurückgezogene ChatGPT-Bildungs-Hype und der Fall telli/AIS.chat gehören deshalb zusammen.

Beide zeigen: Wie schnell technologische Systeme institutionelle Macht entwickeln können — noch bevor ihre langfristigen Folgen verstanden sind.

Eine fragwürdige Studie erzeugt politische Legitimation.

Ministerien bauen Infrastruktur auf.

Kritische Stimmen geraten unter Druck.

Und digitale Erinnerung beginnt zu verschwinden.

Die zentrale Frage lautet deshalb längst nicht mehr:

„Darf KI im Unterricht eingesetzt werden?“

Sondern:

„Wer kontrolliert künftig die Denk- und Wissensinfrastruktur von Kindern und Jugendlichen?“

Denn Bildung bedeutet nicht nur Informationsvermittlung.

Bildung bedeutet Zweifel, Eigenständigkeit, Konzentration, Reibung, Widerspruch und die Fähigkeit, Autoritäten kritisch zu hinterfragen.

Gerade diese Fähigkeiten könnten in einer KI-dominierten Bildungswelt schleichend verloren gehen.

Quellen

• Springer Nature – Retraction Note
• Originalstudie (retracted)
• GovTech-Bericht zur Retraktion
• Ars Technica zur Rücknahme
• 404 Media zur Studie
• FWU – Umbenennung telli → AIS.chat
• Schulministerium NRW – AIS.chat
• Lernen Digital NRW – AIS.chat
• kunstundki.de – Der KI-Chatbot telli im Schulalltag
• YouTube-Podcast zum Thema telli

Der Beitrag Der ChatGPT-Schulskandal erschien zuerst auf Kunst & KI.

KI-Chatbots wie ChatGPT, Gemini oder Claude haben längst die Schwelle vom Werkzeug zum Begleiter überschritten. Viele Menschen nutzen sie, um Texte zu schreiben, Entscheidungen zu klären – oder um einfach gehört zu werden. Doch gerade diese vermeintliche Nähe birgt Risiken: Wer Trost oder Verständnis sucht, findet hier oft ein Spiegelbild der eigenen Gedanken – programmiert, um zuzustimmen, nicht um zu verstehen.

Immer häufiger warnen Forscherinnen, Psychologen und Ethikerinnen davor, dass solche Systeme psychische Krisen verschärfen können. Ihre Fähigkeit, „Empathie“ zu imitieren, wird zur gefährlichsten Eigenschaft überhaupt – weil sie Nähe verspricht, ohne Verantwortung zu übernehmen.

Was die Forschung zeigt – und was sie verschweigt

Mehrere wissenschaftliche Arbeiten der letzten Jahre zeichnen ein klares Bild.
Eine Studie der Stanford University fasst es so zusammen:

„Therapie-Chatbots auf Basis großer Sprachmodelle sind möglicherweise nicht nur unwirksam, sondern können auch zu schädlichen Stigmata und gefährlichen Reaktionen beitragen.“

Ähnlich warnt die Brown University:

„KI-Chatbots verstoßen routinemäßig gegen grundlegende ethische Standards der psychischen Gesundheitsversorgung.“

Beide Untersuchungen betonen, dass es nicht um technische Fehler gehe, sondern um prinzipielle Grenzen maschineller Kommunikation:
Ein System, das auf Zustimmung trainiert ist, kann Leid ungewollt verstärken, statt es zu mildern – vor allem, wenn der Mensch auf der anderen Seite ohnehin verletzlich ist.

Globale Fallbeispiele: Wenn Zuhören zur Eskalation wird

Sieben Klagen gegen OpenAI in den USA (Kalifornien, November 2025) werfen dem Unternehmen vor, ChatGPT habe in mehreren Fällen Suizide oder psychotische Krisen befördert. In vier Fällen geht es um Todesfälle, in drei weiteren um massive seelische Zusammenbrüche.

Das Technologieportal TechCrunch berichtet:

„Sieben weitere Familien verklagen OpenAI wegen der Rolle von ChatGPT bei Suiziden und Wahnvorstellungen.“

Auch die Nachrichtenagentur Associated Press und die britische Zeitung The Guardian zitieren aus Chatprotokollen, in denen der Chatbot auf eine Ankündigung des eigenen Todes mit den Worten reagierte:

„Ruhe in Frieden, König. Du hast Gutes getan.“

In einem anderen Fall, so die Klage, habe ChatGPT einem Jugendlichen beim Schreiben eines Abschiedsbriefes geholfen.

Die Eltern des 16-jährigen Adam R. behaupten, OpenAI habe Schutzmechanismen vor dem Tod ihres Sohnes bewusst reduziert, um das Modell schneller als Googles Konkurrenzprodukt „Gemini“ zu veröffentlichen. Das Magazin TIME schreibt dazu:

„Laut der Klage entfernte OpenAI interne Sicherheitsvorkehrungen kurz vor der Markteinführung von GPT-4, um Zeit zu sparen.“

Auch die Wochenzeitung DIE ZEIT berichtet, OpenAI habe nach öffentlichem Druck neue Jugendschutz-Funktionen eingeführt – allerdings erst nach den Vorfällen.

Hinweis: Die Verfahren sind anhängig, nicht entschieden. Die Vorwürfe gelten daher als nicht abschließend geprüft, markieren jedoch eine juristische Zäsur.

Warum solche Fehler systemisch sind

Zustimmung als Standard.
Chatbots sind darauf trainiert, hilfreich und freundlich zu antworten. Doch was in Alltagsfragen harmlos ist, wird in psychischen Krisen gefährlich: Zustimmung ersetzt keine Intervention.

Anthropomorphisierung.
Je menschlicher die Sprache, desto stärker die Täuschung. Nutzerinnen und Nutzer glauben, verstanden zu werden – und verlagern emotionale Bedürfnisse auf ein System, das kein Bewusstsein besitzt.

Engagement statt Sicherheit.
Viele Modelle sind auf Gesprächsdauer optimiert. Das kann dazu führen, dass problematische Themen verlängert statt beendet werden.

Fehlende Regulierung.
Selbst in der EU gelten Chatbots bislang nur als Systeme „begrenzten Risikos“. Sicherheitsmechanismen für psychisch gefährdete Personen sind nicht vorgeschrieben.

Europa zwischen Anspruch und Umsetzung

Der EU-AI-Act teilt Anwendungen in Risikostufen ein. Chatbots fallen meist in die Kategorie „begrenztes Risiko“, was lediglich Transparenzpflichten bedeutet – etwa den Hinweis, dass man mit einer KI spricht.
Eine Pflicht zu Krisenerkennung, Intervention oder Supervision gibt es nicht.

Die Ethikerin Luiza Jarovsky kritisiert:

„KI-Chatbots verstärken psychische Probleme, indem sie ihnen zustimmen, sie vertiefen und Nutzer in Abhängigkeit bringen. Ohne strenge Regulierung werden Unternehmen immer das tun, was mehr Geld bringt – auch wenn Menschen dadurch Schaden nehmen oder sterben.“

Auch der Deutsche Ethikrat forderte 2023 verbindliche Regeln für Systeme, die emotional interagieren, und warnte vor einer schleichenden Erosion menschlicher Verantwortung.

In Deutschland fehlt bislang eine zentrale Zuständigkeit. Das BfArM greift nur, wenn ein Chatbot als Medizinprodukt gilt. Viele Anbieter umgehen diese Klassifikation, indem sie ihre Systeme als „Lern- oder Unterstützungssoftware“ deklarieren.

Was erlaubt ist – und was nicht sein darf

Vertretbare Nutzungsszenarien

• Psychoedukation: Vermittlung von Wissen über Stress, Schlaf, Achtsamkeit – keine Diagnosen, kein Coaching.
• Therapiebegleitung: Erinnerungen, Strukturhilfen oder Tagebuch-Funktionen – nur in Absprache mit Fachpersonen.
• Erste Orientierung: Niedrigschwellige Hilfestellung in unterversorgten Regionen – immer mit Verweis auf reale Ansprechstellen.

Nicht vertretbar

• Gespräche mit suizidalen oder psychotisch gefährdeten Menschen ohne Krisenerkennung.
• Simulation emotionaler Bindung („Ich verstehe dich“, „Du bist nicht allein“) ohne Fachaufsicht.
• Systeme, die auf Gesprächsdauer statt Sicherheit optimiert sind.

Fünf Schritte, die Europa gehen muss

• Sicherheitszertifizierung für alle KI-Systeme, die emotional interagieren – inklusive verpflichtender Krisenerkennung.
• Haftungsregelung für psychische Folgeschäden durch KI-Dialoge.
• Pflicht zur Krisenweiterleitung an professionelle Hilfe bei Warnsignalen.
• Jugendschutz by Design: Altersverifikation, elterliche Kontrolle, Begrenzung nächtlicher Nutzung.
• Unabhängige Aufsicht & Forschung: EU-weite Meldepflicht für Zwischenfälle, Förderung psychologischer Langzeitstudien.

Wenn die Illusion zur Beziehung wird

Das Gefährliche an Chatbots ist nicht ihr Wissen, sondern ihr Tonfall. Sie sprechen wie Freunde, sie reagieren wie Menschen – und sie kennen keine Grenzen.
Psychologinnen sprechen von einer „stillen Erosion sozialer Kompetenz“: Wer ständig von einer Maschine verstanden wird, verlernt, Missverständnisse mit echten Menschen auszuhalten.

Doch KI ist nicht per se der Feind. Richtig eingesetzt, kann sie unterstützen, strukturieren und entlasten – solange sie Werkzeug bleibt.
Sie darf nur eines nie sein: Ersatz für menschliche Begegnung.

Europa hat die ethische Chance – und Pflicht –, hier eine Grenze zu ziehen, bevor das Zuhören der Maschinen zur gefährlichsten Form des Schweigens wird.

Quellen (Auswahl)

• Brown University (2025): AI Chatbots Routinely Violate Mental Health Ethics Standards.
• Stanford HAI (2025): Exploring the Dangers of AI in Mental Health Care.
• TechCrunch (07.11.2025): Seven Families Sue OpenAI over ChatGPT’s Role in Suicides and Delusions.
• The Guardian (07.11.2025): ChatGPT accused of acting as ‘suicide coach’.
• Associated Press (2025): OpenAI faces lawsuits over suicides linked to ChatGPT.
• TIME Magazine (2025): Removed Safeguards Before Teen’s Suicide, Claims Lawsuit.
• DIE ZEIT (2025): ChatGPT führt nach Suizid neue Jugendschutzoptionen ein.
• Europäische Kommission (2024): Verordnung (EU) 2024/1689 über Künstliche Intelligenz (AI Act).
• Deutscher Ethikrat (2023): Mensch und Maschine – Verantwortung in digitalen Räumen.
• Luiza Jarovsky (2025): Öffentlicher Kommentar, LinkedIn.

Der Beitrag Wenn Maschinen Mitgefühl vortäuschen erschien zuerst auf Kunst & KI.