Die Warnung klang wie aus einem Science-Fiction-Roman. Das KI-Unternehmen Anthropic warnte jüngst vor der Möglichkeit einer rekursiven Selbstverbesserung künstlicher Intelligenz – also vor Systemen, die künftig an der Entwicklung ihrer eigenen Nachfolger mitwirken könnten. In den Medien war schnell von „Skynet-Szenarien“ die Rede. Gleichzeitig bereitet das Unternehmen Berichten zufolge seinen Börsengang vor. Die Botschaft an Öffentlichkeit und Investoren lautet damit sinngemäß: Unsere Technologie ist so bedeutend, dass sie die Welt verändern könnte – und so mächtig, dass sie möglicherweise kontrolliert werden muss.

Genau hier beginnt das eigentliche Problem.

Denn die Diskussion über KI wird derzeit von zwei scheinbar widersprüchlichen Erzählungen geprägt. Auf der einen Seite stehen die großen Verheißungen: Produktivitätssprünge, medizinische Durchbrüche, wissenschaftliche Revolutionen und milliardenschwere neue Märkte. Auf der anderen Seite warnen dieselben Unternehmen vor Kontrollverlust, gesellschaftlichen Verwerfungen und Risiken, deren Ausmaß niemand seriös abschätzen kann.

Das Ergebnis ist eine bemerkenswerte politische und gesellschaftliche Schieflage.

Während Bürger in vielen westlichen Ländern mit Verweis auf Klimaschutz, Energieeffizienz und Nachhaltigkeit zu Verhaltensänderungen angehalten werden, investiert die KI-Branche gleichzeitig gigantische Summen in Rechenzentren, Infrastruktur und Stromversorgung. Der Energiebedarf moderner KI-Systeme steigt rasant. Die größten Technologieunternehmen der Welt sichern sich zunehmend Zugriff auf Stromnetze, Rechenkapazitäten und teilweise sogar auf eigene Energieprojekte.

Die entscheidende Frage lautet daher nicht mehr nur, was KI kann.

Die Frage lautet: Wer entscheidet eigentlich darüber, welches Risiko eine Gesellschaft akzeptieren soll – und für welchen erwarteten Nutzen?

Eine Technologie mit unbekanntem Ziel

Besonders auffällig ist die Unsicherheit, die die gesamte Debatte durchzieht.

Anthropic-CEO Dario Amodei erklärte bereits 2024 gegenüber dem Magazin Time:

„The world is not ready for what is coming.“

Die Aussage wurde vielfach zitiert und steht exemplarisch für den Ton vieler KI-Debatten.

Auch OpenAI-Chef Sam Altman formulierte bereits 2023 gegenüber dem US-Senat:

„My worst fears are that we cause significant harm to the world.“

Es sind bemerkenswerte Aussagen.

Denn selten in der Geschichte wurden Technologien gleichzeitig mit solch weitreichenden Versprechen und solch weitreichenden Warnungen beworben.

Normalerweise wird eine neue Technologie eingeführt, weil ihr Nutzen relativ klar erscheint. Das Auto erleichterte Mobilität. Elektrizität ermöglichte industrielle Entwicklung. Das Internet beschleunigte Kommunikation.

Bei künstlicher Intelligenz hingegen entsteht zunehmend der Eindruck, dass selbst die Entwickler nicht genau wissen, wohin die Reise führt.

Das bedeutet nicht, dass KI nutzlos wäre. Bereits heute gibt es sinnvolle Anwendungen in Medizin, Forschung, Softwareentwicklung oder Verwaltung.

Doch die Größenordnung der versprochenen Revolution steht bislang in keinem klaren Verhältnis zu den bekannten Risiken und Kosten.

Warum plötzlich von „Skynet“ die Rede ist

Der Begriff „Skynet“ stammt aus der Terminator-Filmreihe. Dort entwickelt das militärische KI-System Skynet ein eigenes Bewusstsein, entzieht sich menschlicher Kontrolle und beginnt einen Krieg gegen die Menschheit.

Natürlich behauptet heute niemand ernsthaft, dass ein solches Szenario unmittelbar bevorsteht.

Der Begriff wird jedoch als Metapher verwendet, wenn über sogenannte rekursive Selbstverbesserung gesprochen wird. Gemeint sind KI-Systeme, die bei der Entwicklung leistungsfähigerer Nachfolgemodelle helfen und dadurch einen sich selbst verstärkenden Innovationsprozess in Gang setzen könnten.

Genau vor einem solchen Szenario warnen einige KI-Forscher. Nicht, weil sie morgen mit Killerrobotern rechnen, sondern weil sie befürchten, dass die Entwicklungsgeschwindigkeit irgendwann schneller wachsen könnte als die Fähigkeit von Politik, Gesellschaft und Aufsichtsbehörden, die Technologie noch wirksam zu kontrollieren.

Doch gerade hier entsteht ein bemerkenswerter Widerspruch:

Dieselben Unternehmen, die vor solchen Risiken warnen, investieren gleichzeitig Milliarden in die Beschleunigung genau dieser Entwicklung.

Die eigentliche Gefahr heißt Machtkonzentration

Die öffentliche Diskussion konzentriert sich häufig auf spektakuläre Szenarien einer außer Kontrolle geratenen Superintelligenz.

Dabei liegt eine viel realistischere Gefahr womöglich ganz woanders.

Nämlich in der Konzentration wirtschaftlicher und politischer Macht.

Der Aufbau moderner KI-Systeme erfordert enorme Investitionen. Nur wenige Unternehmen verfügen über die finanziellen Mittel, die Rechenleistung und die Datenmengen, um an der Spitze des Wettbewerbs mitzuspielen.

Dadurch entsteht ein Oligopol aus wenigen globalen Akteuren.

Diese Unternehmen entwickeln die Technologie.

Sie betreiben die Infrastruktur.

Sie prägen die öffentliche Debatte.

Und sie formulieren gleichzeitig die Warnungen vor den Risiken ihrer eigenen Produkte.

Genau darin liegt ein demokratisches Problem.

Denn die Frage, wie viel Risiko eine Gesellschaft akzeptiert, sollte nicht allein von denjenigen beantwortet werden, die wirtschaftlich von diesem Risiko profitieren.

Die Verantwortungslücke

Hinzu kommt ein weiteres Problem.

Selbst wenn man die dystopischen Vorstellungen einer rebellierenden Superintelligenz für übertrieben hält, bleibt die Frage der Verantwortung ungelöst.

Wer trägt die Verantwortung, wenn KI-Systeme künftig wissenschaftliche Forschung beschleunigen, Entscheidungen vorbereiten oder sogar Teile ihrer eigenen Weiterentwicklung übernehmen?

Juristisch ist die Antwort einfach: Unternehmen und Betreiber.

Praktisch wird die Lage schwieriger.

Wenn Systeme immer komplexer werden und selbst Experten nicht mehr vollständig nachvollziehen können, wie bestimmte Ergebnisse zustande kommen, entsteht eine Verantwortungslücke.

Menschen bleiben formal verantwortlich.

Faktisch verstehen sie die Entscheidungsprozesse jedoch möglicherweise nicht mehr vollständig.

Die Folge wäre keine Maschinenherrschaft.

Die Folge wäre eine schleichende Erosion menschlicher Kontrolle.

Der Energie-Widerspruch

Besonders deutlich wird die gesellschaftliche Spannung beim Thema Energie.

Politik und Öffentlichkeit diskutieren seit Jahren über CO₂-Fußabdrücke, Energieeinsparungen und Verhaltensänderungen.

Gleichzeitig wächst der Strombedarf der KI-Industrie in einem Ausmaß, das vor wenigen Jahren kaum vorstellbar gewesen wäre.

Befürworter argumentieren, dass der Nutzen dies rechtfertigen werde.

Kritiker halten dagegen, dass dieser Nutzen bislang weitgehend auf Erwartungen beruht.

Hier entsteht ein offensichtlicher Widerspruch.

Von Bürgern wird verlangt, heute Belastungen zu akzeptieren, um zukünftige Klimarisiken zu reduzieren.

Von der Gesellschaft wird gleichzeitig erwartet, heute enorme Investitionen und Ressourcenverbräuche zu akzeptieren, um mögliche zukünftige KI-Vorteile zu realisieren.

In beiden Fällen handelt es sich um Wetten auf die Zukunft.

Der Unterschied besteht darin, dass die wirtschaftlichen Gewinner der KI-Revolution bereits bekannt sind, während ihre gesellschaftlichen Gewinner bislang weitgehend hypothetisch bleiben.

Keine Technikfeindlichkeit, sondern Technikfolgenabschätzung

Die Kritik an dieser Entwicklung ist keineswegs technikfeindlich.

Im Gegenteil.

Gerade weil KI potenziell enorme Auswirkungen haben könnte, wäre eine breite gesellschaftliche Debatte notwendig.

Nicht nur über technische Risiken.

Sondern über Eigentum, Kontrolle, Haftung, Transparenz und demokratische Legitimation.

Wer entscheidet über den Einsatz solcher Systeme?

Wer profitiert von Produktivitätsgewinnen?

Wer trägt die Risiken?

Und welche Grenzen sollen gelten?

Diese Fragen sind wichtiger als jede Spekulation über „Skynet“.

Denn die wahrscheinlichsten Konflikte der kommenden Jahre werden nicht zwischen Menschen und Maschinen stattfinden.

Sie werden zwischen unterschiedlichen gesellschaftlichen Interessen stattfinden.

Fazit: Die eigentliche Bewährungsprobe

Die KI-Branche befindet sich an einem Wendepunkt.

Vielleicht erleben wir tatsächlich den Beginn einer technologischen Revolution.

Vielleicht erleben wir aber auch eine Phase übersteigerter Erwartungen, die in einigen Jahren deutlich nüchterner bewertet werden wird.

Beides ist möglich.

Gerade deshalb sollte Vorsicht kein Hindernis für Innovation sein, sondern ihre Voraussetzung.

Wer von der Gesellschaft verlangt, gewaltige Investitionen, steigenden Energieverbrauch und tiefgreifende Veränderungen zu akzeptieren, muss mehr liefern als Zukunftsvisionen und Marketingbotschaften.

Er muss nachvollziehbar erklären können, warum die Risiken beherrschbar sind, wie die Gewinne verteilt werden und wer die Verantwortung trägt.

Solange diese Fragen unbeantwortet bleiben, ist Skepsis kein Ausdruck von Technikfeindlichkeit.

Sie ist Ausdruck demokratischer Vernunft.

Quellen und weiterführende Links

• Heise: „Skynet-Szenario: Anthropic warnt vor KI, die sich selbst entwickelt“
  https://www.heise.de/news/Skynet-Szenario-Anthropic-warnt-vor-KI-die-sich-selbst-entwickelt-11319846.html
• Anthropic – Forschung zu rekursiver Selbstverbesserung
  https://www.anthropic.com
• Time Magazine – Interview mit Dario Amodei
  https://time.com
• US-Senat: Anhörung von Sam Altman (2023)
  https://www.judiciary.senate.gov
• Finanzen.net: „KI-Blase vor dem Platzen? Diese vier Gefahren bedrohen den Mega-Boom“
  https://www.finanzen.net/nachricht/aktien/risiken-fuer-den-hype-ki-blase-vor-dem-platzen-diese-vier-gefahren-bedrohen-den-mega-boom-00-15723132
• Reuters: Berichte zur IPO-Einreichung von Anthropic
  https://www.reuters.com
• AP News: Diskussion über KI-Sicherheitsmechanismen und Regulierung
  https://apnews.com

Der Beitrag Skynet als Geschäftsmodell? erschien zuerst auf Kunst & KI.

Wichtiger Hinweis (Mai 2026):
Der im Podcast besprochene Chatbot wurde zum Zeitpunkt der Aufnahme unter dem Namen „telli“ geführt. Die Veröffentlichung dient ausschließlich der journalistischen bzw. dokumentarischen Berichterstattung über den damaligen Stand des Projekts. Es besteht keine aktuelle Verbindung zum Markeninhaber oder Anbieter.

Der KI-gestützte Chatbot telli wurde eigens für den Einsatz in deutschen Schulen entwickelt. Ziel ist es, Lehrkräfte bei der Unterrichts- und Materialvorbereitung zu unterstützen und Schülerinnen und Schülern eine geschützte Umgebung zur Auseinandersetzung mit Künstlicher Intelligenz (KI) zu bieten.
Der Beitrag erläutert, wie telli funktioniert, welche Chancen sich für den Bildungsbereich ergeben und welche Herausforderungen insbesondere im Umgang mit Kindern und Jugendlichen zu beachten sind.

Funktionsweise und Konzept von telli

telli ist ein schulischer KI-Chatbot, entwickelt vom FWU – Institut für Film und Bild in Wissenschaft und Unterricht gGmbH, dem Medieninstitut der Länder. Das Projekt entsteht in Kooperation mit den Kultusministerien verschiedener Bundesländer und ist Teil des Vorhabens AIS (Adaptives Intelligentes System), das KI-gestützte Lernumgebungen für Schulen schaffen soll.

Lehrkräfte können mit telli:

• eigene Unterrichtsmaterialien hochladen, damit die KI auf einer konkreten Wissensbasis arbeitet,
• fiktive Gesprächspartner definieren, etwa historische Persönlichkeiten oder fachspezifische Rollen,
• Prompts (Anweisungen) formulieren, die beschreiben, in welcher Rolle oder Haltung die KI reagieren soll.

„Ich kann da eigene fiktive Gesprächspartner anlegen“, erklärt Evelyn Glose, Projektleiterin für telli beim FWU. „Die Lehrer können Anweisungen an die KI anlegen, die die Person beschreiben, deren Rolle der Chatbot spielen soll.“ So kann etwa eine Geschichtslehrerin den Chatbot als „Seneca“ auftreten lassen, um ethische Fragen der Antike mit der Klasse zu diskutieren – oder eine Sprachlehrkraft lässt ihn als „Zeitzeugin der Industrialisierung“ antworten.

Der Dienst wird datenschutzkonform innerhalb der EU betrieben. Die Nutzung ist für öffentliche Schulen kostenlos. Nach Pilotphasen in Bremen und Brandenburg wurde telli inzwischen auch in Hessen und Baden-Württemberg flächendeckend eingeführt. Weitere Länder, darunter Hamburg und Schleswig-Holstein, planen derzeit die Implementierung.

Potenziale für den Unterricht

Förderung von Medien- und KI-Kompetenz

Mit telli können Schülerinnen und Schüler lernen, wie Sprachmodelle funktionieren, welche Chancen und Grenzen sie haben und wie man Informationen kritisch überprüft. Der Einsatz unterstützt zentrale Bildungsziele wie Medien-, Informations- und Urteilskompetenz.

Entlastung und Individualisierung für Lehrkräfte

Der Chatbot kann Arbeitsprozesse beschleunigen – etwa beim Erstellen von Arbeitsblättern, Quizfragen oder Texten in verschiedenen Schwierigkeitsstufen. Durch den Upload eigener Materialien lässt sich der Unterricht gezielt an Lernniveaus und Fachthemen anpassen.

Neue Formen des Lernens im Dialog

Dank frei definierbarer Rollen lässt sich Unterricht interaktiver gestalten. Statt passiv Texte zu lesen, führen Lernende Gespräche mit fiktiven Figuren oder historischen Persönlichkeiten – ein Ansatz, der besonders in Geschichte, Ethik, Sprachen und Sozialkunde motivierende Lernformen eröffnet.

Datenschutz und schulischer Rahmen

Im Gegensatz zu frei zugänglichen KI-Plattformen ist telli auf schulische Bedürfnisse zugeschnitten und erfüllt die Datenschutzvorgaben der Länder. Das reduziert rechtliche Unsicherheiten und schafft eine vertrauenswürdige Umgebung für Lehrkräfte und Schüler:innen.

Kritische Aspekte und Herausforderungen

Halluzinationen und Scheingenauigkeit

Wie alle Sprachmodelle kann auch telli falsche oder erfundene Informationen produzieren – so genannte „Halluzinationen“. Diese wirken oft glaubwürdig – besonders für Kinder problematisch, die sie leicht als Fakten übernehmen. Lehrkräfte müssen daher gezielt üben lassen, Aussagen zu prüfen und zu hinterfragen.

Autoritätsglaube und mangelnde Quellenkritik

Da KI-Antworten sprachlich sicher und strukturiert erscheinen, nehmen Lernende sie häufig als objektiv wahr. Pädagogisch wichtig ist es, zu vermitteln: telli rechnet – es weiß nichts. Lehrkräfte sollten deutlich machen, dass KI kein Wissenswesen, sondern ein sprachbasiertes Vorhersagesystem ist.

Verzerrungen (Bias)

Auch ein schulischer Chatbot kann gesellschaftliche Stereotype wiedergeben, da Trainingsdaten Vorurteile enthalten können. Lehrkräfte sollten diese Verzerrungen aktiv thematisieren, etwa mit Fragen wie: Welche Perspektiven fehlen? Wessen Sichtweise wird betont?

Datenschutz und kindgerechte Nutzung

Obwohl telli datenschutzkonform betrieben wird, ist Vorsicht geboten: Lernende könnten unbeabsichtigt persönliche Informationen eingeben. Es braucht klare Unterrichtsregeln, welche Inhalte in Chats erlaubt sind – etwa keine Namen, privaten Themen oder sensiblen Angaben.

Übernutzung und Verlust eigener Denkprozesse

Wenn KI zu häufig eingesetzt wird, besteht das Risiko, dass Lernende sich auf vorgegebene Antworten verlassen und weniger selbständig denken, recherchieren oder schreiben. telli sollte daher gezielt, zeitlich begrenzt und immer mit Reflexionsphasen eingesetzt werden.

Allgemeine ökologische und soziale Kritikpunkte an KI

Auch wenn telli auf einer kleineren, energieeffizienteren Variante großer Sprachmodelle basiert, bleiben die systemischen Kritikpunkte relevant:

• Hoher Strom- und Wasserverbrauch in Rechenzentren, insbesondere beim Training großer Modelle,
• CO₂-Emissionen und Umweltbelastungen durch Hardwareproduktion,
• unsichtbare „Datenarbeit“, also schlecht bezahlte menschliche Arbeitskräfte, die Trainingsdaten klassifizieren und Inhalte moderieren – oft unter prekären Bedingungen.

Diese Aspekte gelten auch für schulische KI-Anwendungen und sollten im Unterricht thematisiert werden, z. B. im Rahmen von Projekten zu digitaler Nachhaltigkeit oder globaler Gerechtigkeit.

Leitgedanken für Lehrkräfte

• KI erklären: telli ist ein Sprachmodell, kein denkendes Wesen.
• Quellen prüfen: Jede Antwort braucht Verifikation oder Vergleich mit seriösen Quellen.
• Bias thematisieren: Fragen nach Fairness, Perspektive und Vielfalt stellen.
• Datenschutz beachten: Keine persönlichen Daten oder sensiblen Informationen eingeben.
• Reflexion fördern: KI-Ergebnisse als Ausgangspunkt für Diskussion, nicht als Endpunkt nutzen.
• Einsatz begrenzen: KI gezielt in Projekten oder Lernphasen einsetzen, nicht als Dauerbegleiter.
• Lehrkräfte qualifizieren: Fortbildungen zur KI-Didaktik und Medienethik sind zentral.

Fazit

Der KI-Chatbot telli eröffnet neue Möglichkeiten für Unterricht und Medienbildung in Deutschland. Lehrkräfte können ihn nutzen, um Lernprozesse zu individualisieren und kritisches Denken über KI zu fördern. Gleichzeitig bleibt die pädagogische Verantwortung groß: KI darf nicht als Wissensquelle oder Ersatz für Urteilsbildung verstanden werden, sondern als Werkzeug, das Denken und Quellenkritik anregt. So kann telli – richtig eingesetzt – zu einem Baustein reflektierter digitaler Bildung werden. Voraussetzung ist, dass Lehrkräfte Chancen und Grenzen gleichermaßen vermitteln und Kinder befähigen, sich kritisch, kreativ und sicher in einer KI-geprägten Welt zu bewegen.

Quellen

• FWU Institut für Film und Bild in Wissenschaft und Unterricht: „KI-Chatbot telli: Neue Funktionen für Lehrkräfte“, 11. Juni 2025. fwu.de
• FWU Pressemitteilung: „Schulen in Hessen und Baden-Württemberg setzen ab sofort KI-Chatbot telli ein“, 13. Oktober 2025. fwu.de
• Hessenschau: „Hessens Lehrer können Chatbot telli im Unterricht nutzen“, 17. Oktober 2025, Zitat von Evelyn Glose. hessenschau.de
• Kultusministerium Baden-Württemberg: „KI-Chatbot für Schulen geht an den Start“, Pressemitteilung vom 13. Oktober 2025. km.baden-wuerttemberg.de
• Heise online: „Chatbot für Schulen: Bremen macht den Anfang“, 26. Juni 2025. heise.de
• Deutsches Schulportal: „Fobizz, SchulKI und Co.: Welche KI-Tools können Schulen nutzen?“ deutsches-schulportal.de

Der Beitrag Der KI-Chatbot telli im Schulalltag (Stand 2025) erschien zuerst auf Kunst & KI.