„KI steigert die Produktivität.“

„KI übernimmt Routinearbeiten.“

„KI macht Unternehmen effizienter.“

„KI-Agenten erledigen bald den Großteil unserer Arbeit.“

Kaum eine Technologie wurde in den vergangenen Jahren mit ähnlich großen Erwartungen aufgeladen wie generative Künstliche Intelligenz. Wer Vorträge besucht, Studien liest oder auf LinkedIn unterwegs ist, gewinnt schnell den Eindruck, wir stünden kurz vor einer neuen industriellen Revolution. Unternehmen sollen möglichst schnell auf KI setzen. Verwaltungen sollen Prozesse automatisieren. Beschäftigte sollen lernen, effizient mit Prompts zu arbeiten. Wer dabei nicht mithält, gilt schnell als rückständig oder riskiert angeblich seine Wettbewerbsfähigkeit.

Je häufiger ich diese Aussagen höre, desto größer werden meine Zweifel.

Nicht deshalb, weil ich KI grundsätzlich ablehne.

Sondern weil meine eigenen Erfahrungen damit immer weniger zu dieser öffentlichen Erzählung passen.

Ich habe generative KI in den vergangenen Monaten immer wieder bei ganz unterschiedlichen Aufgaben eingesetzt – bei Recherchen, beim Schreiben von Texten, bei Programmierung, Webentwicklung, Gestaltung, Bildgenerierung und vielen anderen Tätigkeiten, die nach allgemeiner Auffassung inzwischen besonders gut automatisierbar sein sollen.

Mein Fazit fällt inzwischen deutlich ernüchternder aus.

Nach meiner Erfahrung ist generative KI für anspruchsvolle professionelle Arbeit heute nicht oder nur äußerst eingeschränkt brauchbar.

Diese Einschätzung beruht nicht auf einem einzelnen schlechten Erlebnis.

Sie beruht auf hunderten Stunden praktischer Arbeit.

Die eigentliche Geschichte handelt gar nicht von KI

Wenn heute über KI diskutiert wird, geht es meist um ihre Fähigkeiten.

Wie gut schreibt sie?

Wie gut programmiert sie?

Wie gut recherchiert sie?

Ich glaube inzwischen, dass wir die falschen Fragen stellen.

Die eigentliche Geschichte handelt nämlich gar nicht von der KI.

Sie handelt vom Menschen.

Genauer gesagt:

Von der Arbeit, die der Mensch zusätzlich leisten muss, damit KI überhaupt zu brauchbaren Ergebnissen kommt.

Denn während ständig davon gesprochen wird, welche Arbeiten die KI künftig übernehmen soll, wird erstaunlich selten darüber gesprochen, welche neuen Arbeiten dadurch überhaupt erst entstehen.

Ich muss Informationen zusammentragen.

Ich muss Aufgaben strukturieren.

Ich muss Prompts formulieren.

Ich muss Zusammenhänge erklären.

Ich muss Halluzinationen erkennen.

Ich muss Quellen kontrollieren.

Ich muss Fehler korrigieren.

Ich muss Ergebnisse vergleichen.

Ich muss alles erneut überprüfen.

Und wenn durch eine Korrektur an anderer Stelle neue Fehler entstehen, beginnt der gesamte Vorgang von vorn.

Je länger ich darüber nachgedacht habe, desto deutlicher wurde mir:

Nicht die KI arbeitet für mich.

Ich arbeite für die KI.

Vom Wissensarbeiter zum Datenarbeiter

Früher bestand meine Arbeit darin, Probleme zu lösen.

Heute besteht ein wachsender Teil meiner Arbeit darin, eine KI mit Informationen zu versorgen.

Ich liefere Daten.

Ich erkläre Zusammenhänge.

Ich formuliere Anweisungen.

Ich strukturiere Aufgaben.

Ich prüfe jedes Ergebnis.

Ich korrigiere Fehler.

Ich erkläre dieselben Dinge erneut.

Ich beginne nach Kontextverlusten wieder von vorne.

Mit anderen Worten:

Ich werde zunehmend zum Datenarbeiter.

Der eigentliche fachliche Teil meiner Arbeit tritt dabei immer weiter in den Hintergrund.

Statt selbst zu entwerfen, zu programmieren oder zu gestalten, beschäftige ich mich immer häufiger damit, die KI zu steuern.

Das Erstaunliche daran:

Für diese zusätzliche Arbeit werde ich nicht bezahlt.

Im Gegenteil.

Ich bezahle sogar noch ein monatliches Abonnement dafür.

Genau das empfinde ich inzwischen als paradox.

Uns wird erzählt, KI nehme uns Arbeit ab.

Meine Erfahrung lautet häufig:

Sie erzeugt neue Arbeit.

Nur wird diese Arbeit in kaum einer Produktivitätsstudie mitgerechnet.

Nicht der erste Fehler ist das Problem

Natürlich macht jede Software Fehler.

Natürlich machen auch Menschen Fehler.

Darum geht es mir gar nicht.

Das eigentliche Problem beginnt dort, wo aus einem kleinen Fehler eine Kette neuer Fehler entsteht.

Wo eine Korrektur an einer Stelle dazu führt, dass an anderer Stelle etwas kaputtgeht.

Wo bereits geklärte Sachverhalte wieder vergessen werden.

Wo dieselbe Anweisung zum fünften oder sechsten Mal erklärt werden muss.

Genau das habe ich immer wieder erlebt.

Meine Anweisungen waren häufig erstaunlich einfach.

„Bitte das Bild genauso machen wie im Upload.“

Nicht ähnlich.

Nicht verbessert.

Nicht neu interpretiert.

Einfach genauso.

Das Ergebnis?

Das Bild sah anders aus.

Farben waren verändert.

Elemente fehlten.

Andere Elemente waren plötzlich hinzugekommen.

Darauf folgte die nächste Anweisung.

„Bitte nicht wieder alles komplett ändern.“

Oder:

„Ich möchte nur das Hintergrundbild.“

Doch wieder wurden gleichzeitig andere Bereiche verändert.

Texte tauchten auf.

Buttons verschwanden.

Abstände änderten sich.

Layouts wurden umgebaut.

Schließlich schrieb ich irgendwann nur noch:

„Nicht quatschen – machen!“

Nicht aus Unhöflichkeit.

Sondern weil ich längst keine weiteren Erklärungen mehr brauchte.

Ich brauchte endlich eine zuverlässige Umsetzung.

Trial and Error ersetzt keine professionelle Arbeitsweise

Irgendwann stellte ich fest, dass ich kaum noch an meinem eigentlichen Projekt arbeitete.

Ich arbeitete an den Fehlern der KI.

Oder genauer:

Ich arbeitete an den Folgen ihrer Fehler.

Eine Änderung wurde umgesetzt.

Dadurch entstanden zwei neue Probleme.

Diese wurden korrigiert.

Dabei verschwand eine bereits funktionierende Lösung.

Also begann die nächste Korrekturschleife.

Aus einem eigentlich überschaubaren Arbeitsschritt entwickelte sich ein Trial-and-Error-Prozess ohne erkennbares Ende.

Immer häufiger schrieb ich irgendwann:

„Ich wäre schon dreimal fertig.“

Dieser Satz entstand nicht aus Frust über einzelne Fehler.

Er entstand aus der Erkenntnis, dass die eigentliche Arbeit längst nicht mehr darin bestand, mein Projekt voranzubringen.

Die eigentliche Arbeit bestand darin, bereits Erarbeitetes immer wieder gegen neue Fehler zu verteidigen.

Dabei fiel mir noch etwas auf.

Ein professioneller Kollege verändert nicht bei jeder Korrektur gleichzeitig zehn andere Dinge.

Er merkt sich grundlegende Projektentscheidungen.

Er entwickelt eine konsistente Linie.

Er baut auf dem bereits Erarbeiteten auf.

Genau diese Verlässlichkeit habe ich bei generativer KI in komplexeren Projekten häufig vermisst.

Ausgerechnet die Arbeiten, die ich abgeben möchte, bleiben beim Menschen

Noch erstaunlicher finde ich einen anderen Widerspruch.

Seit Jahren wird versprochen, KI werde uns die lästigen Routinearbeiten abnehmen.

Genau das ist nach meiner Erfahrung häufig nicht der Fall.

Ausgerechnet die Tätigkeiten, die ich besonders gern delegieren würde, funktionieren oft überhaupt nicht oder nur in einer Qualität, die professionellen Anforderungen nicht genügt.

Ein vorhandenes Bild exakt übernehmen?

Fehlanzeige.

Eine Grafik lediglich an einer kleinen Stelle verändern, ohne alles andere neu zu interpretieren?

Fehlanzeige.

Professionell nutzbare SVG-Dateien erzeugen?

Nach meiner Erfahrung derzeit nicht.

Konsistente Icons erstellen, die einem Corporate Design entsprechen?

Ebenfalls nicht.

Hochauflösende Grafiken für den professionellen Einsatz?

Auch hier habe ich bislang keine überzeugenden Ergebnisse erlebt.

Dabei geht es nicht um Perfektion.

Es geht um Zuverlässigkeit.

Wenn ich einer Grafikerin einen fertigen Entwurf gebe und sage: „Bitte genau diesen Entwurf übernehmen und nur den Rand ändern“, dann erwarte ich nicht, dass sie Himmel, Farben, Bildaufbau und Gestaltung gleich mit neu erfindet.

Genau das habe ich bei generativer KI jedoch immer wieder erlebt.

Irgendwann wurde mir sogar vorgeschlagen, bestimmte Icons einfach selbst zu zeichnen.

Meine spontane Reaktion lautete:

„Das ist doch ein Witz. Ich soll jetzt die Icons selbst zeichnen?“

Genau an diesem Punkt fragte ich mich zum ersten Mal ernsthaft, worin der versprochene Produktivitätsgewinn eigentlich bestehen soll.

Wenn der Chat selbst zum Problem wird

Ein weiterer Aspekt wird erstaunlich selten thematisert.

Je anspruchsvoller ein Projekt wird, desto länger wird zwangsläufig auch der Chat.

Anfangs ist das kein Problem.

Im Gegenteil.

Die KI kennt den bisherigen Verlauf.

Sie kennt Entscheidungen.

Sie kennt den Projektkontext.

Doch irgendwann verändert sich etwas.

Der Chat wird immer länger.

Die Antworten werden langsamer.

Zusammenhänge scheinen verloren zu gehen.

Bereits geklärte Entscheidungen werden erneut diskutiert.

Bereits gelöste Probleme tauchen plötzlich wieder auf.

Ich erkläre dieselben Dinge erneut.

Und irgendwann entsteht fast zwangsläufig der Gedanke:

„Dann beginne ich eben einen neuen Chat.“

Doch genau dort beginnt das nächste Problem.

Der neue Chat kennt praktisch nichts.

Alle Projektentscheidungen müssen erneut erklärt werden.

Alle Zusammenhänge.

Alle Gestaltungsprinzipien.

Alle bisherigen Fehler.

Alle gefundenen Lösungen.

Mit anderen Worten:

Lange Chats werden irgendwann schwer benutzbar.

Neue Chats beginnen fast wieder bei null.

Beides kostet Zeit.

Beides kostet Konzentration.

Und beides taucht in keiner Produktivitätsstatistik auf.

Die Produktivität wird falsch gemessen

Genau hier liegt für mich der eigentliche Denkfehler der aktuellen KI-Debatte.

Gemessen wird fast immer nur die Zeit, die eine KI für die Erstellung eines Ergebnisses benötigt.

Gemessen wird aber kaum die Zeit, die anschließend der Mensch investieren muss.

Für Korrekturen.

Für Qualitätskontrollen.

Für Nacharbeiten.

Für neue Prompts.

Für Halluzinationen.

Für Kontextverluste.

Für das erneute Erklären derselben Aufgabe.

Dabei entscheidet genau diese Zeit darüber, ob ein Werkzeug produktiv ist oder nicht.

Ein Werkzeug spart nämlich nicht deshalb Zeit, weil es schnell ein erstes Ergebnis erzeugt.

Es spart Zeit, wenn das endgültige professionelle Ergebnis schneller erreicht wird.

Nach meiner Erfahrung wird dieser Unterschied in vielen Diskussionen über KI völlig unterschätzt.

Marketing und Wirklichkeit

Was mich inzwischen am meisten irritiert, ist deshalb nicht die Technik selbst.

Sondern die Erzählung über sie.

Wer Vorträge besucht oder Beiträge in sozialen Medien liest, bekommt häufig den Eindruck, die Produktivitätsrevolution habe längst begonnen.

Ich frage mich inzwischen ernsthaft, ob wir über dieselbe Technologie sprechen.

Während auf Konferenzen und in Hochglanzpräsentationen enorme Effizienzgewinne versprochen werden, verbringe ich Stunden damit, einer KI dieselbe Aufgabe immer wieder zu erklären.

Während von Automatisierung gesprochen wird, kontrolliere ich jede einzelne Ausgabe.

Während behauptet wird, KI übernehme Routinearbeiten, erledige ich genau diese Arbeiten anschließend selbst.

Natürlich kann jede neue Technologie Kinderkrankheiten haben.

Darum geht es mir gar nicht.

Mich stört vielmehr die enorme Diskrepanz zwischen den öffentlichen Versprechen und meinen praktischen Erfahrungen.

Warum diese Debatte wichtig ist

Vielleicht ist genau das die eigentliche Gefahr.

Nicht, dass KI Fehler macht.

Sondern dass wir beginnen, politische und wirtschaftliche Entscheidungen auf einem Bild von KI aufzubauen, das mit der Realität vieler professioneller Anwender nur begrenzt übereinstimmt.

Unternehmen werden unter Druck gesetzt.

Verwaltungen sollen möglichst schnell digitalisieren.

Beschäftigte sollen lernen, mit KI zu arbeiten.

Gleichzeitig wird erstaunlich selten gefragt, ob sich der versprochene Produktivitätsgewinn im jeweiligen Arbeitsbereich überhaupt nachweisen lässt.

Stattdessen scheint die Einführung von KI vielerorts bereits als Selbstzweck zu gelten.

Mein Fazit

Ich werde generative KI selbstverständlich weiterhin beobachten und dort einsetzen, wo sie sich im konkreten Einzelfall tatsächlich als hilfreich erweist.

Aber ich glaube den pauschalen Produktivitätsversprechen nicht mehr.

Zu oft habe ich erlebt, dass einfache Aufgaben zu stundenlangen Trial-and-Error-Prozessen wurden.

Zu oft entstanden neue Fehler, während alte beseitigt wurden.

Zu oft gingen Zusammenhänge verloren.

Zu oft musste ich Projekte praktisch neu beginnen, weil der Kontext nicht mehr vorhanden war.

Vor allem aber hat sich mein Verständnis von KI grundlegend verändert.

Ich sehe sie heute nicht mehr als Werkzeug, das mir Arbeit abnimmt.

Ich sehe sie häufig als System, das neue Arbeit erzeugt.

Nicht die KI arbeitet für mich.

Ich arbeite für die KI.

Ich liefere Daten.

Ich strukturiere Informationen.

Ich formuliere Prompts.

Ich erkläre Zusammenhänge.

Ich suche Fehler.

Ich kontrolliere Ergebnisse.

Ich korrigiere Halluzinationen.

Ich beginne nach Kontextverlusten wieder von vorne.

Ich werde vom Wissensarbeiter zum Datenarbeiter.

Und genau deshalb stelle ich mir inzwischen eine Frage, die in der öffentlichen Debatte erstaunlich selten gestellt wird:

Was wäre, wenn die eigentliche Innovation der generativen KI gar nicht darin besteht, menschliche Arbeit zu automatisieren – sondern darin, eine völlig neue Form menschlicher Arbeit zu schaffen?

Solange diese zusätzliche Arbeit unsichtbar bleibt, erscheinen viele Versprechen über Produktivität unvollständig.

Eine ehrliche Debatte über KI sollte deshalb nicht nur fragen, was eine KI kann.

Sie sollte vor allem fragen, wie viel zusätzliche menschliche Arbeit erforderlich ist, damit aus ihren Ergebnissen überhaupt professionelle Ergebnisse werden.

Erst wenn wir diese Arbeit vollständig mitrechnen, können wir seriös beurteilen, ob generative KI tatsächlich hält, was ihre Befürworter versprechen.

Quellen und weiterführende Hinweise

• The AI Con.
• Stanford Institute for Human-Centered Artificial Intelligence – Veröffentlichungen zu Leistungsfähigkeit, Grenzen und Auswirkungen generativer KI.
• NIST – Forschung zu vertrauenswürdigen KI-Systemen und Risikomanagement.
• Eigene, über viele Monate dokumentierte Erfahrungen beim Einsatz generativer KI in unterschiedlichen professionellen Arbeitsprozessen.

Der Beitrag Nicht die KI arbeitet für mich. Ich arbeite für die KI. erschien zuerst auf Kunst & KI.

Wichtiger Hinweis (Mai 2026):
Der im Podcast besprochene Chatbot wurde zum Zeitpunkt der Aufnahme unter dem Namen „telli“ geführt. Die Veröffentlichung dient ausschließlich der journalistischen bzw. dokumentarischen Berichterstattung über den damaligen Stand des Projekts. Es besteht keine aktuelle Verbindung zum Markeninhaber oder Anbieter.

Der KI-gestützte Chatbot telli wurde eigens für den Einsatz in deutschen Schulen entwickelt. Ziel ist es, Lehrkräfte bei der Unterrichts- und Materialvorbereitung zu unterstützen und Schülerinnen und Schülern eine geschützte Umgebung zur Auseinandersetzung mit Künstlicher Intelligenz (KI) zu bieten.
Der Beitrag erläutert, wie telli funktioniert, welche Chancen sich für den Bildungsbereich ergeben und welche Herausforderungen insbesondere im Umgang mit Kindern und Jugendlichen zu beachten sind.

Funktionsweise und Konzept von telli

telli ist ein schulischer KI-Chatbot, entwickelt vom FWU – Institut für Film und Bild in Wissenschaft und Unterricht gGmbH, dem Medieninstitut der Länder. Das Projekt entsteht in Kooperation mit den Kultusministerien verschiedener Bundesländer und ist Teil des Vorhabens AIS (Adaptives Intelligentes System), das KI-gestützte Lernumgebungen für Schulen schaffen soll.

Lehrkräfte können mit telli:

• eigene Unterrichtsmaterialien hochladen, damit die KI auf einer konkreten Wissensbasis arbeitet,
• fiktive Gesprächspartner definieren, etwa historische Persönlichkeiten oder fachspezifische Rollen,
• Prompts (Anweisungen) formulieren, die beschreiben, in welcher Rolle oder Haltung die KI reagieren soll.

„Ich kann da eigene fiktive Gesprächspartner anlegen“, erklärt Evelyn Glose, Projektleiterin für telli beim FWU. „Die Lehrer können Anweisungen an die KI anlegen, die die Person beschreiben, deren Rolle der Chatbot spielen soll.“ So kann etwa eine Geschichtslehrerin den Chatbot als „Seneca“ auftreten lassen, um ethische Fragen der Antike mit der Klasse zu diskutieren – oder eine Sprachlehrkraft lässt ihn als „Zeitzeugin der Industrialisierung“ antworten.

Der Dienst wird datenschutzkonform innerhalb der EU betrieben. Die Nutzung ist für öffentliche Schulen kostenlos. Nach Pilotphasen in Bremen und Brandenburg wurde telli inzwischen auch in Hessen und Baden-Württemberg flächendeckend eingeführt. Weitere Länder, darunter Hamburg und Schleswig-Holstein, planen derzeit die Implementierung.

Potenziale für den Unterricht

Förderung von Medien- und KI-Kompetenz

Mit telli können Schülerinnen und Schüler lernen, wie Sprachmodelle funktionieren, welche Chancen und Grenzen sie haben und wie man Informationen kritisch überprüft. Der Einsatz unterstützt zentrale Bildungsziele wie Medien-, Informations- und Urteilskompetenz.

Entlastung und Individualisierung für Lehrkräfte

Der Chatbot kann Arbeitsprozesse beschleunigen – etwa beim Erstellen von Arbeitsblättern, Quizfragen oder Texten in verschiedenen Schwierigkeitsstufen. Durch den Upload eigener Materialien lässt sich der Unterricht gezielt an Lernniveaus und Fachthemen anpassen.

Neue Formen des Lernens im Dialog

Dank frei definierbarer Rollen lässt sich Unterricht interaktiver gestalten. Statt passiv Texte zu lesen, führen Lernende Gespräche mit fiktiven Figuren oder historischen Persönlichkeiten – ein Ansatz, der besonders in Geschichte, Ethik, Sprachen und Sozialkunde motivierende Lernformen eröffnet.

Datenschutz und schulischer Rahmen

Im Gegensatz zu frei zugänglichen KI-Plattformen ist telli auf schulische Bedürfnisse zugeschnitten und erfüllt die Datenschutzvorgaben der Länder. Das reduziert rechtliche Unsicherheiten und schafft eine vertrauenswürdige Umgebung für Lehrkräfte und Schüler:innen.

Kritische Aspekte und Herausforderungen

Halluzinationen und Scheingenauigkeit

Wie alle Sprachmodelle kann auch telli falsche oder erfundene Informationen produzieren – so genannte „Halluzinationen“. Diese wirken oft glaubwürdig – besonders für Kinder problematisch, die sie leicht als Fakten übernehmen. Lehrkräfte müssen daher gezielt üben lassen, Aussagen zu prüfen und zu hinterfragen.

Autoritätsglaube und mangelnde Quellenkritik

Da KI-Antworten sprachlich sicher und strukturiert erscheinen, nehmen Lernende sie häufig als objektiv wahr. Pädagogisch wichtig ist es, zu vermitteln: telli rechnet – es weiß nichts. Lehrkräfte sollten deutlich machen, dass KI kein Wissenswesen, sondern ein sprachbasiertes Vorhersagesystem ist.

Verzerrungen (Bias)

Auch ein schulischer Chatbot kann gesellschaftliche Stereotype wiedergeben, da Trainingsdaten Vorurteile enthalten können. Lehrkräfte sollten diese Verzerrungen aktiv thematisieren, etwa mit Fragen wie: Welche Perspektiven fehlen? Wessen Sichtweise wird betont?

Datenschutz und kindgerechte Nutzung

Obwohl telli datenschutzkonform betrieben wird, ist Vorsicht geboten: Lernende könnten unbeabsichtigt persönliche Informationen eingeben. Es braucht klare Unterrichtsregeln, welche Inhalte in Chats erlaubt sind – etwa keine Namen, privaten Themen oder sensiblen Angaben.

Übernutzung und Verlust eigener Denkprozesse

Wenn KI zu häufig eingesetzt wird, besteht das Risiko, dass Lernende sich auf vorgegebene Antworten verlassen und weniger selbständig denken, recherchieren oder schreiben. telli sollte daher gezielt, zeitlich begrenzt und immer mit Reflexionsphasen eingesetzt werden.

Allgemeine ökologische und soziale Kritikpunkte an KI

Auch wenn telli auf einer kleineren, energieeffizienteren Variante großer Sprachmodelle basiert, bleiben die systemischen Kritikpunkte relevant:

• Hoher Strom- und Wasserverbrauch in Rechenzentren, insbesondere beim Training großer Modelle,
• CO₂-Emissionen und Umweltbelastungen durch Hardwareproduktion,
• unsichtbare „Datenarbeit“, also schlecht bezahlte menschliche Arbeitskräfte, die Trainingsdaten klassifizieren und Inhalte moderieren – oft unter prekären Bedingungen.

Diese Aspekte gelten auch für schulische KI-Anwendungen und sollten im Unterricht thematisiert werden, z. B. im Rahmen von Projekten zu digitaler Nachhaltigkeit oder globaler Gerechtigkeit.

Leitgedanken für Lehrkräfte

• KI erklären: telli ist ein Sprachmodell, kein denkendes Wesen.
• Quellen prüfen: Jede Antwort braucht Verifikation oder Vergleich mit seriösen Quellen.
• Bias thematisieren: Fragen nach Fairness, Perspektive und Vielfalt stellen.
• Datenschutz beachten: Keine persönlichen Daten oder sensiblen Informationen eingeben.
• Reflexion fördern: KI-Ergebnisse als Ausgangspunkt für Diskussion, nicht als Endpunkt nutzen.
• Einsatz begrenzen: KI gezielt in Projekten oder Lernphasen einsetzen, nicht als Dauerbegleiter.
• Lehrkräfte qualifizieren: Fortbildungen zur KI-Didaktik und Medienethik sind zentral.

Fazit

Der KI-Chatbot telli eröffnet neue Möglichkeiten für Unterricht und Medienbildung in Deutschland. Lehrkräfte können ihn nutzen, um Lernprozesse zu individualisieren und kritisches Denken über KI zu fördern. Gleichzeitig bleibt die pädagogische Verantwortung groß: KI darf nicht als Wissensquelle oder Ersatz für Urteilsbildung verstanden werden, sondern als Werkzeug, das Denken und Quellenkritik anregt. So kann telli – richtig eingesetzt – zu einem Baustein reflektierter digitaler Bildung werden. Voraussetzung ist, dass Lehrkräfte Chancen und Grenzen gleichermaßen vermitteln und Kinder befähigen, sich kritisch, kreativ und sicher in einer KI-geprägten Welt zu bewegen.

Quellen

• FWU Institut für Film und Bild in Wissenschaft und Unterricht: „KI-Chatbot telli: Neue Funktionen für Lehrkräfte“, 11. Juni 2025. fwu.de
• FWU Pressemitteilung: „Schulen in Hessen und Baden-Württemberg setzen ab sofort KI-Chatbot telli ein“, 13. Oktober 2025. fwu.de
• Hessenschau: „Hessens Lehrer können Chatbot telli im Unterricht nutzen“, 17. Oktober 2025, Zitat von Evelyn Glose. hessenschau.de
• Kultusministerium Baden-Württemberg: „KI-Chatbot für Schulen geht an den Start“, Pressemitteilung vom 13. Oktober 2025. km.baden-wuerttemberg.de
• Heise online: „Chatbot für Schulen: Bremen macht den Anfang“, 26. Juni 2025. heise.de
• Deutsches Schulportal: „Fobizz, SchulKI und Co.: Welche KI-Tools können Schulen nutzen?“ deutsches-schulportal.de

Der Beitrag Der KI-Chatbot telli im Schulalltag (Stand 2025) erschien zuerst auf Kunst & KI.

Künstliche Intelligenz ist längst zum Dauerthema geworden – Politiker fordern sie, Unternehmen werben mit ihr, und Verwaltungen wollen effizienter durch sie werden. Doch der Wettlauf um den schnellsten Einsatz birgt Risiken: verfassungswidrige Datenanalysen, diskriminierende Bewerbungsfilter, millionenschwere Deepfake-Betrugsfälle und gravierende Sicherheitsvorfälle bei Start-ups.

Die Lektion ist klar: Wer bei KI aufs Gaspedal tritt, ohne Bremsen und Airbags zu haben, riskiert nicht nur den eigenen Schaden, sondern auch das Vertrauen der Gesellschaft. Sicherheit, Transparenz und speziell geschulte Fachkräfte sind kein Bremsklotz – sie sind das Fundament für verantwortungsvollen Fortschritt.

Künstliche Intelligenz (KI) beschreibt Systeme, die selbstständig Texte schreiben, Bilder erzeugen, Entscheidungen vorbereiten oder Daten analysieren können. Chatbots, Übersetzungsdienste, Gesichtserkennung oder auch automatische Bewerbungsfilter sind bereits weit verbreitet.

Doch neben all den Chancen gibt es Gefahren, die für Laien oft schwer durchschaubar sind:

• Halluzinationen: KI erfindet Informationen, die falsch sind, aber sehr überzeugend klingen.
• Pakethalluzinationen: Ganze „Päckchen“ konsistenter, aber frei erfundener Inhalte – z. B. erfundene Gerichtsurteile mit scheinbar realistischen Aktenzeichen.
• Datenvergiftung: Trainingsdaten werden manipuliert, sodass die KI falsche Muster lernt.
• Prompt Injection / ASCII Smuggling: Unsichtbare Befehle werden in Texte eingeschleust, die KI manipuliert diese versteckten Anweisungen.
• Deepfakes: KI-generierte Stimmen oder Videos täuschen Identitäten vor, etwa bei Betrugsversuchen.
• Supply-Chain-Angriffe: Manipulierte Bibliotheken oder Modelle schleusen Schadsoftware über scheinbar vertrauenswürdige Quellen ein.

Kritische Vorfälle als Warnsignal

Dass diese Risiken real sind, zeigen mehrere dokumentierte Fälle in Deutschland und Europa:

1. Hessendata (Deutschland)
   Das Bundesverfassungsgericht erklärte im Februar 2023 den Einsatz automatisierter Datenanalysen zur Polizeiarbeit in Hessen und Hamburg für verfassungswidrig. Grund: unklare Eingriffsschwellen und massive Grundrechtsrisiken. „KI-Systeme dürfen nicht zu Black Boxes im Rechtsstaat werden – Transparenz und Rechtsgrundlagen sind zwingend.“
   (Prof. Ulrich Kelber, Bundesdatenschutzbeauftragter)
2. SCHUFA-Urteil (Deutschland/EU)
   Der Europäische Gerichtshof entschied 2023, dass automatisierte Bonitäts-Scores nicht allein Grundlage für Vertragsentscheidungen sein dürfen. Rein KI-gesteuerte Ablehnungen sind unzulässig. „Die DSGVO schützt uns vor intransparenten Maschinenurteilen – Menschen müssen das letzte Wort behalten.“
   (Johannes Caspar, Ex-Landesdatenschutzbeauftragter Hamburg)
3. Amazon Recruiting-KI (international)
   Amazons Bewerbungsfilter bevorzugte Männer, weil historische Trainingsdaten vorwiegend männliche Erfolge abbildeten. Das Projekt wurde gestoppt – ein Beispiel für algorithmische Diskriminierung. „KI übernimmt immer die Vorurteile ihrer Daten. Wer Fairness will, muss gezielt gegensteuern.“
   (Dr. Katharina Zweig, Algorithm Watch)
4. Localmind.ai (Österreich, Oktober 2025)
   Durch eine Fehlkonfiguration erhielt ein Beta-Testkonto Administratorrechte. Ein Angreifer konnte interne Wikis, Passwörter und Kundensysteme einsehen. Teile der Infrastruktur mussten abgeschaltet werden. „Das Beispiel zeigt: Die größten Risiken liegen oft nicht in der KI selbst, sondern in der Infrastruktur drumherum.“
   (Prof. Haya Shulman, Fraunhofer SIT)
5. Deepfake-Betrug („CEO-Fraud“)
   Angreifer nutzten KI-generierte Stimmen oder Videos von Führungskräften, um Überweisungen auszulösen. Solche Fälle haben bereits zu Millionenverlusten geführt. „Deepfakes sind die Spear-Phishing-Mails der Zukunft – nur überzeugender.“
   (Linus Neumann, Chaos Computer Club)

Warum speziell geschulte KI-Sicherheitsmitarbeiter unverzichtbar sind

Klassische IT-Sicherheitsabteilungen sind auf Netzwerkschutz und Malware spezialisiert. Doch KI bringt neue Angriffsflächen:

• Manipulation durch unsichtbare Zeichen (Prompt Injection).
• Erfundene Bibliotheken (Supply Chain).
• Bias und Diskriminierung in automatisierten Entscheidungen.

Hier braucht es eigene Rollen wie einen KI-Sicherheitsbeauftragten oder AI Security Officer, der:

• KI-spezifische Risiken versteht und testet.
• Schnittstelle zwischen IT, Recht, Datenschutz und Fachbereichen ist.
• Mitarbeitende schult und Awareness aufbaut.
• sicherstellt, dass Compliance (DSGVO, AI Act) eingehalten wird.

„Wer KI sicher einsetzen will, muss Spezialisten an Bord holen. Klassische IT-Security reicht nicht mehr.“
(Martin Bichler, Regional Country Manager DACH, Climb Channel Solutions)

Diese Rolle bedeutet Verantwortung statt Rückschritt: Wer nicht sofort auf jeden KI-Trend aufspringt, handelt nicht altmodisch, sondern verantwortungsvoll – ähnlich wie man beim Straßenverkehr auch nicht ohne Führerschein losfährt.

Und was ist mit Privatpersonen?

Privatnutzer sind besonders verwundbar, weil:

• Sie nicht geschult sind, KI-Ausgaben kritisch zu prüfen.
• Viele bereits von der allgemeinen Digitalisierung überfordert sind.
• Sie oft bedenkenlos persönliche Daten in Chatbots eingeben.

Welche Gesetze greifen hier?

• DSGVO (Datenschutz-Grundverordnung): schützt persönliche Daten – auch, wenn sie in KI-Systeme eingegeben werden.
• EU AI Act (verabschiedet 2024, in Kraft ab 2025/26): verbietet Hochrisiko-Einsatz von KI ohne Auflagen, verlangt Transparenz und Risikoabschätzungen.
• Produkthaftungsrecht: Anbieter von KI-Systemen können haftbar gemacht werden, wenn fehlerhafte Entscheidungen Schaden verursachen.
• Verbraucherschutzgesetze: greifen bei Irreführung oder intransparenten AGB von KI-Diensten.

„Privatnutzer sind die schwächste Stelle der Kette – ohne Aufklärung wird KI im Alltag schnell zum Risiko.“
(Dr. Constanze Kurz, Informatikerin und Bürgerrechtlerin)

Exkurs: Analog bleiben dürfen – Das Recht auf Verzicht im KI-Zeitalter

Sicherheit und Transparenz sind die eine Seite der Medaille – die andere ist die Freiheit, KI nicht nutzen zu müssen.

Viele Menschen sind digital überfordert oder wollen Technologien wie KI aus Überzeugung meiden. Hier stellt sich eine grundlegende Frage: Muss Teilhabe am gesellschaftlichen Leben künftig zwingend über digitale und KI-gestützte Systeme erfolgen?

Aktuelle Lage

• Ein ausdrückliches „Recht auf Verzicht“ gibt es noch nicht.
• Indirekt greifen aber Schutzmechanismen: DSGVO (Recht auf menschliches Eingreifen), AI Act (Transparenzpflichten), Barrierefreiheitsgesetz (Zugang für alle), Grundrechte (Würde, Gleichbehandlung).
• Trotzdem: In der Praxis werden viele Dienstleistungen digital-only – und damit für Nicht-Nutzer unerreichbar.

Fallbeispiel: Praktische Ausgrenzung

Ein Beispiel liefert der öffentliche Verkehr in Deutschland: Für bestimmte günstige Tickets (z. B. „Super-Sparpreise“ oder Sonderaktionen der Deutschen Bahn) ist die Buchung ausschließlich online oder per App möglich. Wer kein Smartphone oder Internetzugang hat, kann diese Angebote faktisch nicht nutzen.
Ähnlich wird es in einigen Kommunen gehandhabt, wo Terminbuchungen im Bürgeramt nur digital erfolgen. Wer keinen Zugang hat, muss Umwege gehen – oder wird schlicht ausgeschlossen.

Verantwortung

Ein modernes Gemeinwesen muss Technologiefreiheit garantieren:

• Wer KI nutzen will, soll es können.
• Wer darauf verzichtet, darf nicht ausgeschlossen werden – sei es beim Bürgeramt, beim Banking oder beim Kauf eines Tickets.

„Gerade deshalb erwarten Verbraucher:innen, im digitalen Raum geschützt zu sein. Es braucht klare, verbraucherfreundliche Regeln, die konsequent durchgesetzt werden.“
(Lina Ehrig, Leiterin Team Digitales & Medien, Verbraucherzentrale Bundesverband)

Dies ist keine „Anti-Digitalisierung“, sondern ein Gebot von Würde, Inklusion und Gerechtigkeit.

Fazit: Verantwortung vor Geschwindigkeit

• Unternehmen und Verwaltung: sollten nicht aus Angst, den „KI-Zug zu verpassen“, blind Technologien einführen, sondern geschulte Spezialisten einsetzen und klare Sicherheits- und Compliance-Strukturen schaffen.
• Privatpersonen: brauchen Aufklärung und Werkzeuge, um KI sicher nutzen zu können – und die Freiheit, darauf zu verzichten.
• Gesetzgeber: hat mit DSGVO und AI Act Grundlagen geschaffen, muss aber auch sicherstellen, dass analoge Alternativen bestehen bleiben.

Der vorsichtige, sicherheitsbewusste Umgang mit KI ist kein Bremsklotz – er ist ein Zeichen von Professionalität, Verantwortung und Resilienz.

Quellen

Bundesverfassungsgericht, Urteil zu Hessendata (16.02.2023)

EuGH, Urteil zu SCHUFA-Scoring (07.12.2023)

Heise, „Sicherheitsvorfall bei localmind.ai“ (Oktober 2025)

Borncity-Blogreihe zu localmind.ai (Oktober 2025)

Climb Channel Solutions, Studie zu KI-Einsatz in Unternehmen (2025)

Deutschlandfunk, „KI und Wahlen: Gefahr durch Deepfakes“ (2024)

EU-Kommission, Text zum AI Act (2024)

Verbraucherzentrale Bundesverband, Statement von Lina Ehrig (2024)

Der Beitrag Der gefährliche KI-Hype: Wer zu schnell fährt, riskiert den Crash erschien zuerst auf Kunst & KI.