Ein Grundstück am Ortsrand, unmittelbar an der Grenze zum Außenbereich. Die Rechtslage scheint zunächst eindeutig: Das Vorhaben ist in dieser Form eigentlich nicht vorgesehen. Doch bei näherer Betrachtung zeigt sich ein differenzierteres Bild. Eine Ablehnung würde für den Antragsteller eine erhebliche Härte bedeuten. Nachbarliche Belange sind nicht berührt, die beteiligten Träger öffentlicher Belange äußern keine Bedenken und sprechen sich teilweise sogar ausdrücklich für das Vorhaben aus. Aufgrund der besonderen Lage des Grundstücks wäre zudem keine unerwünschte Vorbildwirkung für weitere Bauvorhaben zu erwarten. Auch das Ortsbild bliebe weitgehend unbeeinträchtigt. Vergleichbare Fälle hat die Behörde bislang nicht zu entscheiden gehabt.

Für einen Algorithmus stellt ein solcher Fall vor allem ein Problem dar: Es fehlen vergleichbare Muster. Für eine erfahrene Mitarbeiterin oder einen erfahrenen Mitarbeiter im Bauamt beginnt an dieser Stelle hingegen die eigentliche Arbeit. Denn genau für solche Konstellationen hat der Gesetzgeber Ermessens- und Abwägungsspielräume geschaffen. Hier geht es nicht um das schematische Abarbeiten von Vorschriften, sondern um die Würdigung eines Einzelfalls, die Berücksichtigung besonderer Umstände und die verantwortungsvolle Abwägung widerstreitender Interessen.

Für einen Algorithmus ist ein solcher Fall eine statistische Ausnahme. Für den Rechtsstaat ist er der Grund, warum menschliches Ermessen überhaupt existiert.

Dennoch plant Bayern nun, den Einsatz Künstlicher Intelligenz auch dort zu ermöglichen, wo bislang bewusst Menschen entscheiden sollten. Was als Modernisierung der Verwaltung verkauft wird, könnte sich als weitreichender Eingriff in ein zentrales Prinzip rechtsstaatlichen Handelns erweisen. Denn die eigentliche Frage lautet nicht, ob Maschinen schneller entscheiden können als Menschen. Die eigentliche Frage lautet, ob der Staat dort auf menschliche Erfahrung, Verantwortung und Einzelfallgerechtigkeit verzichten sollte, wo sie vom Gesetzgeber ausdrücklich gewollt sind.

Ein historischer Schritt – aber in welche Richtung?

Die Bayerische Staatsregierung betrachtet ihren Vorstoß als wegweisend. Der Leiter der Staatskanzlei, Florian Herrmann, sprach gegenüber der Süddeutschen Zeitung sogar von einem historischen Vorgang:

„Das ist Rechtsgeschichte, weil es das bisher noch nicht gab.“

Tatsächlich wäre die Änderung des Verwaltungsverfahrensrechts ein Paradigmenwechsel. Bisher galt ein einfacher Grundsatz: Dort, wo Ermessen oder Beurteilungsspielräume bestehen, soll kein vollautomatisiertes Verfahren entscheiden.

Der Grund dafür liegt auf der Hand. Ermessen existiert nicht deshalb, weil Gesetze unvollkommen wären. Ermessen existiert, weil der Gesetzgeber erkannt hat, dass sich menschliche Lebenswirklichkeit nicht vollständig in Regeln und Kategorien pressen lässt.

Gerade deshalb stellt sich die Frage, warum ausgerechnet dieser Bereich nun für den Einsatz von KI geöffnet werden soll.

Die Illusion der objektiven Maschine

Befürworter verweisen häufig auf schnellere Verfahren, mehr Einheitlichkeit und eine größere Konsistenz behördlicher Entscheidungen.

Doch diese Argumentation beruht auf einer problematischen Annahme: dass sich gute Verwaltung vor allem durch Gleichförmigkeit auszeichnet.

Moderne KI-Systeme treffen keine Entscheidungen aufgrund von Erfahrung oder Verständnis. Sie erkennen Muster in vorhandenen Daten. Sie bewerten Wahrscheinlichkeiten. Sie vergleichen neue Fälle mit bereits bekannten Konstellationen.

Das mag bei standardisierten Vorgängen sinnvoll sein.

Doch je stärker ein Fall vom Durchschnitt abweicht, desto größer wird das Problem.

Denn die Besonderheit eines Einzelfalls erscheint für die KI nicht als Qualität, sondern als Abweichung.

Gerade hier beginnt die Gefahr einer schleichenden Radikalisierung der Verwaltung.

Nicht im politischen Sinn, sondern im administrativen Sinn: Entscheidungen werden zunehmend auf Muster, Kategorien und Wahrscheinlichkeiten reduziert. Das Individuelle wird zum Störfaktor. Der atypische Fall wird zur Ausnahme, die möglichst effizient verarbeitet werden soll. Die Verwaltung wird dadurch nicht zwingend gerechter, sondern vor allem standardisierter.

Der Preis dieser Entwicklung könnte ein Verlust jener Flexibilität sein, die rechtsstaatliches Ermessen überhaupt erst ermöglichen soll.

Das eigentliche Problem heißt nicht Technik

Die Diskussion über KI in der Verwaltung wird häufig so geführt, als sei sie die Antwort auf eine objektive Notlage.

Doch die Überlastung vieler Behörden ist kein Naturereignis.

Seit Jahren berichten Beschäftigte von steigender Arbeitsverdichtung, wachsender Verantwortung und immer komplexeren Verfahren. Dokumentationspflichten nehmen zu, rechtliche Anforderungen werden umfangreicher und Aufgaben werden ständig erweitert.

Gleichzeitig wurden vielerorts Stellen abgebaut, nicht nachbesetzt oder organisatorisch zusammengelegt.

Die Beschäftigten sollen mehr leisten, komplexere Entscheidungen treffen und größere Verantwortung übernehmen – häufig unter denselben Rahmenbedingungen wie vor Jahren.

Vor diesem Hintergrund erscheint der Ruf nach KI in einem anderen Licht.

Die Technologie soll Probleme lösen, deren Ursachen nicht technischer Natur sind.

Wenn Unterstützung zur Vorentscheidung wird

Offiziell soll der Mensch weiterhin die Kontrolle behalten.

Doch diese Vorstellung ignoriert die Realität vieler Verwaltungen.

Wer täglich unter erheblichem Zeitdruck arbeitet, wird Vorschläge eines Systems kaum vollständig nachvollziehen und überprüfen können. Genau hier entsteht ein bekanntes Phänomen, das als „Automation Bias“ bezeichnet wird: Menschen neigen dazu, Empfehlungen technischer Systeme zu vertrauen, insbesondere dann, wenn Zeitdruck und Arbeitsbelastung hoch sind.

Auf dem Papier entscheidet weiterhin der Mensch.

In der Praxis besteht die Gefahr, dass die Maschine die Entscheidung vorbereitet, strukturiert und faktisch vorprägt.

Die Unterschrift bleibt menschlich.

Die Entscheidungslogik möglicherweise nicht.

Das Bauamt als Prüfstein

Gerade im Baurecht zeigt sich, wie problematisch diese Entwicklung sein könnte.

Baugenehmigungen bestehen nicht ausschließlich aus objektiv messbaren Kriterien. Sie betreffen gewachsene Ortsbilder, nachbarschaftliche Interessen, städtebauliche Entwicklungen und nicht zuletzt menschliche Lebensentwürfe.

Erfahrene Mitarbeiterinnen und Mitarbeiter entwickeln über Jahre ein Gespür für Besonderheiten, die sich nicht vollständig in Akten, Datenbanken oder Checklisten abbilden lassen.

Sie wissen, wann eine scheinbar vergleichbare Situation eben doch nicht vergleichbar ist.

Sie erkennen Konstellationen, für die es keine Muster gibt.

Sie verstehen lokale Besonderheiten, historische Entwicklungen und praktische Auswirkungen einer Entscheidung.

Genau dieses Erfahrungswissen droht verloren zu gehen, wenn Verwaltung zunehmend auf statistische Muster reduziert wird.

Denn die entscheidende Stärke menschlichen Ermessens liegt nicht darin, bekannte Fälle zu erkennen.

Sie liegt darin, unbekannte Fälle angemessen beurteilen zu können.

Wer trägt die Verantwortung?

Mit dem Einsatz von KI stellt sich zudem eine grundlegende rechtsstaatliche Frage.

Wer trägt die Verantwortung für eine Fehlentscheidung?

Bislang ist die Lage klar: Entscheidungen werden von Menschen getroffen, begründet und können gerichtlich überprüft werden.

Bei KI-gestützten Verfahren droht diese Verantwortlichkeit zu verschwimmen.

Die Behörde kann auf die Empfehlung des Systems verweisen.

Der Softwareanbieter kann erklären, lediglich ein Werkzeug bereitgestellt zu haben.

Die Beschäftigten können darauf hinweisen, dass sie die technische Bewertung nicht vollständig nachvollziehen konnten.

Doch ein Rechtsstaat benötigt Verantwortliche.

Er lebt davon, dass Entscheidungen nachvollziehbar, überprüfbar und zurechenbar bleiben.

Transparenz als ungelöstes Problem

Der Bayerische Landesbeauftragte für den Datenschutz, Thomas Petri, mahnt deshalb:

„Transparenz, Verständlichkeit und Nachvollziehbarkeit sind als Kernanliegen des Datenschutzes auch für die Vertrauenswürdigkeit von KI essenziell.“

Dieser Satz trifft den Kern der Debatte.

Denn Bürger haben nicht nur Anspruch auf eine Entscheidung.

Sie haben Anspruch darauf zu verstehen, warum diese Entscheidung getroffen wurde.

Je komplexer KI-Systeme werden, desto schwieriger wird genau diese Nachvollziehbarkeit.

Damit gerät ein weiteres Fundament rechtsstaatlichen Handelns unter Druck.

Wenn Ermessen zum Kostenfaktor wird

Die eigentliche Schwäche der aktuellen Debatte liegt möglicherweise in einer unausgesprochenen Grundannahme.

Menschliches Ermessen erscheint zunehmend als ineffizient.

Es kostet Zeit.

Es verlangt Erfahrung.

Es führt nicht immer zu identischen Ergebnissen.

Es lässt sich nicht beliebig skalieren.

Doch genau deshalb hat der Gesetzgeber es geschaffen.

Ermessen soll verhindern, dass Menschen ausschließlich nach abstrakten Regeln oder statistischen Mustern behandelt werden. Es soll sicherstellen, dass Besonderheiten berücksichtigt werden können. Es soll dort Gerechtigkeit ermöglichen, wo starre Gleichbehandlung zu ungerechten Ergebnissen führen würde.

Der Rechtsstaat hat das menschliche Ermessen nicht trotz seiner Unschärfen geschaffen, sondern gerade wegen seiner Fähigkeit, der Komplexität realer Lebenssituationen gerecht zu werden.

Fazit

Die Debatte über KI in der Verwaltung wird häufig als Frage technischer Machbarkeit geführt.

Tatsächlich geht es um etwas Grundsätzlicheres.

Es geht um die Frage, welche Art von Verwaltung wir wollen.

Eine Verwaltung, die den Bürger als Datensatz betrachtet, der möglichst effizient verarbeitet werden muss?

Oder eine Verwaltung, die den Menschen als Individuum begreift und bereit ist, Besonderheiten des Einzelfalls zu berücksichtigen?

Die geplante Öffnung von Ermessensentscheidungen für KI mag als Modernisierung verkauft werden.

Sie könnte sich jedoch als Schritt hin zu einer Verwaltung erweisen, in der menschliche Erfahrung, Verantwortung und Einzelfallgerechtigkeit zunehmend als Hindernisse erscheinen.

Eine solche Entwicklung wäre kein Fortschritt.

Sie wäre die technologische Vollendung einer Tendenz, die vielerorts bereits sichtbar ist: Arbeitsverdichtung, Rationalisierungsdruck und die Vorstellung, dass sich menschliches Urteil letztlich durch Mustererkennung ersetzen lasse.

Doch genau dort beginnt die eigentliche Gefahr.

Denn für einen Algorithmus ist der Mensch oft die Ausnahme.

Für den Rechtsstaat sollte er stets der Maßstab bleiben.

Quellen

1. Legal Tribune Online (LTO): „Bayern will Verwaltungsrecht ändern: Ermessen? Pah, das soll die KI machen“
   https://www.lto.de/recht/hintergruende/h/ki-verwaltung-ermessen-bayern-aendert-verwaltungsrecht-bund-kontrolle-kritik
2. Legal Tribune Online (LTO): „Künstliche Intelligenz in der Verwaltung: Keine Ermessensausübung durch die Maschine?“
   https://www.lto.de/recht/hintergruende/h/kuenstliche-intelligenz-ki-verwaltung-35a-vwvfg-ermessen-automatisiert-verwaltungsakt
3. Süddeutsche Zeitung: Berichterstattung zur bayerischen Verwaltungsrechtsänderung; Zitat von Florian Herrmann („Das ist Rechtsgeschichte, weil es das bisher noch nicht gab.“)
4. Bayerischer Landesbeauftragter für den Datenschutz: Künstliche Intelligenz
   https://www.datenschutz-bayern.de/nav/2501.html
5. move-online.de: „KI in der Verwaltung – aber mit Datenschutz“; Zitat von Thomas Petri („Transparenz, Verständlichkeit und Nachvollziehbarkeit sind als Kernanliegen des Datenschutzes auch für die Vertrauenswürdigkeit von KI essenziell.“)

Der Beitrag Der Mensch stört erschien zuerst auf Kunst & KI.

Die Zukunft der künstlichen Intelligenz klingt in politischen Reden und Marketingkampagnen oft wie ein technisches Heilsversprechen. KI soll Krankheiten früher erkennen, Behörden effizienter machen, Cyberangriffe stoppen, Verkehrsströme optimieren und sogar die Folgen des Klimawandels besser beherrschbar machen. Doch ausgerechnet dort, wo die Risiken am größten sind, zeigen sich inzwischen die Grenzen datengetriebener Systeme besonders deutlich.

Eine aktuelle Studie des Karlsruher Instituts für Technologie (KIT) und der Universität Genf sorgt derzeit in der Meteorologie für Aufsehen. Die Forscher verglichen moderne KI-Wettermodelle wie GraphCast, Pangu Weather und Fuxi mit klassischen physikbasierten Wettermodellen. Das Ergebnis: Während KI-Systeme bei gewöhnlichen Wetterlagen oft erstaunlich präzise arbeiten, unterschätzen sie Extremereignisse systematisch – darunter Hitzewellen, Starkregen und Orkanböen.

Das KIT formuliert den Befund ungewöhnlich klar: „Während KI-Modelle bei der Gesamtbewertung aller Wetterlagen gut abschneiden, zeigen sie bei Rekordereignissen durchweg größere Prognosefehler.“ Besonders problematisch sei, dass die Systeme „sowohl die Intensität als auch die Häufigkeit extremer Ereignisse“ unterschätzen.

Das ist kein bloß akademisches Problem. Wenn Hochwasserwarnungen zu niedrig ausfallen oder extreme Hitzewellen nicht rechtzeitig erkannt werden, kann das Menschenleben kosten. Gerade weil Extremereignisse selten sind, liegen sie oft außerhalb jener Datenbereiche, aus denen KI-Systeme gelernt haben. Mit dem Klimawandel verschärft sich dieses Problem zusätzlich: Die Vergangenheit wird als Trainingsgrundlage immer unzuverlässiger.

Doch die eigentliche Brisanz reicht weit über die Meteorologie hinaus. Das Wetterproblem ist nur ein sichtbares Symptom eines grundlegenderen Konflikts: Was passiert mit einer Gesellschaft, wenn immer mehr Entscheidungen auf statistischen Systemen beruhen, die niemand mehr wirklich nachvollziehen kann?

Die Illusion statistischer Sicherheit

Die meisten modernen KI-Systeme funktionieren nicht wie klassische Programme. Sie folgen nicht einer transparenten Kette von Regeln, sondern lernen Muster aus gigantischen Datenmengen. Genau das macht sie leistungsfähig – und zugleich gefährlich.

Solange die Realität den Trainingsdaten ähnelt, liefern diese Systeme oft beeindruckende Ergebnisse. Doch bei seltenen Ausnahmefällen, neuen Situationen oder gesellschaftlichen Umbrüchen geraten sie an strukturelle Grenzen. Informatiker sprechen von „Out-of-Distribution“-Problemen: Das Modell wird mit einer Situation konfrontiert, die außerhalb seines Erfahrungsraums liegt.

Das Wetterbeispiel zeigt diese Schwäche besonders deutlich. Doch ähnliche Probleme existieren längst in anderen Bereichen.

In der Medizin etwa können KI-Systeme bei Standardfällen sehr gute Ergebnisse erzielen. Schwieriger wird es bei seltenen Erkrankungen, atypischen Symptomen oder unterrepräsentierten Patientengruppen. In der Cybersicherheit erkennen Algorithmen bekannte Angriffsmuster oft schneller als Menschen – aber gerade neuartige Angriffstechniken entziehen sich statistischen Routinen.

Trotzdem wächst der Druck, solche Systeme immer umfassender einzusetzen. Behörden experimentieren mit automatisierter Risikobewertung, Unternehmen mit algorithmischer Personalsteuerung, Versicherungen mit KI-gestützten Schadensanalysen. Der gemeinsame Nenner lautet stets: Effizienz.

Die eigentliche Gefahr entsteht jedoch nicht erst dann, wenn ein System spektakulär versagt. Sie beginnt bereits in dem Moment, in dem Menschen institutionell lernen, den Systemen zu vertrauen.

Vom Hilfsmittel zur Autorität

Der deutsch-amerikanische Informatiker und KI-Pionier Joseph Weizenbaum warnte bereits 1976 vor genau dieser Entwicklung. In seinem Buch „Computer Power and Human Reason“ schrieb er:

„Die Frage ist nicht, ob so etwas getan werden kann, sondern ob es angemessen ist, diese bislang menschliche Funktion an eine Maschine zu delegieren.“

Und weiter:

„Die Grenzen der Anwendbarkeit von Computern lassen sich letztlich nur in Begriffen dessen formulieren, was sein soll.“

Weizenbaum kritisierte nicht bloß technische Fehler, sondern die Vorstellung, menschliches Urteil durch Berechnung ersetzen zu können. Besonders entschieden wandte er sich gegen den Einsatz von Computern in Bereichen, die Verantwortung, Ethik oder menschliche Abwägung erfordern.

Heute wirken seine Warnungen erstaunlich aktuell.

Denn moderne KI verändert nicht nur Werkzeuge, sondern Institutionen. In vielen Bereichen entsteht schleichend ein sogenannter „Automation Bias“: Menschen gewöhnen sich daran, algorithmischen Empfehlungen zu folgen – selbst dann, wenn sie Zweifel haben.

Piloten verlassen sich auf Autopiloten. Ärzte auf Diagnosevorschläge. Sachbearbeiter auf Risikoscores. Analysten auf Prognosemodelle.

Je häufiger die Systeme richtig liegen, desto größer wird die psychologische Hemmschwelle, ihnen zu widersprechen.

Damit verschiebt sich Verantwortung. Formal bleibt zwar meist ein Mensch zuständig. Praktisch aber wird menschliche Kontrolle oft zu einer symbolischen Restfunktion.

Blackbox statt Rechtsstaat

Besonders problematisch wird das in demokratischen und rechtsstaatlichen Systemen.

Denn moderne Rechtsstaaten beruhen auf Grundprinzipien wie Nachvollziehbarkeit, Begründungspflicht und Anfechtbarkeit. Entscheidungen müssen überprüfbar sein. Betroffene müssen verstehen können, warum sie benachteiligt, abgelehnt oder überwacht werden.

Viele KI-Systeme stehen genau dazu im Widerspruch.

Große neuronale Modelle arbeiten hochkomplex und oft intransparent. Selbst Entwickler können häufig nicht exakt erklären, warum ein System zu einem bestimmten Ergebnis gekommen ist. Die Folge ist ein fundamentaler Konflikt zwischen statistischer Optimierung und demokratischer Legitimation.

Ein Beispiel dafür lieferte bereits der niederländische Sozialskandal um das System SyRI, mit dem Behörden automatisiert Sozialbetrug erkennen wollten. Bürger wurden algorithmisch als Verdachtsfälle markiert, ohne nachvollziehen zu können, nach welchen Kriterien das geschah. Gerichte stoppten das System schließlich wegen massiver Datenschutz- und Rechtsstaatsbedenken.

Ähnliche Debatten laufen inzwischen europaweit.

Die Europäische Union versucht mit ihrem KI-Gesetz zwar, Hochrisikosysteme stärker zu regulieren. Doch viele Experten bezweifeln, dass Transparenzpflichten allein ausreichen.

Denn selbst wenn ein System statistisch korrekt arbeitet, bleibt die Frage offen, ob demokratische Gesellschaften bestimmte Entscheidungen überhaupt an datengetriebene Modelle delegieren sollten.

Die neue Macht der Konzerne

Hinzu kommt ein weiterer Faktor: Konzentration.

Die leistungsfähigsten KI-Systeme werden heute von wenigen globalen Konzernen kontrolliert. Training, Infrastruktur und Rechenleistung kosten Milliardenbeträge. Staaten, Behörden und Unternehmen geraten dadurch zunehmend in Abhängigkeit von proprietären Modellen, deren Funktionsweise oft Geschäftsgeheimnisse bleibt.

Damit entsteht eine neue Form technologischer Macht.

Wenn Verwaltung, Medizin, Bildung oder kritische Infrastruktur künftig auf Systeme angewiesen sind, die von einigen wenigen Unternehmen betrieben werden, verschiebt sich demokratische Kontrolle hin zu privatwirtschaftlichen Plattformen.

Der öffentliche Diskurs über KI wird zusätzlich durch massives Marketing verzerrt. Investoren, Tech-Konzerne und politische Akteure haben ein starkes Interesse daran, KI als unvermeidliche Zukunftstechnologie darzustellen. Kritische Einwände erscheinen dann schnell als technikfeindlich oder rückständig.

Weizenbaum warnte bereits vor einem „Mythos technologischer Unvermeidlichkeit“. Heute zeigt sich dieser Mythos in nahezu jeder KI-Debatte: Die Systeme gelten nicht mehr bloß als Möglichkeit, sondern als zwangsläufige Entwicklungsstufe.

Gerade deshalb werden Warnungen oft erst ernst genommen, wenn reale Schäden sichtbar werden.

Die Gefahr der KI-Echokammer

Ein weiteres Problem beginnt erst langsam sichtbar zu werden: die Rückkopplung künstlicher Systeme mit sich selbst.

Immer mehr Texte, Bilder, Analysen und Programmiercodes im Internet stammen inzwischen von KI-Systemen. Gleichzeitig werden neue Modelle mit genau diesen Daten trainiert.

Forscher warnen deshalb vor sogenannten „Model Collapse“-Effekten: Wenn KI zunehmend aus KI-generierten Inhalten lernt, können Informationsvielfalt, Qualität und Robustheit abnehmen.

Das Risiko ist nicht nur technischer Natur. Auch gesellschaftlich entstehen Echokammern.

Wenn algorithmische Systeme bestimmen,

• welche Informationen sichtbar werden,
• welche Texte produziert werden,
• welche Risiken als relevant gelten,
• welche Wahrscheinlichkeiten Entscheidungen beeinflussen,

dann formen statistische Modelle zunehmend selbst jene Wirklichkeit, aus der sie wiederum lernen.

Gerade in sicherheitskritischen Bereichen kann das gefährlich werden.

Ein KI-System, das Bedrohungen falsch priorisiert, beeinflusst menschliche Aufmerksamkeit. Ein Diagnosemodell verändert medizinische Routinen. Ein automatisiertes Verwaltungssystem verändert bürokratische Praxis.

Die Systeme beschreiben Realität dann nicht mehr bloß – sie produzieren sie mit.

Fazit: Die zentrale Frage unserer Zeit

Die aktuelle Wetterstudie ist deshalb weit mehr als eine technische Detaildebatte über Prognosemodelle.

Sie zeigt exemplarisch, wo die Grenzen rein datengetriebener Systeme liegen: ausgerechnet bei seltenen, neuartigen und gesellschaftlich besonders folgenreichen Ereignissen.

Doch die größere Frage lautet nicht, ob KI nützlich sein kann. Natürlich kann sie das.

Die entscheidende Frage ist vielmehr:

Welche Entscheidungen dürfen demokratische Gesellschaften überhaupt an statistische Systeme delegieren?

Denn eine Gesellschaft verliert Kontrolle nicht erst dann, wenn Maschinen vollständig autonom handeln. Kontrolle geht bereits verloren, wenn Entscheidungen zwar formal noch von Menschen bestätigt werden, praktisch aber niemand mehr versteht, überprüft oder verantwortet, wie sie zustande kommen.

Das eigentliche Risiko der KI-Revolution liegt deshalb möglicherweise nicht in einer futuristischen Maschinenherrschaft. Sondern in einer schleichenden Gewöhnung daran, menschliches Urteil durch undurchsichtige Wahrscheinlichkeitsmodelle zu ersetzen.

Die Wettermodelle liefern dafür eine Warnung. Nicht weil KI grundsätzlich nutzlos wäre, sondern weil gerade hochkomplexe Gesellschaften dazu neigen, funktionierende Systeme immer weiter auszudehnen – bis jene Ausnahmefälle auftreten, in denen ihre strukturellen Schwächen sichtbar werden.

Und genau diese Ausnahmefälle entscheiden oft über Sicherheit, Freiheit und demokratische Kontrolle.

Quellen und weiterführende Links

• KIT: „Physikbasierte Wettermodelle bei Extremereignissen zuverlässiger als KI“: https://www.kit.edu/kit/pi_2026_040_physikbasierte-wettermodelle-bei-extremereignissen-zuverlaessiger-als-ki.php
• Science Media Center: „KI-Modelle bei der Vorhersage seltener Wetterextreme unterlegen“: https://www.sciencemediacenter.de/angebote/ki-modelle-bei-der-vorhersage-seltener-wetterextreme-unterlegen-26090
• Frankfurter Rundschau: „Studie zerlegt den KI-Hype“: https://www.fr.de/panorama/studie-zerlegt-den-ki-hype-bei-hitze-sturm-und-starkregen-versagen-die-teuren-algorithmen-zr-94299698.html
• Joseph Weizenbaum: „Computer Power and Human Reason: From Judgment to Calculation“ (1976)
• Europäisches Parlament: EU AI Act: https://www.europarl.europa.eu/topics/de/article/20230601STO93804/gesetz-zur-kunstlichen-intelligenz-der-eu-erste-regeln-fur-ki
• Dokumentation über Joseph Weizenbaum: „Plug & Pray“: http://www.plugandpray-film.com/en/

Der Beitrag Wenn Maschinen entscheiden: Wie der KI-Hype Kontrolle, Verantwortung und Demokratie gefährdet erschien zuerst auf Kunst & KI.

Ein System unter Druck

Die Diagnose ist seit Jahren bekannt, doch sie bleibt unbequem: Die deutsche Justiz arbeitet am Limit. Gerichte und Staatsanwaltschaften kämpfen mit überlasteten Geschäftsstellen, langen Verfahrensdauern, dauerhaften Vakanzen und einer Infrastruktur, die vielerorts nicht einmal grundlegenden digitalen Anforderungen genügt. Eine Analyse von Strategy& (PwC) beschreibt die Lage als einen Zustand zahlreicher „Medienbrüche“, manueller Bearbeitungswege und fehlender digitaler Schnittstellen, die zusammen die Funktionsfähigkeit der Justiz gefährden.

Die Hoffnung auf Entlastung verlagert sich immer stärker auf eine Technologie, die ihre Leistungsfähigkeit bereits in anderen Bereichen bewiesen hat: künstliche Intelligenz. Akten sollen vorsortiert, Metadaten extrahiert und Dokumente automatisch klassifiziert werden. Doch je tiefer die Technik in die Abläufe eindringt, desto deutlicher zeigt sich: Die entscheidenden Fragen sind nicht technischer Natur – sie sind rechtsstaatlich.

Die neue politische Leitlinie: „Chancen nutzen, Verantwortung übernehmen, Transparenz gewährleisten“

Im Juni 2025 verabschiedeten die Justizministerinnen und Justizminister des Bundes und der Länder die „Gemeinsame Erklärung zum Einsatz von Künstlicher Intelligenz in der Justiz“. Darin verpflichten sich die Behörden zu einem „menschenzentrierten, verantwortungsvollen und transparenten“ Einsatz von KI-Systemen. Zugleich wird betont, dass richterliche Entscheidungen nicht automatisiert getroffen werden dürfen und die Verantwortung immer beim Menschen bleibt.

Dieser Grundsatz ist eindeutig – aber seine Umsetzung komplex. Denn die Praxis zeigt, dass Arbeitsabläufe sich schon heute an digitale Systeme anlehnen. Wenn eine KI entscheidet, welche Akte zuerst erscheint, welche Passage als „relevant“ markiert wird oder welcher Schriftsatz Priorität erhält, entsteht faktisch Einfluss auf das Verfahren, lange bevor jemand eine Entscheidung trifft.

Pilotprojekte: Mehr als nur digitale Assistenten

Die wissenschaftlichen Dienste des Bundestags dokumentierten bereits 2021, dass KI-Anwendungen in mehreren Bundesländern erprobt werden – angefangen bei der automatisierten Klassifikation von Dokumenten über die Extraktion von Metadaten bis hin zu Tools, die Massendaten strukturieren sollen. In der Legal-Tech-Fachliteratur finden sich Hinweise auf Systeme zur Aktenvorstrukturierung, Mustererkennung und Anonymisierung von Gerichtsentscheidungen.

Offiziell wird stets betont, dass diese Systeme nur „assistieren“ sollen. Doch in der Praxis zeigt sich ein Graubereich: Wenn ein Algorithmus bestimmte Dokumente hervorhebt, andere ausblendet oder nach eigenen Kriterien sortiert, beeinflusst dies zwangsläufig die menschliche Wahrnehmung. Eine Filterung kann so leise zur Vorentscheidung werden.

Das Transparenzproblem: Die Blackbox im Gerichtssaal

Rechtsprechung verlangt Transparenz und Nachvollziehbarkeit. KI-Systeme hingegen operieren häufig als Blackbox. Selbst Fachleute können die internen Berechnungsschritte lernender Modelle oft nicht vollständig rekonstruieren.

Die Europäische Grundrechteagentur warnt deshalb ausdrücklich, dass der Einsatz algorithmischer Systeme nur auf Grundlage gründlich geprüfter Daten erfolgen dürfe. Denn fehlerhafte oder verzerrte Trainingsdaten können zu Entscheidungen führen, die Betroffene kaum anfechten können – weil der Weg zum Ergebnis nicht offenliegt.

Ein zusätzliches Problem: Viele KI-Lösungen stammen von privaten Anbietern. Deren Algorithmen stehen unter Geschäftsgeheimnissen, was unabhängige Audits erschwert. In einem sensiblen Bereich wie der Justiz ist das ein grundlegendes Dilemma.

Algorithmischer Bias: Ungleichheit als Datenbasis

KI lernt aus historischen Daten – und diese sind nie neutral. In der Vergangenheit getroffene strafrechtliche Entscheidungen, polizeiliche Fallzahlen oder regionale Besonderheiten können Verzerrungen enthalten, die ein Algorithmus reproduziert. Das Alexander von Humboldt Institut für Internet und Gesellschaft betont, dass viele Modelle „hauptsächlich das Vergangene vorhersagen“ und dadurch bestehende Ungleichheiten verstärken können.

Für die Justiz ist das brisant: Wenn historische Urteile oder Ermittlungsdaten als Grundlage dienen, kann ein Algorithmus fehlerhafte Muster verstetigen. Eine Prognose, die scheinbar objektiv wirkt, kann in Wahrheit ein algorithmisch reproduzierter Bias sein.

Verantwortung: Theorie und Praxis auseinander

Die politische Leitlinie behauptet, die Verantwortung bleibe beim Menschen. Doch die Forschung zeigt, dass sogenannte Automation Biases dazu führen, dass Menschen algorithmischen Vorschlägen oft mehr Vertrauen schenken als ihrer eigenen Einschätzung. Ein digitales System, das täglich Vorschläge erzeugt, kann so schleichend zur faktischen Autorität werden.

Zudem ist ungeklärt, wie sich Verantwortlichkeit verteilt, wenn ein Fehler geschieht:

• Wer haftet, wenn eine KI eine Akte falsch vorpriorisiert?
• Wer trägt die Verantwortung, wenn eine algorithmische Prognose Einfluss auf die Entscheidung nimmt?
• Welche Dokumentationspflichten gelten bei KI-gestützten Empfehlungen?

Weder der deutsche Gesetzgeber noch die europäische Regulierung haben diese Fragen abschließend beantwortet.

Infrastruktur: Moderner Anspruch, veraltete Realität

Parallel dazu ist die digitale Infrastruktur der Justiz vielerorts veraltet. Strategie- und Beratungsberichte zeigen, dass es an einheitlichen Datenstandards, verlässlichen Schnittstellen und leistungsfähigen Systemen fehlt. Die Gefahr ist offensichtlich: KI wird in ein System eingebaut, das technisch kaum in der Lage ist, ihre Ergebnisse zuverlässig aufzunehmen und zu prüfen.

Dieser Widerspruch führt zu einer paradoxen Situation: Während KI als Lösung präsentiert wird, fehlt vielerorts das Fundament, auf dem sie rechtsstaatlich betrieben werden könnte.

Der internationale Blick: Frühere Fehler, spätere Lehren

Andere Länder sind bei der KI-Nutzung in der Justiz weiter – und liefern mahnende Beispiele. In den USA gerieten Risiko-Score-Systeme wie COMPAS wegen intransparenter Berechnungen und rassistischer Biases in die Kritik. Auch in Großbritannien und Australien lösten algorithmische Entscheidungshilfen Debatten über Diskriminierung und fehlerhafte Prognosen aus.

Die wissenschaftlichen Dienste des Bundestages dokumentieren diese internationalen Entwicklungen und empfehlen, künftige Anwendungen in Deutschland strikt an rechtsstaatliche Anforderungen zu koppeln – insbesondere im Strafrecht.

Fazit: Modernisierung mit Augenmaß, nicht mit Blindflug

Künstliche Intelligenz kann der Justiz helfen. Sie kann entlasten, beschleunigen und Struktur schaffen. Aber Effizienz ist kein rechtsstaatlicher Wert an sich. Wo Transparenz fehlt, Daten verzerrt sind, Verantwortung unklar bleibt und technische Grundlagen wackeln, droht ein Justizsystem, das moderner wirkt, aber weniger überprüfbar ist.

Die entscheidende Frage lautet deshalb nicht, ob KI in der Justiz eingesetzt werden soll. Sie lautet:
Unter welchen Bedingungen – und wer kontrolliert diese Bedingungen?

Ein Rechtsstaat, der sich algorithmischer Unterstützung bedient, muss gleichzeitig seine demokratischen Kontrollmechanismen stärken. Sonst riskiert er nicht nur technische Fehlentwicklungen, sondern das Vertrauen in die Gerechtigkeit seiner Entscheidungen.

Quellen

• Wissenschaftliche Dienste des Deutschen Bundestages (2021): Künstliche Intelligenz in der Justiz – Internationaler Überblick, WD 7-017/21.
• Strategy& / PwC (2025): Ein Zukunftsprogramm für die Digitalisierung der Justiz.
• Gemeinsame Erklärung zum Einsatz von Künstlicher Intelligenz in der Justiz (Bund und Länder), Bad Schandau, Juni 2025.
• Legal-Tech.de (2024/2025): Beiträge zu Einsatzfeldern und Digitalstrategien in der Justiz.
• European Union Agency for Fundamental Rights (2022): Bias in Algorithms – Artificial Intelligence and Discrimination.
• Alexander von Humboldt Institut für Internet und Gesellschaft (2024): Analyse zu algorithmischen Verzerrungen.
• Fachliteratur zu „Trustworthy AI“ (u. a. Hirsch-Kreinsen, 2024).

Der Beitrag KI in der Justiz: Der stille Umbau eines Grundpfeilers des Rechtsstaats erschien zuerst auf Kunst & KI.