Warum klingt eine falsche KI-Antwort genauso überzeugend wie eine richtige?

Ein KI-Chat liefert einen Textentwurf. Die Formulierung sitzt, der Ton ist sachlich, sogar ein Paragraf mit Absatznummer ist dabei. Genau das macht die Prüfung schwer: Ein überzeugender Klang sagt nichts über den Inhalt.

Um das zu verstehen, hilft ein Blick auf die Mechanik dahinter. Ein Sprachmodell arbeitet nach einem einfachen Muster: Eingabe, Verarbeitung, Ausgabe. Bei jedem Wort berechnet es, welches nächste Wort mit welcher Wahrscheinlichkeit passt, auf Basis von Milliarden Textbeispielen. Verändert sich der Kontext, verschieben sich diese Wahrscheinlichkeiten sofort. Nach dem Wort „Nacht“ folgt in einem Nachrichtentext meist „Stille“ oder „Schlaf“. Steht davor der Hinweis „das ist ein Gedicht“, verschiebt sich die Rechnung, und plötzlich passen Wörter wie „Wind“ oder „Fluss“ viel besser. Das Modell hat dabei kein Verständnis von Nacht entwickelt. Es hat nur andere Wahrscheinlichkeiten ausgerechnet.

Diese Logik erklärt auch das Problem der Halluzination. Wenn zu einer Frage wenig passendes Material in den Trainingsdaten steckt, etwa zu einer sehr speziellen Rechtsvorschrift, wählt das Modell trotzdem das wahrscheinlichste nächste Wort. Es meldet nicht „das weiß ich nicht“. Es liefert einen vollständigen, professionell klingenden Satz, dessen Inhalt frei erfunden sein kann.

Wie das in der Praxis aussieht, zeigt ein selbst durchgeführter Test aus der kommunalen Prüfpraxis. Für einen Prüfvermerk zum Haushaltsvollzug einer Ortsgemeinde sollte ein KI-Chat die passenden Vorschriften aus der Gemeindeordnung Rheinland-Pfalz ergänzen. Das System nannte § 72 und § 77 GemO RP, jeweils mit konkretem Wortlaut zur Sparsamkeit und zum Haushaltsausgleich. Beide Angaben klangen fachlich passend formuliert. Tatsächlich gehören die genannten Grundsätze zu § 93 GemO RP. Auf den Hinweis hin korrigierte sich das System sofort und ohne Widerspruch, mit derselben Selbstverständlichkeit, mit der es zuvor die falschen Paragrafen genannt hatte. Genau das ist der Punkt: Das Modell hatte bei der falschen wie bei der richtigen Antwort dieselbe Überzeugungskraft im Ton.

Für die Praxis heißt das: Je juristischer oder zahlenlastiger ein Text, desto wichtiger die Prüfung gegen die Primärquelle. Ein Paragraf mit Absatzangabe wirkt seriös, ist aber genauso leicht erfunden wie ein freier Satz. Wer das einmal verinnerlicht hat, liest KI-Entwürfe anders: als Rohfassung, die einen fachlichen Blick verdient, egal wie fertig sie klingt. Der Zeitgewinn entsteht trotzdem, weil die Struktur und Formulierungsarbeit meist erledigt ist. Was bleibt, ist die inhaltliche Prüfung, die in der Verwaltung ohnehin nötig wäre.

Allerdings sollte diese Prüfung nicht zur bloßen Formsache werden. Gerade weil ein KI-Text so glatt wirkt, sinkt die Wachsamkeit oft genau dort, wo sie am meisten gebraucht wird: bei Fristen, Beträgen und Rechtsgrundlagen. Ein zweiter Blick durch eine weitere Person hilft, weil eine einzelne Prüfperson dazu neigt, den eigenen ersten Eindruck zu bestätigen. Zwei Augen sehen selten den eigenen blinden Fleck. Und nicht jede Falschangabe ist so leicht zu erkennen wie ein falscher Paragraf, den man selbst schon kennt.

Bleibt die Frage, wie sich diese Wachsamkeit im Alltag hält, wenn KI-Entwürfe zur Routine werden – und wie ein Vier-Augen-Prinzip organisatorisch aussehen kann, ohne die Zeitersparnis wieder aufzuzehren. Schwieriger wird es bei Textarten ohne schnelle Gegenprobe, etwa bei Fachbegriffen aus selten genutzten Rechtsgebieten.

Diesen Fragen gehen wir im Seminar „KI am Arbeitsplatz: Rechtssicher starten, spürbar Zeit sparen“ konkret nach.

[LINK ZUR SEMINARAUSSCHREIBUNG]