Wenn der KI-Agent hervorragend funktioniert, beginnt die eigentliche Gefahr

Der gefährlichste Satz im Umgang mit KI lautet: „Das läuft schon.“

Der Moment, in dem alle aufhören hinzuschauen

Ein KI-Ablauf geht in Betrieb. In den ersten Wochen schaut jemand jedes Ergebnis an. Es stimmt. Es stimmt wieder. Nach sechs Wochen wird stichprobenartig geprüft. Nach drei Monaten schaut kaum noch jemand bewusst hin.

Das ist kein Versagen. Es ist die verständliche Reaktion auf gute Erfahrung. Menschen richten ihre Aufmerksamkeit dorthin, wo sie Fehler erwarten, sonst käme niemand zum Arbeiten.

Bei KI-Abläufen entsteht daraus jedoch ein besonderes Risiko. Gerade die überzeugende Zuverlässigkeit führt dazu, dass die vereinbarte Beobachtung langsam verschwindet.

Abweichung kann wie normaler Betrieb aussehen

Viele konventionelle Systeme machen einen Ausfall sichtbar. Sie stoppen, erzeugen eine Fehlermeldung oder liefern gar kein Ergebnis.

Ein KI-Ablauf produziert weiter, auch wenn die Qualität nachgelassen hat. Die Ergebnisse sehen aus wie vorher: flüssig formuliert, plausibel, im gewohnten Format. Nur passen sie nicht mehr zur Datenlage oder zum veränderten Prozess.

Wer nur dann hinschaut, wenn etwas auffällt, übersieht eine solche Abweichung lange. Der problematische Zustand ist nicht Stillstand, sondern überzeugend dargestellte Unsicherheit.

Bei KI meldet sich Qualitätsverlust nicht zuverlässig als Fehler. Deshalb muss Beobachtung organisiert werden, bevor etwas auffällt.

Was sich verändert, obwohl ihr den Ablauf nicht anfasst

Der eingerichtete Ablauf bleibt gleich, während sich seine Umgebung verändert.

Die Datenquelle ändert sich. Jemand strukturiert eine Tabelle um, benennt ein Feld anders oder verschiebt einen Ordner. Der Ablauf liest weiter, nur unter neuen Bedingungen.

Der Prozess ändert sich. Ein Freigabeschritt fällt weg, eine Zuständigkeit wechselt, eine Regel wird angepasst. Der Ablauf arbeitet weiterhin nach der alten Ordnung.

Das Modell oder die Plattform ändert sich. Anbieter aktualisieren Modelle, Schnittstellen oder Standardeinstellungen. Dadurch verändert sich Verhalten, ohne dass ihr den Arbeitsablauf angefasst habt. Diesen Punkt unterschätzen viele, weil er ausserhalb eurer Kontrolle liegt.

Die Ausnahme taucht auf. Ein Fall tritt ein, der in den ersten Monaten nie vorkam. Aus dem bisherigen guten Betrieb lässt sich nicht ableiten, dass auch dieser Fall angemessen behandelt wird.

Keine dieser Veränderungen erzeugt eine Fehlermeldung. Alle vier verändern die Qualität oder die Verantwortbarkeit des Ablaufs.

Beobachtungsverfall

Zu Beginn ist die Prüfung häufig geregelt. Jemand schaut hin, Ergebnisse werden besprochen, Fehler werden korrigiert.

Was später fehlt, ist die Verankerung. Es gab keine benannte Rolle, sondern ein „Wir schauen mal drauf“. Keine Frequenz, sondern ein „regelmässig“. Keinen Termin, sondern gute Absicht.

So wird aus kontrollierter Nutzung schrittweise unbeobachteter Betrieb, ohne dass jemand diesen Übergang beschlossen hätte. Eine Organisation rutscht in eine andere Nutzungsweise, nicht weil der Ablauf ausgebaut wurde, sondern weil die menschliche Beobachtung weggefallen ist. Die verschiedenen Nutzungsstufen und ihre Folgen für Verantwortung erläutern wir im Überblicksbeitrag zu KI in Organisationen.

Dasselbe Muster gibt es auf der persönlichen Ebene. Was hier der Organisation passiert, passiert einzelnen Menschen bei jeder glatt formulierten KI-Antwort: Sie wirkt plausibel, also wird sie übernommen. Wir haben das im Beitrag Autopilot oder Pilot beschrieben. Der Unterschied liegt in der Ebene, der Mechanismus ist derselbe. Und beide verstärken sich gegenseitig: Wo niemand mehr genau hinschaut, prüft auch niemand mehr genau nach.

Vier Dinge, die den Unterschied machen

Eine benannte Person oder Rolle. Nicht pauschal das Team oder die IT, sondern eine eindeutige Zuständigkeit. Diese Rolle hat Zugang zu den Ergebnissen und den Auftrag, die Qualität zu prüfen.

Eine Frequenz nach Wirkung. Ein Ablauf mit weiter und schwer umkehrbarer Wirkung wird häufiger geprüft als einer, dessen Ergebnis ohnehin vor jeder Verwendung gelesen wird. Stichproben genügen. Entscheidend ist, dass es einen verbindlichen Rhythmus gibt und dass er im Kalender steht.

Ein Eingriffsweg. Wenn etwas seltsam aussieht: Wer kann heute handeln, nicht nächsten Dienstag? Darf diese Person begrenzen oder pausieren, ohne eine lange Freigabekette auszulösen? Ein Beobachtungsauftrag ohne Handlungsmöglichkeit schafft nur Zuschauende.

Ein geübtes Abschaltrecht. Nicht nur auf dem Papier benannt, sondern einmal getestet. Wer nie abgeschaltet hat, weiss im Ernstfall nicht, ob es rechtzeitig funktioniert.

Die Frage, die alles offenlegt

Wenn ihr einen gut laufenden KI-Ablauf morgen abschalten müsstet: Wärt ihr noch lieferfähig?

In vielen Fällen lautet die ehrliche Antwort nein. Der manuelle Prozess ist nicht mehr aktuell. Eine Vorlage wird nicht mehr gepflegt. Die Person, die es früher gemacht hat, hat andere Aufgaben. Fähigkeiten, die nicht mehr geübt werden, gehen verloren.

Damit ist ein Ablauf praktisch nur eingeschränkt abschaltbar, unabhängig davon, wer formal das Recht dazu besitzt. Ein Abschaltrecht ohne Rückfallfähigkeit ist eine Regel ohne betriebliche Deckung.

Das lässt sich gestalten: eine Rückfalloption dokumentieren, sie gelegentlich testen, oder offen entscheiden, dass der Betrieb von diesem Ablauf abhängig geworden ist und deshalb entsprechend abgesichert wird. Nicht verantwortbar ist, diese Abhängigkeit nie geprüft zu haben.

Das ist Betriebsfähigkeit

Der Einwand lautet oft: Wir sind ein KMU, wir können nicht alles überwachen.

Das müsst ihr auch nicht. Ihr braucht keine Vollkontrolle jedes Ergebnisses. Ihr braucht eine risikogerechte Beobachtung derjenigen Abläufe, deren Fehler relevante Folgen hätten.

Für Heizungen, Buchhaltung, Lager oder Zahlungsläufe bestehen ebenfalls Rhythmen, Zuständigkeiten und Vorstellungen davon, was bei einer Störung geschieht. Bei KI-Abläufen mit Folgen gilt derselbe Grundgedanke.

Das ist keine zusätzliche Disziplin für die Ablage. Es ist Betriebsfähigkeit.

Für eure nächste Führungsrunde

Nehmt euren zuverlässigsten KI-Arbeitsablauf und stellt zwei Fragen.

1. Wann hat zuletzt eine Person ein Ergebnis bewusst auf Qualität geprüft und nicht nur verwendet?
2. Was würden wir tun, wenn wir den Ablauf morgen abstellen müssten?

Wenn beide Antworten schnell und konkret kommen, ist viel geklärt. Wenn eine davon stockt, wisst ihr, wo ihr beginnt.

Vorheriger Beitrag: Nicht jeder KI-Ablauf gehört in denselben Arbeitsraum
Nächster Beitrag: KI darf keine menschliche Teamkompetenz ersetzen