Welche Entscheidungen sollte man niemals voll automatisieren?

Entscheidungen mit erheblicher rechtlicher oder finanzieller Wirkung für eine Person, die zugleich schwer umkehrbar sind. Klassische Beispiele sind Kreditablehnungen, Kündigungen oder Sanktionen. Bei ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung greift zudem Artikel 22 DSGVO, der einen menschlichen Entscheidungspunkt verlangt.

Was unterscheidet einen echten Checkpoint von einer Scheinkontrolle?

Ein echter Checkpoint gibt dem prüfenden Menschen genug Zeit, die nötige Kompetenz, sichtbare Begründungen, die Befugnis zum folgenlosen Widerspruch und einen organisatorischen Anreiz, Abweichungen ernst zu nehmen. Fehlt eine dieser Bedingungen, wird das Klicken auf Bestätigen zur Formsache und die Maschine entscheidet faktisch allein.

Woran erkenne ich, dass ein menschlicher Checkpoint nur Theater ist?

Ein starkes Warnsignal ist eine Override-Rate nahe null bei hoher Fallzahl pro Person und Stunde. Wenn Menschen den KI-Vorschlag praktisch nie ändern und dafür im Sekundentakt freigeben, prüfen sie nicht wirklich, sondern stempeln. Auch fehlende oder unverständliche Begründungen im Prüf-Interface deuten auf Scheinkontrolle hin.

Verlangt die KI-Verordnung für alle KI-Systeme menschliche Aufsicht?

Nein. Die Pflicht zu wirksamer menschlicher Aufsicht nach Artikel 14 betrifft Hochrisiko-Systeme, etwa in der Personalauswahl oder Kreditwürdigkeitsprüfung. Für viele Anwendungen mit geringem Risiko genügt Aufsicht auf Systemebene. Die Anwendbarkeit der Hochrisiko-Pflichten wurde voraussichtlich auf Dezember 2027 verschoben.

Was bedeutet Artikel 22 DSGVO für automatisierte Entscheidungen?

Artikel 22 DSGVO gibt betroffenen Personen das Recht, nicht einer ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden. In der Praxis heißt das: Wo solche Entscheidungen fallen, braucht es entweder eine ausdrückliche Rechtsgrundlage oder einen menschlichen Entscheidungspunkt mit echter Eingriffsmöglichkeit und Begründung.

Wie messe ich, ob mein Entscheidungspunkt funktioniert?

Die wichtigste Kennzahl ist die Override-Rate, also wie oft Menschen den KI-Vorschlag tatsächlich ändern, idealerweise getrennt nach Fallart. Ergänzend helfen Stichproben auch im voll automatisierten Bereich sowie die Zeit pro Prüffall. Diese Werte zeigen, ob Aufsicht wirksam ist oder nur formal stattfindet.

Ab wann gelten die Transparenzpflichten der KI-Verordnung?

Die Transparenzpflichten nach Artikel 50 — darunter die Kennzeichnung von KI-Interaktionen und synthetischen Inhalten — gelten ab dem 2. August 2026. Sie sind unabhängig von der Frage, ob ein System als hochriskant eingestuft wird, und betreffen damit auch viele Anwendungen, die ansonsten nur geringen Pflichten unterliegen.

Den Entscheidungspunkt gestalten: Wo bleibt der Mensch?

Nicht jede Entscheidung, die eine KI vorbereitet, braucht einen Menschen daneben. Und nicht jede, die heute ein Mensch trifft, gehört auch dorthin. Die eigentliche Gestaltungsaufgabe liegt nicht in der Frage „KI oder Mensch?“, sondern darin, den Entscheidungspunkt bewusst zu setzen: an welcher Stelle im Prozess ein Mensch eingreift, was er dort tatsächlich sehen und ändern kann und wann ein Checkpoint nur Theater ist.

Welche Entscheidungen brauchen einen Menschen in der Schleife?

Die kurze Antwort: Ein Mensch gehört dann in den Entscheidungspunkt, wenn eine Entscheidung schwer umkehrbar ist, erhebliche Folgen für eine Person hat, rechtlich oder finanziell ins Gewicht fällt oder von Betroffenen anfechtbar sein muss. Fehlt all das, ist menschliche Aufsicht meist nur teurer Reibungsverlust. Trifft mehreres davon zu, ist Vollautomatisierung ein Risiko, das sich später als Rückruf, Beschwerde oder Bußgeld zeigt.

Vier Kriterien tragen diese Einordnung, und es lohnt sich, sie getrennt zu prüfen, statt sie zu einem diffusen Bauchgefühl zu verschmelzen:

Tragweite (Auswirkung): Wie stark verändert die Entscheidung das Leben, die Finanzen oder die Rechte einer betroffenen Person? Eine Produktempfehlung wiegt anders als eine Kündigung oder eine Kreditablehnung.
Umkehrbarkeit: Lässt sich der Fehler später korrigieren, und wie teuer ist die Korrektur? Eine falsch einsortierte E-Mail ist in Sekunden behoben, eine versendete Mahnung an den falschen Kunden nicht.
Anfechtbarkeit: Muss die betroffene Person die Entscheidung verstehen, hinterfragen und mit Aussicht auf Erfolg widersprechen können? Wo das gesetzlich verlangt ist, braucht es eine menschlich nachvollziehbare Begründung.
Rechtliche und finanzielle Tragweite: Greift eine Norm wie die DSGVO oder die KI-Verordnung? Hängt eine relevante Geldsumme daran? Beides verschiebt den Punkt deutlich Richtung Mensch.

Entscheidend ist: Diese vier Kriterien wirken nicht additiv, sondern als Schwellen. Eine einzige hohe Ausprägung — etwa praktische Unumkehrbarkeit — kann genügen, um einen menschlichen Entscheidungspunkt zu rechtfertigen, selbst wenn die anderen drei niedrig liegen.

Wann automatisieren, wann einen Checkpoint setzen?

Zwischen „voll automatisiert“ und „immer ein Mensch“ liegt das eigentlich interessante Feld. In der Praxis haben sich drei Stufen bewährt, und die Kunst der Gestaltung besteht darin, jede Entscheidung der richtigen zuzuordnen — nicht der bequemsten.

Stufe 1 — Vollautomatisierung. Die KI entscheidet und handelt ohne Vorabprüfung. Sinnvoll bei geringer Tragweite, leichter Umkehrbarkeit und ohne rechtliche Brisanz. Der Mensch bleibt nicht im Einzelfall, sondern auf der Systemebene: über Stichproben, Fehlerquoten und einen einfachen Weg, eine Fehlentscheidung im Nachhinein zu korrigieren.

Stufe 2 — Checkpoint vor der Wirkung (Human-in-the-Loop). Die KI bereitet vor, ein Mensch gibt frei, bevor etwas Wirkung entfaltet. Angemessen im mittleren Bereich: spürbare Folgen, aber keine existenzielle Tragweite; Korrektur möglich, aber unangenehm. Hier liegt der größte Gestaltungsspielraum — und das größte Risiko der Scheinkontrolle.

Stufe 3 — Menschliche Entscheidung mit KI-Unterstützung (Human-in-Command). Der Mensch entscheidet, die KI liefert nur Material. Geboten, wo die DSGVO oder die KI-Verordnung es verlangen, wo Entscheidungen kaum umkehrbar sind oder wo sie tief in Rechte eingreifen.

Die rechtliche Linie dazu ist konkreter, als viele annehmen. Artikel 22 DSGVO gibt betroffenen Personen das Recht, nicht einer ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden — etwa bei einer vollautomatischen Kreditablehnung. Hier ist ein echter menschlicher Entscheidungspunkt also nicht Kür, sondern Pflicht. Parallel verlangt Artikel 14 der KI-Verordnung für Hochrisiko-Systeme eine wirksame menschliche Aufsicht; die Anwendbarkeit der Hochrisiko-Pflichten wurde im Zuge des sogenannten Digital Omnibus voraussichtlich auf Dezember 2027 verschoben. Die Transparenzpflichten nach Artikel 50 — etwa die Kennzeichnung von KI-Interaktionen und synthetischen Inhalten — greifen davon unabhängig ab dem 2. August 2026.

Die Triage-Matrix: in welche Stufe gehört Ihre Entscheidung?

Die folgende Matrix übersetzt die vier Kriterien in eine Vorab-Einordnung. Sie ersetzt keine Rechtsprüfung, ordnet aber zuverlässig vor.

Kriterium	Niedrig → eher automatisieren	Hoch → eher Mensch
Tragweite	Komfort, Vorsortierung, interne Effizienz	Geld, Gesundheit, Beschäftigung, Grundrechte
Umkehrbarkeit	In Sekunden bis Minuten korrigierbar	Teuer, langsam oder gar nicht rückholbar
Anfechtbarkeit	Niemand muss widersprechen können	Begründung und Widerspruch sind nötig oder Pflicht
Rechtliche Tragweite	Keine einschlägige Norm	DSGVO Art. 22, KI-Verordnung Hochrisiko, Aufsichtsrecht

Als Faustregel zur Ableitung der Stufe:

Alle vier niedrig → Stufe 1, Vollautomatisierung mit Aufsicht auf Systemebene.
Mindestens eines mittel, keines kritisch → Stufe 2, Checkpoint vor Wirkung.
Mindestens eines kritisch (hohe Tragweite, praktische Unumkehrbarkeit oder einschlägige Rechtsnorm) → Stufe 3, menschliche Entscheidung.

Wer es noch einfacher braucht, prüft drei Fragen in dieser Reihenfolge: Greift eine Norm? Wenn ja, Stufe 3. Ist der Schaden im Fehlerfall schwer rückholbar? Wenn ja, mindestens Stufe 2. Würde es jemanden ernsthaft stören, wenn die KI hier irrt? Wenn nein, Stufe 1.

Wie platziert man den Menschen, damit Aufsicht echt und nicht theatralisch ist?

Der häufigste Konstruktionsfehler ist nicht die falsche Stufe, sondern ein Checkpoint, der nur auf dem Papier existiert. Ein Mensch, der im Sekundentakt „Bestätigen“ klickt, ohne den Fall wirklich zu prüfen, erzeugt Scheinkontrolle: Die Verantwortung wandert formal zum Menschen, die Entscheidung trifft faktisch die Maschine. Dieses Muster — der Automatisierungs-Bias, also das übermäßige Vertrauen in den Vorschlag des Systems — ist gut dokumentiert und der eigentliche Gegner jeder Aufsichtsgestaltung.

Damit ein Entscheidungspunkt trägt, müssen fünf Bedingungen zugleich erfüllt sein. Fehlt eine, kippt die Aufsicht ins Theatralische:

Zeit. Der prüfende Mensch braucht genug Zeit pro Fall. Wer 600 Freigaben pro Stunde leisten soll, prüft nicht — er stempelt. Die Taktung ist eine Gestaltungsentscheidung, kein Sachzwang.
Kompetenz. Die Person muss den Vorschlag fachlich beurteilen können. Aufsicht durch jemanden ohne Sachverstand ist nur eine zusätzliche Unterschrift.
Information. Nicht nur das Ergebnis, sondern die tragenden Gründe und die Unsicherheit des Systems müssen sichtbar sein. Ein nacktes „Ablehnen — Empfehlung der KI“ lädt zum Durchwinken ein.
Befugnis. Widerspruch muss folgenlos für die Person und wirksam für den Fall sein. Wer das System überstimmt und dafür Rechtfertigungsdruck erntet, lernt schnell, nicht mehr zu widersprechen.
Anreiz. Die Organisation muss Abweichungen werten und auswerten. Eine Eingriffsquote nahe null ist kein Zeichen guter Modelle, sondern fast immer ein Warnsignal für Scheinkontrolle.

Ein verlässlicher Indikator in der Praxis ist genau diese Eingriffsquote — wie oft Menschen den KI-Vorschlag tatsächlich ändern (international auch als Override-Rate geläufig). Liegt sie konstant bei null, prüfen die Menschen vermutlich nicht. Liegt sie sehr hoch, ist entweder das Modell schwach oder der Checkpoint an der falschen Stelle. Wer Aufsicht gestaltet, sollte diese Kennzahl von Beginn an messen, statt sie zu erhoffen. Wie sich solche Kontrollpunkte konkret in Arbeitsabläufe einbauen lassen, ohne sie zu ersticken, vertieft der Beitrag zu echter Aufsicht statt Scheinkontrolle.

Drei durchgerechnete Beispiele

Beispiel 1 — Vorsortierung von Kundenanfragen. Eine KI verteilt eingehende E-Mails auf Fachteams. Tragweite niedrig, Umkehrbarkeit hoch (eine Fehlleitung wird in Sekunden weitergereicht), keine Anfechtbarkeit, keine einschlägige Norm. Stufe 1. Ein Checkpoint vor jeder einzelnen Mail wäre reine Verschwendung. Der Mensch bleibt auf Systemebene: wöchentliche Stichprobe der Fehlzuordnungen und ein einfacher Weg, eine falsch geleitete Anfrage umzubuchen.

Beispiel 2 — Vorauswahl von Bewerbungen. Ein System bringt Bewerber für eine Stelle in eine Rangfolge. Die Tragweite ist hoch (Beschäftigung), und Systeme zur Personalauswahl gelten nach der KI-Verordnung grundsätzlich als hochriskant, mit der Pflicht zu wirksamer menschlicher Aufsicht nach Artikel 14. Hier genügt kein nachträglicher Blick. Stufe 2 mit ernst genommenem Checkpoint: Die KI darf vorschlagen und gewichten, aber ein Mensch sichtet die Liste mit sichtbaren Kriterien, kann einzelne Bewerber zurückholen und muss Abweichungen nicht rechtfertigen. Wichtig ist, dass auch die Aussortierten überprüfbar bleiben — sonst entscheidet faktisch das Modell, wer nie gesehen wird.

Beispiel 3 — Ablehnung eines Kreditantrags. Hohe Tragweite, schwer umkehrbar, klar anfechtbar, und mit Artikel 22 DSGVO greift eine Norm, die eine ausschließlich automatisierte Ablehnung mit erheblicher Wirkung untersagt. Stufe 3. Die KI berechnet ein Risiko und benennt Gründe, aber die Entscheidung trifft ein qualifizierter Mensch, der den Fall prüfen, abweichen und der betroffenen Person eine nachvollziehbare Begründung geben kann. Ein Mitarbeiter, der hundert Ablehnungen pro Stunde nur abnickt, erfüllt diese Anforderung nicht — die Bedingung „Zeit“ wäre verletzt und die Aufsicht nur theatralisch.

Wie hält man den Entscheidungspunkt über die Zeit gesund?

Ein einmal richtig gesetzter Entscheidungspunkt bleibt nicht von selbst richtig. Modelle ändern sich, Datenlagen verschieben sich, und unter Effizienzdruck wandert die menschliche Prüfung leise von echter Kontrolle zu reflexhaftem Durchwinken. Drei Gewohnheiten sorgen dafür, dass die Aufsicht wirksam bleibt:

Eingriffsquote beobachten statt erhoffen, getrennt nach Fallart, und auffällige Werte als Anlass zur Untersuchung nehmen — nicht zur Beruhigung.
Stichproben auch dort, wo voll automatisiert wird: Eine kleine, regelmäßig geprüfte Zufallsmenge deckt schleichende Modellfehler auf, bevor sie zur Beschwerde werden.
Den Punkt verschieben dürfen. Wenn die Tragweite eines Vorgangs steigt oder eine neue Pflicht greift, gehört eine Stufe-1-Entscheidung neu eingeordnet. Der Entscheidungspunkt ist kein Fundament, sondern eine Stellschraube.

So verstanden ist „den Entscheidungspunkt gestalten“ keine einmalige Architekturfrage, sondern eine laufende Disziplin: Sie entscheiden bewusst, welche Entscheidungen einen Menschen brauchen, platzieren ihn dort, wo er wirklich etwas ändern kann, und automatisieren alles Übrige ohne schlechtes Gewissen — weil die Aufsicht genau dort ansetzt, wo sie wirklich gebraucht wird.

Für kleinere Unternehmen, die solche Checkpoints ohne eigenes KI-Team einführen wollen, unterstützt managerAI genau bei dieser Umsetzung — von der Werkzeugauswahl bis zur Gestaltung wirksamer menschlicher Aufsicht.