Verantwortung für KI-Entscheidungen: Wer haftet?

Ein abgelehnter Kredit. Eine aussortierte Bewerbung. Ein gesperrtes Konto, weil ein Betrugsmodell Alarm geschlagen hat. In all diesen Fällen hat keine Person im klassischen Sinn entschieden — und doch trägt jemand die Folgen. Die unbequeme Frage, die sich dahinter verbirgt, lautet nicht „Wie funktioniert das Modell?“, sondern: Wer muss geradestehen, wenn es schiefgeht?

Diese Frage ist der Kern jeder ernst gemeinten KI-Governance. Denn Technik lässt sich auditieren, aber Verantwortung lässt sich nicht an eine Maschine delegieren. Eine Software kann eine Empfehlung ausspucken; haften kann sie nicht. In diesem Beitrag ordnen wir, was die DSGVO Artikel 22 wirklich verlangt, wie eine Verantwortungskette von den Trainingsdaten bis zum Einsatz verläuft, wo die Grenzen der Autonomie liegen — und wie man Verantwortung so zuweist, dass sie nicht im bequemen Satz „Das hat der Algorithmus entschieden“ verdampft.

Wer haftet, wenn eine automatisierte Entscheidung schiefgeht?

Die kurze, zitierbare Antwort: Verantwortung trägt immer ein Mensch oder eine Organisation — nie das System selbst. Wer eine KI einsetzt, um Entscheidungen über Menschen zu treffen oder vorzubereiten, bleibt für das Ergebnis verantwortlich, so wie er für die Entscheidung eines Mitarbeiters verantwortlich wäre. Die Maschine verschiebt die Verantwortung nicht, sie verteilt sie nur auf mehr Schultern: auf die Stelle, die das Modell entwickelt hat, auf die, die die Daten geliefert hat, und vor allem auf die, die das System in Betrieb genommen und auf reale Menschen angewendet hat.

Im Datenschutzrecht hat diese verantwortliche Stelle einen Namen: den Verantwortlichen im Sinne der DSGVO — diejenige Organisation, die über Zweck und Mittel der Verarbeitung entscheidet. In der KI-Verordnung (dem EU AI Act) heißt die Rolle, die ein System tatsächlich anwendet, Betreiber (im englischen Text „deployer“). Beide Begriffe meinen im Alltag oft dieselbe Stelle: das Unternehmen, das die Software auf seine Kundinnen und Kunden, Bewerber oder Patienten loslässt. Genau dort, beim Einsatz, ballt sich die Verantwortung — nicht beim Anbieter, der das Modell irgendwo entwickelt hat.

Das Entscheidende daran ist eine begriffliche Trennung, die in der Praxis ständig verschwimmt: Ein KI-System trifft keine Entscheidung im rechtlichen Sinn. Es erzeugt eine Ausgabe — einen Score, eine Wahrscheinlichkeit, eine Rangliste. Erst wenn eine Organisation festlegt, dass diese Ausgabe eine Konsequenz auslöst, wird daraus eine Entscheidung. Und diese Festlegung treffen Menschen: in Richtlinien, in Schwellenwerten, in der Architektur des Prozesses. Wer das verinnerlicht, sieht sofort, dass „der Algorithmus hat entschieden“ eine Beschreibung des Werkzeugs ist, nicht der Verantwortung.

Was sagt DSGVO Artikel 22 wirklich — und was nicht?

DSGVO Artikel 22 ist die zentrale Norm für automatisierte Entscheidungen in Europa, und sie wird routinemäßig falsch zitiert. Der Artikel gibt jeder Person das Recht, „nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt“.

Drei Wörter dieses Satzes tragen das ganze Gewicht.

„Ausschließlich“: Der Artikel greift, wenn die Entscheidung allein von der Maschine fällt — ohne sinnvolle menschliche Beteiligung. Sitzt ein Mensch wirklich am Hebel und prüft jeden Fall eigenständig, fällt die Entscheidung aus dem strengen Verbot heraus. Genau hier liegt aber die Falle, auf die wir weiter unten zurückkommen: Ein Mensch, der Modellausgaben nur abnickt, macht aus einer automatisierten Entscheidung keine menschliche. Eine bloße Alibi-Unterschrift reicht nicht.

„Erheblich beeinträchtigt“: Nicht jede Automatisierung ist betroffen. Ein Produktvorschlag im Onlineshop hat keine erhebliche Wirkung. Eine Kreditabsage, eine automatische Kündigung, das Aussortieren einer Bewerbung, eine Sperre mit finanziellen Folgen — das schon.

Verbot mit Ausnahmen: Artikel 22 ist nach herrschender Auslegung — auch des Europäischen Datenschutzausschusses — kein bloßes Widerspruchsrecht, sondern ein grundsätzliches Verbot solcher Entscheidungen. Erlaubt sind sie nur in drei Konstellationen: wenn sie für einen Vertrag erforderlich sind, wenn das Unionsrecht oder das Recht eines Mitgliedstaats sie ausdrücklich zulässt, oder wenn die betroffene Person ausdrücklich eingewilligt hat. Und selbst dann verlangt der Artikel Schutzmaßnahmen: das Recht auf Eingreifen einer Person, das Recht, den eigenen Standpunkt darzulegen, und das Recht, die Entscheidung anzufechten.

Wie ernst der Europäische Gerichtshof diese Norm nimmt, zeigt das SCHUFA-Urteil vom Dezember 2023 (Rechtssache C-634/21). Das Gericht stellte klar, dass schon die Berechnung eines Score-Werts durch eine Auskunftei eine „Entscheidung“ im Sinne von Artikel 22 sein kann — und zwar dann, wenn ein Dritter, etwa eine Bank, diesem Wert maßgebliche Bedeutung beimisst. Mit anderen Worten: Wer einen Score liefert, an dem andere ihre Kreditentscheidung praktisch festmachen, kann sich nicht darauf zurückziehen, ja nur eine Zahl geliefert zu haben. Die Verantwortung lässt sich nicht durch die Behauptung wegdefinieren, man habe nur „beraten“.

Reicht es, irgendwo einen Menschen in den Prozess zu setzen?

Nein — und das ist die teuerste Fehlannahme auf diesem ganzen Gebiet. Viele Organisationen glauben, sie hätten Artikel 22 erfüllt, sobald irgendein Mitarbeiter die Modellausgabe theoretisch sehen und freigeben kann. In der Praxis entsteht dabei oft das, was Fachleute Rubber-Stamping nennen: ein Mensch, der formal zuständig ist, faktisch aber nur bestätigt, was die Maschine vorgibt, weil ihm Zeit, Information oder Befugnis zum Widerspruch fehlen.

Der psychologische Mechanismus dahinter hat einen Namen: Automationsbias — die Neigung, einer maschinellen Empfehlung mehr zu vertrauen als dem eigenen Urteil, gerade weil sie so bestimmt und neutral wirkt. Je überlasteter die prüfende Person und je höher die Fallzahl, desto stärker rutscht die Kontrolle ins Symbolische ab. Aus 200 Fällen pro Schicht wird kein echtes Eingreifen, sondern ein schnelles Durchwinken.

Genau deshalb hilft die Unterscheidung zwischen drei Stufen menschlicher Beteiligung, die im Englischen oft mit den Präpositionen „in/on/out“ beschrieben wird:

• Mensch in der Schleife (human in the loop): Der Mensch muss jeden einzelnen Fall aktiv freigeben, bevor eine Folge eintritt. Ohne seinen Eingriff geschieht nichts.
• Mensch über der Schleife (human on the loop): Das System handelt selbstständig, der Mensch überwacht, greift bei Auffälligkeiten ein und kann anhalten.
• Mensch außerhalb der Schleife (human out of the loop): Das System entscheidet und handelt vollständig allein — genau die Konstellation, die Artikel 22 grundsätzlich verbietet, sobald Menschen erheblich betroffen sind.

Der Fehler vieler Compliance-Konzepte besteht darin, ein „on the loop“ zu behaupten, wo faktisch ein „out of the loop“ läuft. Die Aufsicht steht im Organigramm, aber nicht im Arbeitsalltag. Verantwortung, die nur auf dem Papier existiert, ist keine.

Wie verläuft die Verantwortungskette von den Daten bis zum Einsatz?

Eine automatisierte Entscheidung ist nie ein einzelner Akt, sondern das Ergebnis einer langen Produktionskette. An jedem Glied dieser Kette sitzt jemand, der eine Annahme getroffen, eine Grenze gezogen oder eine Auslassung in Kauf genommen hat. Wenn am Ende ein Mensch zu Unrecht abgelehnt wird, lässt sich der Fehler fast immer einem dieser Glieder zuordnen — wenn man die Kette vorher dokumentiert hat.

Man kann sich die Verantwortungskette als Abfolge von fünf Stationen vorstellen:

1. Datenherkunft. Wer hat die Trainingsdaten erhoben, mit welchem Recht, mit welchen blinden Flecken? Verzerrte oder unvollständige Daten sind keine technische Panne, sondern eine inhaltliche Entscheidung darüber, wessen Realität das Modell abbildet.
2. Modellentwicklung. Wer hat das Modell gebaut, welche Zielgröße optimiert, welche Fehlerart bewusst akzeptiert? Jede Modellierung enthält eine Wertung darüber, welcher Irrtum schlimmer ist — eine fälschliche Ablehnung oder eine fälschliche Zusage.
3. Integration. Wer hat das Modell in einen Geschäftsprozess eingebettet, Schwellenwerte gesetzt, festgelegt, ab welchem Score welche Folge eintritt? Hier verwandelt sich eine Wahrscheinlichkeit in eine Konsequenz.
4. Einsatz. Wer betreibt das System in der Realität, schult das Personal, definiert, wann ein Mensch wirklich eingreift? Das ist die Station, an der sich rechtliche Verantwortung am stärksten bündelt.
5. Aufsicht und Korrektur. Wer überwacht das laufende System, prüft Beschwerden, korrigiert Fehlentscheidungen, zieht im Zweifel den Stecker?

Die folgende Tabelle ordnet diese Stationen den typischen Rollen und ihrer Verantwortung zu — ohne den Anspruch, jede Rechtsordnung im Detail abzubilden, aber als praktisches Gerüst, mit dem sich Zuständigkeiten benennen lassen.

Station	Typische Rolle	Worüber wird entschieden	Wo die Verantwortung sitzt
Datenherkunft	Datenlieferant, Fachabteilung	Auswahl, Repräsentativität, Rechtsgrundlage der Daten	Erhebende Stelle; bei eigener Nutzung der Verantwortliche
Modellentwicklung	Anbieter, Data-Science-Team	Zielgröße, akzeptierte Fehlerarten, Dokumentation	Anbieter des Systems
Integration	Produkt, IT, Fachbereich	Schwellenwerte, Auslöser, Prozessdesign	Betreiber, der das System einbettet
Einsatz	Betreiber, Sachbearbeitung	Anwendung auf reale Personen, Eingriffspunkte	Betreiber / Verantwortlicher
Aufsicht	Compliance, Datenschutz, Leitung	Monitoring, Beschwerden, Abschaltung	Leitung der einsetzenden Organisation

Der praktische Wert dieser Kette liegt nicht in der Tabelle selbst, sondern in einer einfachen Regel: Wo keine Station benannt ist, entsteht ein Vakuum — und in dieses Vakuum fällt jede Verantwortung hinein und verschwindet. Eine Organisation, die für jedes Glied eine konkrete Person mit Namen und Befugnis benennen kann, hat das Problem der diffusen Verantwortung schon zur Hälfte gelöst.

Warum verdampft Verantwortung so leicht zu „der Algorithmus war’s“?

Weil viele Hände an einer Entscheidung beteiligt sind und am Ende keine einzelne sich zuständig fühlt. Die Philosophin Helen Nissenbaum hat dieses Muster früh als das Problem der vielen Hände beschrieben: In komplexen technischen Systemen ist der Beitrag jedes Einzelnen so klein und so weit vom Ergebnis entfernt, dass sich niemand mehr persönlich verantwortlich sieht. Der Datenlieferant verweist auf den Modellbauer, der Modellbauer auf den Integrator, der Integrator auf den Betrieb, der Betrieb auf „das System“. Verantwortung wird zum Schwarzen Peter, den jeder dem Nächsten zuschiebt, bis ihn am Ende niemand mehr in der Hand hält.

Die KI verstärkt diesen Effekt durch eine zweite Eigenschaft: ihre scheinbare Objektivität. Eine Zahl, die ein Modell ausgibt, wirkt sachlich und unbestechlich — gerade weil sie nicht von einer Person stammt, gegen die man argumentieren könnte. Diese Aura der Neutralität macht es bequem, sich hinter ihr zu verstecken. „Das Modell hat 0,82 berechnet“ klingt wie ein Naturgesetz, dabei steckt darin ein ganzer Stapel menschlicher Festlegungen: welche Daten, welche Zielgröße, welcher Schwellenwert, welche Konsequenz.

Hinzu kommt eine dritte Schicht: die Verantwortungsdiffusion durch zeitliche Distanz. Wer ein Modell vor zwei Jahren trainiert hat, ist heute vielleicht nicht mehr im Unternehmen. Wer den Schwellenwert gesetzt hat, hat ihn längst vergessen. Das System läuft weiter, aber die Menschen, die es geprägt haben, sind nicht mehr greifbar. So entsteht der Eindruck, das System handle aus sich selbst heraus — obwohl jede seiner Regungen auf eine frühere menschliche Entscheidung zurückgeht.

Der Ausweg ist unspektakulär, aber wirksam: Rückverfolgbarkeit. Wenn jede konsequenzreiche Festlegung — Datenauswahl, Zielgröße, Schwellenwert, Eingriffsregel — dokumentiert ist und einer Rolle zugeordnet bleibt, lässt sich die Kette im Ernstfall rückwärts ablaufen. Dann gibt es keinen Punkt mehr, an dem die Verantwortung in einen anonymen „Algorithmus“ entweicht. Genau das ist der tiefere Sinn der Dokumentationspflichten, die sowohl die DSGVO als auch die KI-Verordnung verlangen: nicht Bürokratie um ihrer selbst willen, sondern die Voraussetzung dafür, dass Verantwortung überhaupt einen Adressaten hat.

Wo liegen die Grenzen der Autonomie?

Die Grenze verläuft dort, wo eine Entscheidung Menschen erheblich betrifft und sich nicht mehr sinnvoll korrigieren lässt. Autonomie eines Systems ist kein Wert an sich; sie ist eine Frage der Verhältnismäßigkeit. Für die Sortierung von E-Mails braucht niemand eine menschliche Letztkontrolle. Für die Entscheidung über einen Kredit, eine medizinische Priorisierung oder die Auswahl von Bewerbern verlangt das Recht — und die Vernunft — ein anderes Maß.

Es hilft, die Grenze entlang von drei Fragen zu ziehen:

Wie schwer wiegt der Schaden im Fehlerfall? Je gravierender und je weniger rückgängig zu machen die Folge, desto enger muss der menschliche Spielraum gezogen sein. Eine falsche Produktempfehlung kostet einen Klick; eine falsche Betrugssperre kann eine Existenz treffen.

Wie gut versteht ein Mensch, was das System tut? Autonomie ohne Nachvollziehbarkeit ist gefährlich, weil dann auch die Aufsicht ins Leere läuft. Ein Betreiber, der nicht erklären kann, warum ein System so und nicht anders entschieden hat, kann auch nicht beurteilen, ob er eingreifen muss.

Lässt sich die Entscheidung anfechten und korrigieren? Eine automatisierte Entscheidung, gegen die es keinen wirksamen Einspruchsweg gibt, überschreitet die Grenze unabhängig von ihrer technischen Qualität. Das Recht auf Anfechtung aus Artikel 22 ist keine Formalie, sondern der Notausgang des Systems.

Die KI-Verordnung greift diese Logik in ihrem Artikel 14 auf, der für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht verlangt: Systeme müssen so gestaltet sein, dass Menschen sie verstehen, überwachen, im Zweifel übersteuern und abschalten können. Wichtig für die ehrliche Einordnung: Die Anwendbarkeit dieser Hochrisiko-Pflichten wurde im Zuge des sogenannten Digital-Omnibus-Pakets nach hinten verschoben — die Pflichten greifen nach dem aktuellen Stand erst gegen Ende 2027. Es ist also kein Schalter, der morgen umgelegt wird, sondern ein Rahmen, auf den sich Organisationen geordnet vorbereiten können. Davon zu trennen sind die Transparenzpflichten aus Artikel 50 — etwa die Kennzeichnung, dass man mit einer KI interagiert oder dass ein Inhalt künstlich erzeugt wurde —, die ab dem 2. August 2026 gelten. Beide Daten sollte man nicht durcheinanderbringen, und niemand sollte sich von pauschalen Drohungen mit Höchststrafen treiben lassen; die spürbaren Sanktionsspitzen der Verordnung zielen auf ausdrücklich verbotene Praktiken, nicht auf jede Hochrisiko-Anwendung.

Was bedeutet „wesentliche“ menschliche Überprüfung konkret?

Eine Überprüfung ist wesentlich, wenn die prüfende Person die Entscheidung tatsächlich ändern kann — und es im Zweifel auch tut. Das klingt banal, ist aber der Punkt, an dem die meisten Konzepte scheitern. Aus der Praxis und der Auslegung von Artikel 22 lassen sich einige nüchterne Kriterien ableiten, an denen sich echte von symbolischer Kontrolle unterscheiden lässt.

Befugnis. Die prüfende Person muss formal und faktisch das Recht haben, die Modellausgabe zu verwerfen. Wo das Abweichen vom Vorschlag gesondert begründet und gegen Widerstände durchgesetzt werden muss, ist die Befugnis nur nominell.

Information. Sie muss verstehen, worauf die Empfehlung beruht — welche Faktoren wie stark gewogen haben. Wer blind einer Zahl folgt, prüft nicht.

Zeit. Sie braucht genug Spielraum pro Fall, um wirklich nachzudenken. Wer 200 Fälle in einer Schicht „prüfen“ soll, prüft keinen. Realistische Fallzahlen sind keine Komfortfrage, sondern eine Compliance-Frage.

Kompetenz. Sie muss fachlich in der Lage sein, die Empfehlung zu hinterfragen. Ein Sachbearbeiter, der den Gegenstand der Entscheidung nicht beurteilen kann, kann auch nicht sinnvoll widersprechen.

Wirkung. Es muss nachweisbar sein, dass menschlicher Widerspruch überhaupt vorkommt. Eine Stelle, die zu 100 Prozent zustimmt, sollte misstrauisch machen — sie deutet eher auf Rubber-Stamping als auf perfekte Modelle hin.

Wer diese fünf Kriterien als Prüfraster nimmt, erkennt schnell, ob ein Prozess die menschliche Letztverantwortung ernst meint oder nur dekoriert. Und genau diese Ernsthaftigkeit ist es, die im Streitfall den Unterschied macht: zwischen einer Organisation, die nachweisen kann, dass Menschen wirklich entschieden haben, und einer, die sich auf eine Formalie verlässt, die vor keinem Gericht und keiner Aufsichtsbehörde Bestand hat.

Wie weist man Verantwortung zu, ohne sie zu verlieren?

Verantwortung bleibt nur dann greifbar, wenn sie vor dem Einsatz ausdrücklich vergeben wird — nicht erst gesucht wird, wenn der Schaden da ist. Das ist der Unterschied zwischen einer Organisation, die ihre Systeme beherrscht, und einer, die ihnen ausgeliefert ist. Sechs Prinzipien haben sich dafür bewährt, jenseits jeder konkreten Technik:

Eine benannte Person pro System. Für jedes konsequenzreiche KI-System gibt es eine namentlich verantwortliche Rolle — keine Abteilung, keine „die IT“, sondern eine Person, die im Ernstfall Rede und Antwort steht und befugt ist, das System anzuhalten.

Entscheidungen, nicht Ausgaben dokumentieren. Festgehalten wird nicht nur, was das Modell ausgegeben hat, sondern welche menschliche Festlegung daraus eine Folge gemacht hat — Schwellenwert, Eingriffsregel, Freigabe. So bleibt sichtbar, dass Menschen die Konsequenz gewählt haben.

Die Kette schriftlich abbilden. Die fünf Stationen von der Datenherkunft bis zur Aufsicht werden vorab Rollen zugeordnet. Wo eine Station unbesetzt ist, wird sie besetzt, bevor das System startet — nicht danach.

Den Einspruchsweg real machen. Betroffene müssen wissen, dass eine automatisierte Entscheidung gefallen ist, und einen funktionierenden Weg haben, sie anzufechten und eine menschliche Neubewertung zu verlangen. Ein Einspruchsrecht, von dem niemand weiß, existiert praktisch nicht.

Die Aufsicht messen. Wie oft greifen Menschen tatsächlich ein? Wie viele Entscheidungen werden korrigiert? Wer diese Quoten nicht kennt, weiß nicht, ob seine Kontrolle echt ist.

Den Notausgang offen halten. Für jedes System ist vorab definiert, wer es unter welchen Bedingungen abschaltet — und dass diese Abschaltung im Alltag auch erprobt und befugt ist, nicht nur theoretisch vorgesehen.

Diese Prinzipien sind kein Verzicht auf Automatisierung. Im Gegenteil: Sie sind die Bedingung dafür, dass sich Automatisierung verantworten lässt. Eine Organisation, die klar sagen kann, wer für welches System einsteht, kann KI mutiger und breiter einsetzen als eine, die im Nebel der diffusen Zuständigkeit operiert — denn sie weiß, was sie tut, und kann es vertreten.

Was bleibt: Die Maschine entscheidet, der Mensch verantwortet

Der rote Faden durch all das ist eine einzige, unbequeme Einsicht: Automatisierung verändert, wie Entscheidungen zustande kommen, aber nicht, wer für sie geradesteht. Eine KI kann Tausende Fälle in Sekunden bewerten, doch sie kann nicht haften, sich nicht entschuldigen, keine Wiedergutmachung leisten. All das bleibt bei Menschen und Organisationen — bei dem Verantwortlichen im Sinne der DSGVO, bei dem Betreiber im Sinne der KI-Verordnung, bei der Person, deren Name im Organigramm neben dem System steht.

Die Verantwortung für KI-Entscheidungen verdampft nicht von selbst zu „der Algorithmus war’s“. Sie verdampft nur dort, wo eine Organisation sie nicht vorher ausdrücklich vergeben hat. Wer die Kette von den Daten bis zum Einsatz benennt, wer menschliche Überprüfung nicht dekoriert, sondern mit Befugnis, Zeit und Wirkung ausstattet, und wer den Einspruchsweg und den Notausgang real hält, hat die Verantwortung dort verankert, wo sie hingehört: bei Menschen, die einstehen können. Das ist keine Last, die man der KI aufbürdet — es ist der Preis dafür, sie überhaupt verantwortbar einsetzen zu dürfen.