Der benannte Verantwortliche: Wer haftet, wenn Ihr KI-Agent einen Fehler macht

17. August 202623 Min. Lesezeit

Mitgründer von Superkind

Ein leeres Namensschild aus Metall als Sinnbild für den benannten menschlichen Verantwortlichen eines KI-Agenten

Ihr Unternehmen wird bald mehr Entscheider betreiben, als es Menschen beschäftigt. Maschinelle Identitäten übertreffen die menschlichen schon heute im Verhältnis zwischen 45 und 109 zu eins, je nach Zählung¹²²¹, und ein wachsender Teil dieser nicht-menschlichen Identitäten sind KI-Agenten, die Daten nicht nur lesen, sondern auf ihnen handeln. Jede dieser Aktionen ist, rechtlich und operativ, eine Entscheidung Ihres Unternehmens.

Hier ist das Problem, das niemand eingeplant hat: Intelligenz skaliert zu nahezu null Grenzkosten, Verantwortung nicht. Sie können dieses Quartal hundert Agenten hochfahren. Sie können nicht hundert Menschen hochfahren, die ihren Namen unter das setzen, was diese Agenten entscheiden. Ein wegweisender Bericht von Accenture und Wharton aus dem Jahr 2026 fasste es in einem Satz: “Intelligenz mag skalierbar sein, Verantwortung ist es nicht.”¹

Dieser Artikel ist für den CTO, die Operations-Leiterin oder den Geschäftsführer, der KI-Agenten in den Produktivbetrieb bringt und leise gemerkt hat, dass “die IT verantwortet das” keine Antwort ist, die ein schlechtes Ergebnis überlebt. Die Lösung sind nicht mehr Dashboards. Es ist ein benannter menschlicher Verantwortlicher für jeden Agenten, ein abgestuftes Modell dafür, welche Entscheidungen der Agent allein trifft, und ein Nachweis der Begründung hinter jeder Aktion, damit dieser Verantwortliche tatsächlich einstehen kann.

Kurzfassung

Verantwortung skaliert nicht mit Intelligenz. Agenten lassen sich billig hinzufügen; Menschen, die für deren Entscheidungen einstehen, nicht.

Jeder Agent im Produktivbetrieb braucht einen benannten menschlichen Verantwortlichen - eine konkrete Person, nicht die IT und keine Abteilung.

Abgestufte Autonomie entscheidet, welche Aktionen der Agent allein ausführt, welche eine Freigabe brauchen und welche menschgeführt bleiben - passend zur Größe der Folgen.

Ein Company Brain hält Begründung und Herkunft hinter jeder Aktion fest, sodass der Verantwortliche sie im Nachhinein erklären, verteidigen oder korrigieren kann.

Das Recht setzt einen Verantwortlichen bereits voraus. Gerichte und die EU-KI-Verordnung leiten die Haftung zum Unternehmen und seinen Menschen, nie zur Software.

Die Verantwortungslücke, die niemand eingeplant hat

Die meisten KI-Governance-Debatten 2026 drehen sich um Identität, Zugriff und Monitoring: wer der Agent ist, was er anfassen darf und was er getan hat. Das ist wichtig. Aber es beantwortet die falsche Frage. Wenn ein Agent eine falsche Erstattung auszahlt, einem Kunden den falschen Preis schickt oder den falschen Compliance-Nachweis einreicht, lautet die Frage im Raum nicht “was hat er getan”. Sie lautet “wer steht dafür ein”. Und in den meisten Organisationen wurde niemand benannt.

Entscheidungen überall, Verantwortliche nirgends - Wenn Agenten vom Beraten zum Handeln übergehen, werden folgenreiche Entscheidungen getroffen, ohne dass ein konkreter Mensch daran hängt. Analysten beschreiben das inzwischen direkt als “Entscheidungen überall, aber Verantwortliche nirgends”³.
Governance hält mit dem Einsatz nicht Schritt - Die Einführung eilt der Kontrolle voraus. McKinsey stellt fest, dass rund drei Viertel der Organisationen agentische KI innerhalb von zwei Jahren einführen wollen, aber nur etwa ein Fünftel ein reifes Governance-Modell für die bereits laufenden Agenten hat⁷.
Weniger als 1 Prozent sind voll reif - Eine große branchenübergreifende Erhebung fand, dass weniger als 1 Prozent der Organisationen verantwortungsvolle KI vollständig operationalisiert haben und 81 Prozent noch in den frühesten Stufen stecken⁷.
Die Identitätsflut verbirgt verwaiste Agenten - Da maschinelle Identitäten die menschlichen um bis zu 109 zu eins übertreffen¹², entstehen Agenten schneller, als ihnen jemand Verantwortliche zuweist, und verwaiste Agenten handeln weiter, nachdem die Person, die sie eingerichtet hat, längst weg ist.
Schatten-KI verschärft das - Fast drei Viertel der Wissensarbeiter nutzen inzwischen KI, viel davon über nicht genehmigte Tools¹, was bedeutet, dass Agenten und Aktionen existieren, die nie ein Verantwortlicher formell übernommen hat.

Die zentrale Asymmetrie

Intelligenz ist jetzt billig zu skalieren, Verantwortung nicht. KI kann die Bandbreite der bedachten Optionen erweitern und die Analyse beschleunigen, aber nur ein Mensch kann ein akzeptables Risiko festlegen, Zielkonflikte auflösen und die Verantwortung für die Folgen tragen¹. Jeder zusätzliche Agent vervielfacht das Erste und tut nichts für das Zweite. Der Abstand dazwischen ist die Verantwortungslücke.

Das ist kein Monitoring-Problem, aus dem man sich per Dashboard herausbauen kann. Es ist eine strukturelle Lücke zwischen dem Tempo, in dem Sie Intelligenz einsetzen können, und dem Tempo, in dem Sie die menschliche Verantwortung zuweisen können, die dahinter sitzen muss. Sie zu schließen beginnt damit, präzise zu sein, was Verantwortung eigentlich bedeutet.

Kennzahl	Aktueller Stand	Quelle
Maschinelle vs. menschliche Identitäten	45:1 bis 109:1	CSA / Palo Alto²¹¹²
Planen agentische KI binnen 2 Jahren	~74 % der Organisationen	McKinsey 2025⁷
Haben ein reifes Governance-Modell für Agenten	~21 %	McKinsey 2025⁷
Verantwortungsvolle KI voll operationalisiert	Weniger als 1 %	McKinsey 2025⁷
Wissensarbeiter, die KI nutzen	~75 % (viel davon Schatten-KI)	Accenture / Wharton¹

Was Verantwortung für einen KI-Agenten wirklich bedeutet

Verantwortung, Observability und Identität werden synonym verwendet, und diese Verwechslung ist ein großer Teil des Grundes, warum die Lücke existiert. Es sind verschiedene Aufgaben. Identität sagt, wer der Agent ist. Observability sagt, was er getan hat. Verantwortung sagt, wer dafür einsteht, es erklären kann und die Konsequenz trägt. Sie können perfekte Logs haben und trotzdem niemanden verantwortlich.

Die drei Ebenen der Verantwortung

Haftung - Wer die Konsequenz trägt, wenn der Agent falschliegt. Das ist die rechtliche und finanzielle Ebene, und sie landet immer bei einem Menschen oder dem Unternehmen, nie beim Modell³⁵.
Erklärbarkeit - Ob die Entscheidung rekonstruiert und gegenüber einem Prüfer, einer Behörde oder einem Kunden gerechtfertigt werden kann. Ohne Nachweis von Begründung und Quellen ist der Verantwortliche haftbar, aber sprachlos³.
Organisatorische Ausrichtung - Ob die Aktion die tatsächlichen Regeln und Werte des Unternehmens widerspiegelte und nicht eine plausibel klingende Erfindung des Modells³.

Konzept	Beantwortet die Frage	Artefakt	Allein ausreichend?
Identität	Wer ist der Agent?	Zugangsdaten, Berechtigungen	Nein
Observability	Was hat er getan?	Logs, Traces, Dashboards	Nein
Erklärbarkeit	Warum hat er es getan?	Festgehaltene Begründung und Herkunft	Nein
Verantwortung	Wer steht dafür ein?	Ein benannter menschlicher Verantwortlicher	Nur mit den anderen zusammen

Das Recht ist unmissverständlich, wo die Haftung landet, und genau deshalb existieren die anderen Ebenen, um ihr zu dienen. Ein Unternehmen kann die Autonomie eines Agenten nicht als Schutzschild nutzen.

Zurechnung gilt - Nach Vertretungsrecht haftet ein Geschäftsherr für die Handlungen seiner Vertreter im Rahmen ihrer Befugnis, und dieser Grundsatz wird direkt auf KI-Systeme angewandt⁵.
Autonomie ist keine Verteidigung - Ein kalifornisches Gesetz verbietet Beklagten, zu argumentieren, die KI habe den Schaden autonom verursacht, und weist die Idee, Software könne Verantwortung aufsaugen, ausdrücklich zurück⁵.
Agenten binden das Unternehmen - Im Fall Air Canada hielt ein Gericht die Fluglinie an eine Erstattungsregel, die ihr eigener Chatbot erfunden hatte, und wies die Behauptung zurück, der Bot sei eine eigene Rechtsperson¹⁹.
Sie müssen es später erklären können - Behörden erwarten, dass Unternehmen wissen, welche Befugnis ihre Agenten haben, worauf sie zugreifen, wie Aktionen beaufsichtigt werden und wie sie im Nachhinein erklärt werden⁵.

Der Präzedenzfall Air Canada

Als der Chatbot von Air Canada einen Trauerfall-Rabatt versprach, den es nicht gab, argumentierte die Fluglinie, der Chatbot sei “eine eigene Rechtsperson”, die für ihre Handlungen selbst hafte. Das Gericht wies das rundweg zurück und hielt die Fluglinie haftbar¹⁹. Die Lehre für jedes Unternehmen, das Agenten einsetzt: die Worte und Handlungen des Agenten sind Ihre. Es gibt keine Version, in der die Software die Schuld trägt.

“Intelligenz mag skalierbar sein, Verantwortung ist es nicht.”

- Eric Bradlow, Professor und Vice Dean für KI & Analytics an der Wharton School¹

Warum das Problem des benannten Verantwortlichen 2026 kam

Die Verantwortungslücke ist in der Theorie nicht neu, aber drei Verschiebungen machten sie dieses Jahr von einem Diskussionspunkt zu einem operativen Notfall. Der rote Faden: Agenten wechselten vom Beraten zum Handeln, und das Ausmaß dieses Handelns überholte die menschlichen Strukturen darum herum.

Agenten bekamen Schreibzugriff - Der Wechsel von reinen Lese-Copilots zu Agenten, die Bestellungen anlegen, Erstattungen auszahlen und Datensätze ändern, bedeutet, dass jede Aktion nun reale Folgen hat, für die ein Mensch einstehen muss⁶.
Der Einsatz überholte die Governance - Da rund 74 Prozent der Organisationen agentische KI binnen zwei Jahren planen, aber nur 21 Prozent eine reife Governance haben, wuchs die Lücke zwischen dem, was läuft, und dem, was kontrolliert ist, stark⁷.
Die Zahl der Identitäten explodierte - Nicht-menschliche Identitäten übertreffen die menschlichen inzwischen um Dutzende zu eins, und Analysten benennen den Wildwuchs nicht-menschlicher Identitäten als primäres Sicherheitsrisiko für Unternehmen 2026¹¹¹².
Die Regulierung setzte eine Uhr - Die EU-KI-Verordnung wurde im August 2026 vollständig anwendbar, mit Pflichten zu menschlicher Aufsicht, KI-Kompetenz und Transparenz, die einen verantwortlichen Menschen hinter jedem System voraussetzen¹⁵.
Die Fehler wurden teuer und öffentlich - Gerichtsentscheidungen wie Air Canada und Bußgeldobergrenzen bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Umsatzes machten Verantwortung von einer Governance-Feinheit zu einer Exponierung auf Vorstandsebene¹⁴¹⁹.

Warum das anders ist als Schatten-KI oder Agenten-Identität

Agenten-Identität betrifft die Authentifizierung - den Nachweis, wer ein Agent ist. Observability betrifft das Monitoring - zu sehen, was er getan hat. Schatten-KI-Governance betrifft die Entdeckung - zu finden, was ohne Genehmigung läuft. Verantwortung ist die Ebene über allen dreien: selbst ein voll authentifizierter, voll überwachter, voll genehmigter Agent braucht noch einen benannten Menschen, der für seine Entscheidungen einsteht. Das ist das Stück, das 2026 offenlegte.

Zusammengenommen bedeuten diese Verschiebungen, dass die alte Antwort - “das Plattform-Team verwaltet unsere KI” - ein Unternehmen jetzt rechtlich exponiert und operativ blind zurücklässt. Die Reaktion ist ein konkretes, zuweisbares Modell von Verantwortung.

Das Modell des benannten Verantwortlichen

Der Kern ist einfach zu formulieren und schwer zu umgehen: jeder Agent im Produktivbetrieb hat genau einen benannten menschlichen Verantwortlichen. Nicht “die IT”. Nicht “das KI-Team”. Kein Gremium, das monatlich tagt. Eine Person, mit Namen und Rolle, die für das einsteht, was dieser Agent tut. Die Forschung zur Governance-Reife ist konsistent: benannte Verantwortung schlägt diffuse Zuständigkeit³¹⁰.

Wofür der benannte Verantwortliche einsteht

Umfang - Legt fest, was der Agent darf und, wichtiger, was er nicht darf.
Grenzen - Setzt die Autonomiestufe für jede Aktionsklasse und entscheidet, was allein läuft und was eine Freigabe braucht.
Prüfung - Gibt die folgenreichen Aktionen frei oder lehnt sie ab, die der Agent hochreicht.
Erklärung - Kann jede Aktion im Nachhinein anhand der festgehaltenen Begründung rekonstruieren und rechtfertigen.
Konsequenz - Ist die Person, die gegenüber Führung, Prüfern oder Kunden antwortet, wenn der Agent falschliegt.
Lebenszyklus - Verantwortet den Agenten über Aenderungen hinweg und übergibt die Verantwortung vor dem Weggang an einen benannten Nachfolger.

“Die IT verantwortet das” scheitert aus einem konkreten Grund: das Plattform-Team kann die Infrastruktur betreiben, aber nicht beurteilen, ob eine bestimmte Erstattung, ein Preis oder eine Vertragsklausel die richtige geschäftliche Entscheidung war. Verantwortung muss bei jemandem liegen, der den Prozess versteht, in dem der Agent handelt.

Benannter Verantwortlicher

✓ Klare Antwort - eine Person reagiert, wenn etwas schiefgeht
✓ Echtes Urteil - verantwortet von jemandem, der den Prozess versteht
✓ Höhere Governance-Reife - benannte Verantwortung schneidet messbar besser ab¹⁰
✓ Prüfbar - eine konkrete Person kann jede Aktion erklären und verteidigen

Diffuse Zuständigkeit

✗ Niemand antwortet - “die IT” oder “das Gremium” ist keine Person
✗ Kein Prozessurteil - Plattform-Teams können Geschäftsentscheidungen nicht beurteilen
✗ Verwaiste Agenten - Agenten überleben den, der sie eingerichtet hat
✗ Haftungslücke - das Fehlen benannter Verantwortung ist die Exponierung³

Menschen in Führung, nicht in der Schleife

Das Modell des benannten Verantwortlichen bedeutet nicht, jeden Schritt freizugeben. Die Formel von Accenture und Wharton lautet “Menschen in Führung, nicht in der Schleife”¹: der Verantwortliche setzt das Ziel, die Risikotoleranz und die Grenzen und steht für die Ergebnisse ein, statt bei einzelnen Aktionen zum Engpass zu werden. Führung nimmt nicht ab, wenn KI besser wird - sie wird folgenreicher, weil eine Person nun hinter weit mehr Entscheidungen steht.

Abgestufte Autonomie: Welche Entscheidungen der Agent allein trifft

Ein benannter Verantwortlicher bleibt nur handlungsfähig, wenn er nicht in Freigaben ertrinkt. Der Mechanismus, der Verantwortung praktikabel macht, ist abgestufte Autonomie: Sie koppeln, wie frei ein Agent handelt, daran, wie viel Schaden er anrichten kann, falls er falschliegt. Aktionen mit geringen, umkehrbaren Folgen laufen allein; solche mit hohen, irreversiblen Folgen bleiben menschgeführt. Das ist die praktische Fassung der begrenzten Autonomie, die Governance-Rahmenwerke heute empfehlen³⁶.

Die drei Stufen

Stufe	Entscheidungsart	Menschliche Beteiligung	Beispiel
Stufe 1 - Autonom	Geringe, umkehrbare Folgen	Keine; protokolliert und prüfbar	Ticket taggen, Antwort entwerfen, Status aktualisieren
Stufe 2 - Freigabe	Mittleres, behebbares Risiko	Asynchrone menschliche Freigabe	Erstattung unter einer Schwelle, Angebot senden
Stufe 3 - Menschgeführt	Hohe, irreversible Folgen	Mensch entscheidet, Agent assistiert	Vertrag unterschreiben, Konto kündigen, große Zahlungen

Die Stufe ist eine Eigenschaft der Aktion, nicht des Agenten. Ein einzelner Support-Agent kann Tickets auf Stufe 1 taggen, kleine Erstattungen auf Stufe 2 auszahlen und einen Vertragsstreit auf Stufe 3 hochreichen. Der Verantwortliche setzt diese Schwellen und kann sie nach jedem Vorfall verschärfen.

Wie die Stufen in der Praxis wirken

Finanzen - Ein Kreditoren-Agent gleicht Rechnungen unter 5.000 Euro allein ab und bucht sie (Stufe 1), leitet alles darüber zur Freigabe an einen Controller (Stufe 2) und gibt keinen Zahllauf ohne Menschen frei (Stufe 3).
Kundenservice - Ein Support-Agent beantwortet Routinefragen und aktualisiert Vorgänge allein, bietet eine Kulanzgutschrift bis zu einem Limit mit asynchroner Freigabe an und übergibt jede rechtliche oder sicherheitsrelevante Beschwerde an einen Menschen.
Vertrieb - Ein Vertriebsagent erstellt und versendet Standardangebote zum Listenpreis allein, reicht jeden Sonderrabatt zur Freigabe hoch und unterschreibt keinen Rahmenvertrag.
Einkauf - Ein Einkaufsagent bestellt Standardverbrauchsmaterial gegen vereinbarte Verträge allein nach, markiert einen neuen Lieferanten zur Prüfung und überlässt Investitionsgütereinkäufe einem Menschen.
Personal - Ein Recruiting-Agent plant Gespräche und versendet Statusmeldungen allein, aber jede Vorauswahl, die Bewerber herausfiltert, bleibt menschgeführt, weil sie unter der EU-KI-Verordnung ein Hochrisiko-Einsatz ist¹⁵.

Ueberautonom

✗ Unbegrenzter Schadensradius - eine falsche Entscheidung kann kaskadieren, bevor jemand sie sieht
✗ Verantwortlicher kommt nicht nach - Verantwortung wird theoretisch
✗ Agentenketten scheitern lautlos - ein Agent löst ohne Kontrollpunkt den nächsten aus⁹
✗ Regulatorische Exponierung - keine nachweisbare menschliche Aufsicht

Ueberreguliert

✗ Freigabemüdigkeit - Menschen nicken alles ab und lesen nicht mehr
✗ Keine Zeitersparnis - der Agent wird zur langsameren Version der Handarbeit
✗ Engpass - der Verantwortliche ist die Grenze bei jedem Routineschritt
✗ Akzeptanz stockt - Teams umgehen den Agenten ganz

Setzen Sie einen benannten Verantwortlichen hinter jeden Agenten

Buchen Sie ein 30-minütiges Gespräch. Wir kartieren Ihre Agenten, Verantwortlichen und Autonomiestufen gemeinsam.

Demo buchen →

Drei gestufte Kippschalter als Sinnbild für abgestufte Autonomiestufen eines KI-Agenten

Das Company Brain: Die Begründung hinter jeder Aktion festhalten

Einen Verantwortlichen zu benennen und Stufen zu setzen ist wertlos, wenn der Verantwortliche nicht rekonstruieren kann, warum der Agent gehandelt hat. Verantwortung ohne Nachweis ist eine Haftung ohne Verteidigung. Hier macht ein Company Brain - eine kontrollierte Gedächtnisschicht, die Ihre Regeln, den Kontext und die Herkunft jeder Antwort speichert - das Modell des benannten Verantwortlichen von einer Richtlinie zu etwas Operativem²⁰.

Was der Nachweis enthalten muss

Die Begründung - Den Entscheidungspfad, dem der Agent gefolgt ist, nicht nur die finale Aktion, damit der Verantwortliche sieht, wie er dorthin kam³.
Die Herkunft - Welche Quelle, Regel oder welches Dokument der Aktion zugrunde lag, damit jede Antwort auf etwas zurückverweist, das der Verantwortliche prüfen kann²⁰.
Die Sicherheit - Wie sicher der Agent war, damit Aktionen mit geringer Sicherheit standardmäßig an einen Menschen gehen³.
Die Befugnis - In welche Stufe die Aktion fiel und wer sie gegebenenfalls freigegeben hat.
Der Kontext - Die unternehmensspezifischen Regeln und Ausnahmen, die galten, damit die Aktion Ihre Richtlinie widerspiegelt und nicht die Vermutung des Modells²⁰.

Analysten beschreiben das als “digitalen Flugschreiber” oder Chain-of-Thought-Nachweis: zwingen Sie den Agenten, seine Begründung, Quellen und Sicherheit zu protokollieren, sodass Sie bei einem Fehler die Verantwortung präzise zuweisen können, statt zu raten³. Ein Company Brain ist der Ort, an dem dieser Nachweis lebt und, entscheidend, an dem er bleibt, nachdem Einzelne gegangen sind.

Warum die Herkunft das Stück ist, das Prüfer interessiert

Eine Antwort, die standardmäßig auf eine Quelle zurückverweist, ist die Eigenschaft, die einen Prüfer zufriedenstellt²⁰. Wenn der Compliance-Verantwortliche zeigen kann, dass ein Agent auf einer konkreten dokumentierten Regel gehandelt hat, und die Regel vorlegen kann, ist die Aktion verteidigbar. Wenn die Begründung des Agenten eine Blackbox ist, ist der Verantwortliche für etwas haftbar, das er nicht erklären kann - die schlechteste Position überhaupt.

Ohne Nachweis	Mit einem Company Brain
Verantwortlicher haftet, kann die Aktion aber nicht erklären	Verantwortlicher kann Begründung und Quellen rekonstruieren
Agent erfindet plausible, aber falsche Richtlinie	Agent handelt auf dokumentierten Unternehmensregeln
Wissen geht, wenn der Verantwortliche geht	Begründung und Regeln bleiben im Unternehmen
Prüfung heißt Rekonstruktion aus Roh-Logs	Prüfung heißt Lesen eines Herkunftsnachweises
Löschen heißt ein Modell neu trainieren	Löschen heißt eine Quelle entfernen²⁰

“Menschen in Führung, nicht in der Schleife.”

- James Crowley, Global Products Industry Practices Chair bei Accenture²

Wenn Agenten Agenten aufrufen: Verantwortung in Ketten

Das Modell des benannten Verantwortlichen wird schwieriger, und wichtiger, sobald Agenten andere Agenten aufrufen. Eine einzelne Anfrage durchläuft nun mehrere Agenten, von denen jeder auf dem Ergebnis des vorigen handelt, und ein falscher Schritt früh in der Kette pflanzt sich lautlos fort, bis er als reale Aktion auftaucht, die niemand gewählt hat. Genau hier bricht Verantwortung in der Praxis am häufigsten zusammen⁹.

Diffuse Ursache - Wenn fünf Agenten je einen Teil einer Aufgabe erledigt haben, ist es verlockend zu sagen, keiner allein sei schuld. Genau dieser Reflex ist die Falle; die Kette hat weiterhin einen benannten Verantwortlichen für ihr Ergebnis.
Lautlose Fortpflanzung - Eine Schätzung mit geringer Sicherheit eines vorgelagerten Agenten wird zu einer Eingabe, die der nachgelagerte Agent als Fakt behandelt, sodass ein kleiner Fehler zu einer selbstsicheren falschen Aktion anwächst⁹.
Teamübergreifende Ketten - Ein Vertriebsagent übergibt an einen Finanzagenten, der an einen Fulfilment-Agenten übergibt, über Teamgrenzen hinweg, wo keine einzelne Person den ganzen Pfad sieht.
Fehlende Kontrollpunkte - Ohne eine Stufengrenze irgendwo in der Kette kann die ganze Sequenz bis zu einer irreversiblen Aktion laufen, ohne dass je ein Mensch in Führung war.
Zuordnung im Nachhinein - Wenn es schiefgeht, brauchen Sie den Nachweis, der zeigt, welcher Agent auf welcher Eingabe die kippende Entscheidung getroffen hat - das liefert nur ein gemeinsamer Begründungsnachweis.

Die Regel für Ketten

Eine Kette von Agenten ist weiterhin eine verantwortbare Einheit. Benennen Sie einen Verantwortlichen für das Ergebnis der gesamten Kette, nicht für jedes Glied, und setzen Sie mindestens eine Stufengrenze vor jede irreversible Aktion. Das Company Brain muss die Begründung über die gesamte Kette hinweg festhalten, nicht je Agent, damit der Verantwortliche sieht, wo eine Entscheidung tatsächlich gekippt ist, statt auf fünf zusammenhanglose Logs zu starren.

Kettenrisiko	Was bricht	Kontrolle
Kein durchgängiger Verantwortlicher	Jeder zeigt auf den vorigen Agenten	Ein Verantwortlicher für das Kettenergebnis
Keine Stufengrenze	Kette läuft bis zu einer irreversiblen Aktion	Ein Stufe-2- oder Stufe-3-Gate davor erzwingen
Nur Logs je Agent	Nicht erkennbar, wo es kippte	Gemeinsamer Begründungsnachweis über die Kette
Sicherheit wird nicht weitergegeben	Schätzungen werden nachgelagert zu Fakten	Sicherheit zwischen Agenten mitführen

So setzen Sie ein Modell des benannten Verantwortlichen um

Das ist eine Aufgabe von Wochen, kein Jahresprogramm, und der Großteil der Arbeit ist Bestandsaufnahme und Grenzziehung, nicht Technik. Das Ziel ist ein Zustand, in dem kein Agent im Produktivbetrieb ohne Verantwortlichen, Stufenkarte und Nachweis läuft. Hier die Reihenfolge.

Jeden Agenten inventarisieren - Listen Sie jeden Agenten auf, der bereits im Produktivbetrieb handelt, auch die Schatten-Agenten. Sie können keine Verantwortlichen für Agenten zuweisen, die Sie nicht gefunden haben, und die Identitätsflut bedeutet, es sind mehr, als Sie denken¹¹.
Je einen benannten Verantwortlichen zuweisen - Ordnen Sie jedem Agenten eine konkrete Person und Rolle zu. Wenn niemand einen Agenten übernehmen will, ist das Ihr Signal, ihn zu pausieren, nicht ihn unverantwortet weiterlaufen zu lassen.
Aktionen in Stufen einordnen - Sortieren Sie für jeden Agenten seine Aktionsarten nach Folgen und Umkehrbarkeit in Stufe 1, 2 oder 3. Beginnen Sie konservativ und lockern Sie, wenn Vertrauen wächst.
Den Nachweis verdrahten - Leiten Sie Begründung, Quellen und Sicherheit des Agenten in ein Company Brain, sodass jede Aktion standardmäßig erklärbar ist und nicht nur in der Krise rekonstruierbar³.
Eskalationswege setzen - Legen Sie genau fest, wie Stufe-2-Freigaben den Verantwortlichen erreichen und wie Stufe-3-Entscheidungen getroffen werden, damit nichts in einer Warteschlange liegt, die niemand beobachtet.
Den Weggangsfall regeln - Machen Sie den Weggang des Verantwortlichen zu einem formellen Ereignis: Verantwortung neu vergeben, Rechte neu prüfen und jeden Agenten ohne benannten Nachfolger pausieren.
Nach jedem Vorfall prüfen - Wenn ein Agent etwas falsch macht, verschärft der Verantwortliche eine Stufe oder Regel. Das System wird mit jeder Korrektur sicherer, statt lautlos Risiko anzuhäufen.

Checkliste: Bereit für benannte Verantwortung

Jeder Produktiv-Agent steht auf einer einzigen Bestandsliste
Jeder Agent hat genau einen benannten menschlichen Verantwortlichen, mit Namen und Rolle
Kein Agent läuft ohne Verantwortlichen; unverantwortete Agenten sind pausiert
Die Aktionen jedes Agenten sind in Autonomiestufen sortiert
Stufe-2-Freigaben erreichen den Verantwortlichen zuverlässig und schnell
Stufe-3-Aktionen sind menschgeführt per Design, nicht per Ausnahme
Jede Aktion hält ihre Begründung, Quelle und Sicherheit fest
Der Weggang des Verantwortlichen löst Neuvergabe und Rechteprüfung aus
Vorfälle führen zu einer verschärften Stufe oder Regel, nicht nur zu einer Notiz

Die eine Regel, die die meisten Vorfälle verhindert

Kein Agent geht in den Produktivbetrieb ohne benannten Verantwortlichen und Stufenkarte. Klingt selbstverständlich, aber das Problem “Entscheidungen überall, Verantwortliche nirgends”³ existiert gerade deshalb, weil Agenten schneller ausgeliefert werden, als Verantwortliche zugewiesen werden. Verantwortung zu einem Freigabe-Gate zu machen, so wie Sie nie Code ohne verantwortlichen Entwickler ausliefern würden, schließt den Großteil der Lücke von allein.

Wie Superkind passt

Superkind baut KI-Mitarbeiter, die in Ihren Systemen leben und auf einem Company Brain laufen - einer kontrollierten Gedächtnisschicht, die das Wissen, die Regeln und die Herkunft hinter jeder Antwort Ihres Unternehmens hält²⁰. Diese Kombination macht das Modell des benannten Verantwortlichen in der Praxis machbar, statt zu einer Richtlinie auf einer Folie zu werden.

Herkunft im Company Brain - Antworten verweisen standardmäßig über Zitate und Herkunft auf eine Quelle, sodass der benannte Verantwortliche jede Aktion im Nachhinein erklären und verteidigen kann²⁰.
Lernt Ihr Unternehmen, nicht das Internet - KI-Mitarbeiter handeln auf Ihren dokumentierten Regeln und Ausnahmen, sodass Aktionen Ihre Richtlinie widerspiegeln und keine plausible Erfindung.
Menschliche Aufsicht eingebaut - KI-Mitarbeiter übernehmen wiederkehrende Routinearbeit, während Menschen sich auf das konzentrieren, was echtes menschliches Urteil braucht - genau die abgestufte Aufteilung.
Erklärbarkeit und Zugriffskontrollen - Erklärbarkeitsberichte und Zugriffskontrollen sind in das Eingebettete eingebaut, sodass Sie prüfbereite Nachweise ohne separaten Tooling-Stack erhalten.
Sitzt auf Ihren Systemen - KI-Mitarbeiter verbinden sich mit Ihren bestehenden Werkzeugen, statt sie zu ersetzen, sodass Verantwortung auf Prozesse abbildet, die Ihr Team bereits führt.
EU-gehostet oder On-Premise - Personenbezogene Daten können in Ihrem Perimeter bleiben, und Löschen heißt eine Quelle entfernen, nicht ein Modell neu trainieren²⁰.
Wissen, das Menschen überdauert - Weil Regeln und Begründungen im Company Brain leben, kann die Verantwortung auf einen Nachfolger übergehen, ohne dass die Begründung mit hinausgeht.
Live in zwei Wochen - Der erste Anwendungsfall geht in zwei Wochen live, sodass Verantwortungsstrukturen schnell an echter Arbeit getestet werden statt in der Theorie.

Verantwortungsbedarf	Generisches KI-Tool	Superkind KI-Mitarbeiter + Company Brain
Eine Aktion erklären	Undurchsichtig; aus Logs rekonstruieren	Herkunft und Begründung standardmäßig
Auf Unternehmensrichtlinie handeln	Kennt das Internet, nicht Ihre Regeln	Handelt auf Ihren dokumentierten Regeln
Abgestufte Freigabe	Alles-oder-nichts-Autonomie	Routine läuft allein, Urteil eskaliert
Prüfnachweis	Separater Tooling-Stack	Eingebaute Erklärbarkeitsberichte
Datenhaltung	Anbieter-Cloud als Standard	EU-gehostet oder On-Premise möglich

Vorteile

✓ Herkunft standardmäßig - jede Antwort führt auf eine Quelle zurück
✓ Kennt Ihre Regeln - handelt auf dokumentierter Richtlinie, nicht auf Vermutungen
✓ Passt zu Ihren Stufen - Routine autonom, Urteil menschgeführt
✓ Prüfbereit - Erklärbarkeit ohne separaten Stack
✓ Daten bleiben - EU-gehostet oder On-Premise

Nachteile

✗ Kein Self-Service-Tool - erfordert die Zusammenarbeit mit unserem Team
✗ Braucht Ihre Regeln schriftlich - das Company Brain ist nur so gut wie die Richtlinie, die Sie ihm geben
✗ Verantwortlicher weiter nötig - wir liefern den Nachweis; Sie benennen den Verantwortlichen
✗ Ueberdimensioniert für Einmal-Automationen - gebaut für Agenten, die auf echten Prozessen handeln

Entscheidungsrahmen: Ist Ihr Agent produktionsbereit?

Bevor ein Agent echte Entscheidungen bearbeitet, lassen Sie ihn durch diese Prüfung laufen. Fällt eine Zeile durch, ist der Agent nicht bereit, egal wie fähig er ist.

Signal	Was es bedeutet	Maßnahme
Kein benannter Verantwortlicher	Niemand antwortet, wenn es falsch ist	Nicht einsetzen; Verantwortlichen benennen oder pausieren
Alle Aktionen auf einer Autonomiestufe	Entweder zu großer Schadensradius oder Freigabemüdigkeit	Aktionen nach Folgen in Stufen sortieren
Begründung wird nicht festgehalten	Verantwortlicher haftet, kann Aktionen aber nicht erklären	Agenten zuerst in ein Company Brain verdrahten
Agent erfindet Richtlinie	Er kennt das Internet, nicht Ihre Regeln	In dokumentierter Unternehmensrichtlinie verankern
Hochrisiko-Fall (Personal, Kredit, Sicherheit)	Fällt unter Hochrisiko-Pflichten der EU-KI-Verordnung¹⁵	Menschgeführt halten; Aufsicht dokumentieren
Verantwortlicher geht bald, kein Nachfolger	Agent wird verwaisen	Verantwortung vor dem Weggang neu vergeben

Jetzt zuweisen

✓ Der Regulierung voraus - Aufsichtspflichten der EU-KI-Verordnung gelten bereits¹⁵
✓ Kleiner Bestand - leichter, Verantwortliche zuzuweisen, bevor Agenten sich vervielfachen
✓ Vertrauen wächst - Stufen lockern sich sicher, während der Nachweis aufbaut
✓ Billig hinzuzufügen - vor allem Bestand und Grenzen, kein neues Tooling

Warten

✗ Verwaiste Agenten häufen sich - unverantwortete Agenten stapeln sich schnell¹¹
✗ Haftung ohne Verteidigung - ein öffentlicher Fehler setzt den Präzedenzfall¹⁹
✗ Nachrüsten ist schwerer - Herkunft im Nachhinein zu ergänzen ist mühsam
✗ Bußgeld-Exponierung - bis zu 35 Mio. Euro oder 7 % des Umsatzes¹⁴

Häufig gestellte Fragen

Verantwortung für KI-Agenten bedeutet, dass ein konkreter, benannter Mensch für das einsteht, was ein KI-Agent im Produktivbetrieb tut. Das ist nicht dasselbe wie Monitoring oder Logging. Verantwortung heißt, dass eine Person erklären kann, warum der Agent gehandelt hat, die Entscheidung gegenüber einem Prüfer oder Kunden verteidigen kann und die Konsequenzen trägt, wenn es falsch war. Nach Vertretungsrecht und EU-KI-Verordnung liegt diese Verantwortung beim Unternehmen und seinen Menschen, niemals bei der Software.

Das Unternehmen, das den Agenten eingesetzt hat, haftet, und über es die Menschen, die ihn gesteuert haben. Nach dem Grundsatz der Zurechnung haftet ein Unternehmen für die Handlungen seiner Vertreter im Rahmen ihrer Befugnis, und Gerichte wenden das auf Software an. Ein kalifornisches Gesetz verbietet Beklagten sogar, sich darauf zu berufen, die KI habe den Schaden autonom verursacht. Im Fall Air Canada hielt ein Gericht die Fluglinie an eine Erstattungsregel, die ihr eigener Chatbot erfunden hatte.

Ein benannter Verantwortlicher ist genau eine konkrete Person, mit Namen und Rolle, die für einen einzelnen Agenten im Produktivbetrieb einsteht. Es ist nicht die IT, kein Gremium und keine Abteilung. Der benannte Verantwortliche legt fest, was der Agent darf, prüft seine folgenreichen Aktionen und ist die Person, die antwortet, wenn etwas schiefgeht. Studien zeigen, dass Unternehmen mit benannter Verantwortung bei der Governance-Reife messbar besser abschneiden als solche mit diffuser Zuständigkeit.

Intelligenz skaliert, weil man mehr Agenten, mehr Schlussfolgerungen und mehr Analysen zu nahezu null Grenzkosten laufen lassen kann. Verantwortung nicht, weil ein Mensch jede folgenreiche Aktion verstehen, freigeben und verantworten muss. Wie es der Bericht von Accenture und Wharton formuliert: Intelligenz mag skalierbar sein, Verantwortung ist es nicht. Hundert zusätzliche Agenten bringen keine hundert Menschen, die für ihre Entscheidungen unterschreiben - genau da öffnet sich die Lücke.

Abgestufte Autonomie bedeutet, die Handlungsfreiheit eines Agenten an die Größe der Folgen zu koppeln, falls er falschliegt. Aktionen mit geringen, umkehrbaren Folgen laufen vollautonom. Aktionen mit mittlerem Risiko brauchen eine asynchrone menschliche Freigabe. Aktionen mit hohen, irreversiblen Folgen bleiben menschgeführt, der Agent assistiert nur. Das ist der praktische Mechanismus, der einen benannten Verantwortlichen handlungsfähig hält, ohne ihn bei jedem Routineschritt zum Engpass zu machen.

Observability sagt Ihnen, was ein Agent getan hat. Verantwortung sagt, wer dafür einsteht. Monitoring und Audit-Logs sind notwendig, aber nicht ausreichend: ein Dashboard voller Agentenaktionen ohne einen benannten Menschen hinter jeder einzelnen ist genau das Problem Entscheidungen überall, Verantwortliche nirgends. Verantwortung fügt auf die reine Telemetrie eine Person, eine Entscheidungsgrenze und einen belastbaren Nachweis der Begründung hinzu.

Die Verordnung nutzt den Begriff benannter Verantwortlicher nicht, aber ihre Struktur drängt dorthin. Sie verlangt menschliche Aufsicht bei Hochrisiko-Systemen, KI-Kompetenz für Personal, das KI bedient, Transparenz dort, wo KI mit Menschen interagiert, und macht Betreiber für die Nutzung verantwortlich. Die Bußgelder reichen bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes. In der Praxis lässt sich sinnvolle Aufsicht ohne eine konkrete verantwortliche Person je System nicht nachweisen.

Ein benannter Verantwortlicher kann nur dann für einen Agenten einstehen, wenn die Begründung hinter jeder Aktion festgehalten wird. Ein Company Brain speichert die Regeln, den Kontext und die Herkunft, auf die sich ein Agent gestützt hat, sodass jede Aktion auf eine Quelle und einen Entscheidungspfad zurückverweist. Ohne diesen Nachweis ist Verantwortung theoretisch: der Verantwortliche haftet, kann aber nicht rekonstruieren, warum der Agent so gehandelt hat. Mit ihm kann er jede Aktion im Nachhinein erklären, verteidigen oder korrigieren.

Es gibt keine feste Zahl, aber die Grenze setzt, wie viel Begründung der Verantwortliche prüfen muss, nicht wie viele Agenten laufen. Mit guter abgestufter Autonomie und einem Company Brain, das nur die Entscheidungen hochholt, die einen Menschen brauchen, kann ein Verantwortlicher für ein ganzes Portfolio von Agenten in der Routine einstehen. Ohne diese Kontrollen überfordern schon zwei oder drei Agenten mit unbegrenzten Entscheidungen jeden einzelnen Verantwortlichen.

Das ist eine der häufigsten Governance-Lücken. Wird die Verantwortung nicht neu vergeben, handelt der Agent mit bestehenden Zugriffsrechten weiter, ohne dass jemand für ihn einsteht - so häufen sich verwaiste Agenten und Schatten-KI an. Ein sauberes Modell behandelt den Weggang des Verantwortlichen wie jedes andere Zugriffsereignis: die Verantwortung geht auf einen benannten Nachfolger über, die Rechte werden neu geprüft, und der Agent wird pausiert, wenn kein Verantwortlicher benannt werden kann. Das Company Brain bewahrt die Begründung, damit der Nachfolger nicht blind startet.

Nein, und der Unterschied ist wichtig. Human in the Loop beschreibt einen Kontrollpunkt, an dem ein Mensch einen Schritt freigibt. Ein benannter Verantwortlicher steht für den gesamten Agenten ein, auch für die Schritte, die ohne Kontrollpunkt laufen. Die Formel von Accenture und Wharton lautet Menschen in Führung, nicht in der Schleife: der Verantwortliche setzt Ziel und Grenzen und steht für die Ergebnisse ein, statt nur einzelne Aktionen abzunicken.

Beginnen Sie mit einer Bestandsaufnahme der bereits laufenden Agenten, weisen Sie jedem einen benannten Verantwortlichen und eine Risikostufe zu und pausieren Sie alles, was niemand übernehmen will. Verdrahten Sie dann die zwei folgenreichsten Agenten mit abgestufter Autonomie und einem gemeinsamen Company Brain, sodass Freigaben und Begründungen standardmäßig erfasst werden. Das ist eine Aufgabe von Wochen, kein Jahresprogramm, und sie nimmt weit mehr Risiko heraus, als sie Reibung erzeugt, weil die meisten Routineaktionen vollautonom bleiben.

Quellen

Henri Jung

Mitgründer von Superkind, wo er KMU und Unternehmen hilft, maßgeschneiderte KI-Agenten einzusetzen, die wirklich zur Arbeitsweise ihrer Teams passen. Henri brennt dafür, die Lücke zwischen dem, was KI kann, und dem Wert, den sie in echten Unternehmen schafft, zu schließen. Er ist überzeugt, dass der Mittelstand alles hat, was er braucht, um in KI führend zu sein - er braucht nur den richtigen Ansatz.

Bereit, jeden Agenten verantwortbar zu machen?

Buchen Sie ein 30-minütiges Gespräch mit Henri. Wir kartieren Ihre Agenten, benennen ihre Verantwortlichen und setzen die Autonomiestufen - unverbindlich, ohne Verkaufsgespräch.