KI-Lexikon

Not-Aus (KI-Agent): Der Notfall-Stopp-Mechanismus für autonome KI-Systeme

Ein Not-Aus ist die technische und organisatorische Kontrolle, mit der eine benannte Person einen KI-Agenten sofort anhalten, isolieren oder dessen Berechtigungen entziehen kann, unabhängig von der eigenen Logik des Agenten. Er ist das letzte Mittel, wenn Leitplanken, Freigabeprozesse und die gewöhnliche Aufsicht einen Agenten nicht davon abhalten konnten, außerhalb seiner vorgesehenen Grenzen zu handeln. Erfahren Sie im Folgenden, was einen funktionierenden Not-Aus ausmacht, wie Unternehmen ihn aufbauen und testen, und warum den meisten Organisationen bislang ein funktionierender fehlt.

Kernpunkte
  • Ein Not-Aus lässt eine Person einen KI-Agenten sofort anhalten, isolieren oder dessen Berechtigungen entziehen, unabhängig von der eigenen Steuerungslogik des Agenten.
  • Artikel 14 Absatz 4 Buchstabe e der EU-KI-Verordnung verlangt für Hochrisiko-KI-Systeme einen Stopp-Knopf oder ein gleichwertiges Verfahren, das das System in einen sicheren Zustand bringt.
  • Nur 30 Prozent der Organisationen haben laut einer Kiteworks-Umfrage von 2026 einen formal eingeführten Not-Aus für ihre KI-Agenten, und 23 Prozent davon haben ihn nie getestet.
  • Gartner prognostiziert, dass 40 Prozent der Unternehmen autonome KI-Agenten bis 2027 zurückstufen oder abschalten werden, weil Governance-Lücken erst nach Vorfällen sichtbar werden.
  • Eine Rubrik-Umfrage von 2026 fand heraus, dass nur 21 Prozent der deutschen Unternehmen volle Transparenz über ihre KI-Systeme angeben und die meisten Agenten-Aktionen nicht ohne Betriebsstörungen rückgängig machen können.

Definition: Not-Aus (KI-Agent)

Ein Not-Aus für einen KI-Agenten ist eine Governance- und technische Kontrolle, die einer benannten Person erlaubt, einen autonomen KI-Agenten sofort anzuhalten, zu isolieren oder dessen Berechtigungen zu entziehen, um weiteren Schaden zu verhindern.

Kernmerkmale von Not-Aus

Ein wirksamer Not-Aus arbeitet auf mehreren Ebenen, von der Unterbrechung einer einzelnen Aufgabe bis zum unternehmensweiten Entzug von Zugangsdaten, und funktioniert unabhängig von der eigenen Logik des Agenten, sodass dieser sein eigenes Abschalten nicht verzögern oder verhindern kann.

  • Unterbrechung auf Sitzungs- oder Aufgabenebene, die die aktuelle Aktion sofort stoppt
  • Entzug von Berechtigungen und Tokens, der den Zugriff auf verbundene Systeme wie CRM, ERP und E-Mail kappt
  • Ein dokumentierter Auslöser, manuell, automatisiert über Anomalieerkennung oder beides
  • Unabhängigkeit von der Entscheidungslogik des Agenten, sodass dieser den Stopp nicht blockieren kann

Not-Aus vs. Menschliche Aufsicht

Menschliche Aufsicht nach Artikel 14 der EU-KI-Verordnung ist die umfassendere Rechtspflicht, die eine kompetente Person verpflichtet, ein Hochrisiko-System zu überwachen und bei Bedarf zu stoppen. Ein Not-Aus ist der technische Mechanismus, der diesen letzten Stopp überhaupt erst möglich macht. Aufsicht und KI-Leitplanken sollen Probleme verhindern, bevor ein Stopp nötig wird, während der Not-Aus das letzte Mittel ist, sobald ein Agent seine zulässige Autonomiestufe überschritten hat. Ein Unternehmen kann die Aufsichtspflicht auf dem Papier erfüllen und trotzdem keinen Not-Aus besitzen, der ausgerechnet dann funktioniert, wenn es darauf ankommt.

Bedeutung von Not-Aus im Enterprise-KI-Umfeld

Mit jeder zusätzlichen Schreibberechtigung in Produktivsystemen steigen die Kosten eines langsamen oder fehlenden Stopps. Eine Kiteworks-Umfrage von 2026 ergab, dass nur 30 Prozent der Organisationen einen formal eingeführten Not-Aus für ihre KI-Agenten haben, und 23 Prozent davon nie getestet haben, ob er tatsächlich funktioniert.

Methoden und Verfahren für Not-Aus

Ein Not-Aus, der unter Druck funktioniert, erfordert ein mehrschichtiges Design statt eines einzelnen Knopfs.

Mehrschichtige Abschaltarchitektur

Ein echter Not-Aus kombiniert mehrere Mechanismen, damit das Stoppen einer Ebene nicht eine andere unkontrolliert weiterlaufen lässt.

  • Stopp auf Sitzungsebene, der die aktuelle Aufgabe anhält, ohne andere Vorgänge zu berühren
  • Entzug auf Identitätsebene, der Zugangsdaten und API-Tokens in allen verbundenen Systemen deaktiviert
  • Circuit Breaker, die einen Agenten nach wiederholten Fehlern oder Regelverstößen automatisch pausieren

Unabhängige Auslösemechanismen

Ein funktionierender Not-Aus kombiniert einen manuellen Auslöser, den eine benannte Person jederzeit erreichen kann, mit automatisierten Auslösern bei Anomalieerkennung oder einem Verstoß gegen konfigurierte Leitplanken. Keiner der Auslöser sollte von der Mitwirkung des Agenten selbst abhängen.

Abschaltung von Sub-Agenten und Orchestrierung

Das Stoppen eines orchestrierenden Agenten stoppt nicht automatisch die von ihm beauftragten Sub-Agenten; diese laufen mit den Zugangsdaten weiter, die ihnen bei der Beauftragung erteilt wurden. Ausgereifte Designs entziehen Zugriff auf Identitätsebene über die gesamte Agentenflotte hinweg und schließen damit die von Praktikern sogenannte “Geister-Agenten”-Lücke.

Wichtige Kennzahlen für Not-Aus

Eine kleine Auswahl an Kennzahlen zeigt, ob ein Not-Aus eine echte Kontrolle ist oder nur auf dem Papier existiert.

Operative Reaktionskennzahlen

  • Zeit bis zur Auslösung: Sekunden von der Entscheidung bis zur Ausführung, nicht Minuten
  • Testhäufigkeit der Stopp-Funktion: mindestens vierteljährlich, nach jedem Plattform-Update
  • Rollback-Abschlussquote: Anteil der laufenden Aktionen, die sauber rückgängig gemacht wurden
  • Eindämmungszeit für Sub-Agenten: Minuten bis jeder abhängige Agent nachweislich gestoppt ist

Governance- und Bereitschaftskennzahlen

Gartner prognostiziert, dass 40 Prozent der Unternehmen autonome KI-Agenten bis 2027 zurückstufen oder abschalten werden, vor allem weil Lücken wie eine ungetestete Stopp-Funktion erst nach einem Vorfall sichtbar werden. Zu erfassen, ob jeder eingesetzte Agent einen dokumentierten, getesteten Not-Aus besitzt, macht diese Lücke sichtbar, bevor sie zur Schlagzeile wird.

Qualitäts- und Zuverlässigkeitskennzahlen

Die Fehlauslösungsrate zählt genauso viel wie die Reaktionsgeschwindigkeit: Ein Not-Aus, der legitime Arbeit zu oft unterbricht, wird von genervten Teams umgangen oder deaktiviert, wodurch die Kontrolle still und leise verschwindet.

Risikofaktoren und Kontrollen bei Not-Aus

Bei der Umsetzung von Not-Aus-Mechanismen treten in Unternehmen immer wieder dieselben Fehlermuster auf.

Das Geister-Agenten-Problem

Sub-Agenten, die ein inzwischen gestoppter Orchestrator beauftragt hat, können in parallelen Systemen weiterarbeiten, unsichtbar für ein Dashboard, das nur den übergeordneten Agenten als gestoppt anzeigt.

  • Vor dem Stopp erteilte Zugangsdaten bleiben gültig, bis sie ausdrücklich entzogen werden
  • Delegierte Aufgaben schreiben unbeaufsichtigt in nachgelagerte Systeme weiter
  • Monitoring-Werkzeuge für einzelne Agenten übersehen verteilte Multi-Agenten-Flotten

Not-Aus als Alibi-Übung

Ein dokumentiertes Stopp-Verfahren, das nicht schnell genug erreichbar ist oder nur einen Teil der Systeme abdeckt, mit denen ein Agent arbeitet, erfüllt eine Checkliste, ohne echten Schutz zu bieten. Das ist das Pendant zu Human-in-the-Loop-Funktionen, die in der Demo gründlich wirken, aber nie unter einem echten Vorfall getestet wurden.

Überempfindlichkeit und Betriebsstörungen

Ein zu empfindlich eingestellter Not-Aus unterbricht legitime Prozesse, untergräbt das Vertrauen in die Kontrolle und erzeugt Druck, sie zu umgehen, was die Schutzfunktion genauso aushöhlt wie ein Not-Aus, der nie auslöst.

Praxisbeispiel

Ein 95-Mitarbeiter-Auftragsfertiger für elektronische Bauteile in Bayern setzte einen KI-Einkaufsagenten ein, der an das ERP-System angebunden war, und erweiterte dessen Autonomiestufe schrittweise bis zur eigenständigen Platzierung von Routine-Nachbestellungen, wobei jede Bestellung oberhalb eines Schwellenwerts weiterhin einen Genehmigungsworkflow durchlief. Als eine fehlerhafte Preisdaten-Schnittstelle den Agenten über Nacht zu ungewöhnlich hohen Bestellungen veranlasste, stoppte ein automatisierter Auslöser ihn innerhalb von Sekunden, entzog seinen ERP-Schreibzugriff und fror jede offene Bestellung ein, bevor eine davon einen Lieferanten erreichte.

  • Ein dokumentiertes Register, wer den Stopp auslösen darf und in welcher Reaktionszeit
  • Automatischer Entzug von Zugangsdaten über ERP, E-Mail und Lieferantenportale hinweg
  • Ein getestetes Rollback-Verfahren für Bestellungen der vorangegangenen zehn Minuten
  • Monatliche Übungen, die bestätigen, dass die Stopp-Funktion nach jedem System-Update noch funktioniert

Aktuelle Entwicklungen und Auswirkungen

Der Not-Aus entwickelt sich von einem Anbieter-Schlagwort zu einer dokumentierten Pflicht.

Regulatorische Kodifizierung

Artikel 14 Absatz 4 Buchstabe e der EU-KI-Verordnung verlangt inzwischen für Hochrisiko-KI-Systeme einen Stopp-Knopf oder ein gleichwertiges Verfahren, das das System in einen sicheren Zustand bringt, unabhängig von der Prüfung einzelner Fälle.

  • EU-KI-Verordnung Artikel 14 Absatz 4 Buchstabe e: ausdrückliche Stopp-Knopf-Pflicht für Hochrisiko-Systeme
  • Geplante US-Gesetzgebung richtet Not-Aus-Pflichten an Entwickler von Frontier-Modellen
  • Nationale Marktüberwachungsbehörden verlangen zunehmend getestete Nachweise statt reiner Richtliniendokumente

Anbieterplattformen bauen es nativ ein

Agenten-Plattformen liefern zunehmend Identitätsentzug, KI-Agenten-Identitätsmanagement und isolierte Ausführungsumgebungen als eingebaute Kontrollen, statt dass Unternehmen diese selbst von Grund auf entwickeln müssen.

Vom einzelnen Knopf zu mehrschichtigen Systemen

Mit wachsenden Agentenflotten verschiebt sich das Muster von einem globalen Stopp hin zu Kontrollen je Agent und je Berechtigung, sodass ein einzelner Vorfall nicht mehr zur Wahl zwischen dem Stoppen eines einzelnen Agenten und dem Abschalten eines gesamten Workflows zwingt.

Fazit

Ein Not-Aus ist kein einzelner Knopf, sondern eine getestete, mehrschichtige Fähigkeit aus Sitzungskontrolle, Zugangsdatenentzug und flottenweiter Eindämmung. Je mehr autonome Schreibzugriffe Agenten in Unternehmenssystemen erhalten, desto mehr wird eine ungetestete Stopp-Funktion zu einem versteckten Risiko statt zu einer Absicherung. Regulatorische Vorgaben wie Artikel 14 Absatz 4 Buchstabe e machen aus dem, was früher ein Nachgedanke war, eine dokumentierte, prüfbare Kontrolle. Unternehmen, die diese Fähigkeit jetzt aufbauen und üben, stehen am Tag, an dem ein Agent wirklich gestoppt werden muss, vor einer deutlich kleineren Krise.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Not-Aus und menschlicher Aufsicht?

Menschliche Aufsicht ist die umfassendere Rechtspflicht, ein Hochrisiko-KI-System zu überwachen und eingreifen zu können. Der Not-Aus ist der konkrete technische Mechanismus, etwa Zugangsdatenentzug oder ein Circuit Breaker, der diesen Eingriff überhaupt erst ermöglicht.

Verlangt die EU-KI-Verordnung einen Not-Aus für jeden KI-Agenten?

Nicht für jeden. Artikel 14 Absatz 4 Buchstabe e verlangt einen Stopp-Mechanismus speziell für als hochrisikoreich eingestufte Systeme. Für Agenten mit geringerem Risiko besteht keine gesetzliche Pflicht, auch wenn Unternehmen zunehmend einen einbauen.

Braucht ein Mittelständler mit nur wenigen KI-Agenten einen formalen Not-Aus?

Ja, die Größe des Unternehmens verringert das Risiko nicht. Schon ein einzelner Agent mit Schreibzugriff auf ERP oder E-Mail kann schnell echten Schaden anrichten, und ein getestetes Stopp-Verfahren kostet im Voraus deutlich weniger als die Improvisation während eines laufenden Vorfalls.

Was kostet die Einführung eines Not-Aus konkret?

Die Kosten liegen vor allem in Entwicklungszeit für den Zugangsdatenentzug in bestehenden Systemen und in wiederkehrenden Tests, nicht in neuer Infrastruktur. Die meisten mittelständischen Unternehmen integrieren das in ein laufendes Agenten-Projekt statt als eigenes Vorhaben.

Wie oft sollte ein Not-Aus getestet werden?

Mindestens vierteljährlich und nach jedem Update des Agenten oder der angebundenen Systeme. Eine Kiteworks-Umfrage von 2026 fand, dass 23 Prozent der Unternehmen mit Not-Aus ihn nie getestet hatten, was faktisch einem fehlenden Not-Aus gleichkommt.

Wie unterstützt Superkind bei Not-Aus-Anforderungen?

Die KI-Mitarbeiter von Superkind laufen mit eng begrenzten, widerrufbaren Zugangsdaten und dokumentierten Stopp-Verfahren, die an die realen Systeme eines Unternehmens angebunden sind, sodass eine benannte Person einen Agenten schnell stoppen und eindämmen kann. Das regelmäßige Testen dieses Verfahrens bleibt Aufgabe des einsetzenden Unternehmens.

Bessere Software bauen Kontakt gemeinsam