Definition: Datenvergiftung (KI)
Datenvergiftung ist ein Angriff, bei dem Trainingsdaten, Fine-Tuning-Daten oder eine Retrieval-Wissensbasis, auf die sich ein KI-System stützt, gezielt manipuliert werden, sodass das System falsche Zusammenhänge lernt, eine versteckte Hintertür einbaut oder manipulierte Inhalte als vertrauenswürdig abruft.
Kernmerkmale von Datenvergiftung
Datenvergiftung zielt auf die Datengrundlage eines KI-Systems statt auf sein Verhalten zur Laufzeit, was den Angriff schwerer erkennbar und oft dauerhafter macht als Angriffe auf eine einzelne Interaktion.
- Verfälscht Trainings-, Fine-Tuning- oder Retrieval-Daten vor oder während der Nutzung
- Baut eine enge Hintertür ein, die nur bei bestimmten Eingaben auslöst, oder verschlechtert die Genauigkeit breit
- Nutzt dieselbe Vertrauensannahme wie Prompt Injection: Systeme behandeln eingespeiste Daten meist als zuverlässig
- Gelangt häufig über einen Drittanbieter-Datensatz, gesammelte Webinhalte oder eine ungeprüfte Lieferantenpipeline ins System
Datenvergiftung (KI) vs. Prompt Injection
Prompt Injection manipuliert ein KI-System zur Laufzeit, indem Anweisungen in Inhalten versteckt werden, die es im Moment der Nutzung verarbeitet. Datenvergiftung wirkt früher und tiefer: Sie verfälscht die Daten, mit denen ein Modell trainiert, feinabgestimmt oder aus denen es Inhalte abruft, sodass die Manipulation bis zur Entdeckung bestehen bleibt. Ein vergiftetes System verhält sich bei gewöhnlichen Eingaben normal und zeigt den Schaden erst, wenn die Auslösebedingung eintritt. Beide Angriffe lassen sich kombinieren, da ein vergifteter Retrieval-Index wie eine ständige, sich selbst erneuernde Injection-Quelle wirkt.
Bedeutung von Datenvergiftung im Enterprise-KI-Umfeld
Während Unternehmen Modelle mit internen Daten feinabstimmen und Retrieval-Augmented-Generation-Systeme an Wissensbasen aus Dokumenten und Tickets anbinden, wird die Datenlieferkette selbst zur Angriffsfläche. Die OWASP Top 10 für LLM-Anwendungen führen Data and Model Poisoning als eigenständige Risikokategorie, und Forschung zu RAG-Systemen fand, dass bereits fünf manipulierte Dokumente in einer Wissensbasis mit Millionen Einträgen Angriffserfolgsraten über 90 % erreichen können. Für ein System, das auf vergifteten Daten handelt, wirkt der Ausfall wie Zufall und nicht wie ein Angriff.
Methoden und Verfahren für Datenvergiftung
Angreifer vergiften KI-Systeme an drei Punkten im Datenlebenszyklus.
Vergiftung von Trainings- und Fine-Tuning-Daten
Diese Methode schleust manipulierte Beispiele in den Datensatz ein, mit dem ein Modell vortrainiert oder feinabgestimmt wird, sodass es ein verstecktes, nicht beabsichtigtes Verhalten lernt.
- Label-Flipping: korrekte Labels werden vertauscht, um falsche Zusammenhänge zu lehren
- Backdoor-Trigger: ein seltenes Muster erzwingt eine vom Angreifer gewählte Ausgabe
- Verfügbarkeitsangriffe, die die Genauigkeit breit verschlechtern statt ein Verhalten gezielt anzugreifen
Vergiftung von RAG- und Wissensbasen
Die Vergiftung einer Retrieval-Wissensbasis erfordert keinen Zugriff auf das Modell selbst. Ein Angreifer muss nur eine Handvoll manipulierter Dokumente in das Quellmaterial einschleusen, das ein Retrieval-System indiziert, damit es bei einer passenden Anfrage erfundene Inhalte als geprüftes internes Wissen präsentiert.
Vergiftung der Lieferkette und von Lieferanten-Datensätzen
Viele Unternehmen lizenzieren, laden oder erben Daten und vortrainierte Modelle über einen Anbieter oder offenen Datensatz. Eine Studie aus dem Jahr 2023 zeigte, dass Angreifer rund 0,01 % webweiter Datensätze wie LAION-400M für etwa 60 US-Dollar vergiften konnten, indem sie referenzierte, abgelaufene Domains kauften. Ohne KI-Lieferantenrisikomanagement, das die Datenherkunft abdeckt, kann eine vergiftete vorgelagerte Quelle unbemerkt in viele nachgelagerte Systeme gelangen.
Wichtige Kennzahlen für Datenvergiftung
Unternehmen verfolgen die Vergiftungsexposition entlang von Datenintegrität, Auswirkung und Herkunftsnachweis.
Datenintegritätskennzahlen
- Abdeckung der Anomalieerkennung bei neuen Trainings- und Retrieval-Daten: je Quelle erfasst
- Anteil der Datenquellen mit verifizierter Herkunft: Zielwert 100 % für Hochrisiko-Anwendungen
- Ausreißer- und Drift-Scans vor jedem Fine-Tuning- oder Neuindizierungszyklus
- Mittlere Zeit bis zur Quarantäne eines markierten Dokuments: unter 24 Stunden
Auswirkungs- und Eindämmungskennzahlen
Auswirkungskennzahlen messen, wie stark ein vergifteter Datensatz Ausgaben beeinflussen kann, bevor er entdeckt wird. Eine Studie von Anthropic mit dem UK AI Security Institute und dem Alan Turing Institute fand, dass bereits 250 bösartige Dokumente unabhängig von der Modellgröße eine funktionierende Hintertür einbauen können, sodass die Auswirkung nicht mit der Unternehmensgröße sinkt.
Herkunfts- und Auditkennzahlen
Jeder Datensatz, jeder Fine-Tuning-Lauf und jede Aktualisierung der Wissensbasis sollte eine dokumentierte Quelle und ein Änderungsprotokoll tragen, damit sich eine spätere Anomalie bis zum genauen Einspeisepunkt zurückverfolgen lässt.
Risikofaktoren und Kontrollen bei Datenvergiftung
Bleibt Datenvergiftung unadressiert, wächst das Risiko mit jeder neuen Datenquelle, die ein Modell oder eine Wissensbasis aufnimmt.
Hintertüren und gezielte Manipulation
Ein erfolgreicher Vergiftungsangriff kann einen engen Trigger einbauen, der nur unter bestimmten Bedingungen eine gewählte Ausgabe erzeugt und bei normalen Tests unsichtbar bleibt.
- Versteckte Trigger, die Standard-Testbenchmarks umgehen
- Schleichende Genauigkeitsverschlechterung, die mit gewöhnlicher Modell-Drift verwechselt wird
- Manipulierte Retrieval-Ergebnisse, präsentiert mit derselben Verlässlichkeit wie geprüfte Quellen
Lieferanten- und Lieferkettenrisiko
Ungeprüfte Drittanbieter-Datensätze, vortrainierte Checkpoints und gesammelte Webinhalte tragen alle ein geerbtes Vergiftungsrisiko, da das einsetzende Unternehmen die Pipeline, die sie aufgebaut hat, selten selbst kontrolliert.
Regulatorisches Risiko unter der EU-KI-Verordnung
Anbieter von Hochrisiko-KI-Systemen müssen ihre Data-Governance-Maßnahmen dokumentieren, einschließlich der Schritte zur Erkennung und Korrektur vergifteter oder verzerrter Daten, als Teil der nach Anhang IV geforderten technischen Dokumentation (EU-KI-Verordnung). Ohne einen getesteten Datenintegritätsprozess drohen eine Konformitätslücke und ein System, das in der Produktion unbemerkt fehlerhaft arbeitet.
Praxisbeispiel
Ein 180-Mitarbeiter-Präzisionsteile-Hersteller in Baden-Württemberg baute einen RAG-Wissensassistenten, der Fragen zu Technik und Qualität anhand gescannter Handbücher und Lieferantenspezifikationen beantwortete. Während einer geplanten KI-Red-Teaming-Übung luden Berater manipulierte Spezifikationsdokumente in ein Laufwerk, das die Indizierungs-Pipeline jede Nacht scannte, worauf der Assistent erfundene Toleranzwerte als freigegebene Lieferantendaten zitierte. Das Unternehmen führte eine Herkunftsprüfung ein, die nur Dokumente aus einer signierten, zugriffskontrollierten Quellliste indiziert, sowie eine wöchentliche Diff-Prüfung vor der Freigabe.
- Signierte, zugriffskontrollierte Quellliste für jedes indizierte Dokument
- Wöchentliche Diff-Prüfung neuer oder geänderter Einträge in der Wissensbasis
- Quarantäne-Workflow für durch Anomalieerkennung markierte Dokumente
- Geplante Red-Team-Tests vor jedem größeren Update
Aktuelle Entwicklungen und Auswirkungen
Die Abwehr von Datenvergiftung verschiebt sich von einmaligen Prüfungen zu kontinuierlicher Überwachung.
Von Stichproben zu kontinuierlicher Herkunftsverfolgung
Frühe Abwehrmaßnahmen setzten auf eine einmalige Datenbereinigung vor dem Training. Aktuelle Praxis verfolgt die Herkunft kontinuierlich über den gesamten Datenlebenszyklus.
- Kryptografische Signierung vertrauenswürdiger Datenquellen
- Automatisierte Drift- und Ausreißererkennung bei der Dateneinspeisung
- Sandboxed-Evaluierung feinabgestimmter Modelle vor dem Rollout
Regulatorische und normative Aufmerksamkeit
Die Adversarial-Machine-Learning-Taxonomie des NIST und BSI-Hinweise, gemeinsam mit Fraunhofer AISEC entwickelt, ordnen Datenvergiftung als zentrales adversariales Risiko über den gesamten KI-Lebenszyklus ein und drängen Anbieter zu dokumentierter Data Governance statt informeller Prüfungen.
RAG-Einführung vergrößert die Angriffsfläche
Während immer mehr Unternehmen Retrieval-Systeme an interne und externe Wissensquellen anbinden, wird jeder neu indizierte Datenfeed zu einem potenziellen Einstiegspunkt, wodurch die Quellenprüfung zu einer dauerhaften Betriebsaufgabe wird.
Fazit
Datenvergiftung ist kein hypothetisches Forschungsproblem, sondern eine praktische Folge davon, wie KI-Systeme aus Daten lernen und abrufen, die irgendwer, irgendwo nicht vollständig geprüft hat. Unternehmen, die jeden Trainingsdatensatz, jeden Fine-Tuning-Korpus und jede Aktualisierung der Wissensbasis als kontrolliertes Asset behandeln, erkennen Manipulation, bevor sie die Produktion erreicht. Während Regulierungsbehörden Data-Governance-Anforderungen formalisieren und sich die RAG-Einführung beschleunigt, entscheidet Herkunftsprüfung zunehmend, welche Unternehmen ihren KI-Ausgaben vertrauen können.
Häufig gestellte Fragen
Was unterscheidet Datenvergiftung von Prompt Injection?
Prompt Injection versteckt Anweisungen in Inhalten, die ein KI-System im Moment der Nutzung verarbeitet, während Datenvergiftung die Trainings- oder Wissensbasisdaten verfälscht, auf denen das System aufgebaut wurde, sodass der Schaden über jede künftige Nutzung bestehen bleibt. Ein Angreifer kann beides kombinieren, etwa indem er eine Wissensbasis vergiftet, sodass jeder Abruf wie eine ständige Injection wirkt.
Kann ein Unternehmen mit 50-200 Mitarbeitern wirklich Ziel sein, oder betrifft das nur große KI-Labore?
Ja. Die meiste Mittelstandsexposition entsteht durch Fine-Tuning auf internen Dokumenten oder RAG-Wissensbasen aus gemeinsamen Laufwerken und Lieferantendateien, auf die Angreifer, einschließlich unzufriedener Mitarbeiter, weit leichter zugreifen können als auf die Trainingspipeline eines Foundation-Modells. Bereits fünf manipulierte Dokumente in einem Retrieval-Index können eine hohe Angriffserfolgsrate erreichen.
Wie hängt Datenvergiftung mit der EU-KI-Verordnung und der DSGVO zusammen?
Anbieter von Hochrisiko-KI-Systemen müssen Data-Governance- und Qualitätsmaßnahmen im Rahmen der nach Anhang IV geforderten technischen Dokumentation nachweisen, einschließlich der Frage, wie vergiftete oder verzerrte Daten erkannt und korrigiert werden. Unter der DSGVO kann ein Vergiftungsvorfall, der die Verarbeitung personenbezogener Daten verändert, zusätzlich Rechenschaftspflichten auslösen.
Was kostet die Abwehr von Datenvergiftung?
Die Kosten hängen davon ab, wie viele Datenquellen ein Modell oder eine Wissensbasis speisen, da Kernkontrollen wie Quellenprüfung und Anomalie-Scans meist auf bestehender Datentechnik konfiguriert werden. Ein fokussierter Rollout für die risikoreichsten Datenfeeds passt in ein normales Budget für die KI-Einführung.
Brauchen wir ein eigenes Machine-Learning-Team, um Datenvergiftung abzuwehren?
Nicht zwingend von Anfang an. Die meisten mittelständischen Unternehmen konfigurieren Quellenprüfung und Anomalieerkennung gemeinsam mit ihrem Implementierungspartner, während die interne IT die freigegebene Quellliste pflegt. Mit wachsender Wissensbasis wird die laufende Prüfung meist zur gemeinsamen Aufgabe von Unternehmen und Anbieter.
Wie geht Superkinds Ansatz für Unternehmenswissen mit dem Risiko von Datenvergiftung um?
Superkind baut die Wissensbasis jedes KI-Mitarbeiters aus zugriffskontrollierten Unternehmenssystemen statt aus offenen Webdaten auf, und Änderungen durchlaufen dieselbe Freigabestruktur wie andere Agentenaktionen, sodass ein manipuliertes Dokument nicht ohne auditierbaren Prozess in die Produktion gelangt.