KI-Lexikon

Tests unter Realbedingungen (EU-KI-Verordnung): Hochrisiko-KI-Systeme vor dem Markteintritt pilotieren

Tests unter Realbedingungen nach der EU-KI-Verordnung erlauben Anbietern, ein Hochrisiko-KI-System mit echten Nutzern und echten Daten zu erproben, bevor es auf den Markt kommt, auf Basis eines Testplans, den die Marktüberwachungsbehörde genehmigt. Das Verfahren steht außerhalb der regulatorischen Sandbox und folgt eigenen Regeln zu Einwilligung, Dauer und Meldepflichten. Im Folgenden lesen Sie, was die Pflicht umfasst, wie sie sich von einer Sandbox unterscheidet, und was deutsche Mittelstandsanbieter vor einem Pilotprojekt vorbereiten müssen.

Kernpunkte
  • Artikel 60 erlaubt Anbietern, Hochrisiko-KI-Systeme unter Realbedingungen zu testen, bevor sie auf den Markt kommen, außerhalb einer regulatorischen Sandbox.
  • Ein Testplan muss der Marktüberwachungsbehörde im jeweiligen Mitgliedstaat vorgelegt und von ihr genehmigt werden.
  • Teilnehmende müssen vorher nach Artikel 61 informiert einwilligen, mit jederzeitigem Widerrufsrecht.
  • Der Test muss in der EU-Datenbank registriert werden und darf nicht länger laufen als für den Zweck notwendig.
  • Die Pflichten für Hochrisiko-Systeme nach Kapitel III, einschließlich Artikel 60, gelten seit dem 2. August 2026.

Definition: Tests unter Realbedingungen (EU-KI-Verordnung)

Tests unter Realbedingungen sind das Verfahren nach Artikel 60 der EU-KI-Verordnung, mit dem ein Anbieter ein Hochrisiko-KI-System mit echten Nutzern unter echten Einsatzbedingungen erprobt, bevor das System auf den Markt kommt oder in Betrieb genommen wird.

Kernmerkmale von Tests unter Realbedingungen

Der Test läuft außerhalb des Labors, mit echten Teilnehmenden, die vom Ergebnis des Systems betroffen sein können, und folgt einem formellen, vorab genehmigten Plan.

  • Durchgeführt vom Anbieter vor der CE-Kennzeichnung
  • Basiert auf einem schriftlichen Testplan mit klaren Zielen und Umfang
  • Beschränkt auf Hochrisiko-KI-Systeme nach Anhang III oder Anhang I Abschnitt A
  • Zeitlich begrenzt auf das unbedingt Notwendige

Tests unter Realbedingungen vs. Regulatorische Sandbox

Tests unter Realbedingungen und die regulatorische Sandbox sind zwei getrennte Instrumente, und sie zu verwechseln ist der häufigste Fehler von Anbietern. Eine Sandbox nach Artikel 57 bis 59 ist eine betreute, frühere Umgebung, die eine Behörde eines Mitgliedstaats einrichtet und begleitet, mit strukturierter regulatorischer Beratung und teils erleichterten Regeln für personenbezogene Daten. Tests unter Realbedingungen nach Artikel 60 laufen außerhalb dieser Sandbox, meist später in der Entwicklung und näher am Markteintritt, und der Anbieter führt sie auf eigene Initiative durch, nicht innerhalb eines behördlich betriebenen Programms. Ein Anbieter kann eine Sandbox nutzen, ohne jemals Tests unter Realbedingungen durchzuführen, und umgekehrt; viele Mittelstandsanbieter lassen die Sandbox von Anfang an aus, weil die Plätze begrenzt sind, und wenden sich direkt an die Marktüberwachungsbehörde für die Genehmigung des Testplans.

Bedeutung von Tests unter Realbedingungen im Enterprise-KI-Umfeld

Laborvalidierung mit sauberen Daten sagt selten voraus, wie ein Modell mit unordentlichen Produktionsdaten und echtem Nutzerverhalten umgeht. Die Folgenabschätzung der Europäischen Kommission schätzt, dass 5 bis 15 Prozent aller auf dem EU-Markt platzierten KI-Systeme als Hochrisiko gelten und damit vor dem Rollout dieser Pflicht unterliegen. Die im Test gesammelten Belege fließen direkt in die Unterlagen zur Konformitätsbewertung, die ein Anbieter zur Prüfung bereithalten muss.

Methoden und Verfahren für Tests unter Realbedingungen

Ein regelkonformer Pilot folgt einer festen Abfolge.

Den Testplan erstellen

Der Testplan ist das zentrale Dokument und beschreibt das System, seinen Verwendungszweck und die Art der Überwachung während des Pilots.

  • Ziele, Methodik und erwartete Ergebnisse
  • Geografischer, personenbezogener und zeitlicher Umfang
  • Überwachung, Organisation und Durchführung des Tests
  • Ein klares Enddatum und Abbruchkriterien

Einreichung bei der Marktüberwachungsbehörde

Der Anbieter reicht den Plan bei der Marktüberwachungsbehörde in dem Mitgliedstaat ein, in dem der Pilot laufen soll. Die Behörde prüft den Plan, bevor der Test beginnen darf, und der Anbieter muss jederzeit nachweisen können, dass der Pilot im genehmigten Rahmen bleibt.

Informierte Einwilligung sichern

Jede teilnehmende Person oder ihre gesetzliche Vertretung muss vor der Teilnahme nach Artikel 61 informiert einwilligen, frei von unzulässiger Einflussnahme und mit dem Recht, die Einwilligung jederzeit ohne Angabe von Gründen zu widerrufen.

Wichtige Kennzahlen für Tests unter Realbedingungen

Die richtigen Kennzahlen halten einen Pilot sowohl regelkonform als auch nützlich.

Operative Kennzahlen

  • Angemeldete Teilnehmende vs. geplanter Stichprobenumfang
  • Widerrufsquote der Einwilligung
  • Abweichungen vom genehmigten Testplan: Zielwert null
  • Verstrichene Tage vs. genehmigtes Testfenster

Strategische Reifekennzahlen

Über die Regelkonformität hinaus sollten Anbieter verfolgen, wie Testergebnisse das Vertrauen in das System vor dem Start verändern. Eine Untersuchung von appliedAI an 106 Unternehmens-KI-Systemen ergab, dass 18 Prozent als Hochrisiko eingestuft wurden, weitere 40 Prozent lagen in einer unklaren Grauzone, was zeigt, warum strukturierte Testbelege auch für die Einstufung zählen, nicht nur für die Leistung.

Qualitäts- und Sicherheitskennzahlen

Falsch-positiv- und Falsch-negativ-Raten in der Pilotgruppe sollten mit den Raten aus der kontrollierten Validierung verglichen werden. Eine deutliche Lücke zwischen beiden zeigt, dass das System noch nicht marktreif ist.

Risikofaktoren und Kontrollen bei Tests unter Realbedingungen

Tests mit echten Menschen und echten Daten bringen Risiken mit sich, die über einen üblichen QA-Zyklus hinausgehen.

Schäden für Testteilnehmer

Ein schiefgelaufener Pilot kann echte Menschen betreffen, keine simulierten Nutzer.

  • Falsche Entscheidungen zulasten echter Bewerber oder Kunden
  • Fehlende Rückfallebene, falls das System während des Tests ausfällt
  • Unklarer Eskalationsweg zu einer menschlichen Prüfung

Meldeversäumnisse

Jeder schwerwiegende Vorfall während des Tests muss unverzüglich gemeldet werden, nach denselben Grundsätzen wie die Vorfallmeldung an anderer Stelle der Verordnung. Anbieter müssen den Test sofort aussetzen, wenn eine Fortsetzung ein nicht hinnehmbares Risiko schaffen würde.

Abweichung vom genehmigten Plan

Ein Test, der ohne neue Meldung über den genehmigten Personenkreis, die Region oder die Dauer hinausgeht, setzt den Anbieter einem Durchsetzungsrisiko aus. Aktive menschliche Aufsicht während des gesamten Pilots, nicht nur bei der Freigabe, ist die zuverlässigste Kontrolle dagegen.

Praxisbeispiel

Ein HR-Tech-Anbieter mit 95 Mitarbeitenden bei München entwickelt ein KI-gestütztes Bewerber-Screening-Tool, das Kandidaten für seine Kundenunternehmen einstuft, ein Anwendungsfall, den Anhang III wegen der Auswirkung auf den Zugang zu Beschäftigung als Hochrisiko einordnet. Vor der allgemeinen Freigabe will der Anbieter Belege dafür, dass das Ranking-Modell im echten Kundenstamm fair arbeitet, nicht nur auf historischen Trainingsdaten. Er erstellt einen Testplan für drei Kundenunternehmen, einen definierten Bewerberkreis und ein achtwöchiges Zeitfenster, reicht ihn bei der zuständigen Marktüberwachungsbehörde ein und sichert die Einwilligung jedes Bewerbers mit einer sichtbaren Opt-out-Option.

  • Ein dokumentierter Testplan mit klarem Start- und Enddatum
  • Übersetzte und bestätigte Einwilligungsformulare für jede Person
  • Wöchentliche Prüfung von Ranking-Abweichungen gegen den genehmigten Rahmen
  • Eine direkte Möglichkeit, den Test bei Fairness-Abweichungen zu stoppen

Aktuelle Entwicklungen und Auswirkungen

Tests unter Realbedingungen sind noch eine junge Pflicht, und die Praxis entwickelt sich schnell weiter.

Klärung der “erforderlichen” Testdauer

Bislang fehlt verbindliche Leitlinien zur maximalen Testdauer, sodass Anbieter die Dauer jeweils selbst begründen müssen.

  • Vorreiter dokumentieren die Dauerbegründung direkt im Testplan
  • Branchenverbände drängen auf Leitlinien der Kommission zu üblichen Zeiträumen
  • Einzelne Mitgliedstaaten veröffentlichen nationale FAQs, bevor EU-weite Klarheit vorliegt

Überschneidung mit Marktbeobachtungspflichten

Testergebnisse fließen zunehmend in den Plan zur Marktbeobachtung nach Inverkehrbringen, den ein Anbieter nach dem Start führen muss, sodass beide Prozesse inzwischen zusammen geplant werden.

Steigende Compliance-Ausgaben

Gartner prognostiziert, dass Unternehmen weltweit bis 2027 mindestens 5 Milliarden US-Dollar für die Überarbeitung von Compliance-Systemen wegen widersprüchlicher KI-Regeln ausgeben werden, ein Kostenblock, zu dem strukturierte Tests unter Realbedingungen zunehmend gehören.

Fazit

Tests unter Realbedingungen geben Anbietern von Hochrisiko-KI-Systemen einen strukturierten, rechtlich abgesicherten Weg, das Verhalten ihres Systems vor dem vollen Markteintritt zu lernen, ohne auf einen Sandbox-Platz angewiesen zu sein. Die Pflicht tauscht Flexibilität gegen Sorgfalt: echte Betriebsdaten, aber nur innerhalb eines genehmigten Plans, eines begrenzten Zeitfensters und klarer Einwilligung jeder teilnehmenden Person. Für Mittelstandsanbieter von Recruiting-, Kredit- oder Sicherheitssystemen ist es entscheidend, den Testplan als vollwertiges Arbeitsergebnis zu behandeln, nicht als Formalie, damit der Pilot einer Prüfung standhält. Mit wachsender Durchsetzungspraxis wird der Unterschied zwischen einem sauber geführten Pilot und einem informellen Betatest immer bedeutsamer.

Häufig gestellte Fragen

Was sind Tests unter Realbedingungen nach der EU-KI-Verordnung?

Das ist das Verfahren nach Artikel 60, mit dem ein Anbieter ein Hochrisiko-KI-System mit echten Nutzern unter realen Bedingungen testet, bevor es auf den Markt kommt, auf Basis eines von der Marktüberwachungsbehörde genehmigten Plans.

Sind Tests unter Realbedingungen dasselbe wie eine regulatorische Sandbox?

Nein. Eine Sandbox nach Artikel 57 bis 59 ist ein betreutes Programm einer Behörde eines Mitgliedstaats, meist früher in der Entwicklung. Tests unter Realbedingungen nach Artikel 60 laufen außerhalb dieses Programms, näher am Markteintritt, direkt durch den Anbieter.

Lohnt sich das für ein Unternehmen mit 50 Mitarbeitenden?

Ja. Wenn das Unternehmen Anbieter eines Systems nach Anhang III ist, befreit die Größe nicht von Artikel 60. Kleinere Anbieter wählen meist einen kürzeren Pilot mit weniger Teilnehmenden, um den Aufwand verhältnismäßig zu halten.

Wie passt das zum Zeitplan der EU-KI-Verordnung?

Die Pflichten für Hochrisiko-Systeme nach Kapitel III, einschließlich Artikel 60, gelten seit dem 2. August 2026, auch wenn der Digital Omnibus einzelne Anhang-III-Fristen weiter verschoben hat. Anbieter sollten die aktuelle Frist für ihre Systemkategorie prüfen, bevor sie einen Pilot planen.

Was passiert, wenn eine teilnehmende Person die Einwilligung mitten im Test widerruft?

Die Person darf jederzeit ohne Angabe von Gründen und ohne Benachteiligung widerrufen. Der Anbieter muss die Verarbeitung der Daten dieser Person für den Test stoppen und den Widerruf in den Testunterlagen dokumentieren.

Brauchen wir eine eigene Compliance-Abteilung für einen Test unter Realbedingungen?

Nicht unbedingt. Die meisten Mittelstandsanbieter erstellen den Testplan mit externer rechtlicher Unterstützung und übernehmen die laufende Überwachung selbst. Entscheidend ist, dass jemand im Unternehmen den genehmigten Plan verantwortet und jederzeit zeigen kann, dass der Pilot im Rahmen bleibt.

Bessere Software bauen Kontakt gemeinsam