KI-Lexikon

Wissensdistillation: Kleinere KI-Modelle nach dem Vorbild größerer trainieren

Wissensdistillation ist ein Trainingsverfahren, bei dem ein kleineres Student-Modell lernt, die Ausgaben eines größeren, bereits trainierten Lehrer-Modells nachzubilden, sodass das Student-Modell dessen Leistung zu einem Bruchteil der Größe, Kosten und Latenz erreicht. Es ist einer der Gründe, warum manche KI-Anbieter schnellere, günstigere Modelle anbieten können, ohne dass die Qualität merklich leidet. Erfahren Sie im Folgenden, wie Distillation funktioniert, welche Methoden Unternehmen einsetzen und was sich dadurch bei den Inferenzkosten ändert.

Kernpunkte
  • Wissensdistillation trainiert ein kleineres Student-Modell darauf, die Ausgaben eines größeren Lehrer-Modells nachzubilden, nicht dessen Architektur zu kopieren
  • DistilBERT, eines der ersten breit eingesetzten distillierten Modelle, ist 40 % kleiner und 60 % schneller als BERT und erreicht dabei rund 97 % seiner Leistung (Sanh et al., 2019)
  • Gartner prognostiziert, dass bis 2027 über 50 % der Enterprise-GenAI-Modelle domänenspezifisch und kompakt sein werden, gegenüber rund 1 % im Jahr 2023
  • Ein dokumentierter Unternehmenseinsatz senkte die Inferenzkosten nach der Distillation eines Frontier-Modells in ein kleineres Produktionsmodell um 68 % (Lyceum / distil labs, 2026)
  • 33 % der deutschen Unternehmen berichten, dass KI teurer wurde als erwartet, genau die Lücke, die Distillation schließen soll (Bitkom KI-Studie 2026)

Definition: Wissensdistillation

Wissensdistillation ist ein Trainingsverfahren, bei dem ein kleineres Student-Modell die Ausgaben eines größeren, bereits trainierten Lehrer-Modells nachbildet und so dessen Genauigkeit zu einem Bruchteil der Größe und Inferenzkosten erreicht.

Kernmerkmale von Wissensdistillation

Distillation überträgt gelerntes Verhalten, nicht Gewichte. Das Student-Modell ist ein eigenständiges, kleineres Netzwerk, das auf den Vorhersagen des Lehrers trainiert wird, nicht nur auf Rohdaten-Labels.

  • Lehrer ist meist ein großes, bereits trainiertes Foundation Model
  • Student lernt aus weichen Wahrscheinlichkeitsausgaben, nicht nur aus finalen Antworten
  • Ergebnis ist kleiner, schneller und günstiger zur Inferenzzeit
  • Student kann sich auf eine engere Aufgabe spezialisieren als der Lehrer

Wissensdistillation vs. Fine-Tuning

Beide Verfahren starten von einem bestehenden Modell, verändern aber Unterschiedliches. Fine-Tuning passt ein Modell an eine Aufgabe an, indem das Training fortgesetzt wird, die Modellgröße bleibt gleich. Distillation erzeugt dagegen ein zweites, kleineres Modell, das ein größeres nachahmt. Viele Pipelines kombinieren beides: zuerst distillieren, dann das entstandene Student-Modell mit Unternehmensdaten fine-tunen.

Bedeutung von Wissensdistillation im Enterprise-KI-Umfeld

Distillation macht ein Small Language Model praxistauglich, ohne von Null zu trainieren. Gartner prognostiziert, dass bis 2027 über 50 % der Enterprise-GenAI-Modelle domänenspezifisch und kompakt sein werden, gegenüber rund 1 % im Jahr 2023, eine Entwicklung, die Distillation direkt ermöglicht, weil Teams das Wissen eines Frontier-Modells wiederverwenden statt neue Daten zu sammeln.

Methoden und Verfahren für Wissensdistillation

Unternehmen wählen eine Methode je nach Zugriff auf den Lehrer und tolerierbarem Genauigkeitsverlust.

Response-basierte (Soft-Label-) Distillation

Der gängigste Ansatz trainiert den Student auf der vollständigen Wahrscheinlichkeitsverteilung des Lehrers über mögliche Antworten, nicht nur auf der besten Antwort. Diese Soft Labels tragen mehr Information als harte Labels, da sie auch zeigen, wie sicher sich der Lehrer zwischen ähnlichen Alternativen war.

  • Lehrer über einen repräsentativen Datensatz laufen lassen, um Soft Labels zu erzeugen
  • Student auf diese Wahrscheinlichkeitsverteilungen trainieren
  • Originale harte Labels zur Verankerung der Genauigkeit einmischen

Feature-basierte Distillation

Diese Methode gleicht zusätzlich die internen Zwischenrepräsentationen des Students an die des Lehrers an, nicht nur die finalen Ausgaben. Sie liefert bei komplexen Reasoning-Aufgaben eine engere Annäherung, benötigt aber Zugriff auf interne Schichten, was sie für geschlossene, nur über API zugängliche Lehrer ausschließt.

Selbstdistillation und datenfreie Distillation

Selbstdistillation trainiert ein Modell auf seinen eigenen früheren Vorhersagen, um sich ohne separaten Lehrer selbst zu komprimieren. Datenfreie Distillation erzeugt synthetische Trainingsbeispiele, wenn echte Daten eine regulierte Umgebung nicht verlassen dürfen. Viele Teams kombinieren beide Ansätze anschließend mit Modellquantisierung zur weiteren Verdichtung.

Wichtige Kennzahlen für Wissensdistillation

Ein Distillation-Projekt braucht technische und geschäftliche Kennzahlen gemeinsam.

Effizienz-Kennzahlen

  • Parameterzahl: Ziel 5-20x Reduktion gegenüber dem Lehrer
  • Inferenzlatenz: Ziel 2-5x Beschleunigung
  • Speicherbedarf: Ziel 60-90 % Reduktion
  • Kosten pro Anfrage: Ziel 70-90 % Reduktion gegenüber Lehrer-API-Aufrufen

Strategische Geschäftskennzahlen

Ein kleineres Student-Modell verändert die KI-FinOps-Rechnung direkt, da die Kosten pro Anfrage sinken, während der Durchsatz auf derselben Hardware steigt. Eine Betrachtung der Total Cost of Ownership sollte den einmaligen Distillationsaufwand gegen Jahre geringerer Inferenzkosten abwägen.

Qualitäts- und Genauigkeitskennzahlen

Die Genauigkeit sollte aufgabenspezifisch gemessen werden, nicht aus veröffentlichten Werten übernommen. Student-Modelle erreichen typischerweise 90-97 % der Lehrer-Genauigkeit für die Aufgaben, für die sie distilliert wurden, können außerhalb dieses Bereichs aber deutlich schwächer abschneiden.

Risikofaktoren und Kontrollen bei Wissensdistillation

Die Verdichtung eines Modells zu einem Student bringt Risiken mit sich, die klare Kontrollen erfordern.

Fähigkeitslücke bei Aufgaben außerhalb des Trainingsbereichs

Ein Student hat nur gelernt, was die Trainingsdaten abdeckten, und kann in Benchmarks stark wirken, bei Randfällen aber schwächer abschneiden.

  • Komplexes mehrstufiges Reasoning verschlechtert sich zuerst
  • Seltene oder ungewöhnliche Eingaben werden schlechter verarbeitet als häufige
  • Die Lücke wächst, wenn der Lehrer verbessert wird, der Student aber nie neu distilliert wird

Geistiges Eigentum und Lizenzrisiko

Die Distillation eines geschlossenen, kommerziell lizenzierten Lehrers kann dessen Nutzungsbedingungen verletzen, die häufig untersagen, Ausgaben zum Training eines konkurrierenden Modells zu nutzen. Dies wurde 2025 öffentlich zum Streitthema, und Unternehmen prüfen seither die Lehrer-Lizenz vor dem Aufbau einer Pipeline.

Compliance- und Validierungslücken

Nach der EU-KI-Verordnung ist ein distilliertes Modell ein eigenständiges System gegenüber seinem Lehrer und benötigt in der Regel eine eigene Validierung, bei Hochrisiko-Einsatz eine eigene Konformitätsbewertung. Wer das Student-Modell als „dasselbe Modell, nur kleiner” behandelt, überspringt einen Prüfschritt, den Regulierer erwarten.

Praxisbeispiel

Ein 75-Personen-Facility- und Mieterservice-Unternehmen in München betrieb einen rund um die Uhr erreichbaren Mieter-Chat über eine Frontier-Modell-API, doch Kosten und Latenz wuchsen unangenehm, sobald die Chats mehrere Tausend pro Monat überschritten. Das Unternehmen distillierte ein kleineres Student-Modell anhand von acht Monaten anonymisierter Chatverläufe, wobei die Antworten des Frontier-Modells als Soft-Label-Trainingsziele dienten. Das Ergebnis läuft nun auf einem Server, den die IT ohnehin betreut, ohne laufende API-Kosten pro Anfrage.

  • Rund-um-die-Uhr-Mieter-Chat auf eigener Infrastruktur betrieben
  • Routinefragen zu Instandhaltung und Abrechnung ohne zusätzliches Personal beantwortet
  • Komplexe oder ungewöhnliche Anliegen weiterhin an das größere Originalmodell weitergeleitet
  • Keine Mieter-Gesprächsdaten für Routineanfragen an externe Anbieter übermittelt

Aktuelle Entwicklungen und Auswirkungen

Distillation entwickelt sich von einer Forschungstechnik zu einem festen Schritt im Modell-Rollout der Anbieter.

Frontier-Labore veröffentlichen distillierte Varianten direkt

Große Labore veröffentlichen inzwischen distillierte Geschwistermodelle parallel zu ihren Flaggschiff-Releases, oft als „Mini”- oder „Lite”-Variante für Einsätze mit hohem Volumen und Latenzanforderungen.

  • Kompakte Varianten erscheinen parallel zu Flaggschiff-Releases
  • Preise für distillierte Varianten liegen deutlich unter dem Flaggschiff
  • Unternehmen leiten einfache Anfragen an die günstige Variante, komplexe an das Flaggschiff

Distillation als Teil der Kostenstrategie der Anbieter

Anbieter nutzen Distillation zunehmend intern, um die eigenen Betriebskosten zu senken, und geben einen Teil dieser Ersparnis über niedrigere Preise weiter.

Lizenzspannungen rund um geschlossene Lehrer-Modelle

Da Distillation in großem Maßstab einfacher wird, verschärfen Anbieter geschlossener Lehrer-Modelle ihre Nutzungsbedingungen, um Wettbewerber von der Distillation ihrer Ausgaben abzuhalten, was neue Vertragsrisiken für Pipelines auf Basis kommerzieller APIs schafft.

Fazit

Wissensdistillation hat sich von einer akademischen Technik zu einem festen Hebel für die Kontrolle von KI-Kosten entwickelt, den Unternehmen und Anbieter gleichermaßen nutzen. Sie erklärt, warum manche Anbieter schnellere, günstigere Modelle anbieten können, ohne einen offensichtlichen Qualitätseinbruch. Da Labore distillierte Varianten standardmäßig ausliefern, verschiebt sich die Frage von „ob distillieren” zu „welche Aufgaben beim größeren Lehrer bleiben”. Für Mittelstandsunternehmen, die ihre KI-Ausgaben mit der Nutzung wachsen sehen, ist Distillation oft der direkteste verfügbare Hebel.

Häufig gestellte Fragen

Was ist Wissensdistillation einfach erklärt?

Ein größeres, leistungsfähigeres KI-Modell, der Lehrer, trainiert ein kleineres Modell, den Student, indem der Student dessen Antworten und Konfidenzwerte über viele Beispiele hinweg nachahmt. Der Student verhält sich am Ende ähnlich wie der Lehrer, läuft dabei aber deutlich günstiger und schneller.

Schneidet ein distilliertes Modell schlechter ab als das Original?

Meist nur geringfügig und vor allem außerhalb der Aufgaben, für die distilliert wurde. Gut umgesetzte Distillation erreicht typischerweise 90-97 % der Lehrer-Genauigkeit bei der Zielaufgabe.

Lohnt sich Distillation für ein Unternehmen mit unter 100 Mitarbeitern?

Das hängt vom Anfragevolumen ab. Sie lohnt sich, sobald wiederholte API-Anfragen an ein großes Modell im Monat mehr kosten als der einmalige Distillationsaufwand, typischerweise ab einigen tausend ähnlichen Anfragen pro Monat.

Wie passt Wissensdistillation zur EU-KI-Verordnung und DSGVO?

Ein distilliertes Modell gilt als eigenständiges System nach der EU-KI-Verordnung und benötigt eine eigene Validierung, getrennt vom Lehrer. Für die DSGVO kann Distillation helfen, da ein Unternehmen sensible Daten dann auf einem kleineren, selbst betriebenen Modell verarbeiten kann.

Was kostet der Aufbau eines distillierten Modells im eigenen Haus?

Die Kosten variieren mit der Student-Größe und dem Trainingsdatenbedarf, ein Projekt für eine einzelne enge Aufgabe liegt aber typischerweise im niedrigen fünfstelligen Euro-Bereich und amortisiert sich über geringere Inferenzkosten innerhalb von Monaten.

Brauchen wir ein eigenes KI-Team für Distillation?

Nein. Die meisten mittelständischen Unternehmen arbeiten für das Projekt und die Validierung mit einem Umsetzungspartner zusammen und betreiben das fertige Student-Modell anschließend mit normalen IT-Kenntnissen.

Bessere Software bauen Kontakt gemeinsam