Definition: Wissensdistillation
Wissensdistillation ist ein Trainingsverfahren, bei dem ein kleineres Student-Modell die Ausgaben eines größeren, bereits trainierten Lehrer-Modells nachbildet und so dessen Genauigkeit zu einem Bruchteil der Größe und Inferenzkosten erreicht.
Kernmerkmale von Wissensdistillation
Distillation überträgt gelerntes Verhalten, nicht Gewichte. Das Student-Modell ist ein eigenständiges, kleineres Netzwerk, das auf den Vorhersagen des Lehrers trainiert wird, nicht nur auf Rohdaten-Labels.
- Lehrer ist meist ein großes, bereits trainiertes Foundation Model
- Student lernt aus weichen Wahrscheinlichkeitsausgaben, nicht nur aus finalen Antworten
- Ergebnis ist kleiner, schneller und günstiger zur Inferenzzeit
- Student kann sich auf eine engere Aufgabe spezialisieren als der Lehrer
Wissensdistillation vs. Fine-Tuning
Beide Verfahren starten von einem bestehenden Modell, verändern aber Unterschiedliches. Fine-Tuning passt ein Modell an eine Aufgabe an, indem das Training fortgesetzt wird, die Modellgröße bleibt gleich. Distillation erzeugt dagegen ein zweites, kleineres Modell, das ein größeres nachahmt. Viele Pipelines kombinieren beides: zuerst distillieren, dann das entstandene Student-Modell mit Unternehmensdaten fine-tunen.
Bedeutung von Wissensdistillation im Enterprise-KI-Umfeld
Distillation macht ein Small Language Model praxistauglich, ohne von Null zu trainieren. Gartner prognostiziert, dass bis 2027 über 50 % der Enterprise-GenAI-Modelle domänenspezifisch und kompakt sein werden, gegenüber rund 1 % im Jahr 2023, eine Entwicklung, die Distillation direkt ermöglicht, weil Teams das Wissen eines Frontier-Modells wiederverwenden statt neue Daten zu sammeln.
Methoden und Verfahren für Wissensdistillation
Unternehmen wählen eine Methode je nach Zugriff auf den Lehrer und tolerierbarem Genauigkeitsverlust.
Response-basierte (Soft-Label-) Distillation
Der gängigste Ansatz trainiert den Student auf der vollständigen Wahrscheinlichkeitsverteilung des Lehrers über mögliche Antworten, nicht nur auf der besten Antwort. Diese Soft Labels tragen mehr Information als harte Labels, da sie auch zeigen, wie sicher sich der Lehrer zwischen ähnlichen Alternativen war.
- Lehrer über einen repräsentativen Datensatz laufen lassen, um Soft Labels zu erzeugen
- Student auf diese Wahrscheinlichkeitsverteilungen trainieren
- Originale harte Labels zur Verankerung der Genauigkeit einmischen
Feature-basierte Distillation
Diese Methode gleicht zusätzlich die internen Zwischenrepräsentationen des Students an die des Lehrers an, nicht nur die finalen Ausgaben. Sie liefert bei komplexen Reasoning-Aufgaben eine engere Annäherung, benötigt aber Zugriff auf interne Schichten, was sie für geschlossene, nur über API zugängliche Lehrer ausschließt.
Selbstdistillation und datenfreie Distillation
Selbstdistillation trainiert ein Modell auf seinen eigenen früheren Vorhersagen, um sich ohne separaten Lehrer selbst zu komprimieren. Datenfreie Distillation erzeugt synthetische Trainingsbeispiele, wenn echte Daten eine regulierte Umgebung nicht verlassen dürfen. Viele Teams kombinieren beide Ansätze anschließend mit Modellquantisierung zur weiteren Verdichtung.
Wichtige Kennzahlen für Wissensdistillation
Ein Distillation-Projekt braucht technische und geschäftliche Kennzahlen gemeinsam.
Effizienz-Kennzahlen
- Parameterzahl: Ziel 5-20x Reduktion gegenüber dem Lehrer
- Inferenzlatenz: Ziel 2-5x Beschleunigung
- Speicherbedarf: Ziel 60-90 % Reduktion
- Kosten pro Anfrage: Ziel 70-90 % Reduktion gegenüber Lehrer-API-Aufrufen
Strategische Geschäftskennzahlen
Ein kleineres Student-Modell verändert die KI-FinOps-Rechnung direkt, da die Kosten pro Anfrage sinken, während der Durchsatz auf derselben Hardware steigt. Eine Betrachtung der Total Cost of Ownership sollte den einmaligen Distillationsaufwand gegen Jahre geringerer Inferenzkosten abwägen.
Qualitäts- und Genauigkeitskennzahlen
Die Genauigkeit sollte aufgabenspezifisch gemessen werden, nicht aus veröffentlichten Werten übernommen. Student-Modelle erreichen typischerweise 90-97 % der Lehrer-Genauigkeit für die Aufgaben, für die sie distilliert wurden, können außerhalb dieses Bereichs aber deutlich schwächer abschneiden.
Risikofaktoren und Kontrollen bei Wissensdistillation
Die Verdichtung eines Modells zu einem Student bringt Risiken mit sich, die klare Kontrollen erfordern.
Fähigkeitslücke bei Aufgaben außerhalb des Trainingsbereichs
Ein Student hat nur gelernt, was die Trainingsdaten abdeckten, und kann in Benchmarks stark wirken, bei Randfällen aber schwächer abschneiden.
- Komplexes mehrstufiges Reasoning verschlechtert sich zuerst
- Seltene oder ungewöhnliche Eingaben werden schlechter verarbeitet als häufige
- Die Lücke wächst, wenn der Lehrer verbessert wird, der Student aber nie neu distilliert wird
Geistiges Eigentum und Lizenzrisiko
Die Distillation eines geschlossenen, kommerziell lizenzierten Lehrers kann dessen Nutzungsbedingungen verletzen, die häufig untersagen, Ausgaben zum Training eines konkurrierenden Modells zu nutzen. Dies wurde 2025 öffentlich zum Streitthema, und Unternehmen prüfen seither die Lehrer-Lizenz vor dem Aufbau einer Pipeline.
Compliance- und Validierungslücken
Nach der EU-KI-Verordnung ist ein distilliertes Modell ein eigenständiges System gegenüber seinem Lehrer und benötigt in der Regel eine eigene Validierung, bei Hochrisiko-Einsatz eine eigene Konformitätsbewertung. Wer das Student-Modell als „dasselbe Modell, nur kleiner” behandelt, überspringt einen Prüfschritt, den Regulierer erwarten.
Praxisbeispiel
Ein 75-Personen-Facility- und Mieterservice-Unternehmen in München betrieb einen rund um die Uhr erreichbaren Mieter-Chat über eine Frontier-Modell-API, doch Kosten und Latenz wuchsen unangenehm, sobald die Chats mehrere Tausend pro Monat überschritten. Das Unternehmen distillierte ein kleineres Student-Modell anhand von acht Monaten anonymisierter Chatverläufe, wobei die Antworten des Frontier-Modells als Soft-Label-Trainingsziele dienten. Das Ergebnis läuft nun auf einem Server, den die IT ohnehin betreut, ohne laufende API-Kosten pro Anfrage.
- Rund-um-die-Uhr-Mieter-Chat auf eigener Infrastruktur betrieben
- Routinefragen zu Instandhaltung und Abrechnung ohne zusätzliches Personal beantwortet
- Komplexe oder ungewöhnliche Anliegen weiterhin an das größere Originalmodell weitergeleitet
- Keine Mieter-Gesprächsdaten für Routineanfragen an externe Anbieter übermittelt
Aktuelle Entwicklungen und Auswirkungen
Distillation entwickelt sich von einer Forschungstechnik zu einem festen Schritt im Modell-Rollout der Anbieter.
Frontier-Labore veröffentlichen distillierte Varianten direkt
Große Labore veröffentlichen inzwischen distillierte Geschwistermodelle parallel zu ihren Flaggschiff-Releases, oft als „Mini”- oder „Lite”-Variante für Einsätze mit hohem Volumen und Latenzanforderungen.
- Kompakte Varianten erscheinen parallel zu Flaggschiff-Releases
- Preise für distillierte Varianten liegen deutlich unter dem Flaggschiff
- Unternehmen leiten einfache Anfragen an die günstige Variante, komplexe an das Flaggschiff
Distillation als Teil der Kostenstrategie der Anbieter
Anbieter nutzen Distillation zunehmend intern, um die eigenen Betriebskosten zu senken, und geben einen Teil dieser Ersparnis über niedrigere Preise weiter.
Lizenzspannungen rund um geschlossene Lehrer-Modelle
Da Distillation in großem Maßstab einfacher wird, verschärfen Anbieter geschlossener Lehrer-Modelle ihre Nutzungsbedingungen, um Wettbewerber von der Distillation ihrer Ausgaben abzuhalten, was neue Vertragsrisiken für Pipelines auf Basis kommerzieller APIs schafft.
Fazit
Wissensdistillation hat sich von einer akademischen Technik zu einem festen Hebel für die Kontrolle von KI-Kosten entwickelt, den Unternehmen und Anbieter gleichermaßen nutzen. Sie erklärt, warum manche Anbieter schnellere, günstigere Modelle anbieten können, ohne einen offensichtlichen Qualitätseinbruch. Da Labore distillierte Varianten standardmäßig ausliefern, verschiebt sich die Frage von „ob distillieren” zu „welche Aufgaben beim größeren Lehrer bleiben”. Für Mittelstandsunternehmen, die ihre KI-Ausgaben mit der Nutzung wachsen sehen, ist Distillation oft der direkteste verfügbare Hebel.
Häufig gestellte Fragen
Was ist Wissensdistillation einfach erklärt?
Ein größeres, leistungsfähigeres KI-Modell, der Lehrer, trainiert ein kleineres Modell, den Student, indem der Student dessen Antworten und Konfidenzwerte über viele Beispiele hinweg nachahmt. Der Student verhält sich am Ende ähnlich wie der Lehrer, läuft dabei aber deutlich günstiger und schneller.
Schneidet ein distilliertes Modell schlechter ab als das Original?
Meist nur geringfügig und vor allem außerhalb der Aufgaben, für die distilliert wurde. Gut umgesetzte Distillation erreicht typischerweise 90-97 % der Lehrer-Genauigkeit bei der Zielaufgabe.
Lohnt sich Distillation für ein Unternehmen mit unter 100 Mitarbeitern?
Das hängt vom Anfragevolumen ab. Sie lohnt sich, sobald wiederholte API-Anfragen an ein großes Modell im Monat mehr kosten als der einmalige Distillationsaufwand, typischerweise ab einigen tausend ähnlichen Anfragen pro Monat.
Wie passt Wissensdistillation zur EU-KI-Verordnung und DSGVO?
Ein distilliertes Modell gilt als eigenständiges System nach der EU-KI-Verordnung und benötigt eine eigene Validierung, getrennt vom Lehrer. Für die DSGVO kann Distillation helfen, da ein Unternehmen sensible Daten dann auf einem kleineren, selbst betriebenen Modell verarbeiten kann.
Was kostet der Aufbau eines distillierten Modells im eigenen Haus?
Die Kosten variieren mit der Student-Größe und dem Trainingsdatenbedarf, ein Projekt für eine einzelne enge Aufgabe liegt aber typischerweise im niedrigen fünfstelligen Euro-Bereich und amortisiert sich über geringere Inferenzkosten innerhalb von Monaten.
Brauchen wir ein eigenes KI-Team für Distillation?
Nein. Die meisten mittelständischen Unternehmen arbeiten für das Projekt und die Validierung mit einem Umsetzungspartner zusammen und betreiben das fertige Student-Modell anschließend mit normalen IT-Kenntnissen.