Was ist KI-Modell-Destillation und warum ist sie so schwer zu stoppen?

Um Getreideschnaps herzustellen, erhitzt man eine vergorene Maische in einer Brennblase, bis alkoholhaltiger Dampf aufsteigt, und kühlt diesen dann wieder zu einer stärkeren Flüssigkeit ab. Chemiker und Whiskeyhersteller kennen dies als Destillation. Entwickler künstlicher Intelligenz haben das Wort übernommen, um das Herunterbrechen eines großen KI-Modells in ein kleineres zu beschreiben – und in letzter Zeit sagen die größten KI-Unternehmen, dass Konkurrenten wie Schmuggler destilliert haben.

Im September legten Anthropic und OpenAI jeweils dar, wie sie Kampagnen zur Destillation ihrer Flaggschiff-Modelle abgefangen und gestoppt haben – das heißt, genug Informationen aus den Modellen zu extrahieren, um neue Modelle zu trainieren, die die Originale zu einem Bruchteil der Größe und Kosten imitieren.

Die Destillation ist zu einem wunden Punkt für amerikanische KI-Unternehmen geworden, während sie versuchen, hohe Bewertungen zu rechtfertigen und den Wettbewerb untereinander sowie durch Open-Source-Alternativen abzuwehren. Wenn sich beispielsweise ein chinesischer Modellentwickler all das Geld und die Rechenleistung zunutze machen kann, die diese Unternehmen investiert haben, schwindet der Anreiz, weiterhin neue Modelle zu entwickeln.