Forscher schrumpfen KI-Modell und machen es dabei schlauer

>>>> gd2md-html Warnung: Inline-Bildlink im generierten Quellcode und speichern Sie Bilder auf Ihrem Server. HINWEIS: Bilder in der aus Google Docs exportierten ZIP-Datei erscheinen möglicherweise nicht in derselben Reihenfolge wie in Ihrem Dokument. Bitte überprüfen Sie die Bilder!

----->

Ein Forscherteam hat gerade eine kleinere, günstigere Version eines großen KI-Modells gebaut. Die kleinere Version erwies sich als intelligenter als die Version, von der sie verkleinert wurde.

Das sollte nicht passieren.

Es ist, als würde man Muskeln verlieren und gleichzeitig stärker werden. Aber eine Gruppe bei Multiverse Computing sagt, dass es passiert ist, und der Grund sagt etwas darüber aus, wie wir KI bisher falsch verkleinert haben.

„Für Praktiker ist die praktische Botschaft, dass in einer auf Destillation basierenden Heilungspipeline der Quantisierungsschritt keine zu minimierende Kosten darstellt, sondern eine zusätzliche Gelegenheit für die Lehrerüberwachung, was zu einem Modell führt, das gleichzeitig billiger zu bedienen, speicherschonender und mindestens so genau ist wie sein Gegenstück mit voller Präzision“, schrieben die Forscher in einem am Freitag veröffentlichten Papier.

Stellen Sie sich die Parameter eines KI-Modells als eine riesige Wand voller Regler vor – Zahlen, die alles enthalten, was es gelernt hat. Mehr Regler, schlaueres Modell, aber schwerer zu betreiben. OpenAIs GPT-OSS 120B hat 120 Milliarden dieser Regler. Jeder einzelne kostet Speicher und Strom.

Um KI kostengünstig auszuliefern, entfernen Unternehmen Regler und verkleinern die Überlebenden. Es ist wie das Zippen eines Fotos: kleinere Datei, aber zu viel Kompression und das Bild wird unscharf (wie von 4K auf 720p). Ein Modell zu stark zu verkleinern macht es dumm. Alle akzeptierten diesen Kompromiss.

Diese Forscher gingen weiter. Sie reduzierten GPT-OSS auf 60 Milliarden Parameter und quetschten jeden in einen winzigen 4-Bit-Slot – das digitale Äquivalent extremer Kompression. Normalerweise würde das das Modell zerstören, aber diese Forscher fanden einen Weg, es tatsächlich zu verbessern.

In fast allen Benchmarks, die zum Vergleich verwendet wurden, übertraf das kleinere Modell ein Modell, das mit voller Präzision gebaut wurde.

Der Fotokopierfehler

Wenn man ein Modell verkleinert, behebt man seine Fehler normalerweise, indem man es mit der "halb geschrumpften" Version vergleicht – der mit 60 Milliarden Parametern und höherer Präzision. Das Problem ist, dass das Zwischenmodell bereits eine verschwommene Kopie des Originals ist. Man bringt dem winzigen Modell also bei, einen fehlerhaften Zwilling zu imitieren. Es kann den Zwilling nie übertreffen.

Was diese Forscher als "Quantization-Aware Healing" bezeichnen, ändert das Ziel. Es richtet das kleine Modell wieder auf das große, unkomprimierte Original aus und sagt: Kopiere die Antworten von diesem. Das kleine Modell lernt vom Meister, nicht vom trüben Mittelweg. Bei 7 von 9 Tests schlug das 4-Bit-Modell mit 60 Milliarden Parametern den 60-Milliarden-Zwilling, der sein besserer Teil sein sollte. Das echte Modell mit 120 Milliarden Parametern gewinnt immer noch die meisten Runden – Größe wurde nicht abgeschafft – aber die "Diät"-Version hat eine Messlatte übersprungen, von der niemand dachte, dass sie sie erreichen könnte.

Kleiner und intelligenter ist eine große Sache, denn KI verschlingt Hardware. Das geheilte Modell benötigt nur etwa ein Viertel des Speichers und die Hälfte der Parameter des Originals. Das ist der Unterschied zwischen einer KI, die in einem Rechenzentrum lebt, und einer, die auf einen anständigen Desktop-PC passt – oder irgendwann auf Ihr Telefon.

Ein Modell, das bessere Ergebnisse liefert und dabei nur die Hälfte der Energie verbraucht, bedeutet also viel für kleine Labore und lokale Entwickler.

Es ist auch kostenlos. Das Team hat das geheilte Hypernova-60B-Modell als offene Gewichte auf Hugging Face veröffentlicht, sodass jeder es herunterladen und ausführen kann. Das fügt sich in eine Serie offener Modelle ein, die überraschende Hürden überwinden: Ein mysteriöses kostenloses Modell, Ox Alpha, hat kürzlich ein Claude-System geschlagen, ohne dass ein bekannter Entwickler dahintersteckt, dazu der Hype um Alibabas Qwen 3.8 Flash Next und die Welle von Feintunings, die kleine Modelle mithilfe von Reasoning-Spuren größerer LLMs wie Fable oder Claude Opus verbessern.

Aber übertreiben Sie es nicht. Das Schrumpfwerkzeug, das den 60B-Schüler erzeugt, ist proprietär, sodass das Rezept noch nicht vollständig offen ist, und das Team hat nur GPT-OSS getestet – nicht die Llama-, Qwen- oder Mistral-Familien.