Full Finetuning vs PEFT (Parameter Efficient Tuning)

Beim Trainieren von KI-Modellen unterscheidet man zwischen Full Fine-Tuning und PEFT (Parameter Efficient Tuning) – Doch welche verschiedenen Arten von Fine-Tuning gibt es und was bedeutet es, KI-Modelle auf Daten zu trainieren?

Beim Trainieren des KI-Modells geht es darum, dem Algorithmus eines bestehenden Large Language Models (LLM) wie zum Beispiel LLaMA, Grok oder DeepSeek die eigenen Daten beizubringen, sodass es entsprechende Resultate liefert, die auf die eigenen Daten zugeschnitten sind. Ein Beispiel könnte ein Finanzberater sein, welcher sein LLM auf eigene Daten trainieren möchte, sodass seine Mitarbeiter auf das interne Wissen zugreifen können. Dabei gibt es zwei verschiedene Arten, wie das KI-Modell trainiert wird. Variante 1 ist das Full Fine-Tuning:

Full Fine-Tuning des KI-Modells

Beim Full Fine-Tuning des KI-Modells wird das ganze Modell trainiert, was extrem ressourcenintensiv ist. Es werden alle Parameter des KI-Modells trainiert, d. h., es werden je nach Modell über 10 Milliarden Parameter und demzufolge über 10 Milliarden Modellgewichte trainiert. Dies sorgt zwar für eine extrem gute Anpassung, aber das Verfahren ist sehr ressourcenintensiv, sprich, durch den grossen Bedarf an Computerressourcen wird das Verfahren sehr kostspielig.

Vorteile von Full Fine-Tuning

• Hohe Genauigkeit: Durch Anpassung aller Modellparameter wird das Modell optimal auf den eigenen Datensatz trainiert.

• Bessere Leistung & mehr Flexibilität: Das KI-Modell erzielt oft bessere Ergebnisse, vorausgesetzt es sind ausreichend Daten und Rechenleistung verfügbar.

Nachteile von Full Fine-Tuning

• Hoher Ressourcenbedarf: Erfordert viel Computerkapazität, Computerspeicher und Zeit, da alle Parameter angepasst werden, auch die des “Grundmodells”.

• Overfitting: Bei kleinen Datensätzen kann das KI-Modell zu stark auf die Trainingsdaten angepasst werden und an Generalisierung, respektive an Allgemeinwissen verlieren.

• Kostenintensiv: Besonders bei grossen KI-Modellen wie LLMs (Large Language Models) wird es aufgrund der Ressourcen extrem teuer und auch ineffizient.

Parameter Efficient Tuning des KI-Modells

Vorteile von PEFT (Parameter Efficient Tuning)

• Ressourcenschonend: Nur ein kleiner Teil der Parameter, die sogenannten “added weights” (auf Deutsch: “zusätzliche Modellgewichte”), wird angepasst, was Computerspeicher und Rechenleistung spart.

• Schnelle Anpassung: Diese Methode ermöglicht effizientes Fine-Tuning auch auf kleineren Geräten oder mit begrenzten Ressourcen, anstelle von grossen Servern.

• Gute Generalisierung: Bewahrt die vortrainierten Fähigkeiten des KI-Grundmodells (Beispiel DeepSeek) bei und reduziert das Risiko von Overfitting.

Nachteile von PEFT (Parameter Efficient Tuning)

• Eingeschränkte Anpassung: Da nur wenige Parameter optimiert werden, kann die Leistung bei sehr expliziten oder schwierigen Aufgaben hinter Full Fine-Tuning vernachlässigt werden.

• Abhängigkeit vom Basismodell: Die Ergebnisse hängen stark von der Qualität des vortrainierten KI-Basismodells ab.

• Komplexere Implementierung: Erfordert spezielle KI-Fine-Tuning-Techniken (z. B. LoRA oder DoRA), die wiederum zusätzliches Expertenwissen voraussetzen.

LoRA (Low-Rank Adaption)

Die Einzigartigkeit von LoRA liegt darin, dass die Parameter vom Grundmodell eingefroren werden und nur die neu hinzugefügten Gewichte, die trainiert werden, angepasst werden. Das Fine-Tuning dieser deutlich kleineren Matrizen ist es, was uns die Vorteile bringt.

DoRA (Weight-Decomposed Low-Rank Adaption)

DoRA lässt sich am einfachsten am Beispiel vom Besteigen eines Berges erklären. Auf dieser Reise möchten Sie Ihre Route vom Fuss des Berges (dem ursprünglichen Satz an Modellgewichten) zum Gipfel (einem besseren Satz an Modellgewichten) verbessern.

Bei jedem Schritt gibt es zwei entscheidende Entscheidungen: die Richtung, in die man geht, und wie weit man in dieser Richtung voranschreitet. Hierfür wurde die ursprüngliche Gewichtsmatrix in LoRA in zwei separate Matrizen zerlegt: eine, die die Richtung der Optimierung erfasst, und eine andere, die die Grösse zeigt. Durch das unabhängige KI-Training dieser Matrizen zeigt DoRA die natürliche Entwicklung des Full Fine-Tuning genauer, was dem Modell ermöglicht, den “Berg” schneller zu erklimmen und sogar höhere Gipfel zu erreichen – Kurzgesagt: Es werden qualitativere Ergebnisse erzielt und gleichzeitig wird auch eine bessere Performance erreicht.

QLoRA (Quantized Low-Rank Adaption)

QLoRA ist eine Weiterentwicklung von LoRA, die speichereffizienter arbeitet. Es verbessert LoRA, indem die Modellgewichte der LoRA-Adapter (kleinere Matrizen) auf eine geringere Präzision quantisiert werden.

QDoRA (Quantized Distribution Optimization for Rank Adaption)

So wie QLoRA Quantisierung in LoRA einführt, wendet QDoRA einen ähnlichen Trainingsansatz auf DoRA an. Wie DoRA konzentriert sich QDoRA auf ein noch effizienteres Fine-Tuning durch Gewichtszerlegung, jedoch mit dem zusätzlichen Vorteil der Quantisierung.

Möchten Sie Ihr KI-System auf Daten trainierne und benötigen Beratung im Aufbereiten der Daten oder ähnlichen Themen? Kontaktieren Sie uns jetzt für eine kostenlose Erstberatung!