Das Geheimnis des LoRA-Modellupdates - Vergessen und Wiederholung, die Technik der Feinabstimmung, die dem menschlichen Gedächtnis ähnelt

Eine der häufigsten Fragen, die unter denjenigen gestellt wird, die kürzlich AI-Modelle zur Bilderzeugung verwenden, insbesondere LoRA (Low-Rank Adaptation), lautet: "Was sollen wir mit den vorherigen Daten tun, wenn wir neue Daten zu einem bestehenden Modell hinzufügen und es weiter trainieren (feinabstimmen)?"

Der Prozess, eine Antwort auf diese Frage zu finden, bietet faszinierende Einblicke in die Mechanismen des menschlichen Lernens und Gedächtnisses. Durch ein Gespräch mit einem Bekannten werde ich die Kernprinzipien und die besten Rezepte für LoRA-Modellupdates näher erläutern.

1. Fragen zur LoRA-Trainingsmethode: Überschreiben oder Beibehalten?

Die Kernfrage, die mir von der Person, die die Frage gestellt hat, gestellt wurde, war die folgende:

Q. Wenn ich ein LoRA-Modell mit 20 bestehenden Bildern habe und 10 neue Bilder hinzufüge, muss ich dann die vorhandenen 20 Bilder in das zweite Training einbeziehen? Werden die Merkmale der bestehenden Bilder vollständig "vergessen", wenn ich sie weglasse?

Diese Frage erfordert ein grundlegendes Verständnis der Funktionsweise von LoRA.

2. Prinzipien des LoRA-Trainings: Statistische Aktualisierung des Gedächtnisses

Um es kurz zu machen: LoRA funktioniert nicht, indem es Daten als "Gedächtnis" speichert, sondern indem es die "statistischen Gewichtungen (Weights)" der analysierten Daten fortlaufend überschreibt.

Aktualisieren der 'Statistiken'

• Erstes Training (20 Bilder): Es wird ein Gewichtungszustand erstellt, der die Merkmale der 20 Bilder widerspiegelt. In dieser Gewichtsdatei sind die Merkmale wie Stil, Gesicht und Pose der 20 Bilder numerisch erfasst.

• Zweites Training (nur 10 neue hinzufügen): Startend vom bestehenden Gewichtungszustand wird ein Verfahren eingeführt, bei dem die Gewichte in die Richtung der neuen 10 Bilder gezogen werden.

In diesem Fall sind die 20 Originalbilder nicht in der Datei enthalten. Daher beginnt das Modell, wenn es nur mit 10 Bildern trainiert, verstärkt in Richtung der 10 neuen Bilder zu kippen, während die Merkmale der bisherigen 20 Bilder allmählich verblassen.

💡 Wichtig: Wenn die alten Daten weggelassen werden, ist die extreme Vergesslichkeit zwar nicht gegeben, aber es ist sehr wahrscheinlich, dass die bestehenden Merkmale allmählich verblassen, da sie von den Statistiken der neuen Daten überwältigt werden. Insbesondere wenn die Learning Rate (LR) hoch eingestellt oder die Schrittanzahl lang gehalten wird, wird die Vergessensgeschwindigkeit beschleunigt.

3. Die optimale Lösung: Eine ausgewogene Wiederholungsstrategie

Wenn das Ziel darin besteht, die Kohärenz und Basisatmosphäre des bestehenden Modells zu bewahren und gleichzeitig neue Merkmale zu verstärken, ist der sicherste und konventionellste Weg, die alten und neuen Daten zu mischen und insgesamt 30 Bilder neu zu trainieren.

Konventionelles Rezept: 20 Bilder + 10 Bilder = 30 Bilder neu trainieren

Diese Methode basiert auf dem Prinzip, dass Menschen beim Lernen neuer Informationen auch alte Informationen wiederholen, um ihr Langzeitgedächtnis zu stärken.

4. Phänomene des maschinellen Lernens, die dem menschlichen Gedächtnis ähneln

Diese Phänomene sind erstaunlicherweise "äußerst ähnlich dem menschlichen Lernen". Tatsächlich erinnern die in Deep Learning beobachteten Phänomene an die Mechanismen des menschlichen Gedächtnisses.

Im Endeffekt spiegeln die Erlebnisse des Vergessens, der Notwendigkeit zur Wiederholung und das Stoppen an der richtigen Stelle (Honey Spot) während des LoRA-Fine-Tunings alle überlegungen darüber wider, "wie zu lernen, wie zu vergessen und wie zu wiederholen" aus der kognitionswissenschaftlichen Perspektive.

Die Deep Learning-Modelle, die wir verwenden, sind von der Struktur des menschlichen Gehirns inspiriert, stellen jedoch mathematisch umsetzbare statistische Näherungen dar. Dennoch ist es faszinierend, dass dieses System Phänomene zeigt, die dem menschlichen Lernen ähnlich sind, was eine philosophische und faszinierende Stelle darstellt, die über das Ingenieurwesen hinausgeht.

5. Der Umgang mit LoRA bedeutet den Umgang mit 'Gleichgewicht'

Das Update des LoRA-Modells ist nicht einfach das Überschreiben einer Datei.

Es ist ein Prozess, bei dem die 'statistischen Spuren' der vorherigen Daten verstanden, der 'Anteil' der neuen Daten angepasst und der Lernintensität (LR und Schritt) justiert wird, um das 'Gedächtnis' des Modells fein abzustimmen. Dies erfordert ein Gleichgewicht zwischen der Erhaltung der Identität des Modells und der völligen Umstellung auf neue Merkmale.

Wenn Sie beim nächsten Mal ein LoRA-Fine-Tuning durchführen, denken Sie nicht nur daran, Zahlen einzugeben, sondern überlegen Sie "Wie wird sich das auf das Gedächtnis des Modells auswirken?" Diese Intuition ist das, was den wahren Experten ausmacht, die mit dem Modell nach ihren Wünschen arbeiten können!