De geheimen van LoRA-modelupdates - Vernietiging en herhaling, de techniek van fijne afstemming die lijkt op menselijk geheugen

Een van de meest gestelde vragen onder degenen die recentelijk gebruik maken van AI-modellen voor beeldgeneratie, met name LoRA (Low-Rank Adaptation), is "Wat moeten we doen met de eerdere gegevens wanneer we nieuwe gegevens toevoegen om te leren (fine-tuning)?" .

Het proces om een antwoord op deze vraag te vinden biedt een fascinerende kijk op de mechanismen van leren en geheugen bij mensen. Aan de hand van een gesprek dat ik met een kennis heb gehad, zal ik de kernprincipes van LoRA-modelupdates en de optimale recepten in detail uitleggen.

1. Vragen over LoRA leren: Overschrijven of behouden?

De belangrijkste vraag van de persoon die me een vraag stelde was als volgt.

Q. Als we nieuwe 10 afbeeldingen toevoegen aan een bestaande LoRA-model dat is gemaakt met 20 afbeeldingen, moeten we dan de eerdere 20 afbeeldingen opnemen in de tweede training? Als we ze niet toevoegen, vergeten we de kenmerken van de bestaande afbeeldingen dan helemaal?

Deze vraag vereist een fundamenteel begrip van de leermethodes van LoRA.

2. De principes van LoRA leren: Statistische updates van geheugen

Om het kort te zeggen, LoRA werkt door de 'statistische gewichten' van de geanalyseerde gegevens continu te overschrijven in plaats van gegevens op te slaan als 'geheugen'.

De manier van 'statistieken' bijwerken

• Eerste training (20 afbeeldingen): Er wordt een gewichtstoestand gecreëerd die de kenmerken van de 20 afbeeldingen reflecteert. Dit gewichtbestand bevat numeriek de kenmerken zoals stijl, gezichten en poses van de 20 afbeeldingen.

• Tweede training (alleen 10 afbeeldingen toegevoegd): We beginnen met de bestaande gewichtstoestand en voeren een operatie uit waarbij we de gewichten in de richting van de nieuwe 10 afbeeldingen duwen en trekken.

Op dit moment zijn de originele 20 afbeeldingen niet opgeslagen binnen het bestand. Daarom, als we alleen met de 10 afbeeldingen trainen, zal het model beginnen te neigen naar de kenmerken van de 10 afbeeldingen, terwijl de eigenschappen van de bestaande 20 afbeeldingen geleidelijk vervagen.

💡 Kern: Als we de bestaande gegevens niet opnemen, betekent dit niet dat we alles 'vergeten', maar er is een grote kans dat de bestaande kenmerken geleidelijk vervagen, vooral als we een hoge Learning Rate (LR) instellen of een lange Step-telling gebruiken.

3. Optimale oplossing: Gebalanceerde herhalingsstrategie

Als het doel is om de consistentie en basisatmosfeer van het bestaande model te behouden en nieuwe kenmerken te versterken, is de veiligste en meest gebruikelijke methode om de bestaande en nieuwe gegevens te mengen en opnieuw 30 afbeeldingen te trainen.

Orthodox recept: 20 afbeeldingen + 10 afbeeldingen = 30 afbeeldingen opnieuw trainen

Deze methode is vergelijkbaar met hoe mensen nieuwe kennis leren en tegelijk de bestaande kennis herhalen om ons lange-termijn geheugen te versterken.

4. Vermijden van vergeten in machine learning zoals menselijk geheugen

Dit fenomeen is verrassend "zeer vergelijkbaar met het leren van mensen". Feitelijk worden fenomenen die we in deep learning waarnemen, in verband gebracht met de mechanismen van menselijk geheugen.

Uiteindelijk is het vergeten, de noodzaak van herhaling en de juiste momenten om te stoppen (Honey Spot) die worden ervaren tijdens de fine-tuning proces van LoRA, allemaal verwant aan de cognitieve wetenschappelijke overwegingen over "hoe we leren, hoe we vergeten en hoe we moeten herhalen".

De deep learning modellen die we gebruiken zijn geïnspireerd door de structuur van het menselijk brein, maar zijn statistische benaderingen die wiskundig uitvoerbaar zijn. Toch is het fascinerend dat dit systeem vergelijkbare fenomenen vertoont als het leren van mensen, wat een ontdekkingspunt is dat de techniek overstijgt en ons naar een fascinerende filosofische plek leidt.

5. Het werken met LoRA betekent werken met 'balans'

LoRA-modelupdates zijn niet simpelweg bestanden overschrijven.

Het is een proces van het begrijpen van de 'statistische sporen' van eerdere gegevens, het aanpassen van de 'verhoudingen' van de nieuwe gegevens, en het aanpassen van de leersnelheid (LR en stappen) om het 'geheugen' van het model te fine-tunen. Dit vereist een sterk gevoel van balans tussen het behouden van de identiteit van het model of het volledig vervangen door nieuwe kenmerken.

Wanneer je de volgende LoRA-fine-tuning doet, denk dan niet alleen aan de cijfers die je invoert, maar vraag jezelf "Welke invloed heeft dit op het geheugen van het model?" Deze intuïtie is wat de ware expert maakt in het beheersen van het model zoals jij dat wilt!