최근 이미지 생성 AI 모델, 특히 LoRA(Low-Rank Adaptation) 를 활용하는 분들 사이에서 가장 많이 묻는 질문 중 하나는 "기존 모델에 새 데이터를 추가해서 학습(파인튜닝)할 때, 이전 데이터는 어떻게 해야 할까?" 입니다.
이 질문에 대한 답을 찾아가는 과정은 마치 인간의 학습과 기억 메커니즘을 엿보는 듯한 흥미로운 통찰을 제공합니다. 제가 한 지인 분과 나눈 대화를 통해, LoRA 모델 업데이트의 핵심 원리와 최적의 레시피를 자세히 풀어보겠습니다.
1. LoRA 학습에 대한 궁금증: 덮어쓰기냐, 보존이냐?
저에게 질문을 던진 분의 핵심 궁금증은 다음과 같았습니다.
Q. 기존 20장의 이미지로 만든 LoRA 모델에, 새로운 10장의 이미지를 추가하여 2차 트레이닝을 진행한다면, 기존 20장의 데이터를 2차 학습에 포함해야 할까요? 안 넣으면 기존의 특징을 '싹 잊어버리지는' 않을까요?
이 질문은 LoRA의 학습 방식에 대한 근본적인 이해를 필요로 합니다.
2. LoRA 학습의 원리: 기억의 통계적 업데이트
결론부터 말하면, LoRA는 데이터를 '기억'으로 저장하는 것이 아니라, 데이터를 분석한 '통계적 가중치(Weight)'를 계속 덮어쓰는 방식으로 작동합니다.
'통계'를 업데이트하는 방식
-
1차 학습 (20장): 20장의 특징이 반영된 가중치 상태를 만듭니다. 이 가중치 파일에는 20장의 이미지가 가진 스타일, 얼굴, 포즈 등의 특징이 수치적으로 녹아 있습니다.
-
2차 학습 (10장만 추가): 기존 가중치 상태에서 출발하여, 새로운 10장의 데이터 방향으로 가중치를 밀고 당기는 작업을 진행합니다.
이때, 20장의 원본 이미지는 파일 안에 보관되어 있지 않습니다. 따라서 10장만 가지고 학습을 진행하면 모델은 10장의 성향 쪽으로 급격히 기울어지기 시작하며, 기존 20장의 특징은 서서히 희미해집니다.
💡 핵심: 기존 데이터를 안 넣으면 '싹 잊어버리는' 극단적인 망각은 아니지만, 새로운 데이터의 통계에 압도되어 기존 특성이 점차 희미해질 가능성이 매우 큽니다. 특히 Learning Rate(LR) 를 높게 설정하거나 Step 수를 길게 가져가면 망각 속도는 더욱 빨라집니다.
3. 최적의 솔루션: 균형 잡힌 복습 전략
기존 모델의 일관성과 기본 분위기를 유지하면서 새로운 특징을 보강하는 것이 목표라면, 가장 안전하고 정석적인 방법은 기존 데이터와 신규 데이터를 섞어 30장 전체를 재학습하는 것입니다.
정석 레시피: 20장 + 10장 = 30장 재학습
| 목적 | 데이터 구성 | 학습 세팅 (1차 대비) | 효과 |
|---|---|---|---|
| 기존 유지 + 미세 조정 | 기존 20장 + 신규 10장 | LR을 낮게 (예: 1.0 $\rightarrow$ 0.3~0.5), Step을 짧게 (100~300 Step) | 기존 정체성을 유지하며 새 데이터 방향으로 미세 조정(Fine-Tuning) |
| 신규 비중 높이기 | 기존 20장 + 신규 10장 (신규 10장에만 num_repeats를 2배 등으로 설정) |
LR 낮게, Step 짧게 | 기존 특성을 바탕에 깔되, 신규 10장의 특징이 더 빨리 반영되도록 가중치 조절 |
이 방식은 사람이 새로운 지식을 배울 때 기존 지식을 복습과 병행하여 장기 기억을 강화하는 것과 같은 원리입니다.
4. 인간의 기억을 닮은 머신러닝 현상
이러한 현상은 놀라울 정도로 "인간의 학습과 매우 유사합니다". 실제로 딥러닝에서 관찰되는 현상들은 인간의 기억 메커니즘을 연상시킵니다.
| 현상 (머신러닝 용어) | 인간의 학습/기억과 유사점 | LoRA 적용 사례 |
|---|---|---|
| 파국적 망각 (Catastrophic Forgetting) | 새 비밀번호만 쓰면 옛 비밀번호를 잊어버리는 것처럼. | 새 데이터(10장)만으로 오래 학습하면 기존 데이터(20장)의 특징을 급격히 잊음. |
| 복습의 중요성 | 복습을 섞어 공부하면 장기기억이 강화됨. | 기존 20장 + 신규 10장을 섞어 학습해야 균형 잡힌 특징을 유지하고 보강함. |
| 과적합 (Overfitting) | 시험 문제 풀이만 달달 외워 응용력이 떨어지는 사람. | 특정 데이터에 대해 너무 오래, 세게 학습하면 다른 프롬프트에 대한 응용력이 떨어짐. |
결국, LoRA의 파인튜닝 과정에서 겪는 망각, 복습의 필요성, 적절한 지점에서의 멈춤(Honey Spot) 등은 모두 "어떻게 배우고, 어떻게 잊고, 어떻게 복습해야 하는지" 에 대한 인지 과학적 고민과 맞닿아 있습니다.
우리가 사용하는 딥러닝 모델은 인간 뇌의 구조에서 영감을 받았지만, 수학적으로 구현 가능한 통계적 근사치입니다. 그럼에도 불구하고 이 시스템이 인간의 학습과 유사한 현상을 보여주는 것은, 공학을 넘어선 철학적이고 흥미로운 지점이라고 할 수 있습니다.
5. LoRA를 다루는 것은 곧 '균형'을 다루는 것
LoRA 모델 업데이트는 단순히 파일을 덮어쓰는 작업이 아닙니다.
이전 데이터의 '통계적 흔적' 을 이해하고, 새 데이터의 '비율' 을 조정하며, 학습 강도(LR과 Step) 를 조절하여 모델의 '기억' 을 미세 조정하는 과정입니다. 이는 모델의 정체성을 유지할지, 아니면 새로운 특성으로 완전히 갈아엎을지 결정하는 균형 감각을 요구합니다.
다음번 LoRA 파인튜닝을 할 때, 단순히 숫자를 입력하는 것이 아니라 "이것이 모델의 기억에 어떤 영향을 줄까?" 를 고민하며 접근해 보시길 바랍니다. 이 직관이야말로 모델을 원하는 대로 다루는 진정한 전문가의 감각입니다!
댓글이 없습니다.