거대언어모델(LLM)의 시대가 도래하면서, 나만의 데이터로 모델을 최적화하는 '파인튜닝(Fine-tuning)'에 대한 수요가 폭발적으로 증가했습니다. 하지만 수십억 개의 파라미터를 가진 모델을 전체 학습시키는 것은 막대한 비용과 컴퓨팅 자원을 필요로 합니다.

이러한 문제를 해결하기 위해 등장한 핵심 기술이 바로 LoRA(Low-Rank Adaptation) 입니다. 오늘은 LoRA가 무엇이며, 왜 효율적인지 기술적 원리와 함께 정리해 보겠습니다.

1. LoRA(Low-Rank Adaptation)란 무엇인가?

Commandbox 광고

LoRA는 2021년 마이크로소프트 연구팀이 제안한 기술로, 거대 모델의 파라미터를 모두 업데이트하는 대신 '순위(Rank)가 낮은' 두 개의 작은 행렬만을 학습시켜 모델을 적응시키는 기법입니다.

기존의 'Full Fine-tuning'이 모델의 모든 가중치(Weight)를 건드려야 했다면, LoRA는 기존 가중치는 그대로 얼려두고(Freeze), 변화가 필요한 부분만 아주 작게 떼어내어 학습한다고 이해하면 됩니다.

비유하자면:

두꺼운 전공 서적(기본 모델)의 내용을 수정해야 할 때, 책의 모든 페이지를 지우고 다시 쓰는 것이 아니라, 중요한 수정 사항만 포스트잇(LoRA 어댑터)에 적어 책에 붙이는 것과 같습니다.

2. 작동 원리 (Technical Deep Dive)

LoRA의 핵심은 행렬 분해(Matrix Decomposition)에 있습니다.

딥러닝 모델의 가중치 행렬을 $W$라고 할 때, 파인튜닝은 가중치의 변화량 $\Delta W$를 학습하는 과정입니다.

$$W_{new} = W + \Delta W$$

LoRA는 이 $\Delta W$를 매우 큰 행렬 그대로 학습하지 않고, 두 개의 작은 저랭크(Low-Rank) 행렬 $A$와 $B$의 곱으로 분해하여 표현합니다.

$$\Delta W = B \times A$$

여기서 원래 차원이 $d$이고 랭크가 $r$이라면, $d \times d$ 크기의 거대한 행렬을 학습하는 대신, 훨씬 작은 $d \times r$ 과 $r \times d$ 크기의 행렬만 학습하면 됩니다. (보통 $r$은 $d$보다 훨씬 작은 수를 사용합니다. 예: $r=8, 16$ 등)

결과적으로 학습해야 할 파라미터의 수가 기존 대비 1/10,000 수준까지 줄어들 수 있습니다.

3. LoRA의 주요 장점

Commandbox 광고

1) 압도적인 메모리 효율성

전체 파라미터를 메모리에 올릴 필요가 없으므로, 고가의 A100 GPU가 아닌 일반 소비자용 그래픽카드(RTX 3090, 4090 등)에서도 거대 모델의 파인튜닝이 가능해집니다. VRAM 사용량을 획기적으로 절감합니다.

2) 저장 공간 절약

Full Fine-tuning된 모델은 수십 GB에 달하지만, LoRA로 학습된 가중치 파일(어댑터)은 보통 수 MB에서 수백 MB 수준입니다. 따라서 하나의 기본 모델(Base Model) 위에 여러 가지 버전의 LoRA 어댑터만 갈아 끼우며 다양한 서비스를 운영할 수 있습니다.

3) 성능 유지

학습 파라미터 수는 극적으로 줄였음에도 불구하고, 전체 파인튜닝(Full Fine-tuning)과 비교했을 때 성능 저하가 거의 없거나 대등한 수준을 보여줍니다.

4) 추론 시 지연 시간 없음 (No Inference Latency)

학습이 끝난 후, $B \times A$로 계산된 값을 원래 가중치 $W$에 더해버리면(Merge), 구조적으로 원본 모델과 동일해집니다. 따라서 추론 속도가 느려지지 않습니다.

4. 실제 활용 예시

사용자가 '해적 말투'를 쓰는 챗봇을 만들고 싶다고 가정해 봅시다.

  • 기존 방식: Llama 3 (8B 모델) 전체를 해적 데이터로 학습. -> 16GB 이상의 결과물 생성, 학습 시간 오래 걸림.

  • LoRA 방식: Llama 3 가중치는 고정. 해적 데이터로 LoRA 어댑터만 학습. -> 약 50MB짜리 어댑터 파일 생성.

  • 배포: 원본 Llama 3 모델 + 50MB 파일만 로드하여 서비스 제공.

5. 결론

LoRA는 거대언어모델의 진입 장벽을 획기적으로 낮춘 기술입니다. 이제 개인 개발자나 중소기업도 자신들만의 특화된 데이터를 사용하여 고성능 AI 모델을 튜닝할 수 있게 되었습니다.

효율적인 AI 모델 개발을 고려하고 있다면, 무조건적인 전체 학습보다는 LoRA와 같은 PEFT(Parameter-Efficient Fine-Tuning) 기법을 우선적으로 고려하는 것이 합리적인 선택입니다.

LoRA Concept Image