Недавно наиболее обсуждаемым вопросом среди людей, использующих ИИ-модели для генерации изображений, особенно LoRA (Low-Rank Adaptation), стал вопрос: «Что делать с предыдущими данными, когда мы добавляем новые данные для обучения (fine-tuning) существующей модели?»
Поиск ответа на этот вопрос предоставляет увлекательное понимание, как будто мы заглядываем в механизмы обучения и памяти человека. На основании разговора с одним знакомым я подробно объясню основные принципы обновления моделей LoRA и оптимальные рецепты.
1. Вопросы по обучению LoRA: Перезапись или сохранение?
Ключевой вопрос, который мне задали, звучал следующим образом:
Q. Если мы добавим 10 новых изображений к существующей модели LoRA, созданной на основе 20 изображений, нужно ли включать существующие 20 изображений в 2-й этап обучения? Если не включим, не 'забудет' ли модель все характеристики предыдущих данных?
Этот вопрос требует основополагающего понимания метода обучения LoRA.
2. Принципы обучения LoRA: статистическое обновление памяти
Вкратце, LoRA работает не так, что данные сохраняются как 'память', а так, что 'статистические веса (Weights)', созданные на основе анализа данных, постоянно перезаписываются.
Способы обновления 'статистики'
-
Первичное обучение (20 изображений): Создается состояние веса, отражающее 20 характеристик. Этот файл весов содержит числовые характеристики стиля, лица, позы и т. д. 20 изображений.
-
Вторичное обучение (добавлено всего 10 изображений): Мы начинаем с существующего состояния веса и продолжаем работу по корректировке весов в сторону новых 10 данных.
При этом 20 оригинальных изображений не хранятся в файле. Поэтому, если обучение проводится только на основе 10 изображений, модель быстро начнет смещаться в сторону 10 новых изображений, и характеристики существующих 20 изображений постепенно исчезнут.
💡 Ключевой момент: Если не включать старые данные, это не приведет к 'полной утрате' характеристик, но высока вероятность того, что существующие характеристики затеряются под натиском статистики новых данных. Особенно если Learning Rate (LR) установлен на высокое значение или Количество шагов сделано большим, скорость утраты увеличится.
3. Оптимальное решение: сбалансированная стратегия повторения
Если цель заключается в поддержании его последовательности и основного настроения модели при добавлении новых характеристик, наиболее безопасным и стандартным методом будет переподготовка всей модели с использованием существующих и новых данных (30 изображений в целом).
Стандартный рецепт: 20 + 10 = повторное обучение на 30 изображениях
| Цель | Состав данных | Настройка обучения (по сравнению с первичным) | Эффект |
|---|---|---|---|
| Поддержание старого + тонкая настройка | Существующие 20 изображений + новые 10 изображений | Низкий LR (например: 1.0 $\rightarrow$ 0.3~0.5), короткие шаги (100~300 шагов) | Сохранение существующей идентичности с корректировкой в сторону новых данных (Fine-Tuning) |
| Увеличение доли новых данных | Существующие 20 изображений + новые 10 изображений (только для новых 10 изображений num_repeats установлено в 2 раза) |
Низкий LR, короткие шаги | На основе существующих характеристик, но корректировка весов, чтобы новые 10 характеристик быстрее отражались. |
Этот метод основан на принципе, по которому люди учатся новым знаниям с одновременным повторением старых знаний, что усиливает долгосрочную память.
4. Явление машинного обучения, похожее на память человека
Это явление на удивление «очень похоже на обучение человека». На самом деле, наблюдаемые явления в глубоком обучении напоминают механизмы памяти человека.
| Явление (термин машинного обучения) | Сходство с обучением/памятью человека | Пример применения LoRA |
|---|---|---|
| Катастрофическое забвение (Catastrophic Forgetting) | Как забывание старого пароля, когда вы вводите новый только. | Если долго обучать только на новых данных (10 изображений), характеристики старых данных (20 изображений) быстро забываются. |
| Важность повторения | Если повторять материал, то долгосрочная память укрепляется. | Необходимо учиться, смешивая существующие 20 изображений с новыми 10, чтобы поддерживать и усиливать сбалансированные характеристики. |
| Переобучение (Overfitting) | Человек, который завучает задания, но не может адаптироваться к другим задачам. | Если вы учитесь слишком долго и слишком сильно на определенных данных, способности адаптироваться к другим подсказкам снижаются. |
В конечном итоге, такие процессы, как забвение, необходимость повторения, правильная остановка в нужный момент (Honey Spot) в процессе тонкой настройки LoRA, являются частью «как учиться, как забывать и как повторять» и связаны с когнитивной наукой.
Используемые нами модели глубокого обучения вдохновлены структурой человеческого мозга, но являются статистическими приближениями, которые могут быть математически реализованы. Тем не менее, то, что эта система показывает явления, схожие с обучением человека, является философским и интересным аспектом, выходящим за рамки инженерии.
5. Работа с LoRA - это работа с «балансом»
Обновление модели LoRA - это не просто задача перезаписи файла.
Это процесс понимания «статистических следов» старых данных, корректировки «долей» новых данных и регулировки интенсивности обучения (LR и шаги) для тонкой настройки «памяти» модели. Это требует ощущения баланса между поддержанием идентичности модели или полной заменой новыми характеристиками.
При следующей тонкой настройке LoRA постарайтесь не просто вводить числа, но задаться вопросом: «Как это повлияет на память модели?» Это интуиция - и есть истинная чувственность эксперта, который может управлять моделью так, как ему нужно!
Комментариев нет.