В этом материале
QLoRA уменьшает память базовых весов, но не отменяет активации и другие расходы обучения; LoRA сама по себе не означает 4-битную базу.
LoRA и QLoRA различаются способом размещения базовой модели: LoRA обучает добавленные адаптеры при замороженной базе, а QLoRA сочетает этот подход с квантованными базовыми весами. Для памяти GPU важны также активации, градиенты, состояния оптимизатора и рабочие буферы, поэтому одной оценки размера весов недостаточно.
При выборе свободной карты сначала проверяют ограниченный шаг обучения своей модели. Успешный инференс не подтверждает, что на том же оборудовании поместится дообучение с нужной длиной последовательности.
Разделите составляющие памяти
Описание LoRA в PEFT объясняет уменьшение числа обучаемых параметров через адаптеры. Сохраните выбранные целевые модули, ранг и список действительно обучаемых параметров: одно название метода не задаёт одинаковый объём для всех моделей.
Замороженная база всё равно участвует в вычислении. Она не исчезает из памяти, а параметры обучения и длина входа продолжают влиять на рабочие данные.
Сравните методы по устройству задачи
| Подход | Что обучается | Состояние базы | Что проверять отдельно |
|---|---|---|---|
| Полное дообучение | Основные параметры модели | Выбранный формат обучения | Градиенты и оптимизатор всей базы |
| LoRA | Выбранные адаптеры и разрешённые модули | Обычно заморожена | Ранг, активации, целевые слои |
| QLoRA | Адаптеры поверх квантованной базы | Квантована и заморожена | Поддержку backend и рабочую точность |
Это принципиальное сравнение, а не таблица гарантированных объёмов VRAM. Дополнительные обучаемые модули и конкретная реализация могут изменить фактическую картину.
Проверьте квантование как часть конфигурации
Руководство PEFT по quantization описывает обучение адаптеров поверх квантованной модели. Формат хранения и формат вычислений нужно фиксировать раздельно. Фраза «четыре бита» не означает, что все данные процесса занимают ровно половину байта на параметр.
Исходная работа QLoRA рассматривает конкретную методику и эксперименты. Опубликованный пример вместимости нельзя автоматически переносить на другую архитектуру, длину входа или пакет своего проекта.
Измерьте полный тренировочный шаг
Проверьте загрузку базы, прямой проход, обратный проход и обновление оптимизатора. Пик может возникнуть позже загрузки. Сохраните максимальную VRAM, RAM, длину последовательности и фактический размер микропакета.
Для условного теста используйте короткий и длинный вход, сначала по одному элементу. Затем меняйте один параметр. Накопление градиентов меняет организацию эффективного пакета, но не делает произвольную последовательность автоматически вместимой. Проверку повторяют после включения выбранных способов экономии памяти.
Разделите техническую вместимость и успешность обучения. Запуск без ошибки памяти подтверждает только выполнение выбранного шага. Для следующего этапа нужны устойчивые повторения, корректное сохранение адаптера и проверка, что обновлялись именно предусмотренные параметры модели.
Оцените полезность результата
Меньший расход памяти имеет смысл вместе с контролем качества и времени обучения. Подготовьте отложенную проверку, сохраните базовый результат и сравните адаптер на одинаковых заданиях. Уменьшение ошибки на обучающих примерах не подтверждает пригодность модели к новой работе.
Полезный контекст дают различия RAM и VRAM и планирование мощности инференса.