В этом материале
При обучении изменяются параметры модели, при инференсе модель применяется к запросам. Для владельца оборудования различаются не только вычисления, но и требования к доступности и эксплуатации.
Слова «запустить нейросеть» могут обозначать разные задачи. Обучение, дообучение и инференс используют GPU, но требуют разного подхода к планированию ресурса. Если оборудование освободилось после исследовательского проекта, его прежний сценарий не обязательно будет лучшим для нового сервиса.
Обучение и дообучение
Во время обучения параметры модели меняются на основе данных и выбранного процесса оптимизации. Полное обучение большой модели и настройка небольшой части параметров — разные по масштабу задачи. Нельзя назвать единое требование к памяти для любого «обучения LLM».
Для владельца важно знать продолжительность задачи, способ сохранения промежуточного состояния и поведение при остановке. Если запуск нельзя безопасно прервать, нерегулярные окна доступности могут оказаться неудобными.
Инференс
При инференсе подготовленная модель обрабатывает новые запросы. В интерактивном сервисе пользователь ждёт первый токен и завершение ответа, поэтому значение имеют очередь, задержки, ошибки и устойчивость API.
Нагрузка неоднородна: короткий чат, длинный документ и серия запросов с инструментами по-разному используют ресурсы. Испытание должно отражать предполагаемый поток, а не только самый удобный пример.
Как меняются требования к владельцу
Для длительной вычислительной задачи может быть удобен выделенный интервал. Для сервиса с внешними пользователями важна предсказуемость доступности и возможность восстановления. Это не значит, что любой инференс обязан работать круглосуточно: режим зависит от конкретного продукта и соглашения.
Если сервер используется одновременно для исследований, нужно определить приоритеты. Важно понимать не только момент остановки внешнего процесса, но и время освобождения памяти, загрузки нужной модели и проверки готовности окружения.
Почему нельзя переносить результаты напрямую
Сервер, успешно выполнявший обучение, может потребовать другой конфигурации под инференс. И наоборот, хороший результат одиночного запроса не подтверждает пригодность к длительному обучению. Проверяйте конкретные задачи, ограничения памяти и программную совместимость.
Сравнивать стоит по цели: время выполнения исследовательского запуска или качество сервиса для потока запросов. Загрузка GPU сама по себе не является универсальным критерием успеха.
Практические выводы
Текущий фокус проекта — пул машин для LLM-инференса. Мы начинаем с оценки конфигурации и условий использования. Использовать прежнюю среду без проверки не стоит.
Связанные материалы: Какое оборудование подходит для пула LLM-инференса; Как лаборатории оценить свободные GPU-мощности.