В этом материале
Инференс — выполнение уже подготовленной модели на новых запросах. GPU обеспечивает вычисления, но полноценному сервису также нужны API, сеть, контроль доступа и эксплуатация.
Когда пользователь отправляет сообщение языковой модели и получает ответ, происходит инференс. Сервис применяет уже подготовленную модель к новому запросу. Это отдельный этап жизненного цикла модели: для каждого ответа не нужно заново проводить её полное обучение.
Для владельца сервера это означает, что оборудование можно рассматривать как часть работающего сервиса, а не только как инструмент исследовательской команды.
Путь от сообщения до ответа
Сначала текст превращается в последовательность токенов. Токен может соответствовать части слова, целому слову или другому фрагменту текста. Затем модель обрабатывает входную последовательность и создаёт ответ. Точное количество токенов зависит от токенизатора конкретной модели, поэтому количество символов нельзя всегда переводить в токены одним коэффициентом.
Для оператора важно различать обработку входного контекста и последовательную генерацию ответа. Длинный документ и короткий вопрос с длинным ответом создают разные профили нагрузки даже при похожем общем числе токенов.
Зачем используется GPU
Языковая модель выполняет большие объёмы операций над числовыми массивами. GPU подходят для таких вычислений, но их пригодность зависит от памяти, архитектуры и поддерживаемого программного окружения. Сам факт наличия видеокарты не гарантирует подходящей скорости или экономики.
Помимо весов модели память нужна рабочим данным запросов. Поэтому модель, которая загрузилась на GPU, ещё не обязательно сможет обслуживать нужный контекст и несколько пользователей одновременно. Этот вопрос подробнее разобран в материале о VRAM.
Что добавляет оператор
Рабочий сервис объединяет несколько элементов:
- модель и совместимый движок выполнения;
- интерфейс приёма запросов и выдачи ответов;
- управление доступом и ограничениями нагрузки;
- наблюдение за ошибками и производительностью;
- процедуру обновления и восстановления после сбоев.
Например, vLLM предоставляет сервер с совместимым API для обслуживания моделей. Наличие такого сервера само по себе не решает задачи коммерческой эксплуатации.
Практические выводы
GPU-пул объединяет вычислительные узлы и программную инфраструктуру для обслуживания моделей. Продажа инференса через внешнюю платформу требует отдельного подключения провайдера.
Если вы выбираете между исследовательской и сервисной нагрузкой, прочитайте сравнение инференса и обучения.