Общая память vllm-metal: зачем конкурентному инференсу свободный запас

Локальный запуск модели и конкурентное обслуживание запросов ставят разные эксплуатационные вопросы. Анонс vllm-metal делает различие наглядным для Apple Silicon. В ретроспективе существенен перенос управления состоянием запросов в среду, где модель делит память с операционной системой и обычными приложениями. Запуск на настольной машине не означает, что сервер может считать всю её память исключительно собственной.

Путь к событию

• 2023-09-12: Efficient Memory Management for LLM Serving with PagedAttention.

• 2023-12-12: SGLang: Efficient Execution of Structured Language Model Programs.

• 2026-09-22: Announcing vllm-metal: Concurrent Serving on AppleSilicon.

Ранней проблемой было растущее состояние запросов

PagedAttention обозначил рост состояния запросов как проблему памяти обслуживания; SGLang позднее исследовал выполнение и повторное использование состояния программ языковых моделей. Эти работы дают исторический контекст, а не полную генеалогию реализации Metal. Наша интерпретация заключается в том, что доступные локальные модели постепенно сделали пересекающиеся запросы обычным явлением. После этого размещение весов становится только начальным условием. Сервису нужна политика для состояния, растущего после допуска запроса. Для пользователя недостаток такой политики выражается в ожидании, ошибках либо нарушении работы других приложений, хотя сама модель ранее успешно загрузилась и ответила на пробный вопрос.

Совместное использование меняет конкуренцию за бюджет

В релизе описывается бюджет памяти обслуживания с запасом для остальной среды. Полезная мысленная модель здесь — общий ресурс с несколькими потребителями, а не неограниченное расширение памяти ускорителя. Условный настольный компьютер может чередовать инференс с другим приложением, активно использующим память. Доступный запас меняется даже при неизменном checkpoint. Это рассуждение не устанавливает измеренного замедления. Оно объясняет, почему настройку, подходящую почти свободной машине, нельзя автоматически рекомендовать для рабочей станции смешанного назначения. Для такой рекомендации необходимо описать, какая ещё работа выполняется и как меняется доступная ёмкость во времени.

Допуск должен учитывать последующий рост

В предлагаемом тесте можно смешать короткие запросы с диалогами, продолжающимися дольше. При неизменных параметрах модели и ответа следует записывать, ждёт ли запрос ресурса, запускается сразу или завершается ошибкой. Это предложения проверки, а не бенчмарки Retrivium. Допуск означает обязательство обработать жизненный цикл запроса, а не только возможность выполнить его первую операцию. Очередь может сознательно защищать такое обязательство. Стоимость ожидания должна попадать в воспринимаемую пользователем задержку, а не исчезать из отчёта, ограниченного уже исполняемыми запросами. Иначе комфортная работа сервиса будет оцениваться по неполной границе наблюдения.

Исторический вывод касается языка описания ёмкости

Анонс важен потому, что локальный инференс всё чаще участвует в более широком программном процессе. Общая память описывает архитектуру, но сама по себе не обещает безопасную конкурентность. Полезное утверждение о ёмкости поэтому называет артефакт модели, конфигурацию обслуживания, конкурирующую работу машины и состав запросов. Так результат остаётся понятным, когда компьютер меняет назначение. Кроме того, успешная демонстрация загрузки модели перестаёт смешиваться с устойчивым режимом сервиса. Различие сохраняет значение и при увеличении объёма памяти будущих машин: важно не только наличие ресурса, но и правила его использования во время работы.

Связанный технический контекст

Технические предпосылки подробнее разобраны в материалах ёмкости для длинного контекста и непрерывному объединению запросов.