Запуск vLLM TorchTPU: компиляция и обслуживание относятся к разным фазам

За знакомой командой обслуживания может скрываться новая фаза подготовки. Анонс TorchTPU удобен как историческая точка для понимания этого различия. Код, определяющий модель, способен использоваться повторно, хотя исполняемые графы всё ещё зависят от backend, настроенных форм и условий запуска worker. Внешнее сходство интерфейса не делает первый запуск эквивалентным уже прогретой работе.

Путь к событию

• 2023-09-12: Efficient Memory Management for LLM Serving with PagedAttention.

• 2023-12-12: SGLang: Efficient Execution of Structured Language Model Programs.

• 2026-10-20: Introducing vLLM TorchTPU.

Ранние работы изучали прежде всего работающий сервис

PagedAttention и SGLang описали влияние организации состояния и политики выполнения на действующий сервис языковой модели. Они дают контекст, но не измеренную базовую линию для нового backend. Наша ретроспективная интерпретация состоит в том, что по мере стабилизации интерфейса обслуживания переносимость всё чаще перемещала работу ниже этого интерфейса. Пользователь узнаёт жизненный цикл запроса, хотя подготовка выполнения существенно меняется. Поэтому одинаковая операция приложения может потребовать другого определения эксплуатационной готовности при переходе от привычного ускорителя к компилируемому backend. Совместимость снаружи не означает тождественного процесса подготовки внутри системы.

Компиляции нужна явно названная фаза

Релиз TorchTPU описывает компиляцию графов при первоначальном запуске и кеш повторного использования подготовленных артефактов. Это устанавливает различие фаз, но не универсальную длительность запуска. В условном развёртывании подготовка может происходить до приёма трафика, а в другом — во время запуска замены worker. Оба подхода способны быть обоснованными. Утверждения о задержке становятся сравнимыми только при явной границе наблюдения. Время после готовности нельзя одновременно представлять как время, необходимое новому worker для достижения готовности. Иначе одинаковое слово обозначает разные эксплуатационные события, а результат сравнения теряет практический смысл.

Важна идентичность кеша, а не только его наличие

Предлагаемая запись проверки должна сохранять ревизию модели, программный backend, существенные формы и сведения о наличии скомпилированных артефактов перед запуском. Это предложение эксперимента, а не измерение Retrivium. Указания каталога кеша недостаточно, если содержимое получено для другой конфигурации. Эксперимент перезапуска должен объяснять, использовались ли совместимые артефакты либо выполнялась новая подготовка. Такая информация отделяет воспроизводимость от обещания оптимизации и помогает исследовать изменения после обновления программ. Без неё единичная задержка слишком легко получает удобное, но не проверенное объяснение о поведении всей системы инференса.

Для развёртывания нужны оба режима наблюдения

Тест прогретой пропускной способности помогает оценивать устойчивую работу, а тест запуска — замену, масштабирование и восстановление. Эти виды данных не подменяют друг друга. Историческая значимость backend поэтому шире совместимости исходного кода: ещё один способ подготовки выполнения входит в общий интерфейс обслуживания. Содержательная ретроспектива сохраняет различие и предлагает измерять обе фазы при указанных условиях. Она не превращает удачный прогретый пример в обещание времени восстановления и не считает стоимость компиляции доказательством постоянной медлительности обычных запросов. Для вывода требуется понимать, какая именно часть жизненного цикла наблюдалась и когда начинался отсчёт времени.

Связанный технический контекст

Технические предпосылки подробнее разобраны в материалах воспроизводимым конфигурациям программ и границам измерений инференса.