Бенчмарки vLLM Humming: от быстрого ядра до полного запроса

Бенчмарк ядра может быть точным и при этом отвечать на более узкий вопрос, чем требуется команде приложения. Humming удобен для ретроспективы, поскольку квантованные вычисления находятся внутри более длинного пути обслуживания. Чтобы понять предпосылки релиза, нужно проследить переход от изолированной арифметики к нагрузкам с очередями, меняющимся контекстом и совместным использованием памяти.

Путь к событию

• 2023-09-12: Efficient Memory Management for LLM Serving with PagedAttention.

• 2023-12-12: SGLang: Efficient Execution of Structured Language Model Programs.

• 2026-10-21: Announcing Humming: Fast,Flexible Kernels for Quantized Inference.

История обслуживания расширила границу измерения

PagedAttention и SGLang сделали состояние запросов и выполнение программ отдельными предметами исследования ещё до этого анонса. Связь здесь контекстная: опубликованные ускорения ранних систем нельзя переносить на Humming. Когда допуск запросов и повторное использование состояния влияют на полезную пропускную способность, измерение матричной операции уже не характеризует сервис целиком. Наша интерпретация состоит в том, что библиотеки ядер стали важнее именно благодаря зрелости окружающего стека: стало яснее, где арифметика остаётся существенной. Узкое измерение полезно, если его граница остаётся видимой и при формулировке итогового вывода о продукте.

После ускорения ограничение может переместиться

Представим условный сервис, где до оптимизации заметное время занимают квантованные линейные операции. Сокращение этого времени способно сделать следующим ограничением внимание, обмен данными или планирование запросов. Пример не предполагает конкретного ускорения. В рассуждении важно учесть работу, которая не изменилась. График сравнения ядер описывает операцию в выбранных условиях; утверждение о задержке ответа дополнительно требует знать состав всех операций и ожидание пользователя. Без этого выигрыш отдельного участка легко превратить в обещание, которое эксперимент никогда не проверял и которое может не воспроизводиться при другой нагрузке.

Поступление запросов является частью эксперимента

В предлагаемом сравнении следует сохранять checkpoint, набор входов, ограничения ответа и оборудование, отдельно описывая поступление запросов и конкурентность. Полезно различать работу запуска и прогретое выполнение, а также учитывать неуспешные запросы вместе с завершёнными. Это методические предложения, а не результаты Retrivium. Короткие независимые входы создают иной баланс, чем длинный диалог с общими префиксами. Если между запусками меняется нагрузка, более привлекательный результат может означать другую задачу, а не более быстрое решение прежней. Сохранение условий делает сравнение проверяемым для следующего исследователя или инженера инфраструктуры.

Вывод должен сохранять уровень результата

Релиз описывает квантованные ядра и более широкие эксперименты инференса; каждому результату нужны собственные условия. Содержательная ретроспектива не превращает их в универсальный рейтинг движков. Вместо этого она спрашивает, какое инженерное препятствие помогает объяснить измерение. Данные об операции обосновывают дальнейшую интеграцию, а данные о запросах помогают выбирать развёртывание для указанной нагрузки. Такое разделение позволяет последующим читателям обновить вывод при изменении архитектуры модели, программ обслуживания или трафика, сохранив понимание исходного технического вклада и не приписывая ему заранее заданного выигрыша для любого сценария.

Связанный технический контекст

Технические предпосылки подробнее разобраны в материалах методике бенчмарков инференса и неопределённости результатов бенчмарков.