N-gram speculation в vLLM: когда обходиться без draft-модели

N-gram speculation в vLLM предлагает продолжения из совпадений внутри промпта и не требует отдельной draft-модели. Такой путь стоит проверять на задачах с повторяющимся или копируемым текстом. Он не гарантирует выигрыш для свободного сочинения. Решение принимают по полной задержке и поведению обслуживания, сопоставляя стоимость поиска кандидатов с количеством реально полезных предложений на выбранном наборе запросов.

Откуда берутся кандидаты

Вместо дополнительных весов используется история входной последовательности: найденное совпадение подсказывает возможное продолжение. Документация vLLM показывает ngram метод через speculative-config. Target по-прежнему должна проверить кандидатов; отсутствие draft checkpoint не означает отсутствия накладных расходов. Если текущий текст не похож на предыдущие фрагменты, источник подходящих предложений может быть бедным. Это свойство workload, а не доказательство неисправности движка или недостаточной памяти GPU.

Задайте границы поиска

Справочник speculative configuration описывает параметры n-gram lookup и числа предлагаемых токенов. Сохраните их вместе с версией runtime и точным prompt. Не переносите параметры из примера отдельной draft LLM: это другой механизм предложения. Для начального эксперимента меняйте один размер поиска или число кандидатов за раз, сохраняя остановку и sampling неизменными. Увеличение поиска способно добавить работу и не обязано дать больше полезных совпадений на конкретных документах.

Сценарий редактирования документа

Возьмите небольшой текст и попросите исправить несколько указанных слов, сохранив остальное. Рядом подготовьте запрос на новый рассказ без исходного документа. Это два диагностических профиля, а не заранее известный результат ускорения. Для каждого сравните выполнение без speculation и с ngram методом. Запишите длину входа, фактический вывод, время ответа и доступные показатели принятия кандидатов. Большой выигрыш только на редактировании нельзя объявлять общим ускорением модели для всех пользователей и всех типов запросов.

Отделите метод от prefix caching

Prefix cache повторно использует вычисления уже известного входного префикса. N-gram speculation предлагает будущие токены вывода и требует их проверки. Чтобы исследовать метод, держите состояние префиксного кэша сопоставимым между запусками или явно разделите холодные и прогретые серии. Иначе сокращение prefill легко ошибочно приписать speculation. Также контролируйте фактическую длину ответа: сохранение большего количества исходного текста меняет объем decode работы, который нельзя игнорировать при сравнении общей задержки.

Как оформить ограниченный вывод

Сохраните dataset, revisions, конфигурацию поиска и отдельные результаты двух профилей. Укажите, какая часть задач содержит повторения, и покажите не только среднее, но и случаи ухудшения. Если механизм помогает лишь определенной операции редактирования, ограничьте вывод этой операцией. Проверяйте качество и эквивалентность задачи независимо от времени: быстрое сокращенное изложение не заменяет требуемый полный документ. При обновлении движка повторите fixtures, потому что схема конфигурации и реализация метода могут меняться. Итоговый документ должен отвечать на практический вопрос, где поиск продолжения из промпта оправдан, и сохранять возможность отказаться от него там, где стоимость поиска или проверки превышает полезный эффект. Никаких универсальных коэффициентов ускорения из названия метода вывести нельзя.

Связанные материалы

Prefill и decode: какую работу выполняет ваш GPU при инференсе; Бенчмарк GPU для инференса, которому можно доверять.