# Локальность кэша и справедливость арендаторов могут конфликтовать

llm-d 1.0 соединил serving с учётом кэша и управление справедливостью. Эффективность повторного использования и политика распределения решают разные задачи.

Автор: Редакция Retrivium
Language: ru
Разбор опубликован: 2026-11-03
Дата события: 2026-10-20
Первоисточник новости: https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference
Канонический URL: https://retrivium.ai/ru/retrospectives/retro-llmd-cache-fairness/

Маршрутизатор с учётом кэша и справедливая политика допуска могут предпочитать разные назначения или моменты исполнения. llm-d 1.0 сделал это напряжение явным, добавив управление приоритетом и справедливостью в стек, который уже занимался эффективностью распределённого инференса. Полезное повторное использование состояния не является полной политикой распределения общего сервиса.

## Повторное использование было ранней мотивацией

[Объявление проекта 20 мая 2025 года](https://llm-d.ai/blog/llm-d-press-release) представило направление распределённого serving llm-d. [Публикация GKE 9 апреля 2025 года](https://cloud.google.com/blog/products/containers-kubernetes/how-gke-powers-ai-innovation) дала более ранний контекст шлюза. Эти разработки сделали размещение запросов задачей платформы вместо слепого поступления трафика каждому отдельному обработчику независимо от его состояния.

Локальность кэша способна избежать повторной работы, когда полезное состояние уже находится у назначения. Это создаёт разумное предпочтение, но не полное правило совместного использования сервиса нагрузками с разной срочностью или правами. Причина экономии вычислений не определяет автоматически порядок обслуживания пользователей.

## Дополнительное измерение политики

[Статья о llm-d 1.0 от 20 октября 2026 года](https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference) описывает приоритет, справедливость и управление потоком рядом с функциями кэша и распределённого serving. Поэтому релиз расширяет цель за пределы выбора назначения с привлекательной возможностью повторного использования состояния.

Различие важно: эффективность и политика распределения отвечают на разные вопросы. Повторное использование префикса уменьшает повторную обработку, но не решает, должен ли интерактивный запрос ждать за крупным фоновым потоком, который случайно использует тот же префикс и занимает удобное для кэша назначение.

## Условный случай конкуренции

Представим фоновую оценку моделей и интерактивного помощника с пересекающимся контекстом. Маршрутизатор видит полезное состояние кэша рядом с фоновой работой. Отправка всего туда может поддержать повторное использование, одновременно концентрируя очереди. Слепое распределение, напротив, способно отбросить кэш, не решая вопрос политики допуска.

Пример не задаёт вымышленных длин очередей или выигрышей производительности. Его цель — раскрыть конкурирующие задачи. Полезное решение должно учитывать состояние ресурсов и политику, которая определяет, какая работа получает внимание при конкуренции за ёмкость. Один удачный сигнал не заменяет эту связь.

## Политика и наблюдение остаются разными

| Слой | Роль |
| --- | --- |
| Сигнал повторного использования | Описывает потенциально полезное состояние |
| Наблюдение очереди | Описывает текущую ожидающую работу |
| Политика приоритета | Устанавливает предпочтение работы |
| Управление справедливостью | Ограничивает распределение общего сервиса |

Наблюдения автоматически не выбирают политику. Низкоуровневая метрика не подскажет оператору, какое клиентское обещание или внутренний класс задач заслуживает приоритета. Декларация политики, в свою очередь, не создаёт ёмкость и не гарантирует хорошего размещения, если использованный сигнал успел устареть к моменту решения.

## Как это меняет прочтение релиза

Причинная интерпретация состоит в потребности оптимизации кэша в явной системе совместного распределения по мере развития стека. llm-d 1.0 значим тем, что рассматривает эффективность и распределение связанными, но отдельными измерениями. Универсальной лучшей политики маршрутизации из объявления не следует даже для похожих нагрузок.

Материал [экономика KV-кэша](/ru/journal/kv-cache-economics/) объясняет ресурс повторного использования. Статья [пропускная способность и задержка](/ru/journal/throughput-latency-tradeoff/) показывает разные цели нагрузок. Вместе они объясняют, почему горячий кэш является подтверждением для решения, а не единственным основанием судьбы каждого запроса.