# KDA и Attention Residuals в Kimi K3: архитектура текстовой модели

Разбор KDA, Attention Residuals и разреженных экспертов Kimi K3 как отдельных механизмов архитектуры с ограниченной текстовой проверкой.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/kimi-k3-kda-attention-residuals-text/
Language: ru

Kimi K3 сочетает изменения обработки последовательности, передачи информации между глубинами сети и вычисления экспертов. Полезнее разделять эти направления, чем считать каждое архитектурное улучшение ещё одним названием внимания.

## Прочитайте описание опубликованной архитектуры

[Карточка K3](https://huggingface.co/moonshotai/Kimi-K3/raw/main/README.md) описывает модель с 2.8T параметров, построенную на Kimi Delta Attention и Attention Residuals. Также указана схема Stable LatentMoE с выбором 16 экспертов из 896.

Эти факты относятся к разным компонентам. KDA определяет обработку информации последовательности. Attention Residuals определяет вклад представлений разных глубин. Выбор экспертов задаёт участвующие в обработке токена разреженные вычисления. Ни одно обозначение само по себе не предсказывает точности приложения.

## Разделите последовательность и глубину

[Официальный репозиторий](https://github.com/MoonshotAI/Kimi-K3) ссылается на артефакты и технический отчёт. [Технический блог](https://www.kimi.com/en/blog/kimi-k3) объясняет, что Attention Residuals избирательно извлекает представления разных глубин вместо их равномерного накопления.

Это отличается от выбора полезных ранних позиций разговора. Механизм глубины влияет на сочетание промежуточных представлений даже при короткой входной последовательности. И наоборот, длинный вход сам по себе не объясняет полезности передачи между глубинами для конкретного ответа.

## Используйте текстовую цепочку требований

Создайте вымышленную спецификацию с первоначальным правилом, последующим исключением и итоговым вопросом, зависящим от обоих. Например, правило совместимости остаётся действующим, кроме специально названного устаревшего режима.

Попросите итоговое решение со ссылками на соответствующие переданные утверждения. Вся информация должна быть текстовой. Так визуальные возможности модели не вмешиваются в вопрос о поведении её языковой части.

| Механизм | Полезное различие |
| --- | --- |
| KDA | Обработка последовательности, а не вся модель целиком |
| Attention Residuals | Передача представлений между глубинами |
| Разреженные эксперты | Условные вычисления полносвязной части |
| Итоговое поведение задачи | Результат, требующий независимой проверки |

## Не выводите внутреннее устройство из одного ответа

Если модель игнорирует исключение, наблюдается неудача задачи. Ответ не показывает, что причиной стало определённое состояние KDA или остаточное соединение. Видимый результат не является непосредственным измерением внутренних представлений языковой модели.

Аналогично правильное применение исключения не доказывает ненужности полного внимания или одинакового результата любой гибридной модели. Проверка поведения целой модели и архитектурная абляция отвечают на разные исследовательские вопросы.

## Храните архитектуру рядом с доказательствами выбора

Сохраните точное описание checkpoint, ревизию реализации и пример цепочки требований вместе с окончательным ответом. Отделяйте объяснение архитектуры разработчиком от поведения, действительно наблюдавшегося в локальном эксперименте с выбранной моделью.

Материалы помогают выбрать кандидата для текстового рассуждения или длительной работы с кодом. Они не устанавливают универсального прироста пропускной способности, требований памяти или превосходства по количеству выбранных экспертов. Мультимодальные задачи и серверные политики кеширования здесь намеренно не рассматриваются: им нужны собственные входы, механизмы и доказательства приёмки. Сохраняйте эту границу при последующем использовании сравнительного материала.

## Связанные материалы

- [Prefill и decode: какую работу выполняет ваш GPU при инференсе](/ru/journal/llm-prefill-decode/)
- [Пропускная способность памяти для LLM: почему гигабайтов недостаточно](/ru/journal/memory-bandwidth-llm/)