# Kimi K2 Thinking INT4: нативный QAT и распакованные веса

Как читать нативный INT4 QAT и compressed-tensors Kimi K2 Thinking, отличая распакованные широкие веса от исходного master-checkpoint.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/kimi-k2-native-int4-vs-unpacked-weights/
Language: ru

Kimi K2 Thinking использует нативное квантование INT4 в опубликованном артефакте. Распаковка такого представления в более широкий dtype не равнозначна восстановлению отдельно сохранённого исходного checkpoint высокой точности.

## Уточните значение нативного INT4

[Карточка модели](https://huggingface.co/moonshotai/Kimi-K2-Thinking) описывает quantization-aware training на этапе дообучения и weight-only INT4 для компонентов MoE. Это конкретнее утверждения, будто каждый тензор всей модели хранится с четырьмя битами.

Checkpoint опубликован в формате compressed-tensors. Представление содержит сведения, необходимые для трактовки квантованных значений, а не только неразличимый массив целых чисел. Конфигурацию модели и метаданные квантования нужно сохранять вместе с самими весами.

## Отделите разрядность хранения от восстановленной информации

Распаковка превращает сохранённое представление в значения, которые может использовать другая реализация. На выходе возможны FP8 или BF16, но широкий контейнер не воссоздаёт информацию, не сохранённую при квантовании модели.

Разные исходные значения способны переходить в одинаковое квантованное представление. Его последующее расширение не определяет, какое первоначальное значение существовало. QAT может обучить модель хорошо работать с квантованными весами, но не превращает эту информационную границу в обратимое сжатие любых master-весов.

## Определите сравниваемый артефакт

| Артефакт | Что он представляет |
| --- | --- |
| Опубликованный нативный INT4 | Выпущенное квантованное представление модели |
| Распакованное представление FP8 | Более широкие значения, полученные из квантованного артефакта |
| Распакованное представление BF16 | Другое широкое представление сохранённых значений |
| Независимо сохранённые master-веса | Отдельный артефакт с собственным происхождением |

[Руководство развёртывания](https://huggingface.co/moonshotai/Kimi-K2-Thinking/blob/main/docs/deploy_guidance.md) приводит примеры для checkpoint и предупреждает об изменении движков. Увеличение размера файла после распаковки не доказывает усиления модели и не воспроизводит другой эталонный checkpoint.

## Читайте качество отдельно от среды исполнения

Карточка сообщает о проведении оценки в INT4. Это результаты разработчика при условиях опубликованной модели, а не доказательство идентичного воспроизведения любой последующей конверсией и backend.

[Официальный репозиторий K2](https://github.com/MoonshotAI/Kimi-K2) содержит материалы семейства. При локальной конверсии сопоставьте ревизию источника, метаданные и поведение вывода. Если код отличается, сначала проверьте выполнение одинаковых требований обоими ответами. Другая последовательность токенов тоже способна быть правильной.

## Подготовьте протокол происхождения

Укажите исходный checkpoint, реализацию преобразования, целевой dtype и сохранённые метаданные квантования. Явно разделите распаковку одного артефакта и проверку независимо полученных master-весов модели высокой точности.

Для поведения приложения используйте ограниченные примеры кода и рассуждения после конверсии. Совместимость загрузки и правильность задачи учитывайте отдельно. Такой протокол не позволяет превращать метку BF16 в неподтверждённое обещание восстановленной исходной точности, отсутствия потерь, универсальной поддержки движками либо предсказуемой скорости инференса. Именно происхождение значений определяет корректность сравнения.

## Связанные материалы

- [Квантизация LLM: как проверить качество перед выбором GPU](/ru/journal/quantization-quality/)
- [ModelOpt checkpoint: как проверить scales, calibration и export metadata](/ru/journal/modelopt-quantized-checkpoint-provenance/)