В этом материале
Распаковка квантованных весов Kimi в BF16 не восстанавливает отдельно сохранённые исходные master-веса.
Kimi K2 Thinking использует нативное квантование INT4 в опубликованном артефакте. Распаковка такого представления в более широкий dtype не равнозначна восстановлению отдельно сохранённого исходного checkpoint высокой точности.
Уточните значение нативного INT4
Карточка модели описывает quantization-aware training на этапе дообучения и weight-only INT4 для компонентов MoE. Это конкретнее утверждения, будто каждый тензор всей модели хранится с четырьмя битами.
Checkpoint опубликован в формате compressed-tensors. Представление содержит сведения, необходимые для трактовки квантованных значений, а не только неразличимый массив целых чисел. Конфигурацию модели и метаданные квантования нужно сохранять вместе с самими весами.
Отделите разрядность хранения от восстановленной информации
Распаковка превращает сохранённое представление в значения, которые может использовать другая реализация. На выходе возможны FP8 или BF16, но широкий контейнер не воссоздаёт информацию, не сохранённую при квантовании модели.
Разные исходные значения способны переходить в одинаковое квантованное представление. Его последующее расширение не определяет, какое первоначальное значение существовало. QAT может обучить модель хорошо работать с квантованными весами, но не превращает эту информационную границу в обратимое сжатие любых master-весов.
Определите сравниваемый артефакт
| Артефакт | Что он представляет |
|---|---|
| Опубликованный нативный INT4 | Выпущенное квантованное представление модели |
| Распакованное представление FP8 | Более широкие значения, полученные из квантованного артефакта |
| Распакованное представление BF16 | Другое широкое представление сохранённых значений |
| Независимо сохранённые master-веса | Отдельный артефакт с собственным происхождением |
Руководство развёртывания приводит примеры для checkpoint и предупреждает об изменении движков. Увеличение размера файла после распаковки не доказывает усиления модели и не воспроизводит другой эталонный checkpoint.
Читайте качество отдельно от среды исполнения
Карточка сообщает о проведении оценки в INT4. Это результаты разработчика при условиях опубликованной модели, а не доказательство идентичного воспроизведения любой последующей конверсией и backend.
Официальный репозиторий K2 содержит материалы семейства. При локальной конверсии сопоставьте ревизию источника, метаданные и поведение вывода. Если код отличается, сначала проверьте выполнение одинаковых требований обоими ответами. Другая последовательность токенов тоже способна быть правильной.
Подготовьте протокол происхождения
Укажите исходный checkpoint, реализацию преобразования, целевой dtype и сохранённые метаданные квантования. Явно разделите распаковку одного артефакта и проверку независимо полученных master-весов модели высокой точности.
Для поведения приложения используйте ограниченные примеры кода и рассуждения после конверсии. Совместимость загрузки и правильность задачи учитывайте отдельно. Такой протокол не позволяет превращать метку BF16 в неподтверждённое обещание восстановленной исходной точности, отсутствия потерь, универсальной поддержки движками либо предсказуемой скорости инференса. Именно происхождение значений определяет корректность сравнения.