В этом материале
BitNet обучается с нативными тернарными весами, а PTQ снижает точность уже обученной модели.
BitNet b1.58 не является обычной моделью, просто преобразованной в меньший файл весов. Нативное низкобитное обучение меняет смысл сравнения с четырёхбитным post-training quantization.
Прочитайте нативное представление
Карточка модели описывает BitNet b1.58 2B4T как обученную с нуля с тернарными значениями весов -1, 0 и +1 и схемой активаций W1.58A8.
Официальная реализация предоставляет специализированный код инференса. Отчёт авторов описывает модель и оценку. Термин one-bit обозначает семейство; документированное тернарное представление точнее предположения о бинарных весах.
У опубликованного checkpoint максимальная длина последовательности 4096 токенов; небольшой размер весов не подтверждает экстраполяции на длинный текст.
Разделите нативное обучение и PTQ
Post-training quantization переводит предобученную модель в представление меньшей точности. Нативное обучение BitNet включает собственную схему квантования в сам процесс обучения. Это разные истории создания артефакта.
При сравнении качества с посторонней четырёхбитной моделью также меняются данные, архитектура и дообучение. Такой опыт не изолирует влияние количества бит. Меньший файл не доказывает усвоения одинакового поведения выбранной задачи.
Выберите правильный опубликованный артефакт
| Артефакт | Документированное назначение |
|---|---|
| Упакованные веса b1.58 | Эффективный инференс предусмотренным путём |
| Master-веса BF16 | Обучение либо последующее дообучение |
| Артефакт GGUF | Совместимый специализированный путь исполнения |
| Другая модель после PTQ | Отдельно определяемый кандидат сравнения |
Явно сохраняйте репозиторий и происхождение конверсии. Метка master не означает, что обычное широкое исполнение автоматически даёт эффективность упакованных тернарных операций модели.
Прочитайте оговорки эффективности среды
Карточка предупреждает об отсутствии оснований ожидать специализированное ускорение от обычного пути Transformers. Распознавание архитектуры и генерация ответа отличаются от использования оптимизированных низкобитных ядер исполнения.
Совместимость нужно проверять для точных реализации и устройства. Нельзя распространять один поддерживаемый путь на любые CPU, GPU или движки. Успешная загрузка, правильность задачи и измеренная эффективность ресурсов являются отдельными результатами проверки.
Оцените ограниченную текстовую задачу
Используйте короткие инструкции и независимо проверенные примеры рассуждения. До обсуждения ресурсов сравните завершённые правильные ответы при объявленных настройках. Ошибки загрузки и незавершённый вывод не должны попадать в необъяснённую среднюю оценку качества.
Храните идентичность артефакта, среду, запрос и доказательства приёмки. Результат обосновывает нативного low-bit кандидата данной нагрузке. Он не устанавливает общего превосходства над PTQ, автоматического ускорения любой библиотеки или корректного архитектурного сравнения с иначе обученной моделью. Количество бит описывает часть представления; полная модель и путь исполнения определяют реальный предмет оценки. Сохраняйте это различие и при последующей проверке других упакованных форматов, а также при смене собственной аппаратной платформы.