В этом разборе
Разреженная активация описывает выбранную работу, а полные артефакты экспертов и их размещение задают отдельную задачу памяти.
Разреженные вычисления LFM2.5-24B-A2B не устраняют полный набор весов, поэтому активным экспертам и размещённым артефактам нужен отдельный учёт.
Содержание архитектурного анонса
Анонс релиза определяет гибридную модель со смесью экспертов. В конкретном вычислении участвуют выбранные эксперты, а опубликованный артефакт содержит параметры для разных решений маршрутизации. Активная часть поэтому не описывает всё, что среда исполнения должна хранить или сделать доступным. Избирательность работы и полнота необходимого состояния являются связанными, но разными характеристиками устройства модели.
Предыдущий контекст семейства
Более ранние гибридная модель и компактная модель устанавливают предшествующее локальное направление. Это хронология, а не гарантия одинаковых требований размещения каждого участника семейства. Новому релизу нужен собственный перечень ресурсов вместо вывода о памяти, унаследованного от меньшего или иначе устроенного предшественника. Общая программа разработки не делает аппаратные ограничения всех её артефактов одинаковыми.
В кратких характеристиках различие легко теряется. Выделение активных вычислений объясняет арифметическую работу, но вопрос развёртывания включает неактивных экспертов, которые потребуются следующему токену или другому запросу. Поэтому одно число не может одновременно обозначать объём выбранной работы и полный набор состояния, необходимого для обслуживания разнообразной последовательности обращений к модели в работающем приложении.
Пример смены запросов
Представим последовательные запросы с обращением к разным частям модели. Оценка выделения только по первому выбранному вычислению пропустит состояние следующего. Успешный изолированный ответ не устанавливает достаточность предложенного размещения для смеси запросов. Такой опыт подтверждает конкретный пройденный путь, но не охватывает все возможные решения маршрутизации, которые встретятся в дальнейшем при обслуживании иной входной последовательности.
Нужно разделять сохранённое представление весов, размещение и временное состояние исполнения. Это связанные перечни с разными владельцами. Сжатие меняет хранение, выгрузка меняет размещение; ни один вывод не следует только из наблюдения разреженной активации. В записи эксперимента полезно обозначить, какая именно стратегия применялась, чтобы последующая интерпретация не приписывала архитектуре решение, выбранное конкретной реализацией выполнения.
Выгрузка является дополнительной стратегией
Реализация может размещать состояние вне памяти ускорителя, добавляя путь доступа и передачи. Это конкретная стратегия исполнения с документированной поддержкой, а не автоматическое следствие названия архитектуры. Сама архитектура не выбирает оптимальную политику размещения. Наличие разреженной активации не устанавливает ни стоимость обращения к удалённому состоянию, ни пригодность выбранного пути для каждой последовательности запросов и режима обслуживания.
При отказе определяют ограничение: загрузка, доступ к выбранному эксперту или переменное состояние запроса. Если любой отказ называть недостатком памяти активных параметров, разные причины окажутся скрыты, а исправление станет менее точным. Диагностика должна связывать наблюдаемое событие с конкретным этапом, прежде чем обсуждать замену оборудования, другое представление весов или пересмотр политики размещения и допуска запросов.
Ретроспективное следствие
Релиз расширяет выбор разреженных моделей и одновременно провоцирует ошибочные сокращения расчёта памяти. Полезный ответ состоит не в догадке о размещении, а в различении активных вычислений, полного артефакта и выбранного расположения. Такая структура объяснения сохраняет реальные свойства модели без обещания запуска на машине, для которой не проверены необходимые условия конкретного пути исполнения.
Это поддерживает честное сравнение развёртываний без выдуманного аппаратного результата. Избирательные вычисления могут сочетаться со значительным общим состоянием; для объяснения релиза нужно признавать оба свойства. Тогда архитектурное преимущество не превращается в неверное тождество объёма активной работы и полной памяти, которую требуется предусмотреть для загрузки и дальнейшего обслуживания модели в реальной системе.
Дополнительный разбор: RAM и VRAM: какую память считать при выборе AI-сервера; Пропускная способность памяти для LLM: почему гигабайтов недостаточно.