В этом разборе
Оценки издателя, наблюдения API и локальные воспроизведения атрибутируют отдельно до сравнения выводов.
Заявленный benchmark preview Mistral Large4 и независимо воспроизведённый результат являются разными видами свидетельств, даже когда относятся к одному названию задачи.
Три уровня свидетельств
Издатель объявляет оценку, исследователь наблюдает ответ API, оператор воспроизводит определённый артефакт локально: уровни связаны, но не взаимозаменяемы. Каждый раскрывает разные части процедуры и оставляет разные предположения вне прямого контроля наблюдателя. Поэтому перед сравнением чисел нужно определить происхождение результата, а не считать все публикации равными только по знакомому имени используемого набора задач.
Историческое место preview
Анонс preview предшествует стадии весов, а более ранние публикация Mistral3 и анонс Voxtral устанавливают контекст программы. Прежняя скачиваемость других моделей не превращает объявленные оценки preview в локально воспроизводимые эксперименты. Для этого нужны материалы именно рассматриваемого пути, а не общая репутация издателя или факт открытого распространения отдельного исторически связанного артефакта с другими задачами и условиями исполнения.
Различие не требует отбрасывать опубликованные результаты: явно атрибутированное измерение производителя полезно как самостоятельное свидетельство. Оно становится вводящим в заблуждение после потери атрибуции, когда представлено собственным наблюдением, которого автор не проводил. Точная подпись сохраняет ценность исходной публикации и одновременно не усиливает её до независимого подтверждения всех заявленных условий другой системой или другим исследовательским процессом.
Пример названия benchmark
Представим внешнюю проверку поднабора задач через API preview, отличающуюся выбором заданий, запросом, политикой выхода или оценкой. Общее имя набора не устанавливает тождество остальных условий, поэтому разница с объявленным результатом сама по себе ещё не определяет причину. Сначала нужно понять, какие элементы процедуры действительно повторены и какие были намеренно либо случайно заменены в новом опыте.
Перед объяснением разницы качеством определяют реально повторённую процедуру, сохраняя отсутствующие детали явно неизвестными. Необъяснённый разрыв мотивирует исследование, но не устанавливает причину в модели, сервисе или оценочном инструменте. Такое ограничение не мешает обсуждать результат: оно предотвращает слишком сильный вывод и помогает выбрать следующую проверку, которая действительно различит оставшиеся альтернативные объяснения наблюдаемого расхождения между двумя опубликованными оценками.
Граница воспроизведения
API-опыт повторяем на клиентском уровне при сохранённых запросах и оценке, оставаясь зависимым от состояния сервиса, которое оператор не фиксирует самостоятельно. Ограничение следует указать без обесценивания наблюдений и без предположения, что единственным возможным видом полезного свидетельства являются локальные веса. Здесь важна точность описания доступного контроля, а не формальная иерархия способов доступа независимо от исследуемого вопроса.
Скачивание весов, наоборот, не повторяет опубликованный benchmark автоматически: нужны конфигурация, версия задач и процедура приёмки. Доступ к артефакту устраняет одну неопределённость, оставляя другие для проверки. Поэтому последующая публикация может существенно улучшить воспроизводимость, не гарантируя немедленного совпадения результата: новый оператор ещё должен восстановить существенные условия сравнения и не подменять отсутствующие детали собственными удобными настройками исполнения модели.
Ретроспективный вывод
Preview расширил проверку поведения при отдельной стадии полного воспроизведения артефакта, изменив доступные свидетельства, а не устранив любую неопределённость. Такое описание признаёт реальную ценность раннего интерфейса и сохраняет основания для последующей более контролируемой проверки. Оно также не превращает обещанную доступность файлов в доказательство, будто все результаты производителя уже независимо подтверждены на любом выбранном исполнителе и наборе входов.
Вывод помечает происхождение каждого результата: оценки издателя, наблюдения API и локальные воспроизведения полезны с видимыми процедурами и границами. Объединение их одним недифференцированным баллом ослабляет объяснение вместо усиления. Для ретроспективы важно показать, как менялась проверяемость заявления, сохраняя различие между появлением новой возможности исследования и фактически выполненным опытом, чей результат действительно доступен читателю для самостоятельной оценки.
Дополнительный разбор: Воспроизводимый стек инференса: как сохранить результат GPU-пилота; GPU-хостинг для мультимодальных моделей: считайте не только текст.