В этом материале
Devstral 2 и Small 2 нужно сравнивать по полным связанным изменениям вместо одной изолированной функции.
Devstral 2 и Devstral Small 2 являются опубликованными кодовыми моделями для инженерной работы. Практическое сравнение должно использовать изменение нескольких файлов вместо единственной сгенерированной функции.
Определите два артефакта
Карточка крупной модели определяет Devstral 2 123B Instruct 2512. Карточка Small 2 определяет вариант 24B. Выбранные карточки описывают артефакты инструкций FP8, поэтому другая сторонняя конверсия создаёт отдельное условие сравнения.
Объявление релиза представляет обе модели и описывает оценку программирования. Опубликованные результаты остаются связанными с harness разработчика. Они не устанавливают, какая модель завершит конкретное внутреннее изменение библиотеки.
Используйте связанную миграцию интерфейса
Возьмите вымышленную библиотеку, где функция начинает возвращать явный объект результата вместо неоднозначного пустого значения. Изменение затрагивает саму функцию, вызывающие участки, тесты и пример использования.
Правильная реализация обновляет все связанные пути доступа. Создание объекта без исправления прежних проверок пустого значения у потребителей не завершает миграцию. Изменение постороннего публичного поведения тоже нарушает исходное требование задачи.
Задайте карту приёмки файлов
| Назначение файла | Нужное изменение или инвариант |
|---|---|
| Определение функции | Формировать новое представление результата |
| Вызывающий код | Явно обрабатывать успех и неудачу |
| Тесты | Покрывать обе ветви без ослабления прежних гарантий |
| Пример | Правильно использовать принятый интерфейс |
| Посторонний модуль | Не изменяться без необходимой зависимости |
Передайте обеим моделям одинаковые начальную структуру и содержимое файлов. Используйте допустимый формат каждого checkpoint, не навязывая ошибочную одинаковую сериализацию запроса.
Разберите кажущийся успех
Патч может применяться без конфликтов, одновременно пропуская одного потребителя. Перед поведенческими тестами выполните подходящий поиск по исходникам либо проверку типов вымышленного интерфейса. Итоговое заявление об обновлении всех вызовов не доказывает фактического выполнения.
При дополнительных изменённых файлах установите их необходимость для миграции. Лишние правки способны увеличить область проверки без улучшения приёмки. Отдельно учитывайте незавершённый патч и полный, но несогласованный результат работы модели.
Выбирайте по полному инженерному результату
Запишите ревизии checkpoint, формат артефактов, требования, доступные исходники и окончательный diff. Раздельно сравните принятые миграции, пропущенные зависимости, регрессии и незавершённые попытки. Рядом храните фактические наблюдения тестов каждой проверки.
Полезный вывод может поддержать меньший либо больший вариант для данного процесса или показать несущественное различие выбранных примеров. Он не устанавливает универсальной эффективности параметров, гарантированного размещения на локальном оборудовании или неизменного победителя для каждого языка программирования. Названия релизов определяют кандидатов, а принятое связанное изменение предоставляет основания выбора конкретной модели для работы.