# Загрузка LLM: хвост задержки чтения важнее одной скорости SSD

Как исследовать нестабильную загрузку модели по профилю чтения fio, хвостам задержки и этапам приложения вместо прогноза по последовательной скорости SSD.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/nvme-read-latency-model-load/
Language: ru

## Средняя скорость скрывает распределение ожидания

Модель может загружаться нестабильно, даже если SSD показывает привлекательную среднюю скорость в последовательном тесте. Загрузка состоит из чтений и программной работы. Несколько медленных чтений способны задержать зависимый этап инициализации, а среднее большого потока скрывает их время и условия возникновения.

[Документация fio](https://fio.readthedocs.io/en/latest/fio_doc.html) описывает параметры нагрузки и отчётность задержки. Используйте их для конкретного вопроса к накопителю вместо случайного готового пресета. Первый важный результат — описание теста: характер чтения, размер блока, глубина очереди, движок ввода-вывода, файл и режим кеширования.

## Отделяйте хронологию загрузки модели

По возможности фиксируйте доступ к артефактам, чтение файлов, подготовку CPU, передачу на устройство и готовность движка. Долгое ожидание readiness не обязательно означает медленный диск. После чтения приложение может десериализовать веса, компилировать ядра или ожидать другую зависимость инициализации.

До выбора теста сопоставьте эту хронологию с наблюдениями накопителя. Если загрузчик использует несколько файлов или процессов, учитывайте их перекрытие. Одно большое последовательное чтение полезно как исходная точка, но не воспроизводит любой профиль доступа только потому, что совпал общий объём каталога модели.

## Измеряйте объявленную нагрузку чтения

Используйте существующий согласованный тестовый файл и защиту от записи. При сравнении сохраняйте файл, состояние кеша и соседнюю работу. Записывайте фактическое поведение вместе с запрошенными настройками: номинальная глубина очереди не доказывает, что выбранный движок и нагрузка поддерживали такое количество одновременно выполняемых операций.

Храните распределение задержки, число завершённых операций и длительность прогона. Укажите конкретное поле задержки и процентиль. Submission, completion и total latency не являются взаимозаменяемыми названиями. Процентиль очень маленькой выборки нельзя представлять с уверенностью длительного измерения, обеспечивающего достаточное покрытие нужного режима работы.

## Добавьте контекст без выдуманной причинности

В [определениях полей здоровья libnvme](https://github.com/linux-nvme/libnvme/blob/master/doc/rst/types.rst) описаны температура и счётчики состояния устройства. Соберите поддерживаемый контекст рядом с тестом чтения. Эти сведения помогают выбрать дальнейшее исследование, но чистый SMART не устанавливает границу задержки. Одновременный рост температуры тоже не доказывает, что каждое медленное чтение ограничивалось нагревом.

В условном сравнении два прогона могут иметь похожую среднюю скорость и разные хвосты completion latency. До объяснения различия моделью SSD проверьте число наблюдений, очереди и соседнюю активность. Сохраняйте оба полных результата вместо публикации только самого быстрого прогона.

## Вернитесь к реальной готовности

Повторите настоящий сценарий загрузки при описанных условиях и сопоставьте его этап хранения с контролируемым чтением. Холодные и тёплые серии должны оставаться раздельными. Вывод относится к проверенному пути накопителя и его вкладу в readiness, сохраняя видимыми подготовку CPU и инициализацию GPU. Это полезнее перевода одной последовательной скорости в обещанное время запуска модели.

Если вклад чтения оказался небольшим, зафиксируйте это как результат. Такой вывод помогает направить следующий эксперимент на нужный этап, а не продолжать заменять накопители без подтверждения, что именно они ограничивали подготовку сервиса.

## Связанные материалы

- [NVMe для размещения моделей: где быстрый диск меняет результат](/ru/journal/nvme-for-model-serving/)
- [Storage-optimized хостинг: когда AI-система упирается в диск](/ru/journal/storage-optimized-hosting/)