В этом материале
Доверительный интервал имеет смысл только после определения единицы наблюдения. Тысячи токенов одного ответа не являются тысячами независимых прогонов машины. Сначала задайте, какой средний показатель оценивается, какие повторения независимы и насколько применим выбранный статистический метод.
Доверительный интервал имеет смысл только после определения единицы наблюдения. Тысячи токенов одного ответа не являются тысячами независимых прогонов машины. Сначала задайте, какой средний показатель оценивается, какие повторения независимы и насколько применим выбранный статистический метод.
Определите оцениваемую величину
Запишите, относится ли среднее к длительности целой операции, throughput независимого окна или другому заранее выбранному результату. Не называйте confidence interval интервалом, куда попадут почти все будущие запросы: это другой вопрос о распределении наблюдений. Также не подменяйте интервал среднего интервалом медианы. У разных статистик разные методы и предпосылки. Единица измерения, набор входов и выбранная область времени должны сохраняться вместе с каждым наблюдением исходной выборки.
Проверьте независимость повторов
Токены одного autoregressive ответа связаны общим запросом, состоянием модели и условиями запуска. Последовательные окна одного долгого опыта также могут иметь корреляцию. Если считать их независимыми trials, формальный размер выборки увеличится без соответствующего объёма новой информации. Выберите независимую единицу эксперимента и сохраните группировку. Для сравнительного опыта на одном узле отдельно учитывайте временной дрейф, совместную нагрузку и повторное использование кеша, которые способны связывать результаты нескольких попыток.
Прочитайте формулу буквально
NIST приводит t-интервал среднего вида mean ± t × s / sqrt(n), где s — sample standard deviation, n — число наблюдений, а t соответствует выбранному уровню и степеням свободы. Применение требует подходящих статистических предпосылок; формула не исправляет biased sample или зависимость наблюдений. Для малых выборок особенно важна адекватность распределения. Уровень 95% описывает долговременное покрытие метода при его условиях, а не вероятность уже фиксированного среднего внутри конкретного рассчитанного интервала.
| Термин | Что следует указать |
|---|---|
| Observation | Независимая единица опыта |
| Estimate | Какое среднее оценивается |
| Method | Формула и предпосылки |
| Coverage | Выбранный уровень доверия |
Разберите искусственно большое n
В учебном отчёте выполнено 12 отдельных запусков, каждый породил много токенов. Если вопрос касается средней длительности запуска, n относится к этим 12 наблюдениям, а не суммарному количеству токенов. Это пример единицы анализа, не реальный benchmark. При наличии групп и корреляции используйте соответствующий дизайн и обоснованный метод вместо механической подстановки большего числа. Более узкий интервал не является улучшением качества, когда достигнут неверным подсчётом независимых данных.
Сохраните проверяемый расчёт
Артефакт включает run-level значения, группировку, method, уровень доверия и ограничения вывода. Покажите исходные ошибки и правила исключения. При сравнении конфигураций не делайте заключение о превосходстве только по внешнему пересечению двух интервалов без выбранного анализа разницы. Если независимость или распределение не подтверждены, обозначьте неопределённость и пересмотрите эксперимент. Честный диапазон с ясной единицей наблюдения полезнее точного числа, которое статистически описывает другой объект, чем заявленная производительность GPU.
Связанные разборы: inference benchmark method; stable diffusion gpu benchmark.