В этом материале
Результаты разных GPU можно объединять только при совместимых единицах и явном workload mix. Сохраняйте показатели каждого устройства и класса запросов. Среднее отдельных скоростей или процентов не всегда описывает общую пропускную способность, особенно если длительности и количество работы различаются.
Результаты разных GPU можно объединять только при совместимых единицах и явном workload mix. Сохраняйте показатели каждого устройства и класса запросов. Среднее отдельных скоростей или процентов не всегда описывает общую пропускную способность, особенно если длительности и количество работы различаются.
Определите общий вопрос
Запишите, оценивается ли capacity одновременно работающего пула, типичный результат отдельного устройства или стоимость выполнения заданного набора. Это разные способы агрегации. Сохраните GPU identity, модель/формат, входную и выходную работу, concurrency и критерии успешного результата. Если разные карты обслуживают разные классы, различие может отражать распределение заданий, а не hardware superiority. Не объединяйте короткие и длинные операции без явной метки только потому, что обе называются inference request.
Сохраните per-device таблицу
Для каждой пары device/class оставьте completed work, elapsed time, errors и run order. Mean и median отвечают на разные вопросы о центре распределения; NIST отдельно описывает их смысл. Сводное значение без исходных строк скрывает веса. Равное усреднение двух устройств даёт каждому одинаковое влияние независимо от объёма выполненной работы. Pool-wide результат может требовать другого веса, а более быстрый device не должен автоматически получать искусственно больший статистический вес только по привлекательности показателя.
Разберите общее окно времени
В синтетическом опыте два worker одновременно работают 60 секунд над одинаковым классом операций. Один завершает 30, другой 50; вместе получено 80 операций за это общее окно, если учёт не дублирует результаты и критерии совпадают. Это арифметика, не benchmark устройств. Если эти серии запускались последовательно, время эксперимента другое. Если workload classes различаются, одного общего counts/min недостаточно для честного сравнения без сохранённого mix.
| Строка отчёта | Нужное основание |
|---|---|
| Device/class | Совпадает определение полезной работы |
| Common window | Понятна одновременность наблюдения |
| Completed/errors | Сохранены успехи и отказы |
| Aggregate weight | Явно описан выбранный вес |
Проверьте изменившийся mix
Сравнивая два периода, сначала удержите распределение классов либо рассчитайте стандартизованную сводку по заранее выбранным весам. Иначе улучшение может возникнуть только из-за большей доли коротких задач. Не усредняйте отношения без проверки числителей и знаменателей. Для uncertainty сначала определите независимую единицу trial; множество tokens одной операции не создаёт независимую выборку устройств. Указывайте method и assumptions, не делая вывод о превосходстве по одному округлённому pool score.
Сохраните воспроизводимую сводку
Артефакт включает per-device данные, определение class, окно времени, веса и формулу aggregate. Читатель должен пересчитать сводку и увидеть вклад каждого участника. Сохраняйте ошибки и недоступность отдельно от скорости успешных запросов. После изменения маршрутизации повторите проверку mix: одинаковый состав GPU не гарантирует одинаковую задачу. Такой отчёт помогает оценить конкретный неоднородный пул, сохраняя различия устройств и границы измерения вместо вымышленного универсального рейтинга производительности.
Связанные разборы: mixed gpu fleet; rtx 3090 vs 4090 llm.