Подключаем пул к OpenRouter.
Сейчас мы работаем над подключением своего GPU-пула к OpenRouter в качестве провайдера инференса. Интеграция в процессе; запуск в публичном списке провайдеров пока не объявлен.
Роль Retrivium
Наша роль — эксплуатировать GPU-инфраструктуру и запускать языковые модели в качестве провайдера инференса. OpenRouter предоставляет приложениям доступ к моделям и маршрутизацию запросов.
Текущий этап
Сейчас идёт работа над интеграцией нашего вычислительного пула в роли провайдера. Подключение в процессе — отдельный этап до производственного запуска; сайт пока не объявляет действующую публичную запись провайдера, дату запуска или производственный трафик.
Как связаны роли
Retrivium сосредоточен на вычислениях и запуске моделей. OpenRouter связывает приложения с провайдерами моделей через свой API и систему маршрутизации. Мы работаем над интеграцией именно в этой роли провайдера.
Предложение для запуска
Готовится к запуску. Это целевые параметры и цены, которые предстоит подтвердить на производственных машинах. Профили не включены; их сопоставление с моделью OpenRouter необходимо подтвердить при подключении.
- Модель OpenRouter
- qwen/qwen3.5-9b
- Исходная модель
- Qwen/Qwen3.5-9B
- Общий контекст, вход + выход
- 262 144
- Максимальный ответ, включая reasoning
- 81 920
- Вход / 1 млн токенов
- $0,080
- Выход / 1 млн токенов
- $0,130
- Целевые возможности
- Текст, стриминг, tools, JSON / JSON Schema, reasoning
При полном лимите ответа на вход остаётся до 180 224 токенов. При меньшем запрошенном ответе на вход доступно больше места в пределах общего контекста.
Раздельные профили точности
qwen/qwen3.5-9b-fp8FP8qwen/qwen3.5-9b-4bit4 бита — точный формат не выбран
У обоих профилей одинаковые целевые цены. Скидка за кэш и отдельная наценка за reasoning не объявлены. BF16 рассматривается на будущее и не входит в это предложение для запуска.
Планируемое размещение
Производственный инференс — только на собственных машинах под управлением Retrivium. EU-endpoints гарантируют маршрутизацию, обработку входных данных и инференс исключительно в Европейском союзе, включая балансировку, повторные попытки и резервирование. Если мощности в ЕС недоступны, запросы отклоняются вместо отправки за пределы ЕС. Фактические страны обработки публикуются для каждого endpoint.
Политика данных
Политика запуска запрещает обучение, постоянное хранение содержания инференса и журналы отдельных запросов. Допускается только суммарная статистика потребления. Временная обработка в RAM/GPU и кэш только в памяти описаны в политике. До активации необходимо проверить соблюдение этих требований.
Политика данных inference API →
Оператор: IE Aleksandr Golubev, Tbilisi, Georgia. golubev.cto@gmail.com