Вычисления за языковыми моделями.
Retrivium развивает GPU-инфраструктуру для LLM-инференса с фокусом на распределённую сеть в Европе, СНГ и Азии.
Собственные мощности в ЦОД
У нас есть собственные вычислительные мощности в стабильном ЦОД. Это основа для расширения сети за счёт новых площадок и профессионального оборудования.
Распределённая инфраструктура
Концепция инфраструктуры объединяет ЦОД, небольшие офисные площадки и профессиональные станции с GPU от 16 GB видеопамяти. Выбор модели зависит от всей конфигурации и условий эксплуатации.
Запуск моделей и эксплуатация
Технический фокус — развёртывание языковых моделей, эксплуатация endpoints инференса, оценка подходящих моделей, обработки запросов и использования ресурсов. Конфигурация, совместимость ПО, сеть и мониторинг рассматриваются вместе.
Интеграция провайдера
Сейчас мы работаем над подключением своего GPU-пула к OpenRouter в качестве провайдера инференса. Интеграция в процессе; запуск в публичном списке провайдеров пока не объявлен.