# AnythingLLM Desktop: встроенный инференс или локальный сервер

Настройка генератора AnythingLLM Desktop: локальный провайдер, подключение LM Studio и обычная беседа до добавления документов.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/anythingllm-desktop-local-model-start/
Language: ru

Начните AnythingLLM Desktop с выбора провайдера языковой модели и обычной беседы до добавления документов. Если модель предоставляет LM Studio, его сервер инференса должен работать независимо от рабочей области AnythingLLM.

## Конкретная граница приложения

AnythingLLM разделяет провайдера LLM и компонент эмбеддингов. Это важно: в обоих разделах может встречаться знакомое имя поставщика, хотя они управляют разными операциями. Документированная интеграция LM Studio для генерации сначала требует внешнее приложение и его встроенный сервер инференса. Поэтому выбор модели в AnythingLLM завершает цепочку, а не запускает автоматически произвольный отсутствующий runtime. При встроенном провайдере Desktop следуйте его поддерживаемому пути моделей вместо смешивания с инструкцией внешнего соединения. Workspace организует беседы, но сам по себе не подтверждает готовность генератора. При смене модели обращайтесь к её настройкам, а не к параметрам индекса документов: успешная операция другого компонента не заменяет проверку ответа в чате ([AnythingLLM Desktop overview](https://docs.useanything.com/installation-desktop/overview)) ([AnythingLLM language model guide](https://docs.useanything.com/features/language-models)).

## Практический маршрут

Откройте настройки языковой модели приложения, выберите нужного локального провайдера и доступную модель. Для внешнего LM Studio сначала запустите его сервер инференса, затем внесите сведения соединения в конфигурацию LLM. Не ограничивайтесь разделом Embedder: этот компонент выполняет другую задачу и не заменяет генератор ответов беседы. Выбор провайдера проверяйте именно в разделе языковой модели ([AnythingLLM LM Studio LLM connection](https://docs.useanything.com/setup/llm-configuration/local/lmstudio)).

## Разобранный пример

Создайте рабочую область для коротких объяснений. Вставьте вымышленное описание продукта и попросите резюме с сохранением указанных ограничений. Задайте вопрос о функции, которой нет в описании. Ожидаемое поведение — указать отсутствие сведений, а не выдумать функцию. Такой пример проверяет соединение языковой модели без добавления зависимости от индексации документов и настроек поиска.

| Проверка | Запись |
| --- | --- |
| Провайдер | Провайдер языковой модели в настройках LLM, отдельно от выбора компонента эмбеддингов. |
| Runtime | Внешний сервер инференса, который при таком подключении должен уже работать. |
| Рабочая область | Пробная беседа и конкретный отсутствующий факт, выбранный для уточняющего вопроса. |

## Как правильно прочитать сбой

Если обработка документа работает, а беседа нет, результат эмбеддингов не доказывает соединение языковой модели. Если локальный провайдер отвечает в другом клиенте, проверьте генератор и текущую модель AnythingLLM. Импорт собственного файла зависит от документированного пути runtime, а не только от наличия файла модели на диске компьютера ([AnythingLLM custom model guide](https://docs.useanything.com/import-custom-models)).

## Что завершает проверку

Сохраните успешную обычную беседу и выбранного провайдера как исходную проверку. Последующую проблему поиска по документам или инструментов агента тогда можно будет разбирать отдельно от первого подключения локальной языковой модели.

Связанные материалы: [llama.cpp server: локальный API из GGUF-модели](/ru/journal/llama-cpp-server-launch/), [VRAM для LLM: почему размер модели — не весь расчёт](/ru/journal/vram-and-models/).