В этом материале
Языковая модель AnythingLLM генерирует ответы чата; отдельная настройка эмбеддингов не подключает этот генератор автоматически.
Начните AnythingLLM Desktop с выбора провайдера языковой модели и обычной беседы до добавления документов. Если модель предоставляет LM Studio, его сервер инференса должен работать независимо от рабочей области AnythingLLM.
Конкретная граница приложения
AnythingLLM разделяет провайдера LLM и компонент эмбеддингов. Это важно: в обоих разделах может встречаться знакомое имя поставщика, хотя они управляют разными операциями. Документированная интеграция LM Studio для генерации сначала требует внешнее приложение и его встроенный сервер инференса. Поэтому выбор модели в AnythingLLM завершает цепочку, а не запускает автоматически произвольный отсутствующий runtime. При встроенном провайдере Desktop следуйте его поддерживаемому пути моделей вместо смешивания с инструкцией внешнего соединения. Workspace организует беседы, но сам по себе не подтверждает готовность генератора. При смене модели обращайтесь к её настройкам, а не к параметрам индекса документов: успешная операция другого компонента не заменяет проверку ответа в чате (AnythingLLM Desktop overview) (AnythingLLM language model guide).
Практический маршрут
Откройте настройки языковой модели приложения, выберите нужного локального провайдера и доступную модель. Для внешнего LM Studio сначала запустите его сервер инференса, затем внесите сведения соединения в конфигурацию LLM. Не ограничивайтесь разделом Embedder: этот компонент выполняет другую задачу и не заменяет генератор ответов беседы. Выбор провайдера проверяйте именно в разделе языковой модели (AnythingLLM LM Studio LLM connection).
Разобранный пример
Создайте рабочую область для коротких объяснений. Вставьте вымышленное описание продукта и попросите резюме с сохранением указанных ограничений. Задайте вопрос о функции, которой нет в описании. Ожидаемое поведение — указать отсутствие сведений, а не выдумать функцию. Такой пример проверяет соединение языковой модели без добавления зависимости от индексации документов и настроек поиска.
| Проверка | Запись |
|---|---|
| Провайдер | Провайдер языковой модели в настройках LLM, отдельно от выбора компонента эмбеддингов. |
| Runtime | Внешний сервер инференса, который при таком подключении должен уже работать. |
| Рабочая область | Пробная беседа и конкретный отсутствующий факт, выбранный для уточняющего вопроса. |
Как правильно прочитать сбой
Если обработка документа работает, а беседа нет, результат эмбеддингов не доказывает соединение языковой модели. Если локальный провайдер отвечает в другом клиенте, проверьте генератор и текущую модель AnythingLLM. Импорт собственного файла зависит от документированного пути runtime, а не только от наличия файла модели на диске компьютера (AnythingLLM custom model guide).
Что завершает проверку
Сохраните успешную обычную беседу и выбранного провайдера как исходную проверку. Последующую проблему поиска по документам или инструментов агента тогда можно будет разбирать отдельно от первого подключения локальной языковой модели.
Связанные материалы: llama.cpp server: локальный API из GGUF-модели, VRAM для LLM: почему размер модели — не весь расчёт.