ТЕХНОЛОГИИ

Dify с локальной LLM: провайдер и первое приложение

В этом материале
ГЛАВНОЕ ЗА МИНУТУ

Dify управляет провайдерами рабочей области, а явный выбор приложения или узла способен отличаться от её значений по умолчанию.

Для первого приложения Dify с локальной LLM настройте провайдера рабочей области, затем выберите модель на шаге генерации. Значение по умолчанию Workspace и явный выбор узла являются разными источниками настройки модели.

Конкретная граница приложения

Текущая документация самостоятельного размещения относит провайдеров к Integrations > Model Provider. Управляют ими владельцы и администраторы рабочей области. До появления Setup может потребоваться установка интеграции провайдера, после чего доступны поля endpoint и учётных данных. Доступность моделей зависит от выбранного плагина, а не универсального набора полей. Пользовательские модели добавляются при поддержке провайдером; фиксированный каталог не обязательно предоставляет Add Model. У рабочей области также есть модели по умолчанию для разных задач. Рабочее соединение языковой модели не настраивает эмбеддинги, речь и переранжирование. Для первого текстового приложения эти дополнительные компоненты вообще не нужны и не должны влиять на исходную проверку генерации (Dify documentation overview).

Практический маршрут

В существующем локальном Dify откройте Integrations > Model Provider и выберите интеграцию работающего локального сервера. Установите отсутствующего провайдера, нажмите Setup и заполните его обязательные поля. Проверьте соединение и при необходимости добавьте фактическую модель, если это поддерживается. Создайте минимальное текстовое приложение или поток и явно выберите модель на шаге генерации. Используйте предварительный просмотр короткого ввода до добавления инструментов, знаний и ветвления. В потоке узел LLM выбирает настроенную модель и получает переданный текст через переменные своего запроса (Dify Model Providers).

Разобранный пример

Создайте помощника, превращающего вымышленную заметку о выпуске в короткое объявление. Передайте текст прямо, попросите сохранить ограничения и изучите ответ предварительного просмотра. Затем измените текст при прежней модели. Это проверяет получение ввода и нужный генератор без зависимости от поиска по документам или внешнего действия. Изменения инструкции пока оставьте отдельным следующим экспериментом (Dify LLM node).

ПроверкаЗапись
Рабочая областьИнтеграция провайдера под управлением существующего владельца или администратора.
Шаг генерацииЯвный выбор локальной модели в приложении либо потоке.
ПросмотрПереданный вымышленный текст и полученное из него объявление.

Как правильно прочитать сбой

Если одно приложение работает, а другое нет, проверьте явный выбор модели до замены общих учётных данных. Узел без выбранной модели может использовать значения Workspace. Удаление единственных учётных данных пользовательской модели способно удалить и модель: изучите поведение провайдера до очистки как способа диагностики. Не смешивайте этот случай с ошибкой инструкции.

Что завершает проверку

Сохраните работающий предварительный просмотр с явным выбором модели. Другие компоненты добавляйте после понятного узкого маршрута. Настройка провайдера относится к администрированию рабочей области, тогда как инструкции и передача ввода принадлежат автору приложения.

Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU, llama.cpp server: локальный API из GGUF-модели.

← Все материалы