当前位置: 首页 > news >正文

Dify运行本地和在线模型

1、运行本地模型

1.1、下载Ollama

官网下载:Ollama

1.2、安装LLM大模型

Ollama官网搜索模型,复制命令:

在终端中粘贴下载,下载完成后可以输入对话,表示安装成功。

使用命令:ollama list 可以列出已经安装的大模型,NAME后面有用。 

1.3、设置模型供应商

首先编辑dify/docker/.env文件,在文件末尾添加:

# 启用自定义模型
CUSTOM_MODEL_ENABLED=true
# 指定 Olama 的 API地址(根据部署环境调整IP)
OLLAMA_API_BASE_URL=host.docker.internal:11434

然后在dify/docker目录下打开终端管理员,输入命令启动dify。

docker compose up -d

打开:http://localhost/install,登录Dify,点击用户设置。

 点击“模型供应商”,选择ollama,点击安装。

安装成功后,点击添加模型。

弹出的对话框中填入ollama list中的模型NAME,基础URL填入:http://host.docker.internal:11434

 

随后保存。 

1.4、添加模型成功后但不成功

保存后,Ollama下显示模型为0个,重启Dify多次,重新添加模型多次仍一样。

中间尝试多种办法,比如在.env文件末尾添加:

PLUGIN_WORKING_PATH=/app/cwd # --无效!

又如在dify/docker/docker-compose.yaml的plugin_daemon下修改以下代码:

PYTHON_ENV_INIT_TIMEOUT: ${PYTHON_ENV_INIT_TIMEOUT:-640}
PLUGIN_MAX_EXECUTION_TIMEOUT: 2400 
PIP_MIRROR_URL: https://mirrors.aliyun.com/pypi/simple

然后重新执行docker compose up -d,也没有效果。

最后在docker-compose.yml文件中的worker,api和plugin_daemon 添加配置:

REMOTE_INSTALL_URL: http://${EXPOSE_PLUGIN_DEBUGGING_HOST:-localhost}:${EXPOSE_PLUGIN_DEBUGGING_PORT:-5003}

并在dify/docker/.env 最后一行添加配置:

REMOTE_INSTALL_URL=http://${EXPOSE_PLUGIN_DEBUGGING_HOST:-localhost}:${EXPOSE_PLUGIN_DEBUGGING_PORT:-5003}

最后重启Dify,居然就可以了!

将Ollama的模型设置系统模型中去。

然后新建聊天应用,成功启动了聊天窗口!

2、添加在线大模型

首先要获取大模型的API-key,比如阿里的通义千问:

然后在Dify中的模型供应商中安装通义千问,再添加模型时粘贴API-KEY,就可以加入通义千问的所有大模型了:

刚开始在系统模型设置中设置在线大模型时,也不能使用,总是显示internal error什么的。

按前文1.4修改dify的docker配置后,居然就可以了!

http://www.xdnf.cn/news/722413.html

相关文章:

  • Oracle数据库性能优化的最佳实践
  • 【appium】环境安装部署问题记录
  • 达梦数据库——修改、删除物化视图
  • 腾讯云开发者社区文章内容提取免费API接口教程
  • TDengine 运维——巡检工具(安装工具)
  • TDengine 运维——巡检工具(安装前预配置)
  • 【QT】理解QT机制之“元对象系统”
  • Java 注解与反射(超详细!!!)
  • Linux进程替换与自定义Shell详解:从零开始理解
  • python模块和包
  • java队列
  • EMQX将社区版和企业版统一到一个强大的 EMQX 平台
  • 文件操作管理
  • 从 0 到 1 的显示革命:九天画芯张锦解码铁电液晶技术进化史
  • 力扣HOT100之动态规划:70. 爬楼梯
  • Windows 下如何打开设置环境变量的对话框
  • 男子垒球世界纪录是多少米·棒球1号位
  • 26考研 | 王道 | 第六章 应用层
  • 解析C++排序算法
  • linux服务器ssh远程中文显示问号
  • VL 中间语言核心技术架构:构建全链路开发生态
  • 【仿生系统】潜移默化 —— Claude4 的解决方案
  • java上机测试错题回顾(4)
  • JAVA与C语言之间的差异(一)
  • 王树森推荐系统公开课 特征交叉01:Factorized Machine (FM) 因式分解机
  • vue自定义穿梭框(内容体+多选框)
  • SMT贴片工艺核心要点解析
  • 连接远程桌面计算机提示:“这可能是由于CredSSP加密数据库修正” 问题解决方案
  • OpenLayers 地图打印
  • C++创建对象过程