华为云Flexus+DeepSeek征文|体验华为云ModelArts快速搭建Dify-LLM应用开发平台并创建联网大模型
华为云Flexus+DeepSeek征文|体验华为云ModelArts快速搭建Dify-LLM应用开发平台并创建联网大模型
什么是华为云ModelArts
- 华为云ModelArts ModelArts是华为云提供的全流程AI开发平台,覆盖从数据准备到模型部署的全生命周期管理,帮助企业和开发者高效构建、训练、部署AI模型,实现智能化升级。
开始接触华为云ModelArts Studio大模型即服务平台
- 访问官方地址
https://www.huaweicloud.com/product/modelarts/studio.html
快速搭建Dify-LLM应用开发平台
什么是Dify-LLM应用开发平台
-
Dify-LLM 应用开发平台是一个基于大型语言模型(LLM)的低代码/无代码开发平台,旨在帮助开发者快速构建、部署和管理基于 AI 的应用程序。它提供了可视化的操作界面和丰富的工具,简化了从模型调用到应用上线的全流程,适合不同技术背景的用户使用。
-
华为云提供了一键部署快速搭建Dify平台的功能,使开发者可以快速搭建生产级的生成式AI应用
-
快速搭建的方案架构如下
-
通过VPC与安全组构建安全网络,用户经ELB接入CCE部署的Dify服务集群,结合Embedding与reranker增强AI能力,并依托Redis、PostgreSQL、CSS与OBS实现多样化数据存储与处理,具备高可用、可扩展特性
开始搭建Dify-LLM应用开发平台
-
先进入官网
https://www.huaweicloud.com/solution/implementations/building-a-dify-llm-application-development-platform.html
-
选择一键部署(云服务器单机部署)
-
这里不做操作直接下一步
-
把密码设置好下一步
-
继续下一步
-
点击创建执行计划
-
可以查看费用,然后点击部署
-
可以看到正在按顺序部署
-
等待服务部署完毕,访问Dify-LLM应用开发平台
-
部署完毕,访问Dify-LLM应用开发平台
-
登录Dify-LLM应用开发平台
-
至此搭建Dify-LLM应用开发平台大功告成,不得不说,华为云一键部署Dify平台真是太方便了,全程不需要怎么操作,全是一键搞定
开始搭建联网大模型
什么是联网大模型
- 联网大模型是具备实时联网能力的AI,能主动搜索最新资料、调用外部工具(如计算、翻译、API等),并结合自身知识生成更准确、实时的回答,适用于动态信息查询(如新闻、股价、科研进展),避免传统大模型因数据滞后导致的错误。
- 这里联网工具,我们使用SearXNG。
什么是SearXNG
- SearXNG 是一款开源的元搜索引擎,它聚合并匿名化地查询多个搜索引擎(如 Google、Bing、DuckDuckGo 等)的结果,然后进行去重、排序并呈现给用户。它是 SearX 的分支(Fork),在原有基础上进行了改进和优化,提供更好的隐私保护和自定义功能。
- 我们通过dify插件接入SearXNG,实现大模型联网检索。
开始搭建SearXNG
- 打开dify所在的linux服务器,然后创建文件夹
mkdir -p /home/docker/searxng
,然后进入文件夹
[root@localhost ~]# mkdir -p /home/docker/searxng
[root@localhost ~]# cd /home/docker/searxng
[root@localhost searxng]# ls
[root@localhost searxng]#
docker run --rm \-d -p 8081:8080 \-v "/home/docker/searxng:/etc/searxng" \-e "BASE_URL=http://localhost:8081/" \-e "INSTANCE_NAME=my-instance" \searxng/searxng
- 然后使用docker启动searxng,
docker run --rm -d -p 8081:8080 -v /home/docker/searxng:/etc/searxng searxng/searxng
[root@localhost searxng]# docker run --rm -d -p 8081:8080 -v /home/docker/searxng:/etc/searxng searxng/searxng
Unable to find image 'searxng/searxng:latest' locally
latest: Pulling from searxng/searxng
280600057b40: Pull complete
Digest: sha256:8b7cd3f033ae553d94157216d336eb5e8ab2500476e8048504bc7d5ca3bfbb20
Status: Downloaded newer image for searxng/searxng:latest
b45ba114202256c76bd809f68c87b3447ac652c13571aa15bc5748eed7428ce4
- 然后去配置文件进行配置,清空原本的配置文件,按我的输入配置
# see https://docs.searxng.org/admin/settings/settings.html#settings-use-default-settings
use_default_settings: true
server:# base_url is defined in the SEARXNG_BASE_URL environment variable, see .env and docker-compose.ymlsecret_key: "6b18c66e1a4b1e778a34784370a54906a090fccca2ad34f627e9aa68c191aeca"limiter: falseimage_proxy: true
ui:static_use_hash: true
redis:url: false
search:formats:- html- json
engines:
# 启用默认禁用的引擎- name: baiduengine: baidudisabled: false- name: 360searchengine: 360searchdisabled: false- name: sogouengine: sogoudisabled: false- name: bingengine: bingdisabled: false- name: bilibiliengine: bilibilidisabled: false# 禁用默认启用的引擎- name: archlinuxwikiengine: archlinuxdisabled: true- name: duckduckgoengine: duckduckgodistabled: true- name: githubengine: githubshortcut: ghdisabled: true- name: wikipediaengine: wikipediadisabled: true- name: googleengine: googledisabled: true- name: youtubeengine: youtube_noapidisabled: true- name: duckduckgoengine: duckduckgodisabled: true- name: qwantengine: qwantdisabled: true- name: braveengine: bravedisabled: true- name: startpageengine: startpagedisabled: true
-
然后重启容器,打开网页,点击左上角的设置
-
然后配置中文与baidu
-
然后点击保存,进行测试,搜索华为云
-
这样SearXNG就部署完毕了
dify平台接入SearXNG
-
首先登录dify,点击工具,搜索SearXNG进行安装
-
然后点击插件,看到SearXNG安装完毕后,进行配置
-
点击去授权
-
然后输入刚才部署的SearXNG的地址,点击保存
-
这样SearXNG就接入dify了
开始部署联网大模型
-
创建一个联网大模型的agent
-
然后我们需要调用华为云的DeepSeek-V3-32K模型作为基底大模型
-
安装dify中的大模型插件,OpenAI-API-compatible
-
等待安装完成
-
设置大模型
-
密钥从华为云中获取
-
进入api-key管理,创建自己的key,用于调用大模型
-
回来继续配置key,注意接口地址是
https://api.modelarts-maas.com/v1
-
这样大模型就配置完毕了
-
然后配置提示词
# 智能搜索与分析助手## 🛠️ 核心技能### 1. 联网搜索(searxng_search)
**触发条件**
✓ 需要实时信息
✓ 本地知识不足
✓ 用户明确要求 **执行规范**
- 关键词处理: 🔹 严格保持用户原始提问用语(中/英文不变) 🔹 长问题自动提取核心名词短语
- 结果处理: │→ 首轮:获取Top 3结果 │→ 次轮(无相关时):扩展至Top 5 └→ 仍无结果:返回`NO_VALID_DATA` ### 2. 智能分析(webscraper)
**处理流程**
```mermaid
graph TDA[原始结果] --> B{可信度评估}B -->|高| C[提取正文]B -->|低| D[丢弃]C --> E[去广告/格式化]E --> F[生成结构化摘要]【结论】
• 核心事实点1
• 核心事实点2 【元信息】
来源:example.com
时效:2024-03-15
可信评级:⭐️⭐️⭐️⭐
-
然后去工具配置插件,searxng_search,webscraper
-
然后点击发布,在预览看一下效果
-
然后点击运行去网页测试
-
可以看到调用了searxng进行联网检索
-
至此联网大模型就搭建完成了