当前位置：首页 > java >正文

华为云Flexus+DeepSeek征文 | 基于华为云ModelArts Studio搭建AnythingLLM聊天助手

java 2025/6/19 18:33:40

华为云Flexus+DeepSeek征文 | 基于华为云ModelArts Studio搭建AnythingLLM聊天助手

引言
一、ModelArts Studio平台介绍
- 华为云ModelArts Studio简介
- ModelArts Studio主要特点
二、AnythingLLM介绍
- AnythingLLM 简介
- AnythingLLM主要特点
- AnythingLLM地址
三、安装AnythingLLM应用
- 下载AnythingLLM软件
- 安装AnythingLLM工具
四、开通DeepSeek-R1-0528商用服务
- 访问ModelArts Studio控制台
- DeepSeek-R1-0528 介绍
- 开通DeepSeek-R1-0528服务
- 生成API Key
- 复制及保存OpenAI SDK信息
五、AnythingLLM基本配置工作
- 设置系统语言
- 配置AI提供商
- 新建工作区
- 测试对话
六、使用体验
七、实践总结

引言

随着人工智能技术的发展，本地化部署的大语言模型（LLM）逐渐成为构建个性化智能服务的关键。AnythingLLM 作为一个开源的本地聊天助手解决方案，以其高效、安全和易用性受到了广泛关注。借助华为云 ModelArts Studio 强大的 AI 工程化能力，我们能够快速搭建并部署 AnythingLLM，实现从概念到应用的无缝衔接。通过本次实践，我们将展示如何利用华为云的弹性计算资源和一站式服务，轻松创建一个功能强大的私有 AI 助手。

一、ModelArts Studio平台介绍

华为云ModelArts Studio简介

华为云ModelArts Studio是基于ModelArts构建的一站式大模型即服务平台（MaaS），深度整合昇腾算力资源与全链路开发工具，为开发者提供从数据准备、模型训练微调、提示词工程到应用部署的全流程解决方案。平台不仅预置主流开源大模型，还具备海量数据智能预处理、自动化标注、分布式训练及模型自动生成能力，全面覆盖AI模型全生命周期管理。无论是深耕算法的工程师、AI领域初学者，还是寻求智能化转型的企业，都能依托ModelArts Studio的高效开发能力，快速实现AI应用的高质量落地与规模化部署。

华为云ModelArts Studio平台地址：https://www.huaweicloud.com/product/modelarts/studio.html

在这里插入图片描述

ModelArts Studio主要特点

✅ 模型全、免配置、免调优、性能优
业界 SOTA 大模型覆盖度高达 99%，内置最优超参配置，结合昇腾算子优化与显存管理，显著提升训练与推理性能。
✅ 开箱即用，一站式模型开发服务
提供模型调优、压缩、部署、评测等全栈工具，功能覆盖大模型全生命周期，用户无需搭建即可直接使用。
✅ 资源一站式按需开通，建设周期短
计算资源可分钟级获取，支持按需计费、弹性扩缩容，并具备断点续训与故障快速恢复能力。
✅ 多服务组合竞争力，一站式应用能力集成
支持 MCP Server、LangChain、RAG、Agent、Guard、九问等组件即插即用，灵活构建复杂 AI 应用场景。
✅ 兼容性强，适配主流框架与自定义需求
全面支持 TensorFlow、PyTorch、MindSpore 等主流 AI 框架，同时支持用户自研算法框架接入。

二、AnythingLLM介绍

AnythingLLM 简介

AnythingLLM 是由 Mintplex Labs Inc. 开发的一款企业级本地化文档聊天机器人解决方案，是目前全球首个支持完整本地大语言模型（LLM）交互的开源桌面应用。它不仅能够与任何文档内容进行智能对话，还提供强大的向量数据库管理、API 集成和多用户权限控制功能，适用于知识库问答、企业私有化部署、AI 助手构建等多种场景。Everything is local by default —— 模型、文档、聊天记录全部存储于本地，真正实现隐私优先、安全可控。

AnythingLLM主要特点

🔐 无需账户注册，开箱即用，保护用户隐私
💻 全平台支持，兼容 macOS、Windows、Linux
⚙️ 一键安装，无需复杂配置即可快速启动
📁 支持多种文档格式：PDF、TXT、DOCX、CSV、MD 等
💬 双模式聊天体验：保留上下文的对话模式 & 快速问答的查询模式
📚 自动向量化文档，高效处理大型资料库
🔍 引用文献标注功能，回答结果来源清晰可查
🧠 内置 LLM 支持，本地运行无依赖云端服务
📈 成本优化设计，文档嵌入仅需一次费用，节省高达 90%
🌐 开发者友好 API，便于深度集成与定制开发
👥 多用户权限管理，满足团队协作与企业部署需求
🧱 可嵌入网页小部件，轻松集成到网站或平台中
☁️ 支持云端部署，灵活适配本地与在线使用场景

AnythingLLM地址

🚀 官网地址：https://useanything.com
📦 GitHub 地址：https://github.com/Mintplex-Labs/anything-llm

三、安装AnythingLLM应用

下载AnythingLLM软件

AingDesk下载地址：https://anythingllm.com/desktop，我们选择Windows x64位版本进行下载。

在这里插入图片描述

安装AnythingLLM工具

下载AnythingLLMk安装包后，在本地Windows上直接安装即可。

在这里插入图片描述

安装安装提示，依次点击下一步安装即可。

在这里插入图片描述

安装AnythingLLM完成，打开后如下所示：

在这里插入图片描述

四、开通DeepSeek-R1-0528商用服务

访问ModelArts Studio控制台

我们登录华为云官网后，在ModelArts Studio介绍页中（官网地址：https://www.huaweicloud.com/product/modelarts/studio.html），我们点击“ModelArts Studio控制台”后，即可进入ModelArts Studio控制台页面。

在这里插入图片描述

DeepSeek-R1-0528 介绍

DeepSeek-R1-0528 是 DeepSeek 最新推出的大语言模型版本，专为提升复杂代码生成与数学推理能力而设计。该模型在训练数据和算法架构上进行了深度优化，显著提升了以下方面的能力：

逻辑推理准确性
程序生成效率
数学问题求解能力

适用于如自动化编程、科研辅助、金融建模、数据分析等对精度与性能要求极高的高端应用场景，是开发者与研究人员的理想选择。

☁️ 华为云 ModelArts Studio（MaaS 平台）正式接入 DeepSeek-R1-0528

华为云 ModelArts Studio 是一站式 AI 开发平台，现已全面接入 DeepSeek-R1-0528，进一步丰富了其 MaaS（Model as a Service）服务能力。

基于 昇腾云的强大算力底座，用户可实现：

✅ 一键部署调用
✅ 低成本灵活扩展
✅ 高效应对复杂AI任务

此次合作不仅显著增强了平台在代码生成与数学推理方面的表现，也大幅降低了使用门槛与成本，助力开发者与企业快速构建智能化应用，推动 AI 技术落地。

📌 立即体验 DeepSeek-R1-0528，开启智能开发新篇章！

开通DeepSeek-R1-0528服务

在ModelArts Studio控制台首页的左侧菜单栏中，我们选择模型推理——在线推理，选择商务服务DeepSeek-R1-0528，点击“开通服务”。

在这里插入图片描述

备注：

服务类型	描述	注意事项
免费服务	适合用于体验模型，受严格的速率限制。	平台可能会不定时调整其适用模型、免费额度、有效期等内容。
	- 单个模型提供200万token推理额度。	额度消耗完后可选择开通商用级别的推理API服务或部署为付费服务使用。
商用服务	提供商用级别的推理API服务。	开通后可获取付费API服务（仅限贵阳一）。
	- 用户可以前往费用中心查看模型服务的优惠折扣发放和使用情况。	可以前往“我的服务”部署为个人服务后付费使用。

点击“开通服务”后，我们勾选同意协议，确认“立即开通”。

在这里插入图片描述

生成API Key

进入API Key管理页面。可以选择“创建API Key”，注意保存此API Key，建议保存在本地以便后续使用。

在这里插入图片描述

复制及保存OpenAI SDK信息

我们可以查看DeepSeek-R1-0528的使用说明，只需要点击“调用说明”选项。

在这里插入图片描述

调用说明如下所示，我们将DeepSeek-R1-0528服务的OpenAI SDK相关文件复制，保存在本地文本文件或本地笔记中。

在这里插入图片描述

五、AnythingLLM基本配置工作

设置系统语言

点击界面左下角的设置图标，进入系统设置界面。

在这里插入图片描述

在外观——系统偏好——显示语言中，选择显示 AnythingLLM 界面所用的语言设置为Chinese。

在这里插入图片描述

配置AI提供商

🔐 LLM 首选项配置说明

LLM 首选项用于设置你所使用的 大语言模型（LLM）聊天服务与嵌入服务 的提供商凭据和相关参数。为确保 AnythingLLM 能够正常运行，请务必保证所填写的 API 密钥是最新的且准确无误。错误或过期的密钥将导致模型无法调用。

📘 建议参考以下配置信息进行设置，以确保服务顺利连接与运行。

LLM提供商：Generic OpenAI（通过自定义配置连接任何兼容 OpenAI API 的服务）
Base URL: https://api.modelarts-maas.com
API Key: 填写刚才保存的API Key
Chat Model Name: deepseek-r1-250528
Token context window: 2048 (模型能够处理的输入文本（包括对话历史和当前输入）的最大长度为 2048 个 token，超出此限制的部分将被截断。)
Max Tokens: 1024 (模型每次回复时最多生成 1024 个 token 的内容，这决定了输出响应的最大长度。

在这里插入图片描述

新建工作区

在AnythingLLM的主界面中，点击【新工作区】选项。

在这里插入图片描述

填写工作区名称，这里就填写为测试工作区，点击“保存”。

在这里插入图片描述

测试对话

我们先开始在对话框中寻味“你是谁”，AnythingLLM经过深度思考并给出回答。

在这里插入图片描述

六、使用体验

在本次基于 华为云 ModelArts Studio 搭建 AnythingLLM AI 聊天助手 的实践中，我深刻感受到华为云平台在 AI 工程化落地方面的强大能力。ModelArts Studio 提供了一站式的模型部署、服务管理与接口调试功能，极大简化了 AnythingLLM 的本地大模型运行环境搭建过程。无论是资源配置、容器管理还是公网访问设置，操作都直观高效，即使是初次接触 AI 部署的开发者也能快速上手。更令人印象深刻的是其出色的资源调度能力和稳定的运行表现，即使面对高并发请求，系统依然保持低延迟响应，充分展现了华为云 Flexus 弹性算力和 ModelArts Studio 服务的强大性能。

七、实践总结

🎯 实践总结

在本次基于 华为云 ModelArts Studio 搭建 AnythingLLM AI 聊天助手 的实践中，我深刻体会到华为云在 AI 开发领域的强大支撑能力。ModelArts Studio 提供了从模型部署、服务管理到 API 接口调用的一站式解决方案，极大地简化了本地大语言模型的部署流程。整个过程无需复杂配置，即可快速构建一个稳定、高效的 AI 助手运行环境，真正实现了“开箱即用”的智能开发体验。

⚡ 为什么选择华为云 ModelArts Studio？