当前位置: 首页 > ds >正文

利用Anything LLM和内网穿透工具在本地搭建可远程访问的AI知识库系统(1)

文章目录

    • 前言
    • 1. 本地部署Ollama+DeepSeek
    • 2. 本地安装Anything LLM
    • 3. 配置与使用演示
    • 4. 远程调用大模型
    • 5. 安装内网穿透
    • 6. 配置固定公网地址

前言

在人工智能技术蓬勃发展的时代,你是否渴望拥有一个能够深度理解需求并随时提供专业支持的智能助手?现在,无需依赖复杂的云端服务,我们即将揭晓如何在个人电脑上构建专属AI解决方案的创新方法。通过整合Ollama框架与DeepSeek R1模型,配合Anything LLM平台及cpolar内网穿透工具,您将轻松创建具备对话交互与知识辅助功能的智能系统。

本方案突破了传统云服务器的部署限制,采用本地化部署策略,让Windows系统用户能够快速构建个性化AI工作环境。从基础配置到功能拓展,我们将逐步解析如何将这些先进技术转化为日常使用的智能伙伴,开启人机协作的新篇章。通过这种创新组合,您将体验到前所未有的便捷操作与高效服务,让人工智能真正融入您的数字生活场景。

【视频教程】

本地部署DeepSeek结合Anything LLM打造智能AI知识库并实现远程访问

1. 本地部署Ollama+DeepSeek

如果没有安装Ollama与DeepSeek,可以查看这篇教程进行安装:《Windows本地部署deepseek-r1大模型并使用web界面远程交互》

简单来说就是访问Ollama的官网,下载适配你的操作系统的客户端,安装好之后用cmd打开Windows系统自带的终端界面:

image-20250205154055584

然后回到Ollama的官网,找到你想要下载的各种量级的模型对应的模型下载命令:

image-20250205154929276

比如我这里下载1.5b的轻量级deepseek模型,就在cmd终端中执行这个命令就能安装了:

ollama run deepseek-r1:1.5b

image-20250205155421941

现在我们就已经能够在本地Windows电脑上通过ollama正常使用deepseek-r1模型与AI进行聊天了!

2. 本地安装Anything LLM

下面我们访问Anything LLM的官网下载Windows客户端:

image-20250214175025469

下载后,双击应用程序进行安装:

07f5c4ee765ad2a6c71c509a63a3865

安装完毕后打开软件后,点击get started按钮进入使用界面:

0e95032c8c74b063f257acda4e8aefd

3. 配置与使用演示

第一步选择Ollama:

18e81eb80c92523130f3835a00d81a6

选择好之后,点击右侧的箭头,下方会出现选择使用哪个大模型的下拉框,我们可以在这里看到之前本地部署的deepseek-r1:1.5b模型,如果你本地还有其他模型,也会出现在这里。

e9c8598ef1d90254a2a796f9c3a3c12

下一步确认信息后,点击右侧箭头继续:

68bc9f5ab2f59a7a139b84ab8ce9839

现在我们需要创建一个工作区,并给它取个名字,输入后继续点击右侧箭头:

b064f9709aa4cf5a16c264bda22012a

在Anything LLM中配置好了大模型,并创建了一个工作区后就可以看到欢迎界面了:

8f4fbde1afe4bb0e32fc56c50c6d8ee

点击左下角的扳手(设置),我们可以对界面语言进行修改:

bd30b2c0a9b0cbfdce7c67ccb3120ce

设置好之后,点击同一位置的返回按钮,即可回到工作区,在下方的输入框中,就可以和大模型聊天了!

image-20250214180238948

如果我们需要上传文件或是图片等资料,点击工作区名称标签后的上传按钮即可打开上传界面:

image-20250214180343298

image-20250214180356490

除了支持多种文档类型(PDF、TXT、DOCX等),在上传按钮下方还可以直接粘贴网址,真的是非常方便又全面。勾选你要上传的文件,

image-20250214180627784

点击右下角的保存和嵌入按钮即可上传你的资料。通过Anything LLM管理超大文档时高效、低耗。只需要一次就可以嵌入(Embedding)一个庞大的文档或文字记录,比其他文档聊天机器人解决方案节省超多成本。

4. 远程调用大模型

在设置界面的LLM首选项中,我们能看到刚才选择的LLM提供商是ollama,下方是模型信息,最底部有ollama运行的地址和端口:

image-20250214181418643

如果我们想要在局域网内让其他的小伙伴也能远程使用Anything LLM调用ollama使用大模型进行聊天,那么我们需要进行对ollama进行一下环境变量设置!

打开cmd终端,执行下面两个命令:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的ollama图标退出并重启服务:

image-20250214181632755

重新开启ollama服务后,同一局域网下的小伙伴在Anything LLM中将ollama的地址改为你的电脑IP加上端口号11434后,就能使用你在本地部署的大模型进行聊天或者上传文件训练了。

image-20250214181812873

5. 安装内网穿透

不过我们目前只能在本地局域网内多人使用Anything LLM远程访问大模型,如果想让异地好友、让更多人也能使用你在部署的deepseek大模型应该怎么办呢?很简单,只要安装一个cpolar内网穿透工具就能轻松实现远程访问内网主机中部署的服务了,接下来介绍一下如何安装cpolar内网穿透。

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

img

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

接下来配置一下 Ollama 的公网地址,

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:ollamads(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:11434
  • 域名类型:选择随机域名
  • 地区:选择China Top

image-20250214182337230

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250214182427726

在Anything LLM的设置界面中使用上面的任意一个公网地址替换刚才IP加端口号的地址,点击右上角的保存按钮后,就可以实现异地远程访问本地部署的deepseek大模型聊天了!使用了cpolar的公网域名,无需自己购买云服务器,轻松搞定远程访问。

PS:如果替换地址后无法使用,退出重新启动一下Anything LLM即可

image-20250214182833710

image-20250214182913449

总结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期使用Anything LLM远程访问本地部署的DeepSeek等大模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来配置公网地址。

6. 配置固定公网地址

接下来演示如何为ollama服务配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期访问你部署的大模型,而无需每天重复修改服务器地址。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称:

image-20250214183203609

保留成功后复制保留成功的二级子域名的名称:myolds,大家也可以设置自己喜欢的名称。

image-20250214183235128

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollamads,点击右侧的编辑:

image-20250214183303391

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:myolds

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250214183334129

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250214183411738

最后,我们在Anything LLM的设置界面中使用上面的任意一个固定的二级子域名公网地址替换刚才的随机公网地址,现在开始就不用每天都更换公网地址来远程访问本地部署的大模型了。

image-20250214183726909

此刻,是否感受到技术触手可及的便利?通过Ollama框架的部署、DeepSeek R1模型的集成,结合Anything LLM平台的智能交互功能与cpolar工具的远程访问能力,您已掌握构建个性化知识系统的完整路径。这套方案不仅具备高效的执行流程,更蕴含着创新技术组合带来的惊喜体验。

若已准备好开启实践之旅,不妨立即着手执行操作指南。当遇到技术实施中的障碍时,欢迎随时通过交流区寻求解决方案。相信在AI技术的赋能下,您将突破传统交互模式的限制,进入更智能的数字协作场景。期待在技术讨论区见证您的创新成果,共同探索人工智能应用的无限可能。

http://www.xdnf.cn/news/13808.html

相关文章:

  • (十二)深度学习计算性能:硬件架构、算法效率与理论极限分析
  • Cursor 编辑器中的 Notepad 功能使用指南
  • sherpa-onnx开源语音处理框架研究报告:从技术解析到应用实践
  • Linux中shell编程的函数递归用法和脚本自动化讲解
  • 什么是JSON ?从核心语法到编辑器
  • 无人机避障——感知篇(在Ubuntu20.04的Orin nx上基于ZED2实现Vins Fusion)
  • 【cobalt strike手册】CS的环境配置
  • 离线部署openstack 2024.1 placement
  • Windows11下搭建Black Magic Probe (BMP) 编译环境
  • 【Unity踩坑】Unity 6在Mac平台编译运行时去除‘trial version‘
  • 第七章——8天Python从入门到精通【itheima】-81~84(函数的多返回值+函数多种传参方式+函数作为参数传递+lambda函数)
  • 剑指offer22_合并两个排序的链表
  • 【C】 USB CDC、Bulk-OUT 端点
  • 观测云,全球领先的监控观测平台亮相亚马逊云科技中国峰会!
  • 迭代优化法解决问题实例
  • day27/60重写(补充)
  • 流体仿真CFD技术在好氧活性污泥曝气系统改造中的应用
  • module_obj笔记
  • 手阳明大肠经之温溜穴
  • MySQL基础知识(DDL、DML)
  • YOLO-FireAD:通过混合注意力与双池化融合实现高精度实时火灾检测
  • 【PyQt5】从零开始的PyQt5 - QTextEdit 篇
  • 2025北京智源大会核心内容
  • RAG系统中Rerank技术的深度解析与应用实践
  • DNS的工作原理
  • 【AI News | 20250611】每日AI进展
  • IPv6检测指标中的IPv6授权体系是什么意思?(国科云)
  • HTML5 定位网页元素
  • 让DELPHI11及之后的新版本编译的程序支持Windows XP
  • 2025暑假第三十二届全国高校人工智能(多模态大模型+具身智能)与嵌入式高级师资培训通知