当前位置: 首页 > ops >正文

【Ragflow】26.RagflowPlus(v0.4.0):完善解析逻辑/文档撰写模式全新升级

概述

在历经半个月的间歇性开发后,RagflowPlus再次迎来一轮升级,正式发布v0.4.0

开源地址:https://github.com/zstar1003/ragflow-plus

更新方法

下载仓库最新代码:

git clone https://github.com/zstar1003/ragflow-plus.git

使用docker启动:

# cpu模式
docker compose -f docker/docker-compose.yml up -d
# gpu模式
docker compose -f docker/docker-compose_gpu.yml up -d

首次启动会自动拉取最新版本镜像。

新功能

1. 上传文件支持文件夹

在此版本中,优化了上传文件,目前支持选择文件夹进行上传。

系统会自动识别,将该文件夹及其子文件夹中所有文件提取上传。

新增的选择文件夹按钮

同时,该版本重新调整了文件上传的请求通道,减少上传超时的可能性。

2. 文档撰写模式全新升级

此版本重点重构了文档撰写模块,目前在此版本中,支持自定义模板,可将当前文档内容保存为自定义名称的模板,并可对现有模板进行调整删除。

同时,文档撰写后端采用了独立的响应通道,不再需要依赖助理设置进行输出,响应速度大幅提升。

左下角增加配置选项,可以自由选择一个或多个知识库信息,同时可调节较为常用的三个搜索及模型参数。

考虑到过多的文档内容输入,有超过模型输入上限的风险。本版本对输入模型的文本范围进行重新优化,会自动选取光标位置上下文最多共4000个字符输入到问答模型中。

功能优化

1. 解析逻辑调整

本版本重新调整了解析逻辑,在解析时增加了和搜索一致的分词器,解决了上一版本中,做知识库检索时,关键词相似度为0的情况。

具体细节可参考本系列第24篇文章:【Ragflow】24.Ragflow-plus开发日志:增加分词逻辑,修复关键词检索失效问题

2. 知识库创建人权限问题

在上一版本中,知识库创建时,创建人选择非初始用户,问答时会出现报错。
本版本修复了这一问题。

3. excel解析优化

本版本对excel类型的文件采用了单独的解析管线,速度更快,效果更好。

具体细节可参考本系列第25篇文章:【Ragflow】25.Ragflow-plus开发日志:excel文件解析新思路/公式解析适配

4. Ollama解析接口调整

有群友提到(issue#65),使用ollama构建嵌入模型时,前台接口采用的是api/embeddings,而上版本后端接口采用的是v1/embeddings,不同的接口返回值不一致,会造成向量相似度计算偏差较大。

下面写了一个测试脚本,具体测试了一下这两种接口的具体调用结果:

import requests
import time# Ollama配置
OLLAMA_HOST = "http://localhost:11434"  # 默认Ollama地址
MODEL_NAME = "bge-m3"  # 使用的embedding模型
TEXT_TO_EMBED = "测试文本"# 定义接口URL和对应的请求体结构
ENDPOINTS = {"api/embeddings": {"url": f"{OLLAMA_HOST}/api/embeddings",  # 原生API路径"payload": {"model": MODEL_NAME, "prompt": TEXT_TO_EMBED},  # 原生API用prompt字段},"v1/embeddings": {"url": f"{OLLAMA_HOST}/v1/embeddings",  # OpenAI兼容API路径"payload": {"model": MODEL_NAME, "input": TEXT_TO_EMBED},  # OpenAI兼容API用input字段},
}headers = {"Content-Type": "application/json"}def test_endpoint(endpoint_name, endpoint_info):"""测试单个端点并返回结果"""print(f"\n测试接口: {endpoint_name}")url = endpoint_info["url"]payload = endpoint_info["payload"]try:start_time = time.time()response = requests.post(url, headers=headers, json=payload)response_time = time.time() - start_timeprint(f"状态码: {response.status_code}")print(f"响应时间: {response_time:.3f}秒")try:data = response.json()# 处理不同接口的响应结构差异embedding = Noneif endpoint_name == "api/embeddings":embedding = data.get("embedding")  # 原生API返回embedding字段elif endpoint_name == "v1/embeddings":embedding = data.get("data", [{}])[0].get("embedding")  # OpenAI兼容API返回data数组中的embeddingif embedding:print(f"Embedding向量长度: {len(embedding)}")return {"endpoint": endpoint_name,"status_code": response.status_code,"response_time": response_time,"embedding_length": len(embedding),"embedding": embedding[:5],}else:print("响应中未找到'embedding'字段")return {"endpoint": endpoint_name, "status_code": response.status_code, "error": "No embedding field in response"}except ValueError:print("响应不是有效的JSON格式")return {"endpoint": endpoint_name, "status_code": response.status_code, "error": "Invalid JSON response"}except Exception as e:print(f"请求失败: {str(e)}")return {"endpoint": endpoint_name, "error": str(e)}def compare_endpoints():"""比较两个端点的性能"""results = []print("=" * 50)print(f"开始比较Ollama的embeddings接口,使用模型: {MODEL_NAME}")print("=" * 50)for endpoint_name, endpoint_info in ENDPOINTS.items():results.append(test_endpoint(endpoint_name, endpoint_info))print("\n" + "=" * 50)print("比较结果摘要:")print("=" * 50)successful_results = [res for res in results if "embedding_length" in res]if len(successful_results) == 2:if successful_results[0]["embedding_length"] == successful_results[1]["embedding_length"]:print(f"两个接口返回的embedding维度相同: {successful_results[0]['embedding_length']}")else:print("两个接口返回的embedding维度不同:")for result in successful_results:print(f"- {result['endpoint']}: {result['embedding_length']}")print("\nEmbedding前5个元素示例:")for result in successful_results:print(f"- {result['endpoint']}: {result['embedding']}")faster = min(successful_results, key=lambda x: x["response_time"])slower = max(successful_results, key=lambda x: x["response_time"])print(f"\n更快的接口: {faster['endpoint']} ({faster['response_time']:.3f}秒 vs {slower['response_time']:.3f}秒)")else:print("至少有一个接口未返回有效的embedding数据")for result in results:if "error" in result:print(f"- {result['endpoint']} 错误: {result['error']}")if __name__ == "__main__":compare_endpoints()

输出结果如下:

Embedding前5个元素示例:
- api/embeddings: [-1.6793335676193237, 0.28421875834465027, -0.3738324046134949, -0.12534970045089722, 0.22841963171958923]
- v1/embeddings: [-0.0640459, 0.0108394455, -0.014257102, -0.004780547, 0.008711396]更快的接口: api/embeddings (0.078秒 vs 0.091)

结果显示,两个接口返回维度相同(均为1024),但结果的确存在差异,同时api/embeddings接口的速度更快。

因此,本版本在后台解析时,对于ollama模型,调用接口调整为api/embeddings,修复前后台不一致的问题。

杂项

1. 前台元素精简

此版本在前台移除Agent文件管理,语言仅保留简体中文繁体中文英语,界面更简介清晰。

2. 后端代码清理

实测发现,DeepWiki在解析代码时,会输出不少deepdoc代码的细节,版本对其进行进一步解耦清理。

3. 封面优化

对后台管理的界面图标和前台登陆页的封面进行更换。

下版本计划

下版本将继续围绕文件解析和交互进行优化,计划改进点如下:

1. 聊天文件上传

在聊天时,恢复原本的上传文件交互按钮,重构文件上传处理逻辑。

2. chunk关联图片修改

在前台知识库界面,优化chunk和图片的关联显示,并支持手动编辑调整关联图片信息。

3. 图片输出顺序优化

问答输出图片时,进一步支持图片在回答问题中进行显示,而不是全放到末尾。

4. 关键词显性显示

在知识库预览中,显性显示每一个chunk的自定义关键词。

5. 中翻英适配

ragflow最新版提供了一个中文翻译成英文,然后在知识库中进行检索的功能,但实现逻辑是通过聊天模型转换,效率较低,考虑使用更轻量的方式进行实现。

总结

最近听了好几小时刘强东的采访,当初,马云问刘强东:“四通一达这么便宜,你为什么不用呢?”

出于多种原因,京东走上了自建物流的道路。

RagflowPlus的发展道路也非常相似,当现有的功能实现不够好时,重构是必由选择。

掌控算法细节,才能透过表象觉察到底层的本质原因。

http://www.xdnf.cn/news/12449.html

相关文章:

  • API标准的本质与演进:从 REST 架构到 AI 服务集成
  • 26.【新型数据架构】-零ETL架构
  • 22N60-ASEMI光伏逆变器专用22N60
  • python时间操作笔记
  • Flux ControlNet工作流详细教程
  • 蓝桥春晚魔术(欧拉定理+快速幂)
  • CETOL 6σ v12.1 三维公差分析软件现已可供下载
  • 有意向往gis开发靠,如何规划学习?
  • virtualbox 如何虚拟机ip固定
  • 负载均衡器》》
  • 深入理解 JavaScript 中的 Array.find() 方法
  • Java逻辑运算符常见错误分析与规避指南
  • 【计算机网络】非阻塞IO——select实现多路转接
  • 安装了torch发现是cpu版本怎么办?
  • MIT 6.S081 2020 Lab7 Multithreading 个人全流程
  • 从失效文档到知识资产:Gitee Wiki 引领研发知识管理变革
  • 五、【ESP32开发全栈指南:深入解析ESP32 IDF中的WiFi STA模式开发】
  • MySQL提升
  • XXTEA,XTEA与TEA
  • html+css+js趣味小游戏~Cookie Clicker放置休闲(附源码)
  • Canal详解
  • win11部署suna
  • 1.人声伴奏分离
  • SQL进阶之旅 Day 18:数据分区与查询性能
  • [大A量化专栏] QMT常见问题QA
  • 海康工业相机文档大小写错误
  • K8S认证|CKS题库+答案| 4. RBAC - RoleBinding
  • Java并发编程实战 Day 11:并发设计模式
  • 火语言RPA--选择元素工具使用方法
  • 位运算(Bitwise Operations)深度解析