当前位置：首页 > news >正文

【论文阅读】A Survey on Knowledge-Oriented Retrieval-Augmented Generation（4）

news 2025/7/17 9:44:54

代码地址：GitHub - USTCAGI/CRAG-in-KDD-Cup2024

【论文阅读】A Survey on Knowledge-Oriented Retrieval-Augmented Generation（1）-CSDN博客

【论文阅读】A Survey on Knowledge-Oriented Retrieval-Augmented Generation（2）-CSDN博客

【论文阅读】A Survey on Knowledge-Oriented Retrieval-Augmented Generation（3）-CSDN博客

接着上一篇博客，我们继续介绍这一篇综述。

7 面向RAG的综合评估策略

对RAG系统的评估需要同时考虑其有效性和效率。有效性评估关注模型检索相关上下文、将其整合进连贯回答，并保持整体准确性的能力；而效率评估则关注检索与生成过程中计算资源的消耗、响应延迟以及可扩展性。

7.1 RAG有效性评估

评估RAG的有效性对于判断其利用外部知识生成可靠回答的能力至关重要。本节将深入探讨用于评估RAG关键有效性维度的具体指标，包括查询与上下文的相关性、上下文与回答的连贯性以及查询与回答的一致性。

7.1.1 查询与上下文相关性评估

在RAG系统中，能够根据用户查询检索出相关信息是为大语言模型（LLMs）提供准确推理与生成所需上下文的基础。该过程需要从多样的知识源中高效整合数据，并通过强健的过滤机制提取相关信息，同时尽量减少来自不可靠或冗余数据的噪声。

为了评估RAG系统在这方面的效果，研究者提出了一系列评估基准和指标。多个框架，如ARES、RAGAS 和 TruLens，均采用上下文相关性（Context Relevance）指标来衡量所检索上下文与用户查询之间的契合度和支持程度。

此外，KILT基准专为知识密集型任务设计，提供了如R-precision和Recall@k等指标，用于评估检索上下文的质量，重点在于其与原始查询之间的相关性与全面性。

尽管这些基准的目标都是确保检索到的上下文能够有意义地支持用户查询，但它们在具体实现方式和重点上有所不同：

ARES、RAGAS和TruLens主要关注查询与上下文之间的即时对齐程度；
而KILT则从更广义的角度出发，评估信息的丰富性与完整性。

综上，这些评估指标对于判断RAG系统是否能够检索并提供高质量、相关性强的信息至关重要，进而帮助LLM生成准确且有上下文支撑的响应。

7.1.2 上下文与回答连贯性评估

在RAG系统中，检索到的上下文与生成回答之间的关系对确保响应质量至关重要。生成模块必须生成既连贯又忠实于检索内容的回答，以尽量减少幻觉（hallucination）或无依据的陈述。

为了评估这一能力，研究者开发了多种基准和评估指标。例如，CRUD框架使用召回率（Recall）和准确率（Precision）来评估生成回答的正确性，重点考察其正确性与完整性；ARES和RAGAS引入了**回答忠实度（Answer Faithfulness）**指标，衡量生成回答在多大程度上忠实于检索到的段落，以确保内容不产生幻觉。

RECALL框架则提出了两个关键指标：

Accuracy（准确性），用于评估回答的事实正确性；
Misleading Rate（误导率，M-Rate），评估误导性信息的出现频率。

TruLens进一步引入了**Groundedness（扎根性）**的概念，即将大模型生成的回答拆解为若干具体主张，并逐一与检索上下文比对验证，确保每一条输出均有明确证据支持。

尽管这些评估框架的共同目标都是评估生成回答的忠实性与连贯性，但它们在方法上各有侧重：

CRUD专注于召回率与准确率；
ARES与RAGAS强调对检索上下文的忠实性；
RECALL兼顾准确性与误导性；
TruLens则聚焦于对具体主张的逐项验证。

除了上述核心指标，近期研究还将重点放在提升RAG系统的高质量引用与准确归属能力上。例如，LongBench-Cite专为长文本引用问答（LQAC）设计，强调引用内容的相关性与准确性，以增强透明性。

RECLAIM框架进一步发展了该方向，提出如下指标：

Correct Attribution Score（CAS）：评估回答是否完全由引用内容支持；
Citation Redundancy Score（CRS）：减少冗余引用，以提升回答清晰度；
Verifiability（可验证性）与Consistency Ratio（一致性比率，CR）：确保检索数据真实支持生成内容。

此外，RARR引入句子级AIS（自动信息选择）与Levenshtein距离来衡量引用准确性，确保引用保留原意；WebGPT区分模仿性错误与非模仿性错误，以提升错误纠正能力；ALCE则利用引用召回率与精确率，评估引用的相关性与简洁性。

综上，这些评估方法共同构建了一套全面的框架，用以衡量RAG系统生成的回答是否具备上下文支撑性、准确性与透明可查性，从而突显其实用中的可靠性与可信度。

7.1.3 查询与回答一致性评估

在RAG系统中，准确衡量用户查询与生成回答之间的一致性是评估整体性能的关键。传统问答系统多采用准确率等指标，关注系统是否给出正确答案。而RAG系统由于引入外部知识，其评估变得更加复杂，需要更精细的评估方式。

RAG评估面临的一个主要挑战是处理“幻觉”问题——即模型生成的内容并非基于检索上下文。为了解决这一问题，CRAG基准引入了如幻觉率（hallucination rate）与遗漏率（missing rate）等指标，并将它们与传统准确率结合，计算准确率减去幻觉率，从而对虚假内容进行惩罚，优先考虑事实正确的回答。

其他框架如RAGAS、ARES和TruLens，引入了Answer Relevance（回答相关性）指标，评估生成回答与原始查询之间的契合程度。类似地，CRUD推出RAGQuestEval工具，用于评估回答的相关性与正确性；KILT基准则从下游任务角度评估RAG系统，强调基于具体任务的回答效果。

此外，RGB框架扩展了评估维度，加入了：

拒答率（Rejection Rate）：系统识别错误信息并拒绝回答的能力；
错误检测率（Error Detection Rate）；
错误纠正率（Error Correction Rate）。

这些扩展指标测试系统能否识别并纠正误导性内容。

总体而言，这些方法标志着RAG评估从简单的准确率考量，转向综合考察相关性、事实准确性与错误处理能力，强调构建不仅有效且值得信赖的RAG系统，以满足实际应用需求。

7.2 RAG系统效率评估

RAG系统的效率对于其在生产环境中的成功部署至关重要。在实际应用中，低延迟和高吞吐量是提供高响应性服务的关键。因此，评估RAG系统的效率需要测量多个关键性能指标，包括延迟（latency）、吞吐量（throughput）和资源利用率（resource utilization）。

延迟指的是从接收到查询到最终生成回答的端到端响应时间，涵盖了检索和生成两个阶段。高效的检索机制（如稠密检索器或稀疏检索器）在降低延迟方面发挥着关键作用，但稠密检索器通常需要更高的计算资源，可能会导致处理时间增加。
吞吐量衡量系统每秒可以处理多少个查询请求，对于高并发环境而言是至关重要的指标，反映系统的扩展能力。
资源利用率包括CPU/GPU的使用情况及内存消耗，反映系统对硬件资源的利用效率，以及是否存在不必要的系统开销。

为评估这些性能指标，研究者开发了RAG-Performance库，该工具可模拟高负载数据环境，在响应时间和吞吐量方面对RAG模型进行极限测试。它通过基准测试不同的检索和生成机制，提供关于不同配置如何影响系统性能的全面视图。

此外，其他研究还关注运行时间与硬件利用率的结合评估，揭示有效性与效率之间的权衡关系。

要全面理解RAG系统的运行效率，必须在不同配置与扩展性测试条件下对上述指标进行基准测试。这能够确保系统即使在不同负载情况下，也能保持响应性并具备良好的性价比。

未来的研究方向可能会聚焦于开发更全面的效率评估框架，将计算资源消耗与系统响应能力同时纳入考量，适用于真实场景中的部署需求。

8 下游任务与应用场景

本节将全面总结RAG在下游任务和特定领域应用中的使用情况。

8.1 下游任务

通常来说，下游任务涵盖多个领域，包括问答系统（QA）、信息抽取、文本生成和文本分类等。表5总结了每种任务类型及其常见子任务，重点展示了RAG模型及类似架构的常见应用领域。

✅ 问答系统（Question Answering, QA）

RAG模型在问答任务中表现出显著优势，能够检索有针对性的信息以支持生成准确、相关的回答：

单跳问答（Single-hop QA）：针对简单的事实类问题，RAG检索一条与查询直接相关的文档或段落，使模型可以在无需复杂推理的情况下生成精确回答。
多跳问答（Multi-hop QA）：在需要跨文档、跨观点连接多个事实的信息整合场景中，RAG的检索机制尤为强大。它能从多个来源获取并综合信息，完成更复杂的推理过程，生成深入详实的回答。
长文本问答（Long-form QA）：针对需要段落级长文本作答的任务，RAG能够检索并整合多个相关文档，生成全面、连贯的响应。这对于开放式或复杂问题尤为重要，能帮助模型生成更有深度且有见地的答案。

✅ 信息抽取（Information Extraction）

RAG通过从外部知识源中获取上下文相关数据，增强了实体识别与关系识别的准确性与深度：

实体链接（Entity Linking）：RAG可以获取关于特定实体的实时信息，从而更准确地将文本中提到的实体链接到知识库中的标准条目，提升消歧能力和上下文理解能力。
关系抽取（Relation Extraction）：通过检索与相关实体背景信息，RAG有助于更准确地识别文本中的实体关系。这一能力支持结构化知识的构建，适用于知识图谱等场景。

✅ 文本理解与生成（Text Understanding and Generation）

RAG通过引入补充信息，为文本理解与生成任务提供更强的语境支持：

文本分类（Text Classification）：在分类任务中，尤其是专业领域分类，RAG可检索背景知识或示例，辅助模型进行更准确的判断与分类。
文本摘要（Text Summarization）：RAG可从相关文档中检索摘要或补充上下文，帮助模型提取最相关信息，从而生成简洁、信息密度高的摘要。
文本生成（Text Generation）：在文本生成任务中，RAG的检索能力使其能够引入实时数据、专业知识或上下文信息，丰富生成内容的背景与准确性。

8.2 RAG的应用场景

RAG模型在多个领域具有广泛的应用价值，融合了信息检索与语言生成的优势。本节将探讨RAG模型在关键应用领域中的表现，这些模型通过提供准确、上下文相关、实时的信息检索能力，显著提升任务性能。

8.2.1 科研领域中的人工智能（AI for Science）

在科学研究中，RAG模型为研究人员提供强有力的支持，使其能够从庞大的科学数据库中获取并整合最新信息，从而提升工作效率，加速科研发现。

在材料科学领域，诸如GPT-4等大型语言模型结合检索能力，可自动辅助进行材料设计与数据分析等复杂任务，正在重塑这一跨学科领域的研究范式。
在化学领域，RAG模型提升了对专业领域查询的处理能力，支持研究人员进行合成路径规划、反应预测与分子相互作用分析等任务，这些任务通常需要超出预训练知识的信息支撑。
在物理学中，RAG通过检索相关科学背景信息，增强了问答与内容理解能力，使研究者和学生能更深入地掌握复杂物理概念，从而支持更高水平的科学探索与问题解决。
在生命科学领域，专为生物医学领域设计的 BioRAG 模型作为问答系统，能高效提供相关科学信息，支持生物学及相关领域的科研人员。

这些案例凸显了RAG模型在科研场景中的多样性与实用性，特别是在领域特定信息的获取与综合能力方面的提升。

8.2.2 金融领域（Finance）

在金融行业中，RAG模型在提升信息处理的准确性与相关性方面发挥着关键作用，广泛应用于信息抽取、问答系统和情感分析等任务。

在金融文档问答中，RAG通过优化检索策略（如改进文本切块方式和查询扩展技术）提升检索效果，使生成的回答更加精准且符合上下文，显著提高了金融QA系统的响应可靠性。
在金融情感分析中，RAG通过引入额外上下文帮助大语言模型更准确地判断市场情绪，使模型输出与金融情绪的细微差异更为一致，从而支持更合理的估值和投资决策。
此外，结合RAG的模型还可从发票、报告等多类型金融文档中提取关键数据，为企业提供可扩展、低成本的综合数据分析与洞察生成方案。

这些应用表明，RAG模型能够有效应对金融行业中的复杂挑战，提升信息获取效率，助力更高质量的数据驱动决策。

8.2.3 教育领域（Education）

在教育与在线学习领域，RAG模型通过提供个性化、上下文相关的支持，极大地增强了学习体验。基于RAG的智能辅导系统突破了传统限制，能够提供准确、交互性强的辅助功能，从而提高学生的参与度与学业表现。

例如，HiTA 是一个基于RAG的教学平台，支持教师融入AI辅助学习闭环，相当于一个“AI助教”，能够提升课程满意度和教学效果。

此外，专为教育场景设计的 教育专用RAG智能体（ES-RAG AI），确保AI生成内容的透明性与责任性，使其更符合教育目标和需求。

总体来看，RAG模型为教育打造了自适应学习环境，可根据学生进度调整内容，同时协助教师高效开发课程资源，提升了学习与教学的双向质量。

8.2.4 医疗领域（Healthcare）

在医疗健康领域，RAG成为变革性工具，重塑了医疗专业人员获取和应用医学知识的方式。通过将先进的检索机制与生成能力结合，RAG显著增强了知识获取、辅助决策与个性化医疗服务。

RAG应用涉及多个细分领域，例如：

在中医药中，RAG可从《本草纲目》等古籍中检索专业知识，助力中医现代化与数字化发展。
在传染病管理中，基于RAG的聊天机器人能提供及时、具有上下文意识的健康信息，缓解医疗资源紧张。
在精准医疗方面，RAG结合自然语言处理与基因组数据，为如多发性骨髓瘤等疾病提供个性化治疗建议。

这些案例展示了RAG模型在传统医学与现代医疗之间的桥梁作用，提升了疾病管理能力，推动了精准医疗的落地。

8.2.5 法律领域（Legal）

在法律行业中，RAG模型可用于处理复杂的法律文本，支持法律检索、文书起草与客户咨询等任务。

CBR-RAG将案例推理（Case-Based Reasoning）与RAG结合，结构化地执行检索任务，提升法律问答的准确性，确保LLM输出内容受到相关案例支撑。
LegalBench-RAG提出了一个专为法律领域设计的基准，强调在法律文献中进行高精度检索，缓解上下文窗口限制并提升法律分析准确性。
HyPA-RAG是一个混合参数自适应系统，能动态调整检索参数，应对如检索误差、信息过时等问题，特别适用于政策解释等高风险场景，大幅提高了响应准确率。

这些实现方式展示了RAG模型如何提升法律研究与文档处理的效率、准确性与语境相关性，加快法律服务的响应速度，提高可靠性。

8.2.6 工业领域（Industry）

在工业应用场景中，RAG模型在提升运行效率、实时故障排查与复杂场景决策支持方面发挥着重要作用。它通过将检索与生成能力结合，为工业场景提供定制化解决方案。

例如：

在工业故障排查中，RAG系统可从技术手册、专家知识库和实时传感器数据中获取信息，综合生成有上下文支撑的解决方案，减少停机时间并提升问题解决率。
在设备维护方面，意法半导体公司（STMicroelectronics）使用RAG作为认知助手，将技术文档检索与生成能力结合，支持先进的维护策略，降低错误率并提供上下文丰富的辅助。
在智能驾驶辅助系统中，RAG可从汽车手册中提取内容，提供实时、场景相关的驾驶指导，显著提升驾驶体验。