SpringAI框架中的RAG知识库检索与增强生成模型详解

SpringAI框架中的RAG知识库检索与增强生成模型详解

一、RAG简介

RAG（Retrieval-Augmented Generation）可以通过检索知识库，克服大模型训练完成后参数冻结的局限性，携带知识让大模型根据知识进行回答。

二、SpringAI框架支持的RAG模块

SpringAI框架提供了模块化的API来支持RAG，主要包括：

• QuestionAnswerAdvisor
• RetrievalArgumentAdvisor

1. QuestionAnswerAdvisor

提供简单便捷的RAG流功能，只需指定简单参数即可进行知识库检索。 示例代码：

QuestionAnswerAdvisor questionAnswerAdvisor = QuestionAnswerAdvisor.builder(vectorStore).searchRequest(SearchRequest.builder().similarityThreshold(0.5)  // 只返回相似度高于0.5的结果.topK(3)                  // 只返回前三个结果.filterExpression(newFilterExpressionBuilder().eq("a","b").build())  // 只检索a==b的文档.build()).build();ChatClient chatClient = ChatClient.builder(openAiChatModel).defaultOptions(OpenAiChatOptions.builder().model("gpt-3.5-turbo").build()).build();ChatResponse response = chatClient.prompt().advisors(questionAnswerAdvisor).user(u -> u.text("你好")).call().chatResponse();

动态添加过滤条件示例：

chatClient.prompt().user(u -> u.text("hello")).advisors(a -> a.param(QuestionAnswerAdvisor.FILTER_EXPRESSION, "a==b")).call().chatResponse();

这里的lambda表达式中的a是AdvisorContext.Builder实例，param()用于共享参数，advisor自动完成检索和拼接。

2. RetrievalArgumentAdvisor

提供更丰富功能，支持自定义检索前预处理、检索、检索后处理及生成。

简单RAG实现示例：

Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder().documentRetriever(VectorStoreDocumentRetriever.builder().similarityThreshold(0.50).vectorStore(vectorStore).build()).build();String answer = chatClient.prompt().advisors(retrievalAugmentationAdvisor).user(question).call().content();

检索前预处理

• CompressionQueryTransformer：压缩用户提问，适合长对话上下文。

  Query query = Query.builder().text("And what is its second largest city?").history(newUserMessage("What is the capital of Denmark?"),newAssistantMessage("Copenhagen is the capital of Denmark.")).build();QueryTransformer transformer = CompressionQueryTransformer.builder().chatClientBuilder(chatClientBuilder).build();Query transformedQuery = transformer.transform(query);
  

  也可让advisor自动完成：

  CompressionQueryTransformer compressionQueryTransformer = CompressionQueryTransformer.builder().chatClientBuilder(ChatClient.builder(openAiChatModel)).build();RetrievalAugmentationAdvisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder().documentRetriever(VectorStoreDocumentRetriever.builder().build()).queryTransformers(compressionQueryTransformer).build();ChatClient.builder(openAiChatModel).build().prompt().user(u -> u.text("中国第二大的城市是哪里")).messages(newUserMessage("中国首都城市是哪里")).messages(newAssistantMessage("北京")).advisors(retrievalAugmentationAdvisor).call().chatResponse();
  

• RewriteQueryTransformer：重写用户输入以优化检索。

  QueryTransformer queryTransformer = RewriteQueryTransformer.builder().chatClientBuilder(chatClientBuilder).build();
  

• TranslationQueryTransformer：翻译查询为目标语言。

  QueryTransformer transformer = TranslationQueryTransformer.builder().chatClientBuilder(chatClientBuilder).targetLanguage("english").build();
  

• MultiQueryExpander：生成多个查询拓展以获取更多相关结果。

  MultiQueryExpander expander = MultiQueryExpander.builder().chatClientBuilder(chatClientBuilder).numberOfQueries(3).includeOriginal(false).build();
  

检索阶段

• VectorStoreDocumentRetriever：向量库检索相似文档。

  VectorStoreDocumentRetriever vectorStoreDocumentRetriever = VectorStoreDocumentRetriever.builder().vectorStore(vectorStore).topK(4).filterExpression(newFilterExpressionBuilder().eq("a","b").build()).similarityThreshold(0.4).build();List<Document> documents = vectorStoreDocumentRetriever.retrieve(newQuery("What is the main character of the story?"));
  

  也可以交给advisor自动完成。

检索后处理

• 重新排序文档
• 删除无关或重复文档
• 压缩文档内容减少干扰

生成阶段

• ContextualQueryAugmenter：将检索到的内容拼接到用户提问中。

  ContextualQueryAugmenter contextualQueryAugmenter = ContextualQueryAugmenter.builder().allowEmptyContext(false) // 不允许空内容.build();
  

  主要功能：

  • 检查检索结果是否为空
  • 非空时拼接检索结果注入提示模板
  • 空且不允许空上下文时，设置空变量并指示模型不根据知识回答
  • 允许空上下文时直接放行

---

以上即为SpringAI框架中RAG功能的详细介绍及示例代码，涵盖了从简单到复杂的知识库检索与增强生成流程。