当前位置: 首页 > news >正文

Spring AI开发跃迁指南(第二章:精进之道1——花样玩转LLM对话记忆功能)

在这里插入图片描述


1.简介

大模型(LLM)本身是无状态的,也就是说它本上不会保存之前的交互信息,所以在需要LLM有记忆功能时,我们就需要借助外部工具来存储历史的对话信息,从而达到一定程度上的记忆功能。
Spring AI 也提供了聊天记忆功能ChatMemory,允许使用 LLM 跨多个交互存储和检索信息。

示例:为什么需要对话记忆?

LLM 本质是无状态的——每次请求独立处理,无法自动关联历史上下文。例如:

chatModel.call("我叫张三");  
chatModel.call("我是谁?"); // 模型无法回答“张三”  

2.核心组件

Spring AI自身实现了一个ChatMemory->InMemoryChatMemory,它使用内存来保留对话信息,并使用一个MessageWindowChatMemory实现来管理对话历史记录。

ChatMemory接口是聊天记忆功能的底层抽象,实现此接口则可对ChatMemory示例做扩展。消息的底层存储由 处理ChatMemoryRepository,其唯一职责是存储和检索消息ChatMemory实现决定保留哪些消息以及何时删除它们。策略示例包括保留最后 N 条消息、将消息保留一段时间或将消息保留到一定的令牌限制。

@Autowired
private ChatMemory chatMemory;

自动注入ChatMemory。具体的使用示例已经在Spring AI开发跃迁指南(第二章:急速上手3——Spring AI Advisor核心原理、源码讲解及使用实例)有完整的实例。

3.记忆存储类型

存储类型主要分为四种,除了上面介绍的内存存储外还存在JdbcCassandraNeo4j。下面我们主要讲后三种。

3.1.JdbcChatMemoryRepository

JdbcChatMemoryRepository是一个内置实现,使用 JDBC 将消息存储在关系数据库中。支持多种数据库,适用于需要持久存储聊天记忆的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-jdbc</artifactId>
</dependency>

自动配置:

ChatMemoryRepository chatMemoryRepository = JdbcChatMemoryRepository.builder().jdbcTemplate(jdbcTemplate).dialect(new PostgresChatMemoryDialect()).build();ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

支持的数据库包括:

  • PostgreSQL

  • MySQL / MariaDB

  • SQL Server

  • HSQLDB

配置属性:

属性描述默认值
spring.ai.chat.memory.repository.jdbc.initialize-schema控制何时初始化架构。值:(embedded默认)always、、neverembedded
spring.ai.chat.memory.repository.jdbc.schema用于初始化的架构脚本的位置。支持classpath:URL 和平台占位符。classpath:org/springframework/ai/chat/memory/repository/jdbc/schema-@@platform@@.sql
spring.ai.chat.memory.repository.jdbc.platform如果使用 @@platform@@ 占位符,则在初始化脚本中使用的平台。自动检测

初始化配置:
自动配置将SPRING_AI_CHAT_MEMORY在启动时使用数据库供应商特定的 SQL 脚本自动创建表。默认情况下,模式初始化仅适用于嵌入式数据库(H2、HSQL、Derby 等)。可以使用以下属性控制架构初始化spring.ai.chat.memory.repository.jdbc.initialize-schema

spring.ai.chat.memory.repository.jdbc.initialize-schema=embedded # Only for embedded DBs (default)
spring.ai.chat.memory.repository.jdbc.initialize-schema=always   # Always initialize
spring.ai.chat.memory.repository.jdbc.initialize-schema=never    # Never initialize (useful with Flyway/Liquibase)

3.2.CassandraChatMemory

CassandraChatMemoryRepository使用 Apache Cassandra 存储消息。它适用于需要持久存储聊天内存的应用程序,尤其适用于需要高可用性、持久性、可扩展性以及利用生存时间 (TTL) 功能的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-cassandra</artifactId>
</dependency>

自动配置:

@Autowired
CassandraChatMemoryRepository chatMemoryRepository;ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

配置属性:

属性描述默认值
spring.cassandra.contactPoints启动集群发现的主机127.0.0.1
spring.cassandra.port要连接的 Cassandra 本机协议端口9042
spring.cassandra.localDatacenter要连接的 Cassandra 数据中心datacenter1
spring.ai.chat.memory.cassandra.time-to-liveCassandra 中写入的消息的生存时间 (TTL)
spring.ai.chat.memory.cassandra.keyspaceCassandra 键空间springframework
spring.ai.chat.memory.cassandra.messages-columnCassandra 消息的列名springframework
spring.ai.chat.memory.cassandra.tableCassandra 表ai_chat_memory
spring.ai.chat.memory.cassandra.initialize-schema是否在启动时初始化模式。true

初始化配置: 自动配置将自动创建ai_chat_memory表。
通过将设置属性spring.ai.chat.memory.repository.cassandra.initialize-schema=false来禁用架构初始化。

3.2.Neo4j ChatMemoryRepository

使用 Neo4j 将聊天消息作为节点和关系存储在属性图数据库中。它适用于希望利用 Neo4j 的图功能实现聊天内存持久化的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-neo4j</artifactId>
</dependency>

自动配置:

@Autowired
Neo4jChatMemoryRepository chatMemoryRepository;ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

配置属性:

属性描述默认值
spring.ai.chat.memory.repository.neo4j.sessionLabel存储对话会话的节点的标签Session
spring.ai.chat.memory.repository.neo4j.messageLabel存储消息的节点的标签Message
spring.ai.chat.memory.repository.neo4j.toolCallLabel存储工具调用的节点的标签(例如在助手消息中)ToolCall
spring.ai.chat.memory.repository.neo4j.metadataLabel存储消息元数据的节点的标签Metadata
spring.ai.chat.memory.repository.neo4j.toolResponseLabel存储工具响应的节点的标签ToolResponse
spring.ai.chat.memory.repository.neo4j.mediaLabel存储与消息相关的媒体的节点的标签Media

Neo4j 代码库将自动确保为对话 ID 和消息索引创建索引,以优化性能。如果使用自定义标签,系统也会为这些标签创建索引。无需初始化架构,但您应确保您的应用程序可以访问 Neo4j 实例。

4.Spring AI集成的ChatClient中的记忆

ChatClient中的封装的聊天记忆主要分为三个即MessageChatMemoryAdvisor、
PromptChatMemoryAdvisor和VectorStoreChatMemoryAdvisor其为Spring AI提供的Advisor的一部分。其具体的试用流程及原理请参考:Spring AI开发跃迁指南(第二章:急速上手3——Spring AI Advisor核心原理、源码讲解及使用实例)

http://www.xdnf.cn/news/785863.html

相关文章:

  • 小巧实用,Windows文件夹着色软件推荐
  • OD 算法题 B卷【矩阵稀疏扫描】
  • 【知识点】openai请求参数如何转为大模型的字符串?
  • 如何将 iOS 性能调试融入日常开发流程?构建“默认监控机制”的实战经验(含 KeyMob 工具搭配)
  • 【高等数学】(1)映射
  • 二分查找的边界艺术:LeetCode 34 题深度解析
  • WebFuture:启动服务提示Job webfuture.service/start failed with result ‘dependency‘处理办法
  • 大模型 提示模板 设计
  • 动态规划(2)
  • 从测试角度看待CI/CD,敏捷开发
  • 基于YOLO-NAS-Pose的无人机象群姿态估计:群体行为分析的突破
  • YOLO训练及数据采集注意事项
  • 压缩格式未知或数据损坏:如何应对压缩包无法打开的情况
  • 用PyTorch从零开始编写DeepSeek-V2
  • 情趣私域运营:打造高效转化的私域营销体系
  • C++11特性:enum class(强枚举类型)详解
  • leetcode hot100刷题日记——36.最长连续序列
  • 金属膜电阻和碳膜电阻
  • 在 Vite 中如何处理静态资源
  • 飞算 JavaAI 赋能老项目重构:破旧立新的高效利器
  • 使用Redis的四个常见问题及其解决方案
  • redis的哨兵模式和Redis cluster
  • 5分钟申请edu邮箱【方案本周有效】
  • 基于springboot的图书管理系统的设计与实现
  • 无人机论文感想
  • 邢台山峰特种橡胶制品有限公司专题报道
  • 【后端架构师的发展路线】
  • web第九次课后作业--SpringBoot基于mybatis实现对数据库的操作
  • 006网上订餐系统技术解析:打造高效便捷的餐饮服务平台
  • 014校园管理系统技术解析:构建智慧校园管理平台