当前位置: 首页 > backend >正文

Mybatis 两级缓存可能导致的问题

Mybatis 两级缓存可能导致的问题

    • 两级缓存简介
      • 一级缓存 localCache
        • 效果
        • 开关
      • 二级缓存
    • 两级缓存可能导致的问题
      • 分布式环境下查询到过期数据
      • 事务隔离级别失效
        • 读已提交失效
        • 读未提交失效
    • 总结

两级缓存简介

一级缓存 localCache

效果

一级缓存是 session 或者说事务级别的,只在同一事务内有效,在以相同的参数执行多次同一个查询方法时,实际只会在第一次时进行数据库 select 查询,后续会直接从缓存中返回。如下:

@GetMapping("/test1")
@Transactional(rollbackFor = Exception.class)
public String test1() {log.info("---------------------------------------------------------------------------");Teacher teacher1 = teacherMapper.selectByPrimaryKey("01");log.info("teacher1: {}, hashCode: {} \n", teacher1, System.identityHashCode(teacher1));Teacher teacher2 = teacherMapper.selectByPrimaryKey("01");log.info("teacher2: {}, hashCode: {} \n", teacher2, System.identityHashCode(teacher2));Student student1 = studentMapper.selectByPrimaryKey("01");log.info("student1: {}, hashCode: {} \n", student1, System.identityHashCode(student1));Student student2 = studentMapper.selectByPrimaryKey("01");log.info("student2: {}, hashCode: {} \n", student2, System.identityHashCode(student2));return "test1";
}

下图中是调用了两次的输出,从第一次输出中可以看出查询 teacher、student 的 SQL 都只打印了一遍,说明分别只执行了一次数据库查询。且两个 teacher、student 的 hashCode 分别是一样的,说明是同一个对象。第二次调用的输出和第一次的相似,都重新执行了一次数据库查询,说明一级缓存只在同一事务内有效,不能跨事务。

image-20250713102056458

如果事务中有 DML 语句的话,会清空所有的缓存。不管 DML 语句中的表是否与缓存中的表相同,都会无条件的清空所有缓存。

@GetMapping("/test2")
@Transactional(rollbackFor = Exception.class)
public String test2() {log.info("---------------------------------------------------------------------------");Teacher teacher1 = teacherMapper.selectByPrimaryKey("01");log.info("teacher1: {}, hashCode: {} \n", teacher1, System.identityHashCode(teacher1));Teacher teacher2 = teacherMapper.selectByPrimaryKey("01");log.info("teacher2: {}, hashCode: {} \n", teacher2, System.identityHashCode(teacher2));Student student1 = studentMapper.selectByPrimaryKey("01");log.info("student1: {}, hashCode: {} \n", student1, System.identityHashCode(student1));Student student2 = studentMapper.selectByPrimaryKey("01");log.info("student2: {}, hashCode: {} \n", student2, System.identityHashCode(student2));insertScore();log.info("insertScore\n");Teacher teacher3 = teacherMapper.selectByPrimaryKey("01");log.info("teacher3: {}, hashCode: {} \n", teacher3, System.identityHashCode(teacher3));Student student3 = studentMapper.selectByPrimaryKey("01");log.info("student3: {}, hashCode: {} \n", student3, System.identityHashCode(student3));return "test2";
}private void insertScore() {Score score = new Score();score.setSId("08");score.setCId("01");score.setSScore(100);scoreMapper.insert(score);
}

前半部分的输出与 test1 相同,当插入 score 后再次查询 teacher、student 时,打印了 SQL,且与上半部分的 hashCode 不相同,说明执行 insertScore 时缓存被全部清空了。

image-20250713103010097

开关

一级缓存在 mybatis 源码中被称为 localCache,springboot 可使用 mybatis.configuration.local-cache-scope 来控制其行为,默认值是 session,也就是事务级别的缓存。可将其配置为 statement 以关闭 localCache 功能。

下面是将 mybatis.configuration.local-cache-scope 配置为 statement 后再执行 test1 的输出,每次都打印了 SQL,且 hashCode 都不一样,说明缓存没有起作用。

image-20250713104126602

二级缓存

二级缓存是 namespace 级别的(或者说是 Mapper 级别的,如下 xml),与一级缓存类似,在以相同的参数执行多次同一个查询方法时,实际只会在第一次时进行数据库 select 查询,后续会直接从缓存中返回。如果执行同一个 namespace 中的 DML 语句(比如 delete、insert、update)的话,会清空 namespace 相关的所有 select 的缓存。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.example.mybatis.mapper.StudentMapper"><select>...</select><delete>...</delete><insert>...</insert>...
</mapper>

二级缓存由 mybatis.configuration.cache-enabled 控制,默认为 true。除此之外还需要在要开启二级缓存的 Mapper.xml 中添加 <cache/> 表情才能开启对应 Mapper 的二级缓存。

下面是在关闭一级缓存,且只开启 StudentMapper.xml 二级缓存的情况下的测试:

application.properties

...
mybatis.configuration.local-cache-scope=statement
mybatis.configuration.cache-enabled=true

StudentMapper.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.example.mybatis.mapper.StudentMapper"><resultMap id="BaseResultMap" type="org.example.mybatis.entity.Student"><!--@mbg.generated--><!--@Table student--><id column="s_id" jdbcType="VARCHAR" property="sId" /><result column="s_name" jdbcType="VARCHAR" property="sName" /><result column="s_birth" jdbcType="VARCHAR" property="sBirth" /><result column="s_sex" jdbcType="VARCHAR" property="sSex" /></resultMap><cache readOnly="true"/>...
</mapper>

这是执行了两次 test1 的输出:

由于没有开启 TeacherMapper.xml 的二级缓存,所以每次查询 teacher 都打印了 SQL,且 hashCode 不相同,说明 teacher 的缓存没起作用。

第 ① 次查询 student 打印了 SQL,直接查询了数据库,这是正常的,因为此时缓存中没有数据。但第 ② 次查询 student 也没有走缓存,也直接查询了数据库,这是为啥?是因为二级缓存不是在执行完 select 后立即填充的,是要等到事务提交之后才会填充缓存。

从最后几行的输出能看出最后两次查询 student 确实走了缓存,并且还打印了缓存命中率。这是因为第一次调用 test1 结束后事务提交了,数据被填充到了缓存里。

image-20250713121621685

测试无事务时的效果

test3 是在 test1 的基础上删除了 @Transactional 注解

@GetMapping("/test3")
public String test3() {log.info("---------------------------------------------------------------------------");Teacher teacher1 = teacherMapper.selectByPrimaryKey("01");log.info("teacher1: {}, hashCode: {} \n", teacher1, System.identityHashCode(teacher1));Teacher teacher2 = teacherMapper.selectByPrimaryKey("01");log.info("teacher2: {}, hashCode: {} \n", teacher2, System.identityHashCode(teacher2));Student student1 = studentMapper.selectByPrimaryKey("01");log.info("student1: {}, hashCode: {} \n", student1, System.identityHashCode(student1));Student student2 = studentMapper.selectByPrimaryKey("01");log.info("student2: {}, hashCode: {} \n", student2, System.identityHashCode(student2));return "test3";
}

teacher 的缓存还是没起作用。

只有第一次查询 student 时直接查询了数据库,其他三次都命中了缓存。

image-20250713123335310

两级缓存可能导致的问题

分布式环境下查询到过期数据

假设支付服务 A 有两个实例 A1、A2,负载均衡采用轮训策略,第一次查询余额访问 A1 返回 100000,第二次消费 100 访问 A2 返回余额 99900,第三次查询余额访问 A1 返回的还是 100000。如下的模拟

application.properties

...
mybatis.configuration.local-cache-scope=statement
mybatis.configuration.cache-enabled=true

AccountMapper.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.example.mybatis.mapper.AccountMapper">...<cache readOnly="true"/><update id="pay">update accountset balance = balance - #{amount}where id = #{id}</update>
</mapper>
@GetMapping("/balance")
public Long queryBalance() {return accountMapper.selectByPrimaryKey(1).getBalance();
}@GetMapping("/pay")
public Long pay() {accountMapper.pay(1, 100);return accountMapper.selectByPrimaryKey(1).getBalance();
}

分别在 8080、8081 启动两个实例,如下输出:

image-20250713130221849

要解决这个问题很简单,就是不使用缓存,比如 mybatis.configuration.cache-enabled=false 或者将 AccountMapper.xml 中的 <cache/> 标签删除。

事务隔离级别失效

读已提交失效

在开发中经常有这种场景:先判断是否存在,如果不存在再插入。这种判断再插入的操作不是原子的,多线程会有问题,所以需要加锁保证操作的安全性。在读多写少的场景中,会使用 double check 来尽可能的减少用锁的使用,伪代码如下:

def doubleCheck(id) {o = select(id);if (o == null) {lock.lock();try {o = select(id);if (o == null) {o = create(id);}} finally {lock.unlock();}}return o;
}

创建 Account 的测试

application.properties

还原成默认值,且删除 AccountMapper.xml 中的 <cache/> 标签,用以关闭 AccountMapper 的二级缓存。

...
mybatis.configuration.local-cache-scope=session
mybatis.configuration.cache-enabled=true

注意这里使用的隔离级别为读已提交

@PutMapping("/accounts/{id}")
// double check 需要使用读已提交隔离级别才能读到最新数据
@Transactional(rollbackFor = Exception.class, isolation = Isolation.READ_COMMITTED)
public Account createAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = accountMapper.selectByPrimaryKey(id);// 等待多个请求到达TimeUnit.SECONDS.sleep(5);// 如果账户不存在,需要加分布式锁后进行 double check,防止并发问题if (account == null) {RLock lock = redissonClient.getLock("lock:account:create:" + id);boolean locked = lock.tryLock(10, TimeUnit.SECONDS);if (locked) {try {account = accountMapper.selectByPrimaryKey(id);if (account == null) {// 创建账户account = createAccount0(id);}} finally {lock.unlock();}}}return account;
}public Account createAccount0(Integer id) {Account account = new Account();account.setId(id);account.setBalance(0L);accountMapper.insertSelective(account);// 操作其他表return account;
}

同时发起两个 Put 请求 http://localhost:8080/accounts/2。一个正常返回,另一个在 insert 时报错 Duplicate entry ‘2’ for key ‘account.PRIMARY’,说明读已提交的隔离级别没起作用,第二个请求没有读到最新的数据。

一级缓存实际起到了类似可重复读的效果。

image-20250713140828986

两个请求(线程分别为 nio-8080-exec-3、nio-8080-exec-4)执行了 3 次(第一个请求 1 次,第二个请求 2 次) accountMapper.selectByPrimaryKey(id),但每个线程都只打印了 1 次 SQL,说明第二个请求的第 2 次查询走了缓存,导致没有查询到第一个请求插入的最新数据,才导致的后来的报错。

image-20250713140226289

解决办法

  1. 最简单办法就是修改 mybatis.configuration.local-cache-scope=statement,直接关闭一级缓存。

  2. 直接去掉 @Transactional 注解肯定能解决问题,但如果 createAccount0 方法中操作多张表的话,如果部分失败事务将无法回滚。

  3. 不能直接去掉 @Transactional 注解,但可以缩小事务的范围,将两次查询放到事务外,只将 createAccount0 方法放到事务内。

    @Lazy
    @Autowired
    private TestController self;@PutMapping("/accounts/{id}")
    public Account createAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = accountMapper.selectByPrimaryKey(id);// 等待多个请求到达TimeUnit.SECONDS.sleep(5);// 如果账户不存在,需要加分布式锁后进行 double check,防止并发问题if (account == null) {RLock lock = redissonClient.getLock("lock:account:create:" + id);boolean locked = lock.tryLock(10, TimeUnit.SECONDS);if (locked) {try {account = accountMapper.selectByPrimaryKey(id);if (account == null) {// 创建账户account = self.createAccount0(id);}} finally {lock.unlock();}}}return account;
    }@Transactional(rollbackFor = Exception.class)
    public Account createAccount0(Integer id) {Account account = new Account();account.setId(id);account.setBalance(0L);accountMapper.insertSelective(account);// 操作其他表return account;
    }
    
  4. 如果外层有其他事务的话,由于一级缓存只有在同一个事务中才会生效,所以可以将两个 accountMapper.selectByPrimaryKey(id) 拆分到不同的事务中,propagation 必须是 Propagation.REQUIRES_NEW

    @Lazy
    @Autowired
    private TestController self;@PutMapping("/accounts/{id}")
    public Account createAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = self.getAccount0(id);// 等待多个请求到达TimeUnit.SECONDS.sleep(5);// 如果账户不存在,需要加分布式锁后进行 double check,防止并发问题if (account == null) {RLock lock = redissonClient.getLock("lock:account:create:" + id);boolean locked = lock.tryLock(10, TimeUnit.SECONDS);if (locked) {try {account = self.getAccount0(id);if (account == null) {// 创建账户//account = self.createAccount0(id);}} finally {lock.unlock();}}}return account;
    }// 读已提交 REQUIRES_NEW
    @Transactional(rollbackFor = Exception.class, isolation = Isolation.READ_COMMITTED, propagation = Propagation.REQUIRES_NEW)
    public Account getAccount0(Integer id) {return accountMapper.selectByPrimaryKey(id);
    }
    
读未提交失效

同样的由于一级缓存的存在,读未提交也读不到最新的未提交数据。

读未提交 查询 Account 的测试

application.properties

还原成默认值,且删除 AccountMapper.xml 中的 <cache/> 标签,用以关闭 AccountMapper 的二级缓存。

...
mybatis.configuration.local-cache-scope=session
mybatis.configuration.cache-enabled=true
@GetMapping("/accounts/{id}")
// 读未提交
@Transactional(rollbackFor = Exception.class, isolation = Isolation.READ_UNCOMMITTED)
public Account getAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = accountMapper.selectByPrimaryKey(id);log.info("account1: {}\n", account);// 若不存在,则等待几秒再查if (account == null) {TimeUnit.SECONDS.sleep(10);}account = accountMapper.selectByPrimaryKey(id);log.info("account2: {}\n", account);return account;
}@PutMapping("/accounts/{id}")
@Transactional(rollbackFor = Exception.class)
public Account createAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = new Account();account.setId(id);account.setBalance(0L);accountMapper.insertSelective(account);log.info("insert account: {}\n", account);// 延迟提交事务TimeUnit.SECONDS.sleep(15);// 操作其他表return account;
}

先请求 getAccount 再请求 createAccount,从输出中可以看出,在使用读未提交的情况下,account2 依旧为 null,走了缓存,导致读未提交失效。

image-20250713152132113

解决办法

  1. 最简单办法就是修改 mybatis.configuration.local-cache-scope=statement,直接关闭一级缓存。

  2. 由于一级缓存只有在同一个事务中才会生效,所以可以将两个 accountMapper.selectByPrimaryKey(id) 拆分到不同的事务中,propagation 必须是 Propagation.REQUIRES_NEW

    @Lazy
    @Autowired
    private TestController self;@GetMapping("/accounts/{id}")
    public Account getAccount(@PathVariable("id") Integer id) throws InterruptedException {Account account = self.getAccount0(id);log.info("account1: {}\n", account);// 若不存在,则等待几秒再查if (account == null) {TimeUnit.SECONDS.sleep(10);}account = self.getAccount0(id);log.info("account2: {}\n", account);return account;
    }// 读未提交 REQUIRES_NEW
    @Transactional(rollbackFor = Exception.class, isolation = Isolation.READ_UNCOMMITTED, propagation = Propagation.REQUIRES_NEW)
    public Account getAccount0(Integer id) {return accountMapper.selectByPrimaryKey(id);
    }
    

总结

一级缓存是事务级别的,实际起到了类似可重复读的效果,而且比可重复读的性能更好,因为多次查询的话不会请求数据库了。在事务隔离级别是可重复读时使用一级缓存能提高性能。但就因为其类似可重复读的效果会导致其他的隔离级别失效。要解决失效的问题,最简单方式就是关闭一级缓存,但这样会损失性能。另一个解决办法是将需要使用其他隔离级别的方法使用 propagation = Propagation.REQUIRES_NEW 拆分到新的事务中。如果是读已提交的话可通过缩小事务范围的方式解决。

一级缓存是事务级别的,缓存的生命周期较短,但二级缓存是 namespace (Mapper)级别的,生命周期可能很长,在分布式、多实例环境中很容易查询到过期的数据,导致其他问题。我个人建议在分布式、多实例环境中应该设置 mybatis.configuration.cache-enabled=false 来关闭二级缓存,从根源上杜绝这种问题。

http://www.xdnf.cn/news/15328.html

相关文章:

  • 如何成为 PostgreSQL 中级专家
  • 算法学习笔记:18.拉斯维加斯算法 ——从原理到实战,涵盖 LeetCode 与考研 408 例题
  • IT岗位任职资格体系及发展通道-产品经理岗位任职标准参考
  • 力扣经典算法篇-19-判断子序列(双指针法,双指针递归法,批量校验时的进阶解法(预处理+二分查找))
  • AI交互中的礼貌用语:“谢谢“的效用与代价分析
  • Sping AI Alibaba
  • 【unitrix】 5.1 第二套类型级二进制数基本结构体(types2.rs)
  • Sqlmap工具下载及使用
  • 【算法】贪心算法入门
  • 算法学习笔记:19.牛顿迭代法——从原理到实战,涵盖 LeetCode 与考研 408 例题
  • 【SCI 4区推荐】《Journal of Visual Communication and Image Representation》
  • 代码随想录|图论|14有向图的完全可达性
  • 集训Demo1
  • CVPR2025 Mamba系列
  • JAVA--双亲委派机制
  • 维基艺术图片: python + scrapy 爬取图片
  • Linux系统中部署Redis详解
  • 算法练习6-大数乘法(高精度乘法)
  • RocketMQ-
  • 【字符串移位包含问题】2022-8-7
  • Opencv---深度学习开发
  • 单细胞入门(1)——介绍
  • 电商订单数据分析全流程:从数据处理到可视化洞察
  • 【PTA数据结构 | C语言版】车厢重排
  • Geant4 安装---Ubuntu
  • 【深度剖析】致力“四个最”的君乐宝数字化转型(下篇:转型成效5-打造数字化生存能力探索可持续发展路径)
  • 26. 删除有序数组中的重复项
  • 【MySQL笔记】事务的ACID特性与隔离级别
  • 详细理解向量叉积
  • 二分搜索 (左程云)