当前位置: 首页 > java >正文

【Java orm框架对比】十四新增gaarason/database-all框架对比

  • 本次更新内容如下
    • 新增 gaarason/database-all框架对比
    • 一万条数据以内与其他框架保持一致
    • 数据量超过十万时存储与查询性能还需要优化

orm框架使用性能比较

测试方法拉取代码,配置数据库账号信息,直接启动,然后打开控制台页面通过页面点击测试

比较mybatis-plus、lazy、sqltoy、mybatis-flex、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_orm、wood、hammer_sql_db、原生jdbc、qdbc、gaarason/database-all 操作数据
环境:
idea 
jdk17
spring boot 3.0.7
mysql 8.0

测试条件常规对象

orm 框架是否支持xml是否支持 Lambda对比版本编码方式注意事项
mybatis☑️☑️3.5.4lambda +xml 优化------------------------------
sqltoy☑️☑️5.2.98lambda------------------------------
lazy✖️☑️1.2.4-JDK17-SNAPSHOTlambda------------------------------
mybatis-flex☑️☑️1.8.0lambda +xml 优化------------------------------
easy-query✖️☑️1.10.31insert ignore into (当前版本不支持)不支持upsert操作
mybatis-mp☑️☑️1.4.1xml 优化------------------------------
jpa☑️☑️3.0.7----------------------------------------------------
dbvisitor☑️☑️5.4.3xml 优化------------------------------
beetlsql支持md☑️3.26.0-RELEASEinsert ignore into 优化------------------------------
dream_orm✖️☑️1.3.0insert ignore into (当前版本不支持)不支持upsert操作
wood☑️☑️1.2.9insert ignore into (当前版本不支持)不支持upsert操作
hammer_sql_db☑️☑️0.7.0insert ignore into (当前版本不支持)连接的数据库中如果没有表项目无法启动
jdbc✖️✖️----------------------------------------------------
qdbc☑️☑️4.2.7----------------------------------------------------
gaarason/database-all✖️☑️6.5.1lambda注意声明gaarasonDataSource会与第三方声明冲突

数据库表(含有唯一性索引s_u)

CREATE TABLE `sys_user`
(`column_name` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '额外字段',`create_time` datetime                                DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',`id`          bigint NOT NULL AUTO_INCREMENT COMMENT '用户ID',`is_deleted`  tinyint(1) DEFAULT NULL COMMENT 'null',`password`    varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '密码',`scope`       varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT 'null',`status`      tinyint(1) DEFAULT NULL COMMENT '状态',`update_time` datetime                                DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',`username`    varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '用户名',PRIMARY KEY (`id`) USING BTREE,UNIQUE KEY `s_u` (`scope`,`username`)
) ENGINE=InnoDB AUTO_INCREMENT=9223371632070323791 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

比较方法:增加、修改、删除、分页查询(当前项目暂时只比较批量新增和分页)

项目设计
  • 声明 ORMRepository 接口提供对应增删改查方法
    在这里插入图片描述

  • 声明 ORMComparisonRepository接口 继承 ORMRepository 下游由不同ORM实现

  • 声明 SysUserRepository 接口 继承 ORMRepository 用于循环调用不同orm实现方法执行方法测试产生测试结果

  • 声明抽象类 SysUserRepositoryAbstractRecord 继承 ORMComparisonRepository 并且提供对应的框架执行结果存储
    在这里插入图片描述

  • 不同ORM框架mybatis-plus、sqltoy、Lazy、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_orm、wood、hammer_sql_db、原生jdbc、qdbc
    、gaarason/database-all创建 ORMComparisonRepository 的实现

  • 在这里插入图片描述

  • 不同 ORM 操作数据的实现

在这里插入图片描述

测试条件 批量插入数据 10、100、1000、10000、100000 ,分页查询数据 10、100、1000、10000、100000

项目启动后使用浏览器打开 http://localhost:1003/sys/user/run-compare

在这里插入图片描述

测试条件(细节比较) 批量插入数据 1~10000,分页查询数据 1~10000

项目启动后使用浏览器打开 http://localhost:1003/sys/user/run-particulars-compare

导出测试数据为MD

项目启动后使用浏览器打开 http://localhost:1003/sys/user/export-compare-result

测试执行过程

清空需要插入表中所有数据
通过ORM框架进行数据批量新增、而后进行分页查询,记录消耗时间,输出md文档

查看结果曲线图

在这里插入图片描述

测试结果(结果只提供参考)

QDBC(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:309毫秒112毫秒680毫秒5916毫秒58921毫秒
MYBATIS_FLEX(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:47毫秒59毫秒329毫秒2845毫秒31641毫秒
Eloquent(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:22毫秒29毫秒183毫秒3918毫秒280391毫秒
LAZY(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:6毫秒25毫秒166毫秒1481毫秒16191毫秒
MYBATIS_MP(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:17毫秒47毫秒284毫秒2584毫秒28652毫秒
JDBC(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:79毫秒15毫秒83毫秒739毫秒7088毫秒
DB_VISITOR(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:24毫秒39毫秒162毫秒3674毫秒281271毫秒
MYBATIS_PLUS(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:66毫秒59毫秒345毫秒2822毫秒29268毫秒
JPA(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:68毫秒57毫秒205毫秒1454毫秒18526毫秒
SQLTOY(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:37毫秒34毫秒119毫秒919毫秒9471毫秒
BEETL_SQL(batchStory)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:251毫秒64毫秒177毫秒1467毫秒13280毫秒
QDBC(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:52毫秒101毫秒744毫秒7142毫秒59325毫秒
MYBATIS_FLEX(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:34毫秒12毫秒65毫秒459毫秒3848毫秒
Eloquent(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:50毫秒34毫秒74毫秒462毫秒4300毫秒
LAZY(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:26毫秒10毫秒33毫秒240毫秒1861毫秒
MYBATIS_MP(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:30毫秒12毫秒52毫秒366毫秒2975毫秒
JDBC(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:6毫秒6毫秒48毫秒330毫秒2718毫秒
DB_VISITOR(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:21毫秒8毫秒33毫秒304毫秒2439毫秒
MYBATIS_PLUS(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:39毫秒12毫秒63毫秒396毫秒3052毫秒
JPA(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:108毫秒23毫秒89毫秒368毫秒2190毫秒
SQLTOY(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:34毫秒11毫秒37毫秒182毫秒1329毫秒
BEETL_SQL(findPage)影响行数:10影响行数:100影响行数:1000影响行数:10000影响行数:100000
执行时间:53毫秒13毫秒47毫秒291毫秒2233毫秒
写在最后

经过不间断时间的框架收集、学习、实验、编码、测试市面上常见的ORM框架,过程中拜读了很多作者的博文、样例,学习很多收获很多。
重新梳理下整理的框架:mybatis-plus、lazy、sqltoy、mybatis-flex、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_rom、wood、hammer_sql_db、原生jdbc、qdbc、gaarason/database-all

下面从一下几点出发作出总结
  • 文档方面:学习过程中mybatis-plus、jpa、db_visitor、gaarason/database-all提供的文档资料是比较全和完善,经得住市场的考验
  • 技术方面:beetlsql、easy-query、mybatis、wood、db_visitor系列 三类框架都已经支持spring 和solon生态 其技术架构设计可以推荐大家学习
  • 并发方面:jpa、db_visitor 还需要开发时候深度优化处理
  • 大数据存储方面: Lazy 、原生jdbc、hammer_sql_db、beetlsql、easy-query、sqltoy、dream_rom、wood、gaarason/database-all具有一定优势
  • 大数据查询方面:sqltoy、dream_orm、Easy_query、Lazy、db_visitor 反射处理的比较优秀
小数据量下各ORM框架处理时间大体相近或者通过优化后趋于一致,重点看一万数据以后框架处理能力体现价值

以上是个人整理的观点,如果大家有不同的想法和意见可以在gitee或者个人博客留言CSDN

细节数据对比(一万以内基本相差不大)
  • 细节数据对比,数据属于并发行测试数据,如果测试总数是一百,那么会执行一百次batchStory,一百次findPage 每次执行的条数在之前数据的基础上+1
从形成的折线图看(具体趋势看排名与测试结果)
  • 存储性能对比: lazy、原生jdbcdream_rom、sqltoy、beetlSql、hammer_sql_db、db_visitor、easy-query、gaarason/database-all 更适合并发性数据存储。、mybatis-flex、mybatis-mp、mybatis-plus、jpa、qdbc 处理耗时较长波动较大
  • 分页查询性能对比: lazy、mybatis-flex、mybatis-mp、mybatis-plus、 dream_rom、easy-query、sqltoy、db_visitor、beetlSql 、jpa、hammer_sql_db、原生jdbc、gaarason/database-all都比较稳定。qdbc性能不佳

在这里插入图片描述

在这里插入图片描述

批量保存:
  • 一万条数据以内 原生jdbc、lazy、mybatis-flex、mybatis-mp、mybatis-plus、easy-query、sqltoy、beetlSql、jpa、db_visitor、wood、hammer_sql_db、qdbc、gaarason/database-all 性能趋于一致
  • 十万数据时,处理时间由快到慢依次是:
    • 两万毫秒以内:原生jdbc、sqltoy、db_visitor、wood、beetl_sql、dream_rom、easy-query、lazy、hammer_sql_db、
    • 两万毫秒以上: jpa、mybatis-plus、mybatis-mp、mybatis-flex、qdbc、gaarason/database-all
分页查询:
  • 一万条数据以内 几款ORM均保持在600毫秒内
  • 十万数据时,处理时间由快到慢依次是:
    • 四千毫秒以内:sqltoy、dream_rom、lazy、easy-query、beetlSql、jpa、db_visitor
    • 四千毫秒以上:原生jdbc、mybatis-mp、mybatis-plus、wood、mybatis-flex、hammer_sql_db、qdbc、gaarason/database-all

快速数据对比(大数据曲线图)

在这里插入图片描述

在这里插入图片描述

优化项
  • 时间 2024年5月7日
    • 添加 wood框架对比测试数据库存储和查询
    • 测试结果容易上手快速集成,但是内部使用了大量字符串不易于编写
  • 时间 2024年5月8日
    • 针对mysql 配置 rewriteBatchedStatements=true 保存时间明显提高
  • 时间:2024年5月9日
    • 事件 新增hammer_sql_db框架对比测试,该框架上手比较简单比较灵活
    • 测试结果hammer_sql_db 批量存储做的很优秀,但当分页获取数据量超过一万后分页查询性能开始下降
  • 时间:2024年5月11日
    • 事件 新增原生jdbc测试
    • 测试结果 因为未对jdbc过分优化,从结果过上看insertBatch 存在一定优势但是不大、分页查询结果集映射单纯for循环迭代会很慢
  • 时间:2024年5月20日
    • 事件 优化easy-query批量新增
    • 测试结果 优化后easy-query 批量新增数据趋于稳定
  • 时间:2024年5月21日
    • 事件 优化jpa数据存储、十万数据存储操作分批处理,表结构新增四十个测试字段
    • 测试结果 优化后jpa 批量新增数据趋于稳定事件大大缩减,新增四十个字段后所有ORM框架处理时间明显增多,但不是呈现倍数增加
  • 时间:2024年5月28日
    • 事件 新增qdbc 框架对比
    • 测试结果 qdbc基于spring JdbcTemplate处理存储和查询性能均有所不佳
  • 时间:2024年5月28日
    • 事件 新增gaarason/database-all 框架对比
    • 测试结果 gaarason/database-all处理insert into无唯一性索引时趋于原生sql,但是一旦出现唯一行索引后性能明显下降
issues 处理
  • #I9Q8UD
    • 事件:大表大数据处理,在原先表结构上增加40个字段
    • 测试结果:当表结构修改时使用原生sql需要修改(db_visitor、原生jdbc、mybatis、mybatis-flex、mybatis-mp),相反使用lambda表达式则不需要过多调整
    • 问题:
      • 如果表不存在hammer框架回无法启动,已经提交开发者issues
      • 使用过程中如果字段中包含下划线那么hammer 框架必须声明字段框架否则数据无法插入影响测试结果,对应的issues已经提交
  • #I9QGIL
    • 事件:easy-query 优化测试结果
  • #I9QDC7
    • 事件: 新增结果导出Excel
  • #I9P24G
    • 优化纯jdbc测试
  • #I9SQ6K
    • 优化hammer框架连接数据库检测数据库空表问题
  • #ICB1W6
    • 请求增加 Gaarason/database-all 的测评对比,谢谢~

关注公众号第一时间获取动态

在这里插入图片描述

当前项目地址:https://gitee.com/wujiawei1207537021/spring-orm-integration-compare
lazy-orm地址:https://gitee.com/wujiawei1207537021/wu-framework-parent/tree/master/wu-database-parent
mybatis地址:https://gitee.com/baomidou/mybatis-plus
sqltoy地址:https://gitee.com/sagacity/sagacity-sqltoy
mybatis-flex地址:https://gitee.com/mybatis-flex/mybatis-flex
easy-query地址:https://gitee.com/xuejm/easy-query
mybatis-mp地址:https://gitee.com/mybatis-mp/mybatis-mp
dbvisitor地址:https://gitee.com/zycgit/dbvisitor
beetlsql地址:https://gitee.com/xiandafu/beetlsql
dream-orm地址:https://gitee.com/moxiaoai/dream-orm
wood地址:https://gitee.com/noear/wood
hammer_sql_db地址:https://gitee.com/featherfly/hammer
qdbc地址:https://gitee.com/qdbp/qdbp-jdbc
gaarason/database-all地址:https://gitee.com/gaarason/database-all
http://www.xdnf.cn/news/9800.html

相关文章:

  • 解释滚动更新的过程,如何通过`kubectl set image`命令触发更新? 版本回滚的命令是什么?如何查看Deployment的更新历史?
  • 打印机无法远程打印?可以本地打印,本地网络打印机设置给异地使用
  • LangChain【1】之认识框架和简单体验
  • LeetCode Hot100(多维动态规划)
  • vmware虚拟机固定IP
  • const 用法总结
  • TortoiseSVN账号切换
  • 动态规划-152.乘积最大子数组-力扣(LeetCode)
  • Python训练营打卡 Day38
  • 信奥赛-刷题笔记-二分篇-T2-P1918保龄球0529
  • 纵览网丨新视角下的黑洞探索:传统奇点理论的挑战与未来观测的可能性
  • 进程控制与调度下
  • React 编译器 RC
  • Typescript学习教程,从入门到精通,TypeScript 泛型与类型操作详解(二)(17)
  • 数字取证-E01转vmdk
  • 区间DP概述(JAVA)
  • 若依框架 账户管理 用户分配界面解读
  • 纤维组织效应偏斜如何影响您的高速设计
  • 资产生命周期管理:动态监控 + 精准管理
  • 爬虫框架:scrapy使用心得
  • PABD 2025:大数据与智慧城市管理的融合之道
  • 数字孪生技术赋能西门子安贝格工厂:全球智能制造标杆的数字化重构实践
  • Linux -- 进程地址空间
  • 高速连接器设计的真相
  • $3 #12阶段三小结Java se
  • 【经验】Ubuntu中设置terminator的滚动行数、从Virtualbox复制到Windows时每行后多一空行
  • android studio debug调试出现 IOException异常
  • 智能厨房系统—御控物联网IoT平台
  • UniApp微信小程序自定义导航栏实现
  • vite导入优化插件vite-plugin-importer