当前位置: 首页 > ai >正文

有关用easyExcel批量导入excel入库慢的调优记录

#先说结论:springboot+mybatis-plus框架,在批量save时,在没有开启事务时,数据量越大,插入会越慢。

#项目背景:项目中有业务会从excel导入千条甚至更多数据保存到数据库,而导入数据库时不能让档号重复,所以在入库时,需要根据档号查询是否存在,存在则更新,不存在则新增。

由于我使用了分批次导入excel数据,每次最多处理100条,然后分批次导入,我的框架是springboot+mybatis-plus,这里用了saveOrUpdate来进行入库操作。

当我用1500条数据做测试导入时,发现整个过程大约需要50秒。于是怀疑是数据库性能问题,自己又模拟了删除和插入、更新直接在数据库客户端中操作都不慢,于是怀疑到程序中是否存在问题,于是在业务中加入了事务将每次存的一百条数据上加入事务,导入立刻变快了。谨以此记录

http://www.xdnf.cn/news/9839.html

相关文章:

  • 深入了解linux系统—— 库的制作和使用
  • 高端装备制造企业如何选择适配的项目管理系统提升项目执行效率?附选型案例
  • Java-代码段-http接口调用自身服务中的其他http接口(mock)-并建立socket连接发送和接收报文实例
  • 生益的高速PCB板材有哪些
  • (二)开启深度学习动手之旅:先筑牢预备知识根基
  • 缓存常见问题:缓存穿透、缓存雪崩以及缓存击穿
  • zynq ad7616 调试笔记
  • 从实验室到商用!铁电液晶如何改写显示技术格局?
  • python 包管理工具uv
  • 国芯思辰| 国产四通道24位生理电采集模拟前端AFE全面替换ADS1294R,心电贴性能再飞跃
  • Docker部署项目无法访问,登录超时完整排查攻略
  • 视频监控联网系统GB28181协议中校时流程详解以及校时失败常见原因
  • 在windows环境下安装Nmap并使用
  • 2025年渗透测试面试题总结-匿名[校招]安全研究员(SAST方向)(题目+回答)
  • 2025国创赛-高教主赛道·创意组评审要点整理
  • set_property LOC约束
  • Qt 无边框窗口实现拖动与窗口控制(最小化/最大化/关闭)
  • 从外卖APP到网络协议:深入解析UDP及应用层协议
  • [python] argparse怎么指定bool类型?
  • ST-GCN
  • 外地车在北京进京证用完后该如何行驶
  • Free2AI:企业智能化转型的加速器
  • 第七十篇 从餐厅后厨到电影院选座:生活场景拆解Java并发编程核心
  • Unity3D多场景管理框架设计
  • 可靠数据传输原理
  • 3.mkdir新建目录命令与touch新建文件命令
  • Executors工具类的潜在问题
  • Java 面试实录:从Spring到微服务的技术探讨
  • 仿真每日一练 | ABAQUS显式动力学分析——小球跌落
  • JVM——SubstrateVM:AOT编译框架