当前位置: 首页 > ops >正文

拆分sql数据,(shop_backup)sql文档过大(>5G)

执行表结构

sed -n '/^-- Table structure/,/^-- Dumping data/p' shop_backup.sql > structure.sql
mysql -u root -p shop < structure.sql

执行数据

awk '/^INSERT INTO/{if(++count%100000==1) {file="data_part_"++i".sql"}; print > file}' shop_backup.sql

# 2. 导入前检查拆分结果(确认文件数量和大小)
ls -lh data_part_*.sql | wc -l
du -sh data_part_*.sql

# 3. 逐文件导入并显示进度(带错误继续和超时设置)
for file in data_part_*.sql; do
  echo "正在导入: $file ..."
  mysql -u root   --connect_timeout=3600 --force shop < "$file" && \
    echo "成功: $file" >> import.log || \
    echo "失败: $file" >> error.log
done

# 4. 检查结果
echo "===== 导入完成 ====="
echo "成功文件数: $(grep -c "成功" import.log 2>/dev/null || echo 0)"
echo "失败文件数: $(grep -c "失败" error.log 2>/dev/null || echo 0)"

http://www.xdnf.cn/news/4809.html

相关文章:

  • 把Excel数据文件导入到Oracle数据库
  • 电路研究9.3.4——合宙Air780EP中的AT开发指南:HTTPS示例
  • 第四天 从CAN总线到Spark/Flink实时处理
  • LDO与DCDC总结
  • MindSpore框架学习项目-ResNet药物分类-构建模型
  • LLM量化方法:ZeroQuant、LLM.int8()、SmoothQuant、GPTQ、AWQ
  • TensorFlow中数据集的创建
  • 云原生环境下服务治理体系的构建与落地实践
  • 单片机-STM32部分:10、串口UART
  • SVT-AV1源码学习-EbMotionEstimation.h 学习
  • SSM 框架是指什么,其优缺点,怎样用到在你的程序里
  • 交流中的收获-250508
  • AI Agent | 深度剖析 AI Agent:从基础原理到关键能力
  • 如何在 Logback 日志框架中加入链路 ID
  • 嵌入式开发学习日志Day16
  • MAC电脑日期与时间问题和定位不能正常使用问题
  • mysql数据库体验
  • 国标GB28181软件EasyGBS雪亮工程打造智能高效的视频监控新体系
  • git的常用命令详解
  • 【redis】分片方案
  • 一文读懂Python之requests模块(36)
  • 扣子创建一个应用
  • 基于vm加密的php逆向分析
  • verilog循环仿真
  • Spark处理过程-案例数据清洗
  • Linux命令行参数注入详解
  • 深入剖析ThreadLocal:原理、应用与最佳实践
  • 笔试强训——第七周
  • 前端三大件---CSS
  • 塔能空压系统节能方案:为华东某电子厂降耗赋能