当前位置: 首页 > java >正文

Node.js + Express的数据库AB View切换方案设计

方案总览

数据导入过程:    

- 根据控制表判断当前活跃组(假设当前活跃的是a,那么接下来要导入到b)。    

- 清空非活跃表(即b表)的数据,然后将新数据导入到b表。    

- 切换控制表,将活跃组改为b,这样新的查询就会使用view_b(指向table_b)。    

- 延迟1分钟后清空原来的活跃表(即a表)的数据。

系统设计

1. 数据库结构
-- 数据表
CREATE TABLE data_a (id SERIAL PRIMARY KEY, ...);
CREATE TABLE data_b (id SERIAL PRIMARY KEY, ...);-- 视图(始终指向活跃表)
CREATE OR REPLACE VIEW current_data AS SELECT * FROM data_a; -- 初始指向A表-- 控制表(关键元数据)
CREATE TABLE ab_control (id SERIAL PRIMARY KEY,active_group CHAR(1) NOT NULL CHECK (active_group IN ('a','b')),next_switch_time TIMESTAMP
);
INSERT INTO ab_control(active_group) VALUES ('a'); -- 初始状态--Powered by https://zhengkai.blog.csdn.net/
2. 状态流转逻辑
当前活跃组 | 操作步骤
-------------------------
A (初始)  → 导入数据到B表 → 切换视图到B → (1分钟后清空A表)→ 状态变更为B
B         → 反向操作

Express 实现代码

仅供参考,按照实际使用场景进行改造

const express = require('express');
const { Pool } = require('pg'); // 以PostgreSQL为例
const app = express();
app.use(express.json());// 数据库配置
const pool = new Pool({...});// 获取当前活跃组
async function getActiveGroup() {const res = await pool.query('SELECT active_group FROM ab_control LIMIT 1');return res.rows[0].active_group;
}// Powered by https://zhengkai.blog.csdn.net/
// 主切换函数
async function switchDataGroup(newData) {const client = await pool.connect();try {await client.query('BEGIN');// 1. 获取当前状态const { active_group } = (await client.query('SELECT active_group FROM ab_control FOR UPDATE')).rows[0];// 2. 确定目标组const targetGroup = active_group === 'a' ? 'b' : 'a';const targetTable = `data_${targetGroup}`;// 3. 清空目标表并导入数据await client.query(`TRUNCATE TABLE ${targetTable}`);await client.query(`INSERT INTO ${targetTable} (col1, col2) VALUES ${newData.map(d => `(${d.val1}, ${d.val2})`).join(',')}`);// 4. 切换视图await client.query(`CREATE OR REPLACE VIEW current_data AS SELECT * FROM ${targetTable}`);// 5. 更新控制表await client.query(`UPDATE ab_control SET active_group = $1,next_switch_time = NOW() + INTERVAL '1 minute'`, [targetGroup]);await client.query('COMMIT');// 6. 启动延迟清空任务(非事务内)setTimeout(() => clearOldTable(active_group), 60000); } finally {client.release();}
}// 延迟清空旧表
async function clearOldTable(oldGroup) {const client = await pool.connect();try {await client.query(`TRUNCATE TABLE data_${oldGroup}`);} finally {client.release();}
}// 数据导入路由
app.post('/import', async (req, res) => {try {await switchDataGroup(req.body.data);res.status(200).send('Import and switch successful');} catch (err) {console.error('Switch failed:', err);res.status(500).send('Switch operation failed');}
});// 查询路由(始终使用统一视图)
app.get('/data', async (req, res) => {const result = await pool.query('SELECT * FROM current_data');res.json(result.rows);
});app.listen(3000, () => console.log('Server running on port 3000'));

关键设计说明

  1. 原子性切换

    使用事务(BEGIN/COMMIT)确保:
    • 三者操作的原子性

    • 目标表清空+导入

    • 控制表更新

  2. 视图解耦

    • current_data 视图始终作为应用层统一查询入口

    • 切换时动态重建视图指向新物理表

  3. 延迟清理

    • 使用 setTimeout 实现1分钟延迟清空

    • 避免阻塞主流程

    • 注意:生产环境建议用Redis/Kue等持久化定时任务

  4. 并发控制

    • SELECT ... FOR UPDATE 锁控制表,防止并发切换

    • 视图重建瞬间的查询短暂阻塞可接受

  5. 故障恢复

    • 控制表记录 next_switch_time 可用于:

      • 重启后检查未完成的清理任务

      • 监控切换状态


生产环境增强建议

  1. 切换日志表

    CREATE TABLE ab_switch_log (switch_time TIMESTAMPTZ PRIMARY KEY,from_group CHAR(1),to_group CHAR(1),success BOOLEAN
    );
  2. 重试机制

    // 在clearOldTable中添加重试逻辑
    async function clearOldTable(group) {let attempts = 0;while (attempts < 3) {try {await pool.query(`TRUNCATE TABLE data_${group}`);return;} catch (err) {attempts++;await new Promise(r => setTimeout(r, 5000));}}// 告警通知
    }
  3. 维护接口

    // 手动触发清理
    app.post('/force-clean', async (req, res) => {const { group } = req.body;await clearOldTable(group);res.send(`Cleaned data_${group}`);
    });
  4. 监控指标

    • 每次切换时记录:切换耗时、数据量大小

    • 视图查询性能监控

此设计实现了平滑的AB表切换,确保服务连续性,同时通过延迟清理机制保障数据安全

http://www.xdnf.cn/news/15374.html

相关文章:

  • 渗透笔记1-4
  • vim扩展
  • Spring Boot Cucumber 测试报告嵌入方法
  • Linux 基础命令详解:从入门到实践(1)
  • 微前端框架深度对决:qiankun、micro-app、wujie 技术内幕与架构选型指南
  • MFC UI表格制作从专家到入门
  • MyBatis 在执行 SQL 时找不到名为 name 的参数
  • Unsloth 实战:DeepSeek-R1 模型高效微调指南(下篇)
  • LeetCode 424.替换后的最长重复字符
  • Android展示加载PDF
  • 深入学习前端 Proxy 和 Reflect:现代 JavaScript 元编程核心
  • HarmonyOS应用无响应(AppFreeze)深度解析:从检测原理到问题定位
  • 深入理解Transformer:编码器与解码器的核心原理与实现
  • C++ STL算法
  • C++_编程提升_temaplate模板_案例
  • 传统机器学习在信用卡交易预测中的卓越表现:从R²=-0.0075到1.0000的华丽转身
  • 复习笔记 38
  • vue3+arcgisAPI4示例:自定义多个气泡窗口展示(附源码下载)
  • (三)OpenCV——图像形态学
  • 第8天:LSTM模型预测糖尿病(优化)
  • 2025年采购管理系统深度测评
  • 小架构step系列14:白盒集成测试原理
  • 北京饮马河科技公司 Java 实习面经
  • DeepSeek 本地部署
  • LeetCode经典题解:206、两数之和(Two Sum)
  • 面向对象的设计模式
  • Vue+axios
  • XML vs JSON:核心区别与最佳选择
  • 前端常见十大问题讲解
  • 基于esp32系列的开源无线dap-link项目使用介绍