当前位置：首页 > news >正文

MySQL 分库分表

news 2025/5/4 8:58:04

对于使用 MySQL 作为数据库管理系统的应用来说，当数据量达到一定规模时，单库单表的架构会面临性能瓶颈，如查询缓慢、写入性能下降等问题。为了解决这些问题，可以使用分库分表技术。

二、为什么需要分库分表

2.1 单库单表的局限性

数据量过大：随着业务的发展，单表的数据量可能会达到数十亿甚至更多，这会导致索引变得庞大，查询时的磁盘 I/O 开销增加，从而影响查询性能。

并发压力：大量的并发读写请求会使数据库服务器的 CPU、内存和磁盘 I/O 资源达到瓶颈，导致响应时间变长，甚至出现数据库崩溃的情况。

2.2 分库分表的好处

提升性能：通过将数据分散到多个数据库和表中，可以减少单个数据库和表的数据量，从而提高查询和写入的性能。

增强扩展性：分库分表可以方便地增加数据库服务器和表的数量，以应对不断增长的数据量和并发请求。

三、分库分表的原理

3.1 分库

分库是将一个数据库中的数据分散到多个数据库中。可以按照业务功能、数据类型等进行划分。例如，将用户相关的数据存放在一个数据库中，将订单相关的数据存放在另一个数据库中。

3.2 分表

分表是将一个表中的数据分散到多个表中。常见的分表方式有水平分表和垂直分表。

水平分表：将表按照行进行划分，将不同行的数据存储到不同的表中。例如，按照用户 ID 的哈希值将用户数据分散到多个表中。

垂直分表：将表按照列进行划分，将不同列的数据存储到不同的表中。例如，将一个包含用户基本信息和详细信息的表拆分成两个表，一个存储基本信息，另一个存储详细信息。

四、常见的分库分表实现方式

4.1 客户端分片

客户端分片是指在应用程序端实现分库分表的逻辑。应用程序根据规则将数据路由到不同的数据库和表中。

实现思路

数据路由规则设计：确定如何将数据映射到不同的数据库和表，常见的规则有哈希取模、范围划分等。
数据库连接管理：使用数据库连接池来管理与各个数据库的连接，提高连接的复用性和性能。
SQL 语句生成：根据数据路由结果，生成对应的 SQL 语句，将数据插入到正确的数据库和表中。

#include <iostream>
#include <string>
#include <vector>
#include <mysql_driver.h>
#include <mysql_connection.h>
#include <cppconn/statement.h>
#include <cppconn/prepared_statement.h>
#include <cppconn/resultset.h>
#include <cppconn/exception.h>
#include <functional>// 哈希函数
int hashFunction(int key, int numShards) {return std::hash<int>()(key) % numShards;
}// 数据库连接信息
struct DatabaseInfo {std::string host;std::string user;std::string password;std::string database;
};// 分库分表管理器
class ShardingManager {
public:ShardingManager(const std::vector<DatabaseInfo>& dbs, int numTablesPerDb): databases(dbs), numTablesPerDb(numTablesPerDb) {driver = get_mysql_driver_instance();}// 插入数据void insertData(int id, const std::string& name) {int dbIndex = hashFunction(id, databases.size());int tableIndex = hashFunction(id, numTablesPerDb);std::string tableName = "table_" + std::to_string(tableIndex);try {sql::Connection* con = driver->connect(databases[dbIndex].host, databases[dbIndex].user, databases[dbIndex].password);con->setSchema(databases[dbIndex].database);std::string sql = "INSERT INTO " + tableName + " (id, name) VALUES (?, ?)";sql::PreparedStatement* pstmt = con->prepareStatement(sql);pstmt->setInt(1, id);pstmt->setString(2, name);pstmt->execute();delete pstmt;delete con;} catch (sql::SQLException& e) {std::cerr << "SQLException: " << e.what() << std::endl;}}private:std::vector<DatabaseInfo> databases;int numTablesPerDb;sql::mysql::MySQL_Driver* driver;
};int main() {// 数据库连接信息std::vector<DatabaseInfo> dbs = {{"localhost", "user1", "password1", "db1"},{"localhost", "user2", "password2", "db2"}};// 每个数据库中的表数量int numTablesPerDb = 2;// 创建分库分表管理器ShardingManager shardingManager(dbs, numTablesPerDb);// 插入数据shardingManager.insertData(1, "John");shardingManager.insertData(2, "Jane");return 0;
}