加载中...

MySQL 分库分表扩容方案：固定槽位 + 双写迁移

发表于2026-02-06|更新于2026-02-08|技术数据库MySQL

|总字数:557|阅读时长:1分钟|浏览量:

MySQL 分库分表扩容方案：固定槽位 + 双写迁移

讲述链条

逻辑分片与物理节点解耦 → 槽位计算与路由 → 双写迁移四阶段 → 与 Redis Cluster 对比

核心表述

MySQL 分库分表扩容采用固定逻辑分片 + 映射表方案，设计思路与 Redis Cluster 类似。预先定义 1024 或 4096 个逻辑槽位（2 的幂次），通过 userId % 1024 计算槽位，然后查询配置中心的映射表找到物理数据库。逻辑分片号永远不变，扩容时只改变槽位到物理库的映射关系。

假设从 4 库扩容到 8 库，初始映射 [0-255]→DB_0、[256-511]→DB_1、[512-767]→DB_2、[768-1023]→DB_3。扩容后调整为 [0-127]→DB_0、[128-255]→DB_4、[256-383]→DB_1、[384-511]→DB_5，以此类推。旧库继续保留，只是槽位重新分配。

双写迁移四阶段：

阶段 1 - 双写期：新增数据同时写旧库（主）和新库（异步），新库写入失败则加入重试队列，后续补偿。读请求优先读新库，新库没有则降级读旧库（兜底），旧库有数据则异步补偿到新库。

阶段 2 - 后台迁移：定时任务扫描需要迁移的槽位，分批迁移历史数据（每次 1000 条），记录迁移进度，避免影响线上业务。

阶段 3 - 数据校验：对比新旧库数据一致性，修复差异数据。

阶段 4 - 切换完成：全部迁移完成后，停止双写，只用新映射表路由。

双写是否需要分布式事务？ 不需要。双写是临时状态，采用最终一致性 + 补偿机制即可。新库写入失败加入重试队列，后续异步重试，允许短暂的数据不一致。如果要求强一致性反而影响性能和可用性。

与 Redis Cluster 对比：MySQL 分库分表需要应用层或中间件（ShardingSphere）实现路由和迁移，是人工触发的半自动化流程。Redis Cluster 通过集群协议自动管理，客户端智能路由，迁移过程集群自动协调。MySQL 强调强一致性（事务），Redis 强调最终一致性和高可用。

文章作者: zoloy

文章链接: https://blog.zoloy.top/2026/02/06/MySQL%20%E5%88%86%E5%BA%93%E5%88%86%E8%A1%A8%E6%89%A9%E5%AE%B9/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 zoloy's blog！

扩容机制 MySQL 最终一致性分库分表数据库架构双写迁移 ShardingSphere

相关推荐

MySQL 架构深度解析

MySQL 架构深度解析一、主从复制1.1 几种常见的主从复制模型主要有三种： 1. 同步复制性能差，可用性也差，一旦一个从库出现问题都会影响到业务 2. 异步复制（默认模型）MySQL 主库提交事务的线程不会等待 binlog 同步完成就会返回客户端结果，一旦主机宕机，数据就会发生丢失 3. 半同步复制MySQL 5.7 版本之后增加的一种复制方式，介于两者之间，事务线程不用等待所有的从库都完成复制，只要有一部分复制成功响应回来就行，即使主库宕机，至少还有一个从库有最新的数据，不存在数据丢失的风险。二、分库分表2.1 垂直分库分表核心概念根据不同的业务功能/模块，将数据按表结构或库结构进行拆分。垂直分库将不同业务模块的表拆到不同数据库中垂直分表将一张表中的列划分为多个子表，按字段分类存储 2.2 水平分库分表核心概念把相同结构的数据，按一定规则划分到多个库或表中。水平分表将一张表的数据行按规则拆分到多个表中水平分库不仅拆表，还把多个分表分布到不同数据库中

MySQL 与 Redis 数据一致性保证方案

MySQL 与 Redis 数据一致性保证方案讲述链条延迟双删问题 → 缓存击穿场景 → 热点数据三级防护 → Canal + Binlog 方案 → 最终一致性实现核心表述MySQL 与 Redis 保证一致性的传统方案是延迟双删：先删除缓存，更新数据库，延迟 500ms 后再删除缓存。但这个方案在热点数据场景下存在缓存击穿问题：延迟期间缓存为空，大量请求同时发现缓存 MISS，全部打到数据库造成压力。针对热点数据，我们采用三级防护体系。Level 1 使用本地缓存 Caffeine 防止 Redis 过载；Level 2 是 Redis 分布式缓存；Level 3 是数据库查询，加分布式锁 Redisson RLock 防止击穿，使用 tryLock 尝试加锁最多等待 100ms，抢到锁的线程负责查询数据库并重建缓存，其他线程等待后重试。重建缓存时设置随机过期时间防止缓存雪崩，并缓存空对象防止缓存穿透。更优雅的方案是 Canal + Binlog。Canal Server 伪装成 MySQL Slave 订阅 Binlog，解析 INSERT/UPDATE&#...

MySQL 缓存机制深度解析

MySQL 缓存机制深度解析一、Buffer Pool（缓冲池）1.1 ⭐Buffer Pool 缓存的东西基本概念我们都知道 InnoDB 存储引擎会把存储的数据划分为多个页，并且是以页作为磁盘与内存交互的基本单位，一个页的大小是 16KB。由于 Buffer Pool 是 InnoDB 存储引擎内部的结构，所以它们都是用页来划分空间的。初始化过程在 MySQL 启动的时候，InnoDB 会为 Buffer Pool 申请一片连续的内存空间，然后按照 16KB 划分出一个一个的页，Buffer Pool 中的页被称为缓存页。此时这些缓存页都是空闲的，还没有写入磁盘中的页，之后随着程序的运行才会进行写入操作。 Lazy 初始化所以，在 MySQL 刚刚启动的时候，使用的虚拟内存很大，但是实际使用的物理内存其实很小，因为只有当这些虚拟内存被访问之后，操作系统才会触发缺页中断，申请物理内存，将虚拟地址和物理地址建立映射关系，这还有一个说法叫 lazy 初始化。缓存内容当然，Buffer Pool 除了缓存索引页和数据页，还会缓存一些其他的页数据。 1.2 ⭐预读失效问题描述根据...

MySQL 事务深度解析

MySQL 事务深度解析一、事务 ACID1.1 简单介绍原子性（Atomicity）也就是说这一串指令要么全部成功要么全部失败这点通过 begin 事务 commit 提交 rollback 回滚实现其实就是 undo log 实现的一致性（Consistency）事务操作前后，数据满足一致性的约束，不会出现中间数据的情况通过锁来实现，是在其他三个性质之上保证的隔离性（Isolation）多个事务执行时不会互相干扰通过 MVCC 机制实现的持久性（Durability）事务处理之后，是要落盘的，而且即使系统故障数据也不会丢失这点通过 log 日志实现而且还是 redo log 1.2 总结原子性通过 Undo Log 实现，保证事务要么全部成功要么全部回滚隔离性通过 MVCC 和锁机制实现，保证并发事务互不干扰持久性通过 Redo Log 和 WAL 机制保证，确保事务提交后即使宕机也不会丢失一致性是事务执行前后数据库满足业务和约束规则的最终状态，它依赖于原子性、隔离性、持久性以及应用层的正确逻辑共同保证二、SQL 的隔...

Java ArrayList 深度解析

Java ArrayList 深度解析一、底层原理1.1 ⭐初始化无参构造会将 DEFAULTCAPACITY_EMPTY_ELEMENTDATA 复制给 elementData 数组，这个很有用，便于确保无参构成函数创建的实例在添加第一个元素时，最小的容量是默认大小 10 有参集合构造，有参数值构造如果传递集合的大小或者传递的参数值为 0，会将 EMPTY_ELEMENTDATA 赋值给 elementData 数组，优化创建 ArrayList 空实例时产生不必要的空数组，使得所有 ArrayList 空实例都指向同一个空数组。当然，如果传递的大小不为零，参数值不为零，那么还是会正常构造的 1.2 ⭐扩容机制扩容触发流程add 函数每次添加元素的时候都会调用 ensureCapacityInternal 函数保证容量足够，容量足够才会继续将元素添加到 elementData 数组中扩容详细过程如果调用 ensureCapacityInternal 函数之后发现容量不够了才会执行扩容逻辑，首先还是调用 ensureCapacityInternal 函数，然后 ensureCa...

MySQL 存储引擎深度解析

MySQL 存储引擎深度解析一、InnoDB 架构1.1 MySQL 的数据是存放在哪的⭐ibdata1 共享表空间需要注意的是表的数据可以存储在共享表空间里面也可以存储在独占表空间里面，这个参数由 innodb_file_per_table 控制默认是开启的。不过实际上这个 ibdata1 文件还是存在的。原理说明如果启用了 innodb_file_per_table 参数，需要注意的是每张表的表空间内存放的只是数据、索引和插入缓冲 Bitmap 页，其他数据如: 回滚信息、插入缓冲索引页、系统事物信息、二次写缓冲（Double write buffer）等还是放在原来的共享表空间内。同时说明了一个问题: 即使启用了 innodb_file_per_table 参数共享表空间 ibdata1 还是会不断的增加其大小的数据库空间占用来源数据库主要的空间占用来源于哪两部分。这里，我们还是针对 MySQL 中应用最广泛的 InnoDB 引擎展开讨论。一个 InnoDB 表包含两部分，即：表结构定义和数据。在 MySQL 8.0 版本以前，表结构是存在以.frm 为后缀...

评论

数据加载中