单表五千万行、单库撑不住连接数时,才轮到分库分表登场。它是一场不可逆的架构手术:一旦切开,跨库查询、事务、分页全部变难。所以先记住结论:能不分就不分,先试完便宜方案。
以上都榨干了还不行,才动真格。触发线:单表超 500 万~1000 万行、单库磁盘或连接数到顶。
垂直分库(按业务把表拆到不同库):用户库、订单库、商品库各走各的实例,解决耦合和连接数。垂直分表(按字段冷热拆):简介、头像这类大字段挪到扩展表,主表变苗条。
水平拆分(同构数据按规则散到多张表/库)才是主角:5000 万行的 order 表按 order_id 取模拆成 order_0~order_3,每张 1250 万。拆的是「量」。
| 策略 | 规则 | 优点 | 缺点 |
|---|---|---|---|
| Hash 取模 | 分片 = id % N | 数据均匀 | 扩容要大规模迁移 |
| Range 范围 | id 1~1000万 → 表0 | 扩容只加表 | 新表冷、旧表热 |
| 一致性哈希 | 环上顺时针找节点 | 扩容只动邻居 | 实现复杂 |
订单类高频写入用取模求均匀;按时间增长的数据用 Range(按月分表)最直观。一致性哈希是缓存集群的常见选择,原理在 10.3 的集群扩容里还会碰面。
取模扩容的翻倍玄机:4 库取模扩 8 库,直觉上数据要大洗牌,其实有个巧劲——id % 4 的结果恰好是 id % 8 结果的一半:余 0 的 id 在 8 库里要么余 0 要么余 4,每个旧库的数据一半留下、一半去固定的新库。对比扩到 5 库(和 4 互质),几乎全量重洗。所以容量规划一开始就定 2 的幂(16、32 张表),未来每次翻倍只搬一半数据。
一致性哈希与槽位是殊途同归:前者把节点和 key 都哈希到环上,key 归顺时针遇到的节点,节点增减只影响相邻弧段;Redis Cluster 的 16384 个固定槽是「虚拟节点」思路的极致版——粒度更细、迁移单位更明确(按槽迁)。两者解决的是同一件事:扩缩容时少搬数据。
Java 生态事实标准是 ShardingSphere-JDBC(嵌入应用的分片中间件,对代码近乎透明):
rules:
sharding:
tables:
t_order:
actual-data-nodes: ds$->{0..1}.t_order_$->{0..1}
database-strategy: # 分库键 user_id
standard: { sharding-column: user_id, ... }
table-strategy: # 分表键 order_id
standard: { sharding-column: order_id, ... }
key-generate-strategy: # 主键用雪花算法
column: id
执行链路:SQL 解析 → 路由到分片 → 改写表名 → 执行 → 归并结果。读代码时留意归并逻辑:分页、排序、聚合都要在各分片结果上二次归并,翻页越深归并代价越高——这正是跨库分页难的根源。分片键选择是生死题:最高频的查询条件必须是分片键,否则每条查询都广播全部分片。
1. 跨库 JOIN:别硬找中间件,冗余字段(订单表冗余商品名)、全局表(字典表每库一份)、应用层组装,宽表进搜索引擎
2. 跨库分页:LIMIT 100000,10 每个分片都得查 100010 行再归并。改游标分页(WHERE id > ? ORDER BY id LIMIT 10)
3. 跨库事务:能靠分片键把同一用户的操作圈进同库最好;不行就上 Seata AT 模式(阶段四 17.3 展开)
4. 主键冲突:自增 ID 各分片会撞,改雪花算法(41 位时间戳 + 机器位 + 序列位拼成的趋势递增 ID)。它有个时钟回拨隐患:机器时间倒退会生成重复 ID,方案是记住上次时间戳,发现回拨先等待、严重就换备用机器号
这四道题没有银弹,每道都是「用一点业务妥协换工程上的可控」:能接受 JOIN 变两次查询、能接受分页变游标、能接受事务变最终一致,分库分表才养得起。
老库怎么安全搬家?双写方案:
第1步 部署新分片集群,写好迁移脚本
第2步 上线双写:写操作新老库同时写,读仍走老库
第3步 跑脚本迁移历史数据,新老库逐表对账校验
第4步 切读到新库 → 观察稳定 → 停老库写入 → 下线
每一步都可回退,停机窗口压到分钟级。直接停服迁移是下策,出问题没有回头路。
双写期间的对账怎么做?全量比对太贵,常用「增量 + 抽样」:按更新时间拉当天变更过的 id 清单,两库各查一批比对关键字段,不一致的进修复队列重推。切读之前必须做一次全量对账——宁可多花两小时,不可蒙着切流量。对账脚本和修复脚本要在第 2 步就位,不是切库当晚现写。
另外记住分片键一经上线几乎不可更换:换键等于全量数据按新规则重分布,等于重做一次迁移。设计阶段拿真实查询日志统计「最高频过滤条件」,拍脑袋选的键早晚要还债。
分库分表是「先穷尽便宜方案」的最后大招:拆前选对分片键,拆后用冗余、游标、分布式事务和雪花 ID 补齐代价,迁移走双写四步保证可回退。