20K Java+AI 岗位高频考点 — 分库分表是处理海量数据的必修课。覆盖分片策略、读写分离、分布式ID、跨分片查询、数据迁移、ShardingSphere JDBC/Proxy等核心实战。
经验值:
判断标准:
垂直分库:按业务拆分到不同数据库
电商系统:
用户库(user_db): 用户表、角色表
订单库(order_db): 订单表、订单详情表
商品库(product_db): 商品表、分类表
水平分库:同一表按规则拆分到多个数据库
订单表拆分:
order_db_0: order_0, order_1, ..., order_15
order_db_1: order_0, order_1, ..., order_15
1. 高频查询字段:按最常用的查询条件分片
2. 分布均匀:避免数据倾斜
3. 尽量避免跨分片查询
常见方案:
user_iduser_id(查自己的订单)或 order_idcreate_time反面案例:用create_time做分片键查user_id → 必须扫描所有分片。
| 算法 | 原理 | 特点 |
|---|---|---|
| 取模分片 | hash(key) % N | 分布均匀,扩容困难 |
| 范围分片 | id < 1000 → db0 | 扩容方便,可能热点 |
| 一致性哈希 | 虚拟节点环 | 扩容只影响相邻节点 |
| 精确分片 | 预设映射表 | 灵活但需维护 |
| 复合分片 | 多字段组合 | 灵活但复杂 |
| 产品 | 架构 | 适用场景 |
|---|---|---|
| ShardingSphere-JDBC | Java框架层(JAR) | Java应用内嵌,性能最好 |
| ShardingSphere-Proxy | 独立代理服务 | 多语言、运维管理 |
| ShardingSphere-Sidecar | K8s Sidecar | 云原生(规划中) |
生产推荐:ShardingSphere-JDBC(无网络开销,性能最优)。
# application.yml
spring:
shardingsphere:
datasource:
names: ds0,ds1
ds0:
type: com.zaxxer.hikari.HikariDataSource
jdbc-url: jdbc:mysql://localhost:3306/order_db_0
username: root
password: xxx
ds1:
type: com.zaxxer.hikari.HikariDataSource
jdbc-url: jdbc:mysql://localhost:3306/order_db_1
username: root
password: xxx
rules:
sharding:
tables:
t_order:
actual-data-nodes: ds$->{0..1}.t_order_$->{0..15}
table-strategy:
standard:
sharding-column: user_id
sharding-algorithm-name: order-table-mod
database-strategy:
standard:
sharding-column: user_id
sharding-algorithm-name: order-db-mod
key-generate-strategy:
column: id
key-generator-name: snowflake
sharding-algorithms:
order-table-mod:
type: MOD
props:
sharding-count: 16
order-db-mod:
type: MOD
props:
sharding-count: 2
key-generators:
snowflake:
type: SNOWFLAKE
props:
worker-id: 1
| 方案 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| UUID | 随机生成 | 简单 | 无序、无业务含义、索引性能差 |
| Snowflake | 时间+机器+序列 | 有序、高性能 | 时钟回拨问题 |
| 号段模式 | 数据库预分配号段 | 趋势递增 | 依赖数据库 |
| Redis | INCR命令 | 简单 | 持久化风险 |
| Leaf | 号段+Snowflake | 美团方案,综合优 | 引入额外服务 |
Snowflake原理:
0 | 00000000000000000000000000000000000000000 | 00000 | 00000 | 000000000000
| 41位时间戳 | 5位DC | 5位机 | 12位序列
| (可用69年) | 中心ID | 器ID | (4096/ms)
rules:
readwrite-splitting:
data-sources:
rw_ds:
write-data-source-name: ds_master
read-data-source-names: ds_slave_0, ds_slave_1
load-balancer-name: round-robin
load-balancers:
round-robin:
type: ROUND_ROBIN
注意:主从复制有延迟(通常1-2秒),写入后立即读取可能读到旧数据。
解决方案:
HintManager.getInstance().setMasterRouteOnly(true)问题:SELECT * FROM t_order WHERE status = 1 ORDER BY create_time LIMIT 10
如果status不是分片键,需要扫描所有分片。
ShardingSphere处理流程:
1. SQL解析 → 路由到所有分片
2. 各分片并行执行查询
3. 内存归并(排序+分页)
归并策略:
性能问题:深分页(LIMIT 100000, 10)需要各分片取100010条,内存消耗大。
优化方案:
WHERE id > last_id LIMIT 10)同库JOIN:分片键相同时可以在同一库内JOIN。
跨库JOIN:不支持,需要应用层组装。
解决方案:
1. 冗余字段:在订单表中冗余用户名,避免JOIN用户表
2. 全局表:小表(如字典表)在每个库都存一份
3. ER分片:父子表按相同分片键存储(订单+订单详情)
4. 应用层JOIN:先查A表获取关联ID,再查B表
# ER分片(绑定表)
binding-tables:
- t_order, t_order_item
# 相同user_id的订单和订单详情路由到同一分片
停机迁移:
1. 停止应用
2. 数据全量导出
3. 按分片规则导入新库
4. 切换数据源
5. 启动应用
不停机迁移(双写方案):
1. 开启双写(旧库+新库同时写)
2. 历史数据迁移(存量同步)
3. 数据校验(对比新旧库数据一致性)
4. 读流量切换到新库(灰度)
5. 停止写旧库
6. 下线旧库
@Service
public class DataMigrationValidator {
public ValidationResult validate(String tableName) {
// 1. 行数对比
long oldCount = oldJdbcTemplate.queryForObject("SELECT COUNT(*) FROM " + tableName, Long.class);
long newCount = newJdbcTemplate.queryForObject("SELECT COUNT(*) FROM " + tableName, Long.class);
// 2. 抽样对比
List<Map<String, Object>> oldSamples = oldJdbcTemplate.queryForList(
"SELECT * FROM " + tableName + " ORDER BY RAND() LIMIT 1000");
for (Map<String, Object> old : oldSamples) {
Map<String, Object> newRecord = findById(tableName, old.get("id"));
if (!old.equals(newRecord)) {
return ValidationResult.diff(old, newRecord);
}
}
return ValidationResult.ok();
}
}
XA事务(强一致性):
rules:
transaction:
default-type: XA
provider-type: Atomikos
BASE事务(最终一致性):通过消息队列实现。
本地消息表:最实用的方案。
| 类型 | 一致性 | 性能 | 适用场景 |
|---|---|---|---|
| LOCAL | 无跨库事务 | 最高 | 可接受不一致 |
| XA | 强一致 | 低 | 资金类 |
| BASE | 最终一致 | 中 | 通用 |
1. 分片键命中:查询条件必须包含分片键
2. 避免跨分片:ER分片、冗余字段
3. 索引优化:每个分片表都要建索引
4. 连接池:分库数 × 每库连接数,注意总连接数
5. 批量操作:使用批量INSERT/UPDATE
6. Hint路由:强制指定分片,跳过路由计算
// Hint强制路由
try (HintManager hintManager = HintManager.getInstance()) {
hintManager.addDatabaseShardingValue("t_order", 1L); // 路由到ds1
hintManager.addTableShardingValue("t_order", 123L); // 路由到具体表
orderMapper.findById(123L);
}
翻倍扩容:
扩容前:ds0(id%2=0), ds1(id%2=1)
扩容后:ds0(id%4=0), ds1(id%4=1), ds2(id%4=2), ds3(id%4=3)
翻倍扩容时,每个旧库的数据恰好一半移到新库。
步骤:
1. 新增ds2, ds3
2. 从ds0迁移id%4=2的数据到ds2
3. 从ds1迁移id%4=3的数据到ds3
4. 切换路由规则
推荐方案:Snowflake(ShardingSphere内置)
时钟回拨问题:
"我们订单表日增50万条,一年后单表超过1亿。我按user_id % 4分为4个库,每个库16张表(user_id / 4 % 16),共64张表。使用ShardingSphere-JDBC,Snowflake生成分布式ID。订单和订单详情做ER分片保证同库JOIN。复杂查询(多条件搜索)走ES索引。双写方案完成数据迁移,迁移后做了全量数据校验。"
| 维度 | ShardingSphere | MyCat | Vitess |
|---|---|---|---|
| 语言 | Java | Java | Go |
| 架构 | JDBC嵌入/Proxy | Proxy | Proxy+Sidecar |
| 性能 | JDBC模式最好 | 一般 | 好 |
| 功能 | 分片+读写分离+加密+影子库 | 分片+读写分离 | 分片+复制 |
| 社区 | Apache顶级项目 | 停更 | CNCF毕业 |
| 适用 | Java项目 | 遗留系统 | K8s环境 |
方案一:每个分片分别统计,应用层汇总
方案二:Binlog同步到ClickHouse/ES,在分析库中统计
方案三:定时任务汇总到统计表
-- 分片统计(ShardingSphere自动路由)
SELECT COUNT(*), SUM(amount) FROM t_order WHERE create_time > '2024-01-01';
-- 自动在所有分片执行后归并结果
分库分表三步走:先优化SQL → 再读写分离 → 最后分库分表
>
分片键三原则:高频查询、分布均匀、避免跨片
>
扩容两方案:翻倍扩容最简单、双写迁移零停机
>
ShardingSphere选型:Java项目用JDBC,多语言用Proxy