← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共7章,点击直达)
一、分库分表基础二、ShardingSphere三、数据迁移四、分布式事务五、性能优化六、面试高频综合题面试速记口诀

Q101 ShardingSphere与分库分表实战

20K Java+AI 岗位高频考点 — 分库分表是处理海量数据的必修课。覆盖分片策略、读写分离、分布式ID、跨分片查询、数据迁移、ShardingSphere JDBC/Proxy等核心实战。

一、分库分表基础

1. 什么时候需要分库分表?

经验值:

判断标准:

2. 垂直分库 vs 水平分库?

垂直分库:按业务拆分到不同数据库


电商系统:
  用户库(user_db): 用户表、角色表
  订单库(order_db): 订单表、订单详情表
  商品库(product_db): 商品表、分类表

水平分库:同一表按规则拆分到多个数据库


订单表拆分:
  order_db_0: order_0, order_1, ..., order_15
  order_db_1: order_0, order_1, ..., order_15

3. 分片键(Sharding Key)的选择原则?

1. 高频查询字段:按最常用的查询条件分片

2. 分布均匀:避免数据倾斜

3. 尽量避免跨分片查询

常见方案:

反面案例:用create_time做分片键查user_id → 必须扫描所有分片。

4. 分片算法有哪些?

算法原理特点
取模分片hash(key) % N分布均匀,扩容困难
范围分片id < 1000 → db0扩容方便,可能热点
一致性哈希虚拟节点环扩容只影响相邻节点
精确分片预设映射表灵活但需维护
复合分片多字段组合灵活但复杂

二、ShardingSphere

5. ShardingSphere的三款产品?

产品架构适用场景
ShardingSphere-JDBCJava框架层(JAR)Java应用内嵌,性能最好
ShardingSphere-Proxy独立代理服务多语言、运维管理
ShardingSphere-SidecarK8s Sidecar云原生(规划中)

生产推荐:ShardingSphere-JDBC(无网络开销,性能最优)。

6. ShardingSphere-JDBC的配置?


# application.yml
spring:
  shardingsphere:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.zaxxer.hikari.HikariDataSource
        jdbc-url: jdbc:mysql://localhost:3306/order_db_0
        username: root
        password: xxx
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        jdbc-url: jdbc:mysql://localhost:3306/order_db_1
        username: root
        password: xxx
    rules:
      sharding:
        tables:
          t_order:
            actual-data-nodes: ds$->{0..1}.t_order_$->{0..15}
            table-strategy:
              standard:
                sharding-column: user_id
                sharding-algorithm-name: order-table-mod
            database-strategy:
              standard:
                sharding-column: user_id
                sharding-algorithm-name: order-db-mod
            key-generate-strategy:
              column: id
              key-generator-name: snowflake
        sharding-algorithms:
          order-table-mod:
            type: MOD
            props:
              sharding-count: 16
          order-db-mod:
            type: MOD
            props:
              sharding-count: 2
        key-generators:
          snowflake:
            type: SNOWFLAKE
            props:
              worker-id: 1

7. 分布式ID的生成方案?

方案原理优点缺点
UUID随机生成简单无序、无业务含义、索引性能差
Snowflake时间+机器+序列有序、高性能时钟回拨问题
号段模式数据库预分配号段趋势递增依赖数据库
RedisINCR命令简单持久化风险
Leaf号段+Snowflake美团方案,综合优引入额外服务

Snowflake原理:


0 | 00000000000000000000000000000000000000000 | 00000 | 00000 | 000000000000
  |               41位时间戳                     | 5位DC | 5位机 |   12位序列
  |          (可用69年)                          |  中心ID | 器ID |   (4096/ms)

8. ShardingSphere的读写分离配置?


rules:
  readwrite-splitting:
    data-sources:
      rw_ds:
        write-data-source-name: ds_master
        read-data-source-names: ds_slave_0, ds_slave_1
        load-balancer-name: round-robin
    load-balancers:
      round-robin:
        type: ROUND_ROBIN

注意:主从复制有延迟(通常1-2秒),写入后立即读取可能读到旧数据。

解决方案:

9. 分库分表后的跨分片查询怎么处理?

问题:SELECT * FROM t_order WHERE status = 1 ORDER BY create_time LIMIT 10

如果status不是分片键,需要扫描所有分片。

ShardingSphere处理流程:

1. SQL解析 → 路由到所有分片

2. 各分片并行执行查询

3. 内存归并(排序+分页)

归并策略:

性能问题:深分页(LIMIT 100000, 10)需要各分片取100010条,内存消耗大。

优化方案:

10. 分库分表后的JOIN怎么处理?

同库JOIN:分片键相同时可以在同一库内JOIN。

跨库JOIN:不支持,需要应用层组装。

解决方案:

1. 冗余字段:在订单表中冗余用户名,避免JOIN用户表

2. 全局表:小表(如字典表)在每个库都存一份

3. ER分片:父子表按相同分片键存储(订单+订单详情)

4. 应用层JOIN:先查A表获取关联ID,再查B表


# ER分片(绑定表)
binding-tables:
  - t_order, t_order_item
# 相同user_id的订单和订单详情路由到同一分片

三、数据迁移

11. 分库分表的数据迁移方案?

停机迁移:

1. 停止应用

2. 数据全量导出

3. 按分片规则导入新库

4. 切换数据源

5. 启动应用

不停机迁移(双写方案):


1. 开启双写(旧库+新库同时写)
2. 历史数据迁移(存量同步)
3. 数据校验(对比新旧库数据一致性)
4. 读流量切换到新库(灰度)
5. 停止写旧库
6. 下线旧库

12. 如何校验迁移数据的正确性?


@Service
public class DataMigrationValidator {
    public ValidationResult validate(String tableName) {
        // 1. 行数对比
        long oldCount = oldJdbcTemplate.queryForObject("SELECT COUNT(*) FROM " + tableName, Long.class);
        long newCount = newJdbcTemplate.queryForObject("SELECT COUNT(*) FROM " + tableName, Long.class);

        // 2. 抽样对比
        List<Map<String, Object>> oldSamples = oldJdbcTemplate.queryForList(
            "SELECT * FROM " + tableName + " ORDER BY RAND() LIMIT 1000");
        for (Map<String, Object> old : oldSamples) {
            Map<String, Object> newRecord = findById(tableName, old.get("id"));
            if (!old.equals(newRecord)) {
                return ValidationResult.diff(old, newRecord);
            }
        }
        return ValidationResult.ok();
    }
}

四、分布式事务

13. 分库分表中的分布式事务方案?

XA事务(强一致性):


rules:
  transaction:
    default-type: XA
    provider-type: Atomikos

BASE事务(最终一致性):通过消息队列实现。

本地消息表:最实用的方案。

14. ShardingSphere的事务类型?

类型一致性性能适用场景
LOCAL无跨库事务最高可接受不一致
XA强一致低资金类
BASE最终一致中通用

五、性能优化

15. 分库分表的性能优化技巧?

1. 分片键命中:查询条件必须包含分片键

2. 避免跨分片:ER分片、冗余字段

3. 索引优化:每个分片表都要建索引

4. 连接池:分库数 × 每库连接数,注意总连接数

5. 批量操作:使用批量INSERT/UPDATE

6. Hint路由:强制指定分片,跳过路由计算


// Hint强制路由
try (HintManager hintManager = HintManager.getInstance()) {
    hintManager.addDatabaseShardingValue("t_order", 1L);  // 路由到ds1
    hintManager.addTableShardingValue("t_order", 123L);   // 路由到具体表
    orderMapper.findById(123L);
}

16. 扩容方案?

翻倍扩容:


扩容前:ds0(id%2=0), ds1(id%2=1)
扩容后:ds0(id%4=0), ds1(id%4=1), ds2(id%4=2), ds3(id%4=3)

翻倍扩容时,每个旧库的数据恰好一半移到新库。

步骤:

1. 新增ds2, ds3

2. 从ds0迁移id%4=2的数据到ds2

3. 从ds1迁移id%4=3的数据到ds3

4. 切换路由规则


六、面试高频综合题

17. 分库分表的主键生成选型?

推荐方案:Snowflake(ShardingSphere内置)

时钟回拨问题:

18. 如何回答"你的分库分表方案"?

"我们订单表日增50万条,一年后单表超过1亿。我按user_id % 4分为4个库,每个库16张表(user_id / 4 % 16),共64张表。使用ShardingSphere-JDBC,Snowflake生成分布式ID。订单和订单详情做ER分片保证同库JOIN。复杂查询(多条件搜索)走ES索引。双写方案完成数据迁移,迁移后做了全量数据校验。"

19. ShardingSphere vs MyCat vs Vitess?

维度ShardingSphereMyCatVitess
语言JavaJavaGo
架构JDBC嵌入/ProxyProxyProxy+Sidecar
性能JDBC模式最好一般好
功能分片+读写分离+加密+影子库分片+读写分离分片+复制
社区Apache顶级项目停更CNCF毕业
适用Java项目遗留系统K8s环境

20. 分库分表后怎么统计数据?

方案一:每个分片分别统计,应用层汇总

方案二:Binlog同步到ClickHouse/ES,在分析库中统计

方案三:定时任务汇总到统计表


-- 分片统计(ShardingSphere自动路由)
SELECT COUNT(*), SUM(amount) FROM t_order WHERE create_time > '2024-01-01';
-- 自动在所有分片执行后归并结果

面试速记口诀

分库分表三步走:先优化SQL → 再读写分离 → 最后分库分表

>

分片键三原则:高频查询、分布均匀、避免跨片

>

扩容两方案:翻倍扩容最简单、双写迁移零停机

>

ShardingSphere选型:Java项目用JDBC,多语言用Proxy