CAP 定理说分布式系统只能三选二,但 Nacos 的回答是:我全都要——按数据类型分别要。这篇讲它怎么在一个系统里同时跑 AP 和 CP 两套协议。
前置阅读:17.1 讲过 CAP 的取舍。这篇看 Nacos 源码怎么把 Distro 和 Raft 装进同一个注册中心。
微服务实例一分钟上下线十次,少一条无所谓,可用性最重要。配置数据错一个字符就是生产事故,一致性不能让步。
于是 Nacos 把数据分成三类,各选各的协议:
| 数据类型 | 协议 | 理由 |
|---|---|---|
| 临时实例、订阅关系 | Distro(AP) | 频繁变更,可用性优先 |
| 持久实例 | Raft(CP) | 宁可写入慢,不能数据乱 |
| 配置数据 | Raft(CP) | 配置错乱等于事故 |
类比小区快递柜:不等全小区同意,先塞进自己负责的柜子,再异步拍照发群里同步给大家。
Distro(Nacos 自研的最终一致协议)的核心思想一句话:每个节点只负责一部分数据,把自己负责的部分异步同步给别人。
DistroProtocol.sync
→ 遍历 allMembersWithoutSelf(除自己外的所有节点)
→ 构造 DistroDelayTask 投入延迟队列(默认延迟 1 秒,合并短时间多次变更)
→ DistroSyncChangeTask → transportAgent.syncData 发给其他节点
数据归属怎么定?DistroMapper.responsible() 用 hash(标签) % 节点数 判断这条数据归谁管。节点增减时,所有节点按相同规则重建映射,保证判断一致。
最终一致靠三重保障:
1. 变更同步:写操作触发 sync,延迟 1 秒合并批量变更
2. 定时校验:DistroVerifyTimedTask 默认每 5 秒比对各节点数据的 revision(版本号)
3. 快照加载:新节点启动时全量拉快照补齐
和 Raft 的本质区别:Raft 是「多数派共写一份数据」,Distro 是「各管一摊、互相广播」。前者强一致但写入慢,后者高可用但只保证最终一致。
写路径延迟差异因此巨大:临时实例注册是本地写加异步同步,客户端毫秒级拿到响应;持久实例注册要等多数派确认日志落盘,延迟翻几倍。AP 换来的是写速度,CP 换来的是不丢不乱——下单业务的服务列表适合前者,配置适合后者。
异常场景各自怎么兜底也值得对比:Distro 节点失联后,它负责的数据在其他节点还有副本,靠定时校验和快照补齐;Raft 节点失联,少数派直接不可写,等 leader 重新选举——宁可拒绝服务,不出脏数据,这就是 CP 的代价与承诺。
Nacos 1.x 自研过简单 Raft,2.x 直接换成阿里的 SOFA-JRaft(生产级 Raft 实现)。造过的轮子又拆掉,这本身是个架构决策素材。
写路径走多数派复制:
业务侧 registerInstance
→ 构造 WriteRequest(protobuf)
→ JRaftProtocol.write → JRaftServer.commit → node.apply(Task)
→ 多数派复制日志 → NacosStateMachine.onApply(leader 回放)
→ processor.onApply → 写内存 Client + 发事件
一个精巧的设计:集群加 derby 嵌入式存储的组合里,DistributedDatabaseOperateImpl 把 SQL 包装成 WriteRequest 提交 Raft,leader 回放日志时在本地事务里执行 SQL——用 Raft 共识保证每个节点以相同顺序执行相同的 SQL。
JRaftServer 管的不是一个大 Raft,而是多 Raft Group(按业务切分的独立共识域):nacos_config、naming_persistent_service_v2 各一个 group,互不拖累——配置写入慢不会阻塞实例注册。
状态机适配层 NacosStateMachine 是业务与 JRaft 之间的桥:onApply 回放日志,onLeaderStart 和 onConfigurationCommitted 通过 NotifyCenter 发 RaftEvent,上层订阅事件感知 leader 切换。
快照用 JSnapshotOperation 适配器桥接两边的接口——重启后先装快照再追日志,避免全量重放。适配器模式在这里的价值:Nacos 的数据结构不用为 JRaft 改形状。
| 系统 | 一致性 | 数据模型 | 一句话 |
|---|---|---|---|
| ZooKeeper | CP | 全量同构 | 选主期间整库不可写 |
| Eureka | AP | 全量对等 | 每节点全量复制,规模一大就重 |
| Nacos | 按数据分 | 分片(Distro)+ 全量(Raft) | 各管一摊再加多数派兜底 |
Eureka 也是 AP,但它的每个节点都存全量数据;Distro 的哈希分片让每节点只 owns 一部分,同步流量随规模线性分摊——这是 Nacos 敢承诺大集群的底气。
业务代码从来不知道自己用的是 Distro 还是 JRaft——注册临时实例时注入的是 AP 实现,写配置时注入的是 CP 实现。ProtocolManager 用双检锁懒加载管理两套协议:
ConsistencyProtocol(根接口)
├─ APProtocol ← DistroProtocol
└─ CPProtocol ← JRaftProtocol(带 isLeader 方法)
节点变更时,监听 MembersChangeEvent,用单线程串行触发两套协议的 memberChange——避免 AP 和 CP 的成员变更互相阻塞。
「Nacos 怎么同时支持 AP 和 CP?」——答:一致性协议抽象成 ConsistencyProtocol 接口,DistroProtocol 实现 AP、JRaftProtocol 实现 CP;临时实例的注册走 Distro 异步同步保可用,配置和持久实例走 JRaft 多数派写保强一致;ProtocolManager 统一调度,节点变更时单线程串行通知两套协议。
追问「为什么 2.x 放弃自研 Raft」——自研协议看着简单,选举边界、日志压缩、快照恢复这些坑要靠生产事故填;SOFA-JRaft 经过蚂蚁大规模验证,集成成本远低于自维护成本。识别自己该造轮子还是该借轮子,本身是架构能力。
一句话总结:没有完美的协议,只有按数据类型选协议的架构。