线上索引 mapping 改了字段类型,怎么办?删了重建?那几分钟写入全丢、搜索全挂。easy-es 的 SMOOTHLY 模式(平滑迁移策略)给出了教科书答案:蓝绿索引 + 原子别名切换,全程业务无感。这是整个框架技术含量最高的部分。
ES 的 mapping(字段结构定义)一旦建好,字段类型不能修改——倒排索引的结构在建索引时就定了。想把 title 从 text 改成 keyword,唯一办法是建新索引、把数据搬过去。传统做法停机重建,而线上搜索服务停一分钟都是事故。
蓝绿发布(blue-green deployment,新旧两套环境切换上线的发布方式)的思路正好适用:
旧索引 document_s0(别名 document 指向它,承接读写)
↓ 检测到 mapping 变化
新建 document_s1(新结构,空索引)
↓ _reindex 把 s0 数据搬运到 s1
别名 document 原子地从 s0 切到 s1 ← 零停机的关键一步
↓ 删除 s0,完成
业务代码永远只写 document 这个别名(alias,索引的软链接),物理索引在 _s0/_s1 之间来回切换,客户端毫无感知。
启动时异步索引处理走到 AutoProcessIndexSmoothlyStrategy(默认策略),流程固定:
1. existsIndexWithRetry 带重试检查索引是否存在
2. isIndexNeedChange 对比 mapping/settings 是否有变化
3. generateReleaseIndexName 在 _s0/_s1 之间切换生成新索引名
4. createIndex 按新结构创建新索引
5. doDataMigration → _reindex ES 原生搬运(超时默认 72 小时)
6. changeAliasAtomic 原子切换别名 ★
7. deleteIndex(old) 清理旧索引,更新内存缓存
8. saveReleaseIndex 写 ee-distribute-lock 通知集群其他节点
核心是第 6 步。看 IndexUtils.changeAliasAtomic(IndexUtils.java:957)的做法:
// 用 _aliases API 的 actions 数组,单次请求内同时 remove + add
request.actions(new Action(
AliasActions.REMOVE, oldIndex, aliasName),
new Action(
AliasActions.ADD, newIndex, aliasName));
client().indices().updateAliases(request, ...);
为什么这能保证零停机?ES 的 _aliases API(别名管理接口)对一次请求里的多个 action 是原子执行的——不存在「旧别名已摘、新别名未挂」的中间态。切换瞬间读写要么全在旧索引、要么全在新索引。这是分布式系统「原子切换」的经典手法,和 Redis 的 RENAME、配置中心的灰度切换是同一个思想。
对比一下错误做法:先 removeAlias(old) 再 addAlias(new)——两次请求之间有任何写入,就写进了没有别名的旧索引,数据丢失。
单节点切完别名就完了,但集群部署时新问题来了:A 节点切了别名,B 节点的内存缓存 EntityInfo.indexName 还指向旧索引。
IndexUtils.java:1171-1263 的方案:
1. 切换方把新索引名写入专门的 ee-distribute-lock 索引;
2. 其他节点用 scheduleWithFixedDelay(固定延迟定时任务)定时拉取该索引,发现变更就刷新自己的内存缓存,带重试上限。
亮点在于用 ES 自身当分布式协调存储。为什么不用 Redis 或 ZooKeeper?因为别名切换本身已经是原子操作,剩下的只是「配置广播」——再引入一个中间件只为发一条通知,运维成本不划算。这是「用最小依赖解决问题」的工程权衡,面试聊到分布式协调时是很好的展开点。
再往深追问一层:两个节点同时启动、同时检测到 mapping 变化,会不会各建一个新索引把数据搬两遍?ee-distribute-lock 这个索引名本身就藏着答案——切换记录先到先得,后到的节点定时拉取时发现已有新记录,直接对齐新索引名跳过迁移。名字里带 lock,干的却是「抢占式配置广播」的活。
reindex 期间的在途数据是最容易被问死的细节:搬运开始后,业务新写入仍然走别名(落在旧索引),而 reindex 搬的是发起那一刻之前的存量。窗口越长、写入越猛,切换后新索引缺的增量越多。稳妥做法是切换前做一次二次增量 reindex(按时间戳过滤,或用 op_type=create 跳过已存在文档),把窗口内的增量补齐,再执行原子切别名。easy-es 的八步是标准流程一把梭,超大索引加高写入的场景,这一步要自己补。
三个配套设计让这套机制可扩展、不拖慢启动:
策略 + 自注册 + 工厂三件套:IndexStrategyFactory 实现 InitializingBean,在 afterPropertiesSet 里 getBeansOfType 收集所有策略 Bean,按 getStrategyType() 自注册进 SERVICE_MAP。加新策略只需写一个 Bean,工厂代码零改动——开闭原则(对扩展开放、对修改关闭)的教科书落地。
模板方法定骨架:所有策略共享 existsIndex → doCreateIndex / doUpdateIndex 骨架,子类只重写差异步骤——SMOOTHLY 走蓝绿八步,NOT_SMOOTHLY 直接删了重建,MANUAL 完全交给人工。
异步非阻塞:GlobalConfig.asyncProcessIndexBlocking 默认 true,索引处理走 supplyAsync(自定义线程池)。reindex 可能跑几十分钟,绝不能阻塞 Spring 启动主线程——应用先就绪接流量,索引在后台慢慢搬。
ee-distribute-lock 同步有延迟窗口,期间节点间索引名可能短暂不一致,读请求靠别名无感,直接读物理索引名的自定义代码会踩坑「ES 索引结构变了怎么不停机迁移?」——答:蓝绿思路——生成 _s0/_s1 新索引、_reindex 搬数据、用 _aliases API 在单次请求里 remove+add 原子切别名、删旧索引;集群下把新索引名写进 ee-distribute-lock 索引广播,其他节点定时拉取刷新缓存;全程异步执行不阻塞启动。追问为什么不用 Redis/ZK 做协调——别名切换本身已原子,只需配置广播,用 ES 自己存储避免额外中间件。再追「reindex 期间的写入怎么办」——答增量补搬:切换前按时间戳二次 reindex 补窗口增量,别名原子性兜住切换瞬间的读写。
一句话总结:零停机的本质是把「改结构」变成「建新的 + 搬数据 + 原子切流量」,别名就是那个流量开关。