正排索引(Forward Index): 文档ID → 内容
Doc1: "Elasticsearch是一个分布式搜索引擎"
Doc2: "分布式系统需要考虑一致性"
Doc3: "搜索引擎需要建立索引"
倒排索引(Inverted Index): 词项(Term) → 文档ID列表
┌──────────────────────────────────────────────────┐
│ 倒排索引结构 │
├──────────────┬───────────────────────────────────┤
│ Term(词项) │ Posting List(倒排表) │
├──────────────┼───────────────────────────────────┤
│ elasticsearch│ [Doc1] │
│ 分布式 │ [Doc1, Doc2] │
│ 搜索引擎 │ [Doc1, Doc3] │
│ 系统 │ [Doc2] │
│ 一致性 │ [Doc2] │
│ 索引 │ [Doc3] │
│ 建立 │ [Doc3] │
└──────────────┴───────────────────────────────────┘
查询 "分布式搜索引擎":
1. 分词: "分布式" + "搜索引擎"
2. 查倒排表:
"分布式" → [Doc1, Doc2]
"搜索引擎" → [Doc1, Doc3]
3. 交集: [Doc1] ← Doc1同时包含两个词
4. 并集(OR): [Doc1, Doc2, Doc3]
5. 按相关性评分(TF-IDF/BM25)排序返回
倒排索引的核心组件:
┌────────────────────────────────────────────────────┐
│ Term Dictionary(词项字典) │
│ · 所有唯一词项的有序列表 │
│ · 用FST(Finite State Transducer)压缩存储 │
│ · 类似Trie树,空间效率高 │
│ │
│ Term Index(词项索引) │
│ · Term Dictionary的索引 │
│ · 存在内存中,快速定位词项在字典中的位置 │
│ │
│ Posting List(倒排表) │
│ · 包含该词项的文档ID列表 │
│ · 用FOR(Frame of Reference)压缩 │
│ · 还存储词频(TF)、位置(Position)、偏移(Offset) │
└────────────────────────────────────────────────────┘
分词器三组件:
┌──────────┐ ┌──────────┐ ┌──────────┐
│Char Filter│──→│ Tokenizer│──→│Token Filter│
│(字符过滤) │ │(分词器) │ │(词项过滤) │
│ 0或多个 │ │ 恰好1个 │ │ 0或多个 │
└──────────┘ └──────────┘ └──────────┘
示例: "Elasticsearch 2.0 released!"
1. Char Filter: 去HTML标签(如有)
2. Tokenizer: 按空格/标点切分 → ["Elasticsearch", "2.0", "released"]
3. Token Filter: 小写化 → ["elasticsearch", "2.0", "released"]
↑ 去停用词可能去掉"released"
常用分词器:
┌──────────────────┬──────────────────────────────────────┐
│ 分词器 │ 特点 │
├──────────────────┼──────────────────────────────────────┤
│ standard │ 默认,按Unicode分词,小写化 │
│ simple │ 按非字母分割,小写化 │
│ whitespace │ 按空格分割 │
│ keyword │ 不分词,整个文本作为一个token │
│ ik_max_word │ 中文最细粒度分词 │
│ ik_smart │ 中文智能分词(推荐) │
│ pattern │ 正则分词 │
└──────────────────┴──────────────────────────────────────┘
// 创建索引映射
PUT /products
{
"mappings": {
"properties": {
"name": {
"type": "text", // 全文搜索
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"brand": {
"type": "keyword" // 精确匹配,不分词
},
"price": {
"type": "double" // 数值类型
},
"description": {
"type": "text",
"analyzer": "ik_max_word"
},
"tags": {
"type": "keyword" // 数组类型(ES自动支持)
},
"create_time": {
"type": "date", // 日期类型
"format": "yyyy-MM-dd HH:mm:ss"
},
"is_available": {
"type": "boolean" // 布尔类型
},
"suggest": {
"type": "completion" // 自动补全
}
}
}
}
text vs keyword:
text: 分词、全文搜索、不能排序/聚合
keyword: 不分词、精确匹配、可排序/聚合
┌──────────────────────────────────────────────────────┐
│ ES索引分片架构 │
│ │
│ Index: products │
│ ├── Primary Shard 0 (读写) │
│ │ └── Replica 0-a (只读, 故障时升为主) │
│ ├── Primary Shard 1 (读写) │
│ │ └── Replica 1-a (只读) │
│ └── Primary Shard 2 (读写) │
│ └── Replica 2-a (只读) │
│ │
│ 分片(Shard): │
│ · 索引的水平分割,每个分片是一个Lucene索引 │
│ · 分片数在索引创建后不可修改(需reindex) │
│ · 分片数建议: 数据量/50GB,不超过(节点数×3) │
│ │
│ 副本(Replica): │
│ · 主分片的复制,提供高可用和负载均衡 │
│ · 副本数可随时修改 │
│ · 推荐: 至少1个副本 │
│ │
│ 路由: shard = hash(routing) % primary_shard_count │
│ 默认routing = _id │
└──────────────────────────────────────────────────────┘
┌──────────────────────────────────────────────────────────┐
│ ES写入流程 │
│ │
│ Client ──→ Node(Coordinating) ──→ Primary Shard │
│ │ │
│ ┌──────────▼────────┐ │
│ │ 1.写入内存Buffer │ │
│ │ (暂不可搜索) │ │
│ └──────────┬─────────┘ │
│ │ │
│ refresh │ (默认1秒) │
│ ───────── ▼ │
│ ┌──────────────────┐ │
│ │ 2.OS File Cache │ │
│ │ (Segment,可搜索) │ │
│ └────────┬─────────┘ │
│ │ │
│ flush │ (默认30分钟 │
│ ──────── ▼ 或translog │
│ ┌──────────────────┐ │
│ │ 3.磁盘 │ │
│ │ commit point │ │
│ │ + segment文件 │ │
│ │ + translog清空 │ │
│ └──────────────────┘ │
│ │
│ 同时: 写入translog(事务日志)保证可靠性 │
│ │
│ 4.后台merge: │
│ 多个小segment → 合并为大segment → 删除已标记删除的文档 │
│ 减少segment数量,提升查询性能 │
└──────────────────────────────────────────────────────────┘
三阶段总结:
1. Write → Buffer(不可搜索) + Translog(可靠性)
2. Refresh(1s) → Buffer → OS Cache中的Segment(可搜索)
3. Flush(30min) → Segment持久化到磁盘 + 清空Translog
三大类聚合:
┌──────────────────┬──────────────────────────────────────┐
│ 桶聚合(Bucket) │ 按规则将文档分到不同的桶中 │
│ │ 如: 按品牌分组、按价格区间分组 │
├──────────────────┼──────────────────────────────────────┤
│ 指标聚合(Metric) │ 计算桶内文档的统计值 │
│ │ 如: avg/sum/max/min/cardinality │
├──────────────────┼──────────────────────────────────────┤
│ 管道聚合(Pipeline)│ 对其他聚合的结果进行再聚合 │
│ │ 如: 移动平均、累计求和 │
└──────────────────┴──────────────────────────────────────┘
// 按品牌分组,统计每个品牌的商品数
GET /products/_search
{
"size": 0,
"aggs": {
"brand_count": {
"terms": {
"field": "brand",
"size": 10
}
}
}
}
// 返回: {"华为": 150, "小米": 120, "苹果": 100, ...}
// 价格的统计信息
GET /products/_search
{
"size": 0,
"aggs": {
"price_stats": {
"stats": {
"field": "price"
}
}
}
}
// 返回: {count, min, max, avg, sum}
// 按价格区间(每1000一档)分组
GET /products/_search
{
"size": 0,
"aggs": {
"price_histogram": {
"histogram": {
"field": "price",
"interval": 1000,
"min_doc_count": 0
}
}
}
}
// 返回: {"0-999": 50, "1000-1999": 120, "2000-2999": 80, ...}
// 按日期分组(每月)
"date_histogram": {
"field": "create_time",
"calendar_interval": "month"
}
// 按品牌分组 → 每个品牌的平均价格
GET /products/_search
{
"size": 0,
"aggs": {
"by_brand": {
"terms": { "field": "brand" },
"aggs": {
"avg_price": {
"avg": { "field": "price" }
}
}
}
}
}
┌──────────────────────┬─────────────────────────────────────┐
│ MySQL SQL │ Elasticsearch DSL │
├──────────────────────┼─────────────────────────────────────┤
│ WHERE name = '华为' │ {"term": {"brand": "华为"}} │
│ WHERE name LIKE '%搜索%'│{"match": {"name": "搜索"}} │
│ WHERE price > 1000 │ {"range": {"price": {"gt": 1000}}} │
│ ORDER BY price DESC │ {"sort": [{"price": "desc"}]} │
│ LIMIT 10 │ {"size": 10} │
│ GROUP BY brand │ {"aggs": {"by_brand": {"terms":...}}}│
│ COUNT(*) │ {"aggs": {"count": {"value_count":..}}}│
│ AVG(price) │ {"aggs": {"avg_price": {"avg":...}}} │
│ WHERE a=1 AND b=2 │ {"bool": {"must": [...]}} │
│ WHERE a=1 OR b=2 │ {"bool": {"should": [...]}} │
└──────────────────────┴─────────────────────────────────────┘
典型架构: MySQL(主存储) + ES(搜索/分析)
写入:
App → MySQL(事务保证) → Canal监听binlog → 同步到ES
读取:
· 按ID精确查询 → MySQL(主键索引更快)
· 全文搜索/复杂条件 → ES(倒排索引擅长)
· 聚合统计/报表 → ES(聚合能力强)
· 事务操作 → MySQL
与航班价格监控关联:
航班价格数据 → 写入ES(按出发地/目的地/日期索引)
→ 聚合查询: 按日期直方图(date_histogram)展示价格趋势
→ terms聚合: 按航空公司分组比较价格
→ 嵌套聚合: 每个航空公司的最低价/平均价
| 面试官问 | 你回答 |
|---|---|
| "倒排索引?" | "词项→文档ID列表,查词找文档。用FST压缩字典,FOR压缩倒排表" |
| "ES为什么快?" | "倒排索引O(1)查词 + 内存缓存Segment + 多分片并行" |
| "text vs keyword?" | "text分词做全文搜索,keyword不分词做精确匹配和聚合" |
| "写入流程?" | "写Buffer+Translog → refresh(1s)到Segment可搜索 → flush到磁盘" |
| "和MySQL怎么配合?" | "MySQL做主存储保证事务,Canal同步到ES做搜索和聚合分析" |
| "分片怎么设?" | "按数据量/50GB算分片数,创建后不可改,至少1个副本" |
面试话术: "ES的核心是倒排索引——将文档内容分词后建立词项到文档ID的映射,查询时通过词项快速定位文档。写入流程是先写内存Buffer+Translog,每秒refresh到Segment变为可搜索,每30分钟flush到磁盘。我们项目中MySQL做主存储保证事务,通过Canal监听binlog实时同步到ES,全文搜索和聚合分析走ES,按ID查询走MySQL。聚合方面ES支持桶聚合(terms分组)、指标聚合(avg/sum/stats)、管道聚合,非常适合做数据分析报表。"
1. 倒排索引和正排索引的区别是什么?为什么全文搜索要用倒排索引?
2. ES的refresh和flush分别做什么?为什么需要两个阶段?
3. 设计一个商品搜索的mapping,要求支持商品名称全文搜索、品牌精确过滤、价格范围查询和按品牌聚合统计。
4. 如何实现"按日期分组的销量统计报表"?写出ES的聚合DSL。
5. ES和MySQL在数据同步上有哪些方案?各自的优缺点是什么?