← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标(学完能回答的面试题)核心知识(1小时精讲内容)面试速记卡(考前30秒速看)练习题(自测)学习资料

L20 - Elasticsearch倒排索引与聚合

本节目标(学完能回答的面试题)

核心知识(1小时精讲内容)

一、倒排索引原理


正排索引(Forward Index): 文档ID → 内容
  Doc1: "Elasticsearch是一个分布式搜索引擎"
  Doc2: "分布式系统需要考虑一致性"
  Doc3: "搜索引擎需要建立索引"

倒排索引(Inverted Index): 词项(Term) → 文档ID列表

  ┌──────────────────────────────────────────────────┐
  │              倒排索引结构                          │
  ├──────────────┬───────────────────────────────────┤
  │ Term(词项)    │ Posting List(倒排表)               │
  ├──────────────┼───────────────────────────────────┤
  │ elasticsearch│ [Doc1]                             │
  │ 分布式       │ [Doc1, Doc2]                       │
  │ 搜索引擎     │ [Doc1, Doc3]                       │
  │ 系统         │ [Doc2]                             │
  │ 一致性       │ [Doc2]                             │
  │ 索引         │ [Doc3]                             │
  │ 建立         │ [Doc3]                             │
  └──────────────┴───────────────────────────────────┘

查询 "分布式搜索引擎":
1. 分词: "分布式" + "搜索引擎"
2. 查倒排表:
   "分布式"     → [Doc1, Doc2]
   "搜索引擎"   → [Doc1, Doc3]
3. 交集: [Doc1]  ← Doc1同时包含两个词
4. 并集(OR): [Doc1, Doc2, Doc3]
5. 按相关性评分(TF-IDF/BM25)排序返回

倒排索引的核心组件:


┌────────────────────────────────────────────────────┐
│  Term Dictionary(词项字典)                          │
│  · 所有唯一词项的有序列表                            │
│  · 用FST(Finite State Transducer)压缩存储           │
│  · 类似Trie树,空间效率高                            │
│                                                    │
│  Term Index(词项索引)                               │
│  · Term Dictionary的索引                           │
│  · 存在内存中,快速定位词项在字典中的位置             │
│                                                    │
│  Posting List(倒排表)                               │
│  · 包含该词项的文档ID列表                           │
│  · 用FOR(Frame of Reference)压缩                   │
│  · 还存储词频(TF)、位置(Position)、偏移(Offset)      │
└────────────────────────────────────────────────────┘

二、分词器(Analyzer)


分词器三组件:
┌──────────┐    ┌──────────┐    ┌──────────┐
│Char Filter│──→│ Tokenizer│──→│Token Filter│
│(字符过滤) │    │(分词器)   │    │(词项过滤)  │
│ 0或多个   │    │ 恰好1个   │    │ 0或多个    │
└──────────┘    └──────────┘    └──────────┘

示例: "Elasticsearch 2.0 released!"
1. Char Filter: 去HTML标签(如有)
2. Tokenizer: 按空格/标点切分 → ["Elasticsearch", "2.0", "released"]
3. Token Filter: 小写化 → ["elasticsearch", "2.0", "released"]
                                    ↑ 去停用词可能去掉"released"

常用分词器:
┌──────────────────┬──────────────────────────────────────┐
│ 分词器            │ 特点                                  │
├──────────────────┼──────────────────────────────────────┤
│ standard         │ 默认,按Unicode分词,小写化            │
│ simple           │ 按非字母分割,小写化                   │
│ whitespace       │ 按空格分割                             │
│ keyword          │ 不分词,整个文本作为一个token          │
│ ik_max_word      │ 中文最细粒度分词                       │
│ ik_smart         │ 中文智能分词(推荐)                     │
│ pattern          │ 正则分词                               │
└──────────────────┴──────────────────────────────────────┘

三、_mapping设计


// 创建索引映射
PUT /products
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text",           // 全文搜索
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "brand": {
        "type": "keyword"         // 精确匹配,不分词
      },
      "price": {
        "type": "double"          // 数值类型
      },
      "description": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "tags": {
        "type": "keyword"         // 数组类型(ES自动支持)
      },
      "create_time": {
        "type": "date",           // 日期类型
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      "is_available": {
        "type": "boolean"         // 布尔类型
      },
      "suggest": {
        "type": "completion"      // 自动补全
      }
    }
  }
}

text vs keyword:
text:    分词、全文搜索、不能排序/聚合
keyword: 不分词、精确匹配、可排序/聚合

四、分片与副本


┌──────────────────────────────────────────────────────┐
│          ES索引分片架构                                │
│                                                       │
│  Index: products                                      │
│    ├── Primary Shard 0     (读写)                      │
│    │     └── Replica 0-a  (只读, 故障时升为主)          │
│    ├── Primary Shard 1     (读写)                      │
│    │     └── Replica 1-a  (只读)                       │
│    └── Primary Shard 2     (读写)                      │
│          └── Replica 2-a  (只读)                       │
│                                                       │
│  分片(Shard):                                         │
│  · 索引的水平分割,每个分片是一个Lucene索引              │
│  · 分片数在索引创建后不可修改(需reindex)                │
│  · 分片数建议: 数据量/50GB,不超过(节点数×3)             │
│                                                       │
│  副本(Replica):                                       │
│  · 主分片的复制,提供高可用和负载均衡                    │
│  · 副本数可随时修改                                    │
│  · 推荐: 至少1个副本                                   │
│                                                       │
│  路由: shard = hash(routing) % primary_shard_count     │
│  默认routing = _id                                    │
└──────────────────────────────────────────────────────┘

五、写入流程


┌──────────────────────────────────────────────────────────┐
│              ES写入流程                                    │
│                                                           │
│  Client ──→ Node(Coordinating) ──→ Primary Shard          │
│                                               │           │
│                                    ┌──────────▼────────┐ │
│                                    │ 1.写入内存Buffer    │ │
│                                    │   (暂不可搜索)      │ │
│                                    └──────────┬─────────┘ │
│                                               │           │
│                                    refresh    │ (默认1秒)  │
│                                    ─────────  ▼           │
│                                    ┌──────────────────┐  │
│                                    │ 2.OS File Cache   │  │
│                                    │   (Segment,可搜索) │  │
│                                    └────────┬─────────┘  │
│                                             │             │
│                                    flush    │ (默认30分钟  │
│                                    ──────── ▼  或translog  │
│                                    ┌──────────────────┐  │
│                                    │ 3.磁盘             │  │
│                                    │   commit point    │  │
│                                    │   + segment文件    │  │
│                                    │   + translog清空   │  │
│                                    └──────────────────┘  │
│                                                           │
│  同时: 写入translog(事务日志)保证可靠性                     │
│                                                           │
│  4.后台merge:                                            │
│    多个小segment → 合并为大segment → 删除已标记删除的文档  │
│    减少segment数量,提升查询性能                            │
└──────────────────────────────────────────────────────────┘

三阶段总结:
1. Write → Buffer(不可搜索) + Translog(可靠性)
2. Refresh(1s) → Buffer → OS Cache中的Segment(可搜索)
3. Flush(30min) → Segment持久化到磁盘 + 清空Translog

六、聚合查询

6.1 聚合类型


三大类聚合:
┌──────────────────┬──────────────────────────────────────┐
│ 桶聚合(Bucket)    │ 按规则将文档分到不同的桶中             │
│                  │ 如: 按品牌分组、按价格区间分组          │
├──────────────────┼──────────────────────────────────────┤
│ 指标聚合(Metric) │ 计算桶内文档的统计值                   │
│                  │ 如: avg/sum/max/min/cardinality       │
├──────────────────┼──────────────────────────────────────┤
│ 管道聚合(Pipeline)│ 对其他聚合的结果进行再聚合             │
│                  │ 如: 移动平均、累计求和                  │
└──────────────────┴──────────────────────────────────────┘

6.2 terms聚合(按字段分组)


// 按品牌分组,统计每个品牌的商品数
GET /products/_search
{
  "size": 0,
  "aggs": {
    "brand_count": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    }
  }
}
// 返回: {"华为": 150, "小米": 120, "苹果": 100, ...}

6.3 stats聚合(统计指标)


// 价格的统计信息
GET /products/_search
{
  "size": 0,
  "aggs": {
    "price_stats": {
      "stats": {
        "field": "price"
      }
    }
  }
}
// 返回: {count, min, max, avg, sum}

6.4 histogram聚合(直方图)


// 按价格区间(每1000一档)分组
GET /products/_search
{
  "size": 0,
  "aggs": {
    "price_histogram": {
      "histogram": {
        "field": "price",
        "interval": 1000,
        "min_doc_count": 0
      }
    }
  }
}
// 返回: {"0-999": 50, "1000-1999": 120, "2000-2999": 80, ...}

// 按日期分组(每月)
"date_histogram": {
  "field": "create_time",
  "calendar_interval": "month"
}

6.5 嵌套聚合


// 按品牌分组 → 每个品牌的平均价格
GET /products/_search
{
  "size": 0,
  "aggs": {
    "by_brand": {
      "terms": { "field": "brand" },
      "aggs": {
        "avg_price": {
          "avg": { "field": "price" }
        }
      }
    }
  }
}

七、SQL vs ES DSL对比


┌──────────────────────┬─────────────────────────────────────┐
│ MySQL SQL            │ Elasticsearch DSL                    │
├──────────────────────┼─────────────────────────────────────┤
│ WHERE name = '华为'  │ {"term": {"brand": "华为"}}          │
│ WHERE name LIKE '%搜索%'│{"match": {"name": "搜索"}}        │
│ WHERE price > 1000   │ {"range": {"price": {"gt": 1000}}}   │
│ ORDER BY price DESC  │ {"sort": [{"price": "desc"}]}        │
│ LIMIT 10             │ {"size": 10}                         │
│ GROUP BY brand       │ {"aggs": {"by_brand": {"terms":...}}}│
│ COUNT(*)             │ {"aggs": {"count": {"value_count":..}}}│
│ AVG(price)           │ {"aggs": {"avg_price": {"avg":...}}} │
│ WHERE a=1 AND b=2   │ {"bool": {"must": [...]}}            │
│ WHERE a=1 OR b=2    │ {"bool": {"should": [...]}}          │
└──────────────────────┴─────────────────────────────────────┘

八、ES与MySQL配合架构


典型架构: MySQL(主存储) + ES(搜索/分析)

写入:
  App → MySQL(事务保证) → Canal监听binlog → 同步到ES

读取:
  · 按ID精确查询 → MySQL(主键索引更快)
  · 全文搜索/复杂条件 → ES(倒排索引擅长)
  · 聚合统计/报表 → ES(聚合能力强)
  · 事务操作 → MySQL

与航班价格监控关联:
  航班价格数据 → 写入ES(按出发地/目的地/日期索引)
  → 聚合查询: 按日期直方图(date_histogram)展示价格趋势
  → terms聚合: 按航空公司分组比较价格
  → 嵌套聚合: 每个航空公司的最低价/平均价

九、ES面试快速指南

面试官问你回答
"倒排索引?""词项→文档ID列表,查词找文档。用FST压缩字典,FOR压缩倒排表"
"ES为什么快?""倒排索引O(1)查词 + 内存缓存Segment + 多分片并行"
"text vs keyword?""text分词做全文搜索,keyword不分词做精确匹配和聚合"
"写入流程?""写Buffer+Translog → refresh(1s)到Segment可搜索 → flush到磁盘"
"和MySQL怎么配合?""MySQL做主存储保证事务,Canal同步到ES做搜索和聚合分析"
"分片怎么设?""按数据量/50GB算分片数,创建后不可改,至少1个副本"

面试话术: "ES的核心是倒排索引——将文档内容分词后建立词项到文档ID的映射,查询时通过词项快速定位文档。写入流程是先写内存Buffer+Translog,每秒refresh到Segment变为可搜索,每30分钟flush到磁盘。我们项目中MySQL做主存储保证事务,通过Canal监听binlog实时同步到ES,全文搜索和聚合分析走ES,按ID查询走MySQL。聚合方面ES支持桶聚合(terms分组)、指标聚合(avg/sum/stats)、管道聚合,非常适合做数据分析报表。"

面试速记卡(考前30秒速看)

练习题(自测)

1. 倒排索引和正排索引的区别是什么?为什么全文搜索要用倒排索引?

2. ES的refresh和flush分别做什么?为什么需要两个阶段?

3. 设计一个商品搜索的mapping,要求支持商品名称全文搜索、品牌精确过滤、价格范围查询和按品牌聚合统计。

4. 如何实现"按日期分组的销量统计报表"?写出ES的聚合DSL。

5. ES和MySQL在数据同步上有哪些方案?各自的优缺点是什么?

学习资料