Q86 - ElasticSearch与搜索引擎实战
共50道题 | 难度分布:★★★★☆平均 | 20K+ Java后端/搜索岗位必考
一、ES核心概念(1-10)
ElasticSearch的核心概念?与关系数据库对比?
★★★★★
- 对比关系:
- Index(索引)≈ Database
- Type(类型,7.x移除)≈ Table
- Document(文档)≈ Row
- Field(字段)≈ Column
- Mapping(映射)≈ Schema
- Shard(分片)≈ Partition
- 核心特性:
- 分布式:自动分片、副本、路由。
- 近实时(NRT):写入后1秒可搜索。
- RESTful API:JSON over HTTP。
- 倒排索引:核心数据结构。
- 面试要点:ES是文档型存储,不是关系型数据库。不支持跨索引Join。
倒排索引的原理?为什么ES搜索快?
★★★★★
- 正排索引:文档ID→内容。适合顺序读取。
- 倒排索引:词项(Term)→ 文档列表(Posting List)。
- 构建过程:文档→分词→Term Dictionary→Posting List。
- 为什么快:
- 直接通过Term定位到文档列表,O(1)级别。
- 不需要扫描所有文档。
- FST(Finite State Transducer)压缩Term Dictionary。
- Roaring Bitmap压缩Posting List。
- 面试要点:MySQL LIKE '%keyword%'是全表扫描,ES倒排索引是直接定位。
ES的分布式架构?分片与副本?
★★★★★
- 分片(Shard):
- 主分片(Primary Shard):数据水平切分。创建Index后不可修改数量。
- 副本分片(Replica Shard):主分片的副本,提供高可用+读扩展。
- 路由公式:shard = hash(routing) % number_of_primary_shards。
- 默认配置:5个主分片 + 1个副本(7.x默认1主1副本)。
- 写入流程:
1. 客户端→协调节点。
2. 协调节点根据routing确定主分片。
3. 主分片写入→同步到副本分片。
4. 所有副本确认→返回客户端。
- 面试要点:主分片数在索引创建后不能修改(路由公式依赖分片数),副本数可以动态调整。
ES的写入流程?Refresh与Flush?
★★★★★
1. 写入Index Buffer(内存缓冲区)。
2. 同时写入Translog(事务日志,持久化)。
3. Refresh(默认1秒):Buffer→Segment(Lucene段)。此时可搜索。
4. Flush(默认30分钟或Translog达到512MB):Segment持久化到磁盘+清除Translog。
5. Merge(后台合并):多个小Segment合并为大Segment(降低资源消耗)。
- 关键参数:
- refresh_interval:刷新频率(默认1s,批量导入可设-1关闭)。
- translog.flush_threshold_size:Flush触发阈值。
- 面试要点:Refresh让数据近实时可搜索,Flush确保持久化。
ES的查询流程?Query Then Fetch?
★★★★★
1. Query阶段:
- 协调节点将查询发送到所有相关分片。
- 每个分片返回匹配文档的ID和排序值(Top N)。
- 协调节点合并排序,确定最终Top N。
2. Fetch阶段:
- 协调节点向相关分片请求完整文档内容。
- 返回给客户端。
- DFS Query Then Fetch:先收集词频信息(解决分片间TF-IDF不精确问题)。
- 面试要点:深分页(from+size)性能差(每个分片返回from+size条数据)。用scroll或search_after。
ES的Mapping映射?
★★★★★
- Mapping:定义文档的字段类型和属性(类似数据库Schema)。
- 字段类型:
- 核心类型:text(全文检索)、keyword(精确匹配)、long/integer/short/byte/double/float、date、boolean、binary。
- 复杂类型:object、nested(嵌套文档,独立索引)、flattened。
- 特殊类型:geo_point(经纬度)、geo_shape(地理形状)、completion(自动补全)。
- text vs keyword:
- text:分词后索引。适合全文搜索(title、content)。不能排序/聚合。
- keyword:不分词整体索引。适合精确匹配/排序/聚合(username、status)。
- 通常两者同时定义:
"title": { "type": "text", "fields": { "keyword": { "type": "keyword" } } }。
- 面试要点:7.x+默认Dynamic Mapping(自动推断类型),生产建议显式定义Mapping。
ES的分词器(Analyzer)?
★★★★★
- 分词器组成:CharFilter→Tokenizer→TokenFilter。
- 内置分词器:
- standard:标准分词(按词切分+小写)。
- simple:非字母切分+小写。
- whitespace:按空格切分。
- keyword:不分词(整体作为一个Token)。
- 中文分词器:
- IK Analyzer:最流行的中文分词。ik_max_word(最细粒度)+ ik_smart(粗粒度)。
- 自定义词典:扩展词、停用词。
- 面试要点:索引时分词器和搜索时分词器可以不同(search_analyzer)。
ES的倒排索引为什么不可变?
★★★★☆
- 段(Segment)不可变:写入后不再修改。
- 不可变的好处:
- 不需要锁(无并发修改)。
- 缓存友好(操作系统文件缓存)。
- 压缩高效(知道数据不会变)。
- 更新文档:标记旧文档为删除 → 写入新文档到新段。
- 删除文档:标记为删除(查询时过滤)→ Merge时物理删除。
- 面试要点:ES的"更新"本质是"标记删除+重新写入"。
ES的段合并(Segment Merge)?
★★★★☆
- 合并原因:段太多导致文件句柄多、查询性能下降。
- 合并过程:
1. 后台线程选择大小相似的段合并。
2. 创建新的大段。
3. 合并完成→旧段标记删除→新段生效。
- 触发策略:TieredMergePolicy(默认)。
- Force Merge:POST /index/_forcemerge?max_num_segments=1(通常在批量导入后执行)。
- 面试要点:频繁写入会导致大量小段,影响查询性能。
ES的选举机制?Master节点?
★★★★☆
- 节点角色:
- Master-eligible:参与Master选举。管理集群元数据。
- Data:存储数据。执行CRUD和搜索。
- Coordinating:路由请求、合并结果。
- Ingest:预处理管道。
- 选举(7.x+):
- 基于Raft协议。
- 需要多数派(N/2+1)节点在线。
- cluster.initial_master_nodes:首次启动指定候选节点。
- 脑裂防护:
- discovery.seed_hosts:配置所有候选节点。
- minimum_master_nodes(7.x自动计算)。
- 面试要点:Master节点不存储数据,只管理元数据(索引创建/删除、节点上下线)。
二、ES查询与聚合(11-22)
ES的查询类型?Match vs Term?
★★★★★
- 全文查询:
- match:分词后查询。
"query": "手机" → 分词为"手""机"→ 查包含任一词的文档。
- match_phrase:短语匹配(词的顺序和位置)。
- multi_match:多字段全文查询。
- query_string:Lucene查询语法。
- 精确查询:
- term:精确匹配不分词。适合keyword/数值/日期。
- terms:多值匹配(IN查询)。
- range:范围查询。
"gte": 100, "lte": 500。
- exists:字段存在。
- 组合查询:
- bool:must(AND) + should(OR) + must_not(NOT) + filter(过滤,不计算得分)。
- 面试要点:查询text字段用match,查询keyword字段用term。term查询text字段常见错误。
ES的相关性评分?TF-IDF vs BM25?
★★★★★
- TF-IDF:
- TF(词频):词在文档中出现次数越多越相关。
- IDF(逆文档频率):词在所有文档中出现越少越重要。
- ES 5.x之前默认。
- BM25(默认):
- 改进的TF-IDF。TF有饱和度(出现次数多到一定程度不再增加权重)。
- 考虑文档长度归一化。
- k1参数:控制TF饱和度(默认1.2)。
- b参数:控制文档长度归一化(默认0.75)。
- 面试要点:BM25比TF-IDF更适合大多数搜索场景,ES 5.x+默认使用。
ES的Bool查询?
★★★★★
{
"query": {
"bool": {
"must": [ { "match": { "title": "Java" } } ],
"filter": [ { "range": { "price": { "gte": 50, "lte": 200 } } } ],
"should": [ { "term": { "tags": "hot" } } ],
"must_not": [ { "term": { "status": "deleted" } } ]
}
}
}
- must:必须匹配,影响得分。
- filter:必须匹配,不影响得分(可缓存,性能更好)。
- should:至少匹配一个(boost加分)。
- must_not:不能匹配。
- 面试要点:filter不计算得分,性能更好,能用filter就不用must。
ES的聚合(Aggregation)?
★★★★★
- 三种聚合类型:
- 桶聚合(Bucket):按规则分桶。terms/date_histogram/range/filter。
- 指标聚合(Metric):计算指标。avg/sum/max/min/cardinality(去重计数)。
- 管道聚合(Pipeline):基于其他聚合结果计算。moving_avg/cumulative_sum。
- 示例:按类别分组+计算平均价格。
{
"aggs": {
"by_category": {
"terms": { "field": "category.keyword" },
"aggs": {
"avg_price": { "avg": { "field": "price" } }
}
}
}
}
- 面试要点:聚合在倒排索引上操作,keyword类型才能聚合(text不行)。
ES的深度分页问题?解决方案?
★★★★★
- 问题:from + size查询,每个分片返回from+size条数据到协调节点,内存爆炸。
- from=10000, size=10 → 每个分片返回10010条 → 5分片=50050条排序。
- 解决方案:
- index.max_result_window:调大上限(不推荐)。
- scroll:创建快照遍历。适合批量导出。占用资源。
- search_after:基于排序值翻页(推荐)。无状态。需要唯一排序字段。
{ "query": {...}, "sort": [{"_id": "asc"}, {"_score": "desc"}], "size": 100 }
下一页使用上一页最后一条的sort值。
- 面试要点:实时分页用search_after,批量导出用scroll。
ES的高亮(Highlight)?
★★★★☆
{
"query": { "match": { "content": "搜索引擎" } },
"highlight": {
"pre_tags": ["<em>"],
"post_tags": ["</em>"],
"fields": {
"content": { "fragment_size": 150, "number_of_fragments": 3 }
}
}
}
- 高亮器:unified(默认)、plain、fvh(Fast Vector Highlighter,需要term_vector)。
- 面试要点:大文本高亮用fvh(需开启term_vector),普通文本用unified。
ES的Suggester建议?
★★★★☆
- Term Suggester:拼写纠错。基于编辑距离。
- Phrase Suggester:短语纠错。
- Completion Suggester:自动补全。基于FST,性能极高。需要定义completion类型字段。
{ "title_suggest": { "type": "completion", "analyzer": "standard" } }
- Context Suggester:带上下文的补全(分类/地理位置)。
- 面试要点:Completion Suggester是前缀匹配,存储在内存中(FST),查询性能O(1)。
ES的Nested嵌套查询?
★★★★☆
- 问题:object类型数组中的字段会扁平化,导致跨字段查询错误。
- 文档:
"users": [{"name":"张三","age":25}, {"name":"李四","age":30}]
- 扁平化后:
users.name=["张三","李四"], users.age=[25,30]
- 查询name=张三 AND age=30会错误匹配。
- 解决:nested类型。每个嵌套对象作为独立隐藏文档索引。
{
"query": {
"nested": {
"path": "users",
"query": { "bool": { "must": [
{ "term": { "users.name": "张三" } },
{ "term": { "users.age": 25 } }
]}}
}
}
}
- 面试要点:nested查询性能比普通查询差(需要join),不要过度嵌套。
ES的Function Score查询?
★★★★☆
- 自定义评分:在BM25基础上叠加其他因素。
- field_value_factor:根据字段值加分(如销量/点击数)。
- decay_function:衰减函数(时间衰减/距离衰减)。
- script_score:脚本评分(灵活但性能差)。
- random_score:随机打散。
{
"query": {
"function_score": {
"query": { "match": { "title": "手机" } },
"functions": [
{ "field_value_factor": { "field": "sales", "modifier": "log1p" } },
{ "gauss": { "create_time": { "scale": "7d", "decay": 0.5 } } }
],
"score_mode": "sum",
"boost_mode": "multiply"
}
}
}
- 面试要点:电商搜索排序 = 文本相关性 + 销量 + 时间新鲜度 + 个性化。
ES的Wildcard与Regexp查询?
★★★★☆
- wildcard:通配符查询(*匹配任意字符,?匹配单个字符)。
- regexp:正则表达式查询。
- 性能问题:需要遍历倒排索引中的所有Term,性能极差。
- 替代方案:
- 前缀匹配:prefix query。
- n-gram分词:将字符串切成n元组合索引。
- completion suggester。
- 面试要点:避免使用通配符开头的查询(*xxx),性能最差。
ES的Rollup?时序数据聚合?
★★★☆☆
- Rollup:对时序数据进行预聚合,降低存储成本。
- 配置Rollup Job:按时间间隔聚合指标。
- 查询时自动从Rollup索引读取。
- 面试要点:时序数据(日志/监控)适合Rollup。
ES的SQL查询?
★★★☆☆
{ "query": "SELECT category, AVG(price) FROM products GROUP BY category" }
- 限制:不支持JOIN(跨索引)、子查询有限支持。
- JDBC驱动:可通过JDBC连接ES。
- 面试要点:ES SQL是便利功能,复杂查询还是用DSL。
三、ES性能优化(23-32)
ES的写入性能优化?
★★★★★
POST /_bulk
{"index":{"_index":"products","_id":"1"}}
{"name":"Product A","price":100}
- bulk大小建议5-15MB。
- 优化措施:
- 调大refresh_interval(5s或-1)。
- 增大index.translog.flush_threshold_size。
- 关闭副本(number_of_replicas=0),导入完再开启。
- 增大Index Buffer(indices.memory.index_buffer_size)。
- 使用自动生成的ID(避免版本检查)。
- 多线程并发写入。
- 使用routing避免查询所有分片。
ES的查询性能优化?
★★★★★
- 使用filter代替query(不计算得分,可缓存)。
- 避免深分页(from+size),用search_after。
- 避免wildcard前缀查询。
- 合理使用routing减少分片扫描。
- 用keyword类型做精确匹配和聚合。
- 预索引(提前计算好字段,避免script查询)。
- 控制返回字段(_source filtering)。
- 使用profile API分析查询耗时。
- 冷热架构:热数据SSD,冷数据HDD。
ES的Mapping优化?
★★★★☆
- 禁用不需要的功能:
"index": false:字段不建索引(不参与搜索)。
"doc_values": false:不需要排序/聚合的字段。
"norms": false:不需要评分的字段。
"index_options": "docs":只需要存在性检查。
- 合理使用text vs keyword。
- 使用date类型存储时间(而非string)。
- 生产环境禁止dynamic mapping。
- 面试要点:每一个启用的功能都有存储和性能开销。
ES的冷热架构?ILM(Index Lifecycle Management)?
★★★★★
- 冷热分层:
- Hot节点:SSD,处理最新数据。高配CPU+内存。
- Warm节点:SSD/HDD,处理较少访问的数据。
- Cold节点:HDD,归档数据。低配。
- Frozen节点:可搜索快照(Searchable Snapshot)。
- ILM策略:
{
"policy": {
"phases": {
"hot": { "actions": { "rollover": { "max_size": "50gb", "max_age": "30d" } } },
"warm": { "min_age": "30d", "actions": { "shrink": { "number_of_shards": 1 }, "forcemerge": { "max_num_segments": 1 } } },
"cold": { "min_age": "90d", "actions": { "freeze": {} } },
"delete": { "min_age": "365d", "actions": { "delete": {} } }
}
}
}
- 面试要点:ILM自动管理索引生命周期,减少运维成本。
ES的分片数如何规划?
★★★★★
- 经验值:
- 单分片大小:10-50GB(建议不超过50GB)。
- 分片数 = 预估数据量 / 单分片大小。
- 单节点分片数:不超过1000个(JVM堆内存:每GB堆支撑约20个分片)。
- JVM堆:不超过32GB(指针压缩阈值),建议50%物理内存。
- 过多分片的问题:
- 合并/恢复慢。
- 内存消耗大(每个分片有Lucene段)。
- 查询扇出到过多分片。
- 面试要点:分片一旦创建不能修改,需提前规划。
ES的JVM调优?
★★★★☆
- 堆内存:
- 不超过物理内存50%(留一半给Lucene文件缓存)。
- 不超过32GB(指针压缩阈值,超过后指针变大反而浪费内存)。
- -Xms = -Xmx(避免堆动态调整开销)。
- GC:G1GC(ES 7.x默认)。不建议ZGC(与Lucene兼容性问题)。
- -XX:+UseCompressedOops:压缩指针(32GB以下默认开启)。
- 面试要点:ES的堆不是越大越好。Lucene依赖OS文件缓存。
ES的Reindex?索引重建?
★★★★☆
POST /_reindex
{
"source": { "index": "old_index" },
"dest": { "index": "new_index" }
}
- 使用场景:
- 修改Mapping(增加新字段/修改分词器)。
- 修改分片数。
- 索引迁移。
- 远程Reindex:从另一个ES集群迁移数据。
"source": { "remote": { "host": "http://old-cluster:9200" }, "index": "source" }
- 面试要点:Reindex是后台任务,大数据量可以用sliced并行。
ES的索引模板与组件模板?
★★★★☆
- Index Template:新索引创建时自动应用配置。
PUT _index_template/logs_template
{
"index_patterns": ["logs-*"],
"template": {
"settings": { "number_of_shards": 3, "number_of_replicas": 1 },
"mappings": { ... }
}
}
- Component Template:可复用的模板片段(settings/mappings/aliases)。
- 面试要点:配合ILM使用,自动管理日志索引。
ES的跨集群搜索(CCS)?
★★★☆☆
PUT _cluster/settings
{ "persistent": { "cluster": { "remote": { "cluster_b": { "seeds": ["10.0.0.1:9300"] } } } } }
- 跨集群查询:
GET /cluster_b:logs-*/_search。
- 面试要点:CCS适合多数据中心搜索,不迁移数据。
ES的快照与恢复?
★★★★☆
PUT /_snapshot/my_backup
{ "type": "fs", "settings": { "location": "/data/es_backup" } }
PUT /_snapshot/my_backup/snapshot_1
{ "indices": "important-*" }
POST /_snapshot/my_backup/snapshot_1/_restore
- 支持的存储:本地文件系统、AWS S3、HDFS、Azure Blob。
- 增量备份:只备份变化的段。
- 面试要点:生产环境必须有快照策略(自动化定期备份)。
四、ES与Java集成(33-40)
Spring Data Elasticsearch的用法?
★★★★☆
- 依赖:spring-boot-starter-data-elasticsearch。
- ElasticsearchOperations:低级别操作。
- ElasticsearchRestTemplate:基于RestHighLevelClient。
- @Document注解:标记索引。
- ElasticsearchRepository:类似JPA的Repository。
- 面试要点:Spring Data ES 5.x使用新的Elasticsearch Java Client。
ES Java Client的演进?
★★★★☆
- TransportClient(已弃用):TCP协议,直接连接节点。
- RestHighLevelClient(7.15弃用):HTTP REST API。
- Elasticsearch Java Client(推荐):新的 Fluent API。
SearchResponse<Product> response = client.search(s -> s
.index("products")
.query(q -> q.match(m -> m.field("name").query("手机"))),
Product.class);
- 面试要点:新项目使用Elasticsearch Java Client。
如何实现数据库与ES的数据同步?
★★★★★
- 同步双写:代码中同时写DB和ES。缺点:一致性差、代码侵入。
- 异步消息:DB写入→发MQ消息→消费者写ES。推荐方案。
- CDC(Canal/Debezium):监听MySQL Binlog→写ES。对业务无侵入。
- Logstash JDBC Input:定时轮询DB。有延迟。
- 面试要点:Canal + Kafka + ES是主流的近实时同步方案。
如何实现电商搜索系统?
★★★★★
- 架构:MySQL(商品数据) → Canal → Kafka → ES(搜索索引)。
- 搜索功能:
- 全文检索:match查询标题/描述。
- 筛选过滤:filter by 价格/品牌/分类。
- 排序:相关性/销量/价格/时间。
- 聚合:品牌分布/价格区间/属性统计。
- 搜索建议:Completion Suggester。
- 拼音搜索:pinyin分词器。
- 面试要点:搜索排序 = BM25 + 销量权重 + 时间衰减 + 个性化。
如何设计日志分析系统(ELK)?
★★★★★
- 架构:应用→Filebeat→Logstash→ES→Kibana。
- 日志格式:JSON结构化日志。
- 索引设计:按天分索引(logs-2026.06.04)。
- ILM:热7天→温30天→冷90天→删除。
- Kibana Dashboard:错误率趋势、P99延迟、Top N接口。
- 面试要点:ILM自动管理日志生命周期,避免磁盘爆满。
如何处理ES的并发更新?乐观并发控制?
★★★★☆
- _seq_no + _primary_term:ES内部版本控制。
- if_seq_no + if_primary_term:乐观锁。
PUT /products/_doc/1?if_seq_no=5&if_primary_term=1
{ "name": "updated product" }
- 冲突处理:retry_on_conflict=3(自动重试3次)。
- 面试要点:ES用_seq_no代替旧版本的_version。
ES的数据建模最佳实践?
★★★★☆
- 宽表设计:避免Join/Nested,适当冗余(反范式化)。
- 预计算字段:提前计算好需要聚合/排序的字段。
- 合理分片:按时间/业务分索引。
- 冷热分离:热数据SSD + 冷数据HDD。
- 避免动态Mapping:显式定义所有字段。
- 控制字段数量:单个索引不超过1000个字段。
- 面试要点:ES的数据建模与关系数据库完全不同,推崇宽表反范式。
ES与Solr的对比?
★★★☆☆
| 维度 | ES | Solr |
| 实时性 | 近实时(1s) | 近实时(commit策略) |
| 分布式 | 原生支持 | SolrCloud(较复杂) |
| 聚合 | 强大 | Facet |
| 生态 | ELK、APM | Nutch、Lily |
| 社区 | 活跃(主流) | 逐渐减少 |
| 选型 | 新项目首选 | 老项目维护 |
五、综合面试题(41-50)
如何设计一个搜索建议(自动补全)系统?
★★★★★
- Completion Suggester + FST内存索引。
- 索引设计:
{ "title": "Java编程思想", "suggest": { "input": ["Java编程思想","java","编程思想"], "weight": 100 } }
- 拼音支持:pinyin分词器。
- 热词排序:weight字段(搜索频次)。
- 前端:debounce(300ms)+ 本地缓存。
如何排查ES查询慢?
★★★★★
GET /index/_search?profile=true
{ "query": ... }
- 查看每个阶段的耗时:rewrite→collector→scorer。
- Explain API:查看文档的评分详情。
- 慢查询日志:index.search.slowlog.threshold.query.warn=5s。
- 面试要点:Profile API是ES的性能分析利器。
ES的数据一致性问题?
★★★★☆
- 写一致性:
- consistency=quorum(默认):大多数主分片可用才写入。
- wait_for_active_shards:等待N个副本确认。
- 读取一致性:
- preference=_primary:只读主分片(强一致)。
- preference=_local:读本地分片(可能旧数据)。
- 默认:随机读主/副本(最终一致)。
- 面试要点:ES是CP系统(写入保证一致性,读取默认最终一致)。
如何设计ES的索引策略?
★★★★★
- 按时间分索引:logs-2026.06.04。适合时序数据。
- 按业务分索引:products、orders、users。
- 别名(Alias):应用层通过别名访问,底层切换索引。
POST /_aliases
{ "actions": [
{ "remove": { "index": "products_v1", "alias": "products" } },
{ "add": { "index": "products_v2", "alias": "products" } }
]}
如何处理ES的堆积问题(写入延迟)?
★★★★☆
1. GET _cat/thread_pool/write?v:查看写入线程池队列和拒绝数。
2. GET _nodes/stats:查看节点负载。
3. GET _cat/pending_tasks:查看pending任务。
- 优化:
- 增大bulk大小。
- 调整refresh_interval。
- 增加写入线程池大小。
- 检查Mapping是否过于复杂。
ES 8.x的新特性?
★★★★☆
- 安全默认开启(SSL + Authentication)。
- Native Vector Search(kNN搜索)。
- 新的Java Client。
- 快照搜索(Searchable Snapshot)。
- 更好的性能(Lucene 9底层)。
- 面试要点:ES 8.x安全默认开启,首次启动自动配置。
如何实现ES的多租户?
★★★★☆
- 方案一:每个租户独立索引(隔离性最好,资源开销大)。
- 方案二:索引内tenant_id字段过滤(资源省,隔离性差)。
- 方案三:按租户分路由(routing=tenant_id,单分片只有单租户数据)。
- 面试要点:小租户方案三,大租户方案一。
如何监控ES集群?
★★★★☆
- 核心指标:
- 集群状态(green/yellow/red)。
- 节点数、分片数。
- JVM堆使用率(<75%正常)。
- GC频率和时间。
- 索引速率、查询速率。
- 线程池拒绝数。
- 工具:
- GET _cluster/health。
- GET _nodes/stats。
- GET _cat/indices?v。
- Elasticsearch Exporter + Prometheus + Grafana。
- Kibana Stack Monitoring。
ES与ClickHouse的对比?
★★★★☆
- ES:全文搜索 + 日志分析。写入延迟约1秒。查询灵活(DSL)。
- ClickHouse:OLAP分析引擎。写入延迟毫秒级。SQL查询。列式存储。
- 选型:
- 全文搜索/日志搜索 → ES。
- 数据分析/报表/聚合 → ClickHouse。
- 日志分析两者都行,ClickHouse成本更低。
- 面试要点:很多公司用ClickHouse替代ES做日志分析(降本)。
ES面试综合:设计一个高可用ES集群?
★★★★★
- 架构设计:
- 3个Master节点(专做选举,不存数据)。
- N个Data Hot节点(SSD,最新数据)。
- N个Data Warm节点(HDD,历史数据)。
- 2个Coordinating节点(查询路由)。
- 容量规划:
- 数据量 / 50GB = 分片数。
- 分片数 / 20 = 最小JVM堆(GB)。
- 总内存 = JVM堆 × 2。
- 高可用:
- 每个主分片至少1个副本。
- 分片分配感知(rack/zone)。
- ILM自动管理生命周期。
- 监控:Prometheus + Grafana + 告警。
附:速查表
| 知识点 | 关键词 |
| 倒排索引 | Term→Posting List + FST压缩 |
| 写入流程 | Buffer→Refresh(1s)→Flush(30min)→Merge |
| 查询流程 | Query(各分片TopN)→Fetch(完整文档) |
| text vs keyword | 分词全文搜索 vs 精确匹配 |
| BM25 | TF饱和 + 文档长度归一化 |
| 深分页 | search_after(实时) / scroll(批量) |
| Nested | 独立隐藏文档索引,解决数组扁平化 |
| ILM | hot→warm→cold→delete生命周期 |
| 冷热架构 | SSD(Hot) + HDD(Warm) + 可搜索快照 |
| 数据同步 | Canal+Kafka→ES(推荐) |