← 返回首页 📚 实战课程
📑 本篇章节导航 (共21章,点击直达)
Q01:RAG(检索增强生成)管道的完整设计?Q02:Agent 和 ChatBot 的区别?Q03:Function Calling 的机制原理?Q04:MCP 协议是什么?Q05:Spring AI 的架构设计?Q06:AI 应用的 Token 成本如何控制?Q07:AI 应用上生产的常见问题?Q08:秒杀系统的设计?Q09:分布式事务的解决方案?Q10:微服务治理包括哪些方面?Q11:限流算法有哪些?Q12:幂等性如何设计?Q13:缓存和数据库的一致性方案?Q14:消息队列如何保证消息顺序?Q15:CAP 定理和 BASE 理论?Q16:分布式 ID 生成方案?Q17:API 网关的设计?Q18:数据库优化的完整思路?Q19:系统扩容策略有哪些?Q20:可观测性(Observability)三支柱?复习清单

AI项目与系统设计面试20问

面向 5 年经验 Java 开发者,目标岗位 18-22K AI+Java 方向。
每题包含:标准回答 → 追问 → 追问回答 → 面试Tips。

Q01:RAG(检索增强生成)管道的完整设计?

标准回答:

RAG 管道分两大阶段:离线索引和在线检索。离线:文档加载 → 文本分块(Chunking,按段落/Token 滑动窗口,推荐 500-1000 Token + 100 重叠)→ Embedding 向量化 → 存入 VectorStore(Milvus/PgVector/ES)。在线:用户提问 → Query Embedding → 向量相似度检索 Top-K → 构建 Prompt(System + Context + Question)→ LLM 生成回答。高级优化:Query Rewriting、HyDE、Rerank(交叉编码器重排序)。

追问:如何处理检索质量不高(召回率低、噪音多)的问题?

回答:

(1) 混合检索:向量检索 + 关键词检索(BM25)加权融合;(2) Rerank 重排序:用 BGE-Reranker 或 Cohere Rerank 对 Top-K 结果二次排序;(3) Query 改写:用 LLM 扩展/分解原始问题;(4) 元数据过滤:利用文档来源、时间、类别等字段预过滤;(5) 调整 Chunk 策略:增大重叠、按语义段落分割。评估指标用 MRR 和 Hit Rate。


// Spring AI RAG 示例
var question = new Question("什么是AQS?");
var documents = vectorStore.similaritySearch(
    SearchRequest.builder()
        .query(question.text())
        .topK(5)
        .similarityThreshold(0.7)
        .build()
);
var prompt = ragPromptTemplate.createMessage(Map.of(
    "question", question.text(),
    "context", documents.stream().map(Document::getText).collect(joining("\n"))
));

Tips: 提到 "混合检索 + Rerank" 是 RAG 优化的标准答案,面试加分。


Q02:Agent 和 ChatBot 的区别?

标准回答:

ChatBot 是单轮问答模式:用户提问 → LLM 直接生成回答,无外部工具。Agent 是自主决策模式:LLM 充当 "大脑",通过 ReAct 循环(思考→行动→观察→思考...)调用外部工具(搜索引擎、数据库、API),自主决定调用哪些工具、何时停止。Agent 的核心是 Tool Use 能力和规划推理能力。

追问:ReAct 模式的实现原理?

回答:

ReAct(Reasoning + Acting)循环:LLM 收到任务后先推理(Thought)→ 选择并执行工具(Action)→ 获取工具返回(Observation)→ 基于观察再推理,循环直到得出最终答案。实现上通过 System Prompt 约定 LLM 输出格式(Thought/Action/Observation/Answer),解析 LLM 输出提取 Action 名称和参数,执行后把 Observation 拼回上下文,再调用 LLM。

Tips: 提到 ReAct 循环的四个步骤(Thought→Action→Observation→...)就够了。


Q03:Function Calling 的机制原理?

标准回答:

Function Calling 是 LLM 的结构化工具调用能力。流程:客户端在请求中声明可用函数列表(名称、描述、参数 JSON Schema)→ LLM 判断是否需要调用函数 → 如果需要,返回函数名和参数(tool_calls)→ 客户端执行函数并将结果作为 tool message 返回 → LLM 基于函数结果生成最终回答。模型本身不执行函数,只决定调什么、传什么参数。

追问:如何让 LLM 准确选择函数和参数?

回答:

关键在于函数描述的质量:(1) 函数名和描述要精确、无歧义,说明适用场景;(2) 参数 JSON Schema 要完整(类型、枚举值、required);(3) 函数数量控制在 10-20 个以内,太多需要做函数路由(先用 LLM 筛选相关函数再精确匹配);(4) Few-shot 示例:在 prompt 中给 1-2 个调用示例。Spring AI 通过 @Tool 注解 + @ToolParam 自动生成 Schema。


// Spring AI Function Calling
@Tool(description = "根据城市名称查询当前天气")
public WeatherInfo getWeather(
    @ToolParam(description = "城市名称,如'北京'") String city,
    @ToolParam(description = "温度单位:celsius 或 fahrenheit") String unit
) {
    return weatherService.query(city, unit);
}

Tips: 强调 "LLM 不执行函数只返回调用意图" 是关键区分点。


Q04:MCP 协议是什么?

标准回答:

MCP(Model Context Protocol)是 Anthropic 提出的开放标准,定义了 LLM 应用与外部工具/数据源之间的通信协议。架构:Host(如 Claude Desktop)← MCP Client → MCP Server(提供工具、资源、Prompt 模板)。基于 JSON-RPC 2.0,支持 stdio 和 SSE 两种传输。核心能力:Tools(函数调用)、Resources(数据源读取)、Prompts(Prompt 模板管理)。

追问:MCP 和 Function Calling 是什么关系?

回答:

MCP 是 Function Calling 的上层标准协议。Function Calling 是各模型的私有接口(OpenAI、Anthropic 各自定义),MCP 统一了工具的发现、描述和调用方式。一个 MCP Server 写好后,可以被任何支持 MCP 的客户端使用(Claude Desktop、Cursor、Spring AI MCP),不用为每个 LLM 单独适配。类比:Function Calling 是 JDBC 接口,MCP 是数据库驱动标准。

Tips: 能说清 MCP "统一工具接入标准" 的定位就够了。


Q05:Spring AI 的架构设计?

标准回答:

Spring AI 1.0 核心模块:(1) ChatClient/ChatModel:统一的大模型调用接口,支持 OpenAI/Azure/Ollama/Zhipu 等;(2) VectorStore:统一的向量存储抽象(Milvus/PgVector/Redis/ES);(3) Tool Calling:通过 @Tool 注解自动注册函数;(4) RAG 模块:Advisor 模式串联检索-增强-生成;(5) ChatMemory:对话历史管理;(6) Observation:Micrometer 集成做 Token 用量和延迟监控。

追问:Spring AI 的 Advisor 机制和 Spring MVC 的拦截器有什么异同?

回答:

设计思想类似但作用域不同。Advisor 作用于 ChatClient 请求链路,可以在调用 LLM 前后插入逻辑(如 RAG 检索、日志、重试);拦截器作用于 HTTP 请求链路。Advisor 通过 CallAroundAdvisor/StreamAroundAdvisor 接口实现,链式调用 nextAroundCall() 传递请求。用途:Prompt 模板注入、上下文检索、Token 限流、回答后处理等。


// Spring AI RAG Advisor
ChatClient chatClient = ChatClient.builder(chatModel)
    .defaultAdvisors(
        new QuestionAnswerAdvisor(vectorStore, SearchRequest.defaults())
    )
    .build();

String response = chatClient.prompt()
    .user("什么是AQS?")
    .call()
    .content();

Tips: 提到 Advisor 机制说明你读过 Spring AI 源码级别。


Q06:AI 应用的 Token 成本如何控制?

标准回答:

四个维度控制:(1) Prompt 精简:压缩 System Prompt、去掉冗余描述、用缩写代替长文本;(2) 检索精准:RAG 中限制 Context 长度(Top-3 而非 Top-10)、过滤低相关度文档;(3) 模型分层:简单问题用小模型(GPT-4o-mini/GLM-4-Flash),复杂问题路由到大模型;(4) 缓存策略:对相同/相似问题的回答做语义缓存(Embedding 相似度 > 0.95 直接返回缓存结果)。

追问:如何评估 Token 用量和成本?

回答:

通过 LLM 返回的 Usage 对象获取 prompt_tokens/completion_tokens/total_tokens,乘以模型单价计算成本。Spring AI 的 ChatResponse.getMetadata().getUsage() 直接获取。生产环境建议:接入 Micrometer 记录每次调用的 Token 数和延迟,设置日/月预算告警,按业务维度统计(用户/功能/模型)。


ChatResponse response = chatModel.call(prompt);
Usage usage = response.getMetadata().getUsage();
log.info("Token用量: prompt={}, completion={}, total={}",
    usage.getPromptTokens(),
    usage.getGenerationTokens(),
    usage.getTotalTokens());

Tips: 提到 "模型分层 + 语义缓存" 说明你有生产化经验。


Q07:AI 应用上生产的常见问题?

标准回答:

核心问题:(1) 幻觉(Hallucination):LLM 生成不真实内容,通过 RAG 接入事实数据、要求引用来源、设置置信度阈值缓解;(2) Prompt 版本管理:Prompt 变更影响输出质量,需要版本化(Git 管理)+ A/B 测试;(3) 延迟不稳定:首次 Token 延迟 1-5s,需要流式输出(Streaming)+ 前端打字机效果;(4) 安全合规:敏感信息过滤、输出审核。

追问:如何做 Prompt 的版本管理和迭代?

回答:

最佳实践:(1) Prompt 作为独立资源文件管理(如 .st 目录),Git 版本控制;(2) 为每个 Prompt 维护测试集(输入-期望输出),变更后自动回归;(3) 用 LangFuse/PromptFlow 做 Prompt 可视化调试和效果对比;(4) 线上灰度发布:新 Prompt 先给 10% 流量,对比回答质量和 Token 成本。Spring AI 支持外部化 Prompt 模板(.st 文件),修改不需要重新编译。

Tips: 提到 "Prompt 作为独立资源文件 + Git 版本管理" 说明有工程化思维。


Q08:秒杀系统的设计?

标准回答:

秒杀系统核心矛盾:高并发读(商品详情)+ 高并发写(下单减库存)。关键设计:(1) 前端:按钮防抖 + 答题验证码削峰;(2) 网关层:限流(Sentinel/Nginx limit_req);(3) 服务层:库存预扣 Redis(DECR 原子操作)+ 异步下单(MQ 削峰);(4) 数据层:乐观锁更新库存(UPDATE stock SET count=count-1 WHERE id=? AND count>0);(5) 防超卖:Redis + DB 双校验。

追问:Redis 预扣库存和 DB 扣库存如何保证一致性?

回答:

Redis 预扣(DECR)成功 → 发 MQ 消息 → 消费者异步扣 DB 库存(乐观锁)。不一致场景处理:MQ 消费失败 → 重试 + 死信队列补偿;超时未支付 → 定时任务恢复 Redis 和 DB 库存。关键:Redis 是快速过滤层(拦截大部分请求),DB 是最终一致性保障。库存对账任务定期比较 Redis 和 DB 数据修正差异。


// Redis 预扣库存
Long remain = redisTemplate.opsForValue().increment("seckill:stock:" + skuId, -1);
if (remain < 0) {
    redisTemplate.opsForValue().increment("seckill:stock:" + skuId, 1);
    throw new BusinessException("库存不足");
}
// 发 MQ 异步下单
mqTemplate.send("seckill.order", new SeckillOrder(userId, skuId));

Tips: 秒杀系统的关键词:削峰、限流、异步、防超卖。


Q09:分布式事务的解决方案?

标准回答:

三种主流方案:(1) 2PC/XA:强一致但阻塞、性能差,Seata AT 模式简化了 2PC;(2) TCC(Try-Confirm-Cancel):业务侵入,每个操作写三个方法,适合资金类场景;(3) 最终一致性(本地消息表/事务消息):性能最好,上游事务 + 消息保证下游最终成功。推荐:对一致性要求极高用 Seata AT,一般场景用本地消息表 + MQ。

追问:本地消息表方案如何保证消息一定被消费?

回答:

(1) 上游业务操作和消息插入在同一个本地事务中(消息状态为待发送);(2) 事务提交后异步发送消息到 MQ,成功则更新状态为已发送;(3) 定时任务扫描待发送/发送失败的消息重试(指数退避);(4) 下游消费者幂等(通过唯一业务ID去重)。整个方案保证:本地事务成功则消息最终一定会被消费(定时补偿兜底)。


-- 本地消息表
CREATE TABLE outbox_message (
    id BIGINT PRIMARY KEY,
    biz_id VARCHAR(64) NOT NULL,  -- 业务唯一ID(幂等键)
    topic VARCHAR(128),
    content TEXT,
    status TINYINT DEFAULT 0,     -- 0待发送 1已发送 2失败
    retry_count INT DEFAULT 0,
    created_at DATETIME,
    next_retry_at DATETIME
);

Tips: 本地消息表是面试最高频的分布式事务方案。


Q10:微服务治理包括哪些方面?

标准回答:

微服务治理五大支柱:(1) 服务注册与发现(Nacos);(2) 配置中心(Nacos Config,热更新);(3) 限流熔断(Sentinel,流控+熔断+系统保护);(4) 网关(Spring Cloud Gateway,路由+鉴权+限流+日志);(5) 链路追踪(Micrometer Tracing + Zipkin/Jaeger)。还包括:灰度发布、服务降级、统一异常处理、API 版本管理。

追问:如果要做灰度发布,技术上怎么实现?

回答:

主流方案:(1) 网关层路由:根据请求头/Cookie/用户ID 路由到灰度版本(Nacos 元数据标签 + Gateway 自定义 Filter);(2) 负载均衡层:Spring Cloud LoadBalancer 通过 Nacos metadata 的 version 标签过滤实例;(3) 全链路灰度:请求头透传灰度标识,每层服务根据标识选择对应版本实例。Spring Cloud Gateway + Nacos + LoadBalancer 三件套即可实现。

Tips: 灰度发布能说出 "网关路由 + Nacos元数据标签" 就够了。


Q11:限流算法有哪些?

标准回答:

四种经典算法:(1) 固定窗口计数器(简单但有临界突刺问题);(2) 滑动窗口计数器(Sentinel 默认,解决突刺);(3) 漏桶(Leaky Bucket,匀速处理,平滑流量);(4) 令牌桶(Token Bucket,允许突发,Google Guava RateLimiter 实现)。分布式限流:Redis + Lua 脚本(INCR + EXPIRE 原子操作)或 Redisson RRateLimiter。

追问:Redis + Lua 分布式限流怎么实现?

回答:


-- 滑动窗口限流 Lua 脚本
local key = KEYS[1]
local limit = tonumber(ARGV[1])
local window = tonumber(ARGV[2])  -- 窗口时间(秒)
local now = tonumber(ARGV[3])

redis.call('ZREMRANGEBYSCORE', key, 0, now - window * 1000)
local count = redis.call('ZCARD', key)
if count < limit then
    redis.call('ZADD', key, now, now .. '-' .. math.random())
    redis.call('EXPIRE', key, window)
    return 1  -- 放行
else
    return 0  -- 限流
end

用 ZSET 存请求时间戳,ZREMRANGEBYSCORE 清理过期窗口,ZCARD 计数判断。比 INCR 方案更精确。

Tips: Redis + Lua 是分布式限流的标配方案。


Q12:幂等性如何设计?

标准回答:

幂等:同一操作执行多次结果一致。常见方案:(1) 唯一索引:数据库唯一约束(如 order_no UNIQUE)防重复插入;(2) Token 机制:提交前先获取 Token,提交时携带 Token 验证并删除;(3) 状态机:订单状态只能单向流转(待支付→已支付→已发货),更新时带状态条件;(4) 乐观锁:version 字段 CAS 更新。

追问:支付回调的幂等怎么保证?

回答:

支付回调幂等方案:(1) 支付流水表记录每次回调(callback_id 唯一索引),重复回调直接返回成功;(2) 订单状态前置校验:只有待支付状态才处理回调,已支付直接返回;(3) 分布式锁(Redis SETNX)防止并发回调竞态。注意:回调可能重试多次,业务逻辑必须幂等,返回成功后支付平台停止重试。


@Transactional
public PaymentResult handleCallback(PaymentCallback callback) {
    // 1. 幂等校验:回调流水唯一索引
    CallbackLog log = new CallbackLog(callback.getTradeNo(), callback.getCallbackId());
    try {
        callbackLogMapper.insert(log); // 唯一索引,重复插入抛异常
    } catch (DuplicateKeyException e) {
        return PaymentResult.success(); // 已处理过,直接返回成功
    }
    // 2. 状态校验 + 业务处理
    Order order = orderMapper.selectByTradeNo(callback.getTradeNo());
    if (order.getStatus() != OrderStatus.WAIT_PAY) {
        return PaymentResult.success();
    }
    order.setStatus(OrderStatus.PAID);
    orderMapper.updateById(order);
    return PaymentResult.success();
}

Tips: 唯一索引 + 状态前置校验是生产中最可靠的幂等方案。


Q13:缓存和数据库的一致性方案?

标准回答:

常用四种策略:(1) Cache Aside(推荐):读先查缓存→miss 查 DB→写缓存;写先更新 DB→再删缓存;(2) 延迟双删:更新 DB → 删缓存 → 延迟 N 毫秒 → 再删缓存;(3) 监听 Binlog:Canal 监听 MySQL Binlog 异步删除/更新缓存;(4) 设置较短 TTL 作为兜底。最推荐 Cache Aside + Binlog 异步删除。

追问:为什么是 "先更新DB再删缓存" 而不是 "先删缓存再更新DB"?

回答:

先删缓存的问题:删完缓存瞬间,另一个读请求把旧的 DB 数据写入缓存,此后一直读到脏数据直到缓存过期。先更新 DB 再删缓存:极端并发下虽然也有短暂不一致窗口(读到了旧缓存),但概率更低(需要读请求的 DB 查询比写请求的 DB 更新先完成),且删缓存后下次读会刷新。加上 Binlog 监听兜底可以做到最终一致。

Tips: "先更新DB再删缓存 + Binlog 兜底" 是面试标准答案。


Q14:消息队列如何保证消息顺序?

标准回答:

不同 MQ 策略有差异,但核心思路一致:(1) 全局有序:单 Partition/Queue(牺牲并发,不推荐);(2) 局部有序:相同业务 Key 路由到同一 Partition(Kafka 用 key hash,RocketMQ 用 MessageQueueSelector),单线程消费该分区。RocketMQ 还提供 MessageQueueListener 支持消费端按 Queue 并行但 Queue 内有序。

追问:消费端多线程如何保证消息有序?

回答:

拉取消息单线程(保证分区有序),消费端按业务 Key hash 到内存队列(N 个 MPMC Queue),每个内存队列单线程消费。这样既保证了同一 Key 的消息有序,又利用了多线程提升吞吐。Netty 的 HashedWheelTimer、Disruptor 的 MultiProducerSequencer 都用了类似思路。


// 按 orderId 路由到内存队列
int queueIndex = Math.abs(orderId.hashCode()) % queueCount;
memoryQueues[queueIndex].offer(message);
// 每个队列一个消费线程,保证同一订单的消息顺序消费

Tips: "相同 Key 同一分区 + 内存队列分发" 是通用解法。


Q15:CAP 定理和 BASE 理论?

标准回答:

CAP:分布式系统不可能同时满足一致性(C)、可用性(A)、分区容错性(P),网络分区必然存在,所以实际在 CP(ZooKeeper、Etcd)和 AP(Eureka、Nacos 临时实例)之间选择。BASE:基本可用(Basically Available)、软状态(Soft State)、最终一致性(Eventually Consistent),是对 CAP 中 AP 的延伸,大多数互联网系统采用 BASE。

追问:Nacos 如何同时支持 AP 和 CP?

回答:

Nacos 区分临时实例和持久实例:临时实例用 Distro 协议(AP 模式,类似 Gossip),每个节点独立处理写请求然后异步同步;持久实例用 Raft 协议(CP 模式),写请求由 Leader 处理,过半节点确认后生效。服务注册默认临时实例(AP),配置管理用 CP。运行时通过 ephemeral 字段切换,同一个 Nacos 集群同时运行两套协议。

Tips: 能说清 Nacos 的 Distro(AP) + Raft(CP) 双协议就够了。


Q16:分布式 ID 生成方案?

标准回答:

主流方案:(1) UUID:无中心化但无序、长度长,不适合做数据库主键;(2) 数据库自增(步长):简单但有单点瓶颈;(3) 号段模式(Leaf-segment):预分配号段,DB 存最大 ID,本地缓存一段用完再取;(4) 雪花算法(Snowflake):64 位(1 符号 + 41 时间戳 + 10 机器ID + 12 序列号),单机每毫秒 4096 个 ID,趋势递增。推荐雪花算法 + 号段模式混合。

追问:雪花算法的时钟回拨问题怎么解决?

回答:

时钟回拨会导致 ID 重复。解决方案:(1) 检测到回拨直接报错(简单粗暴);(2) 回拨 < 5ms 时自旋等待追上;(3) 百度 UidGenerator 用 RingBuffer 预生成未来时间段的 ID;(4) 美团 Leaf-snowflake 用 ZooKeeper 管理 workerId + 记录历史时间戳,回拨超过阈值才报错。生产推荐 Leaf(号段 + 雪花双模式)。


// 雪花算法 ID 结构(64位)
// 0 | 00000000000000000000000000000000000000000 | 00000 00000 | 000000000000
// 符号  |          41位时间戳(约69年)            | 数据中心 机器 |  12位序列号

Tips: 提到 "时钟回拨" 和 Leaf 方案是加分项。


Q17:API 网关的设计?

标准回答:

API 网关是微服务架构的统一入口,核心职责:路由转发、负载均衡、认证鉴权、限流熔断、协议转换、日志监控。Spring Cloud Gateway 基于 WebFlux(Netty + Reactor),非阻塞高性能。设计要点:路由配置动态化(Nacos 配置中心)、过滤器链可扩展(GlobalFilter)、支持灰度路由、集成 Sentinel 限流、支持 WebSocket。

追问:网关如何实现统一鉴权和用户信息透传?

回答:

网关 GlobalFilter 校验 JWT → 解析出 userId/role 等信息 → 放入 HTTP Header(X-User-Id、X-User-Role)转发给下游服务。下游服务通过拦截器/Filter 提取 Header 中的用户信息,放入 ThreadLocal 或 SecurityContext。Spring Security 的 BearerTokenAuthenticationFilter 可直接集成。注意:内部服务间调用信任网关已鉴权,不需要二次校验(网络隔离前提下)。

Tips: 网关鉴权 + Header 透传是微服务安全的标准架构。


Q18:数据库优化的完整思路?

标准回答:

四个层面优化:(1) SQL 层:EXPLAIN 分析执行计划,避免全表扫描、文件排序、临时表;(2) 索引层:覆盖索引减少回表、联合索引最左前缀、避免索引失效(函数、隐式转换、OR);(3) 架构层:读写分离(主从复制)、分库分表(ShardingSphere,按用户ID哈希)、缓存(Redis 热数据);(4) 配置层:innodb_buffer_pool_size(物理内存 70%)、slow_query_log 慢查询监控。

追问:EXPLAIN 中 type 字段的含义?什么情况需要优化?

回答:

type 从好到差:system > const > eq_ref > ref > range > index > ALL。优化目标至少到 range 级别(索引范围扫描)。ALL(全表扫描)必须优化。index(全索引扫描)比 ALL 稍好但也需关注。Extra 字段关注:Using filesort(额外排序,需优化索引)、Using temporary(临时表,需优化)、Using index(覆盖索引,好现象)。


-- 优化示例:避免 filesort
-- 原 SQL(Using filesort)
SELECT * FROM orders WHERE user_id = 1 ORDER BY created_at DESC LIMIT 10;
-- 添加联合索引 (user_id, created_at) 后走覆盖索引
ALTER TABLE orders ADD INDEX idx_user_created(user_id, created_at);

Tips: EXPLAIN 的 type 和 Extra 是 DBA 面试必考。


Q19:系统扩容策略有哪些?

标准回答:

垂直扩容(Scale Up):升级单机硬件(CPU/内存/SSD),有上限。水平扩容(Scale Out):增加节点数量,核心策略:(1) 无状态服务直接加实例(K8s HPA 基于 CPU/自定义指标自动扩缩);(2) 有状态数据层:数据库读写分离 → 分库分表 → 异构索引(ES);(3) 缓存层:Redis Cluster 扩容(迁移 Slot);(4) 消息队列:Kafka 增加分区。

追问:K8s HPA 自动扩缩容的原理和注意事项?

回答:

HPA(Horizontal Pod Autoscaler)通过 Metrics Server 采集 Pod 指标(CPU/内存),与目标利用率对比计算期望副本数:desiredReplicas = ceil(currentReplicas × currentMetric / targetMetric)。注意事项:(1) 扩容有延迟(Metrics 采集间隔 + Pod 启动时间),需要预留 buffer;(2) 冷启动问题:Java 应用启动慢(30-60s),用启动探针 + 预热;(3) 设置 minReplicas 防止缩到 0。


apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
spec:
  minReplicas: 2
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 70

Tips: 提到 "扩容延迟 + Java 冷启动" 是实战经验。


Q20:可观测性(Observability)三支柱?

标准回答:

可观测性三支柱:Logging(日志)、Metrics(指标)、Tracing(链路追踪)。Logging:ELK/EFK 收集应用日志,结构化 JSON 日志便于检索。Metrics:Prometheus 采集 + Grafana 展示,核心指标 QPS/RT/错误率/Token 用量。Tracing:Micrometer Tracing + Zipkin/Jaeger,记录请求在微服务间的完整调用链和每段耗时,定位瓶颈。

追问:如何在 AI 应用中实现可观测性?

回答:

AI 应用需要额外关注:(1) Token 维度:每次 LLM 调用的 prompt_tokens/completion_tokens/latency,Spring AI 自动集成 Micrometer;(2) RAG 效果:检索命中率、Context 相关度评分、回答质量评分(用户反馈/LLM 自评);(3) 成本维度:按模型/用户/功能的 Token 费用统计;(4) 幻觉率:采样回答做事实校验,监控幻觉比例趋势。


// Spring AI 自动记录的 Micrometer 指标
// gen_ai.client.token.usage{model:glm-4,type:prompt}
// gen_ai.client.token.usage{model:glm-4,type:completion}
// gen_ai.client.operation{operation:chat}

// 自定义 RAG 指标
meterRegistry.counter("rag.retrieval.hits",
    "vectorStore", "milvus",
    "threshold", "0.7"
).increment();

Tips: AI 应用可观测性是差异化亮点,大多数候选人不会提。


复习清单

考察方向题号核心关键词
AI核心Q01-Q07RAG、Agent、Function Calling、MCP、Spring AI、Token、生产化
系统设计Q08, Q09, Q10秒杀、分布式事务、微服务治理
通用设计Q11, Q12, Q13, Q14限流、幂等、缓存一致性、消息顺序
分布式理论Q15, Q16, Q17CAP、分布式ID、API网关
工程能力Q18, Q19, Q20DB优化、扩容、可观测性