Q58 - LLM可观测性与AI应用监控
共50道题 | 难度分布:★★★★☆平均 | 20K+ AI应用岗位可观测性必考
一、可观测性基础概念(1-6)
LLM可观测性的定义与重要性?
★★★★★
- LLM可观测性(Observability)是监控、理解和调试LLM应用运行状态的能力。
- 为什么重要:LLM是非确定性的(相同输入可能产生不同输出),传统监控手段不够用。
- 三大支柱:Trace(链路追踪)、Metrics(指标度量)、Logs(日志记录)。
- 核心挑战:LLM调用链路长(用户→网关→Agent→工具→LLM→RAG)、响应非确定性、成本高昂。
- 面试要点:LLM可观测性是AI应用生产化的基础设施——没有可观测性就不敢上线。
传统APM vs LLM可观测性的区别?
★★★★
- 传统APM关注:请求延迟、错误率、吞吐量、资源利用率。
- LLM可观测性额外关注:Token消耗、模型质量、Prompt效果、幻觉率、成本追踪。
- Trace差异:传统Trace是HTTP/RPC调用链;LLM Trace包含Agent多步推理、工具调用、RAG检索。
- 新增维度:Prompt版本、模型版本、温度参数、输入输出内容审计。
- 面试要点:LLM可观测性是传统APM的超集——在延迟/错误率基础上增加了质量/成本维度。
Trace/Span概念在Agent链路中的应用?
★★★★★
- Trace:一次完整用户请求的全链路,包含多个Span。
- Span:链路中的一个操作(如LLM调用、工具调用、RAG检索)。
- Agent多步场景:一个Trace可能包含多个LLM调用Span和多个工具调用Span。
Trace: 用户提问 "分析这段代码"
├── Span: Agent推理 (思考)
│ └── Span: LLM调用 (GPT-4o, 500 tokens)
├── Span: 工具调用 (code_analyzer)
│ └── Span: LLM调用 (GPT-4o, 1200 tokens)
└── Span: 最终回答
└── Span: LLM调用 (GPT-4o, 800 tokens)
- 面试要点:Agent的Trace是树形结构——每个Agent步骤可能包含多个子Span。
OpenTelemetry + OpenLLMetry集成方案?
★★★★
- OpenTelemetry:统一的可观测性标准(Trace/Metrics/Logs三合一)。
- OpenLLMetry:基于OpenTelemetry的LLM可观测性扩展,专门追踪LLM调用。
- 支持的框架:LangChain、LlamaIndex、OpenAI SDK、Anthropic SDK。
- 数据导出:OTLP协议导出到Jaeger/Tempo(Trace)、Prometheus(Metrics)、Loki(Logs)。
- Spring AI集成:Spring Boot Actuator + Micrometer + OTel Java Agent。
- 面试要点:OpenTelemetry是可观测性的"USB标准"——用OTel就不用关心后端用什么工具。
LLM可观测性的核心指标?
★★★★★
- 性能指标:TTFT(首Token延迟)、总延迟、Token吞吐率(Token/s)。
- 质量指标:幻觉率、用户反馈评分(thumbs up/down)、输出一致性。
- 成本指标:Token消耗总量、每次调用成本、每日/每月成本趋势。
- 可靠性指标:错误率、超时率、限流触发率、降级触发率。
- 业务指标:问答准确率、任务完成率、用户满意度。
- 面试要点:LLM可观测性需要同时关注性能、质量、成本三个维度。
可观测性数据的采样策略?
★★★
- 全量采集:记录每一次LLM调用的输入输出。成本高(存储+Token审计),适合低流量场景。
- 采样采集:按比例(如10%)或按条件(错误/慢请求)采样。适合高流量场景。
- 头尾采样:记录请求的开始和结束,中间步骤采样。平衡详细度和成本。
- 隐私考虑:全量采集可能存储敏感用户数据——需要脱敏后再存储。
- 面试要点:采样策略是成本和详细度的权衡——生产环境建议"错误必采+正常采样"。
二、可观测性工具对比(7-12)
LangFuse详解?
★★★★★
- LangFuse是开源的LLM可观测性平台(GitHub 60k+ Stars)。
- 核心功能:Trace追踪、Prompt管理、评估(Evaluation)、成本追踪、数据集管理。
- Trace模型:Trace → Span(Generation/Span/Event)→ 包含输入/输出/Token/模型/耗时。
- 支持框架:LangChain、LlamaIndex、Spring AI(通过自定义Advisor集成)。
- 部署方式:自建(Docker)或云服务。
// Spring AI + LangFuse集成
@Bean
public LangFuseAdvisor langFuseAdvisor() {
return LangFuseAdvisor.builder()
.withPublicKey("pk-xxx")
.withSecretKey("sk-xxx")
.withBaseUrl("https://cloud.langfuse.com")
.build();
}
- 面试要点:LangFuse是目前最流行的开源LLM可观测性工具——功能全面,社区活跃。
LangSmith与LangFuse对比?
★★★★
- LangSmith:LangChain官方的商业可观测性平台。
- 优势:与LangChain/LangGraph深度集成、无需配置。
- 劣势:闭源、商业产品、与LangChain生态绑定。
- LangFuse:开源替代方案。
- 优势:开源、框架无关、可自建。
- 劣势:需要自行部署维护、部分高级功能在商业版。
- 选型:用LangChain生态→LangSmith更方便;非LangChain或需要自建→LangFuse。
- 面试要点:LangFuse是LangSmith的开源替代——选型取决于是否自建和框架依赖。
Arize Phoenix?
★★★★
- Arize Phoenix:开源的AI可观测性工具,专注于LLM评估和调试。
- 核心功能:Trace可视化、Embedding分析、幻觉检测、评估框架。
- 特点:支持本地运行(Jupyter Notebook内)、轻量级、适合ML工程师调试。
- 与LangFuse区别:Phoenix更偏向ML实验和评估,LangFuse更偏向生产监控。
- 面试要点:Phoenix适合开发调试阶段——生产监控还是用LangFuse/LangSmith。
Helicone?
★★★
- Helicone:开源LLM网关+可观测性平台。
- 核心功能:API代理(统一接入多模型)、请求日志、成本追踪、缓存。
- 特点:通过代理层拦截所有LLM API调用,无需修改应用代码。
- 部署:只需将API Base URL指向Helicone代理。
- 面试要点:Helicone的代理模式集成成本最低——不改代码就能获得可观测性。
工具选型对比总结?
★★★★
- LangFuse:功能最全面,开源,适合生产监控。推荐首选。
- LangSmith:LangChain生态最佳选择,闭源商业。
- Arize Phoenix:ML实验评估场景,轻量级。
- Helicone:API代理模式,零代码集成,适合快速接入。
- 自建方案:OpenTelemetry + Jaeger + Prometheus + Grafana + ELK。
- 选型决策:是否需要开源→LangFuse vs LangSmith;是否零代码集成→Helicone。
- 面试要点:没有"最好的工具"——根据团队规模、预算、技术栈选型。
Spring Boot Actuator + Micrometer集成?
★★★★
- Spring Boot Actuator:内置的监控端点(/actuator/health、/actuator/metrics)。
- Micrometer:统一的Metrics门面,支持Prometheus、Datadog、InfluxDB等。
- LLM自定义指标:
@Bean
MeterBinder llmMetrics(MeterRegistry registry) {
return (r) -> {
Counter.builder("llm.requests.total")
.tag("model", "gpt-4o")
.register(r);
Timer.builder("llm.request.duration")
.tag("model", "gpt-4o")
.register(r);
};
}
- Grafana Dashboard:基于Micrometer数据构建LLM监控面板。
- 面试要点:Spring Boot的Actuator + Micrometer是Java应用监控的标准方案。
三、Token消耗监控与成本治理(13-18)
Token消耗追踪方案?
★★★★★
- 追踪维度:每次调用的input_tokens + output_tokens + 总计。
- 数据来源:LLM API响应中的usage字段(OpenAI/Claude都返回Token用量)。
ChatResponse response = chatClient.prompt().user(query).call().chatResponse();
Usage usage = response.getMetadata().getUsage();
long inputTokens = usage.getPromptTokens();
long outputTokens = usage.getGenerationTokens();
long totalTokens = usage.getTotalTokens();
- 聚合维度:按用户/按模型/按场景/按时间段聚合Token消耗。
- 存储:写入时序数据库(Prometheus/InfluxDB)或关系数据库。
- 面试要点:Token追踪是成本控制的基础——必须精确到每次调用。
成本计算模型?
★★★★
- OpenAI定价(示例):GPT-4o输入$2.50/M tokens,输出$10.00/M tokens。
- Claude定价(示例):Claude Sonnet输入$3.00/M tokens,输出$15.00/M tokens。
- 成本公式:cost = input_tokens × input_price + output_tokens × output_price。
- 实时成本估算:根据当前Token用量实时计算累计成本。
- 按用户分摊:追踪每用户/每租户的Token消耗,用于计费或成本分摊。
- 面试要点:了解主流模型的定价模型——能估算不同场景下的运行成本。
成本告警与预算控制?
★★★★
- 告警规则:日消耗超过阈值告警(如$100/天)、月消耗超预算告警。
- 硬限制:设置每日最大Token消耗量,超出后拒绝请求或降级到更便宜的模型。
- 软限制:达到80%预算时告警,100%时自动降级。
- 实现:Redis计数器 + 定时重置 + Webhook告警。
- 面试要点:LLM应用必须有成本控制机制——"无限制消耗"是OWASP Top 10之一。
成本优化策略?
★★★★
- 模型路由:简单问题用小模型(GPT-4o-mini),复杂问题用大模型(GPT-4o)。
- 缓存:相同/相似Prompt的响应缓存(语义缓存),避免重复调用。
- Prompt精简:减少不必要的System Prompt内容,节约Input Token。
- 量化模型:使用 distilled/quantized 模型(如GPT-4o-mini),成本降低90%+。
- 批处理:使用Batch API(OpenAI的batch endpoint),延迟换成本(便宜50%)。
- 面试要点:成本优化的核心是"用最便宜的模型完成足够好的任务"。
语义缓存(Semantic Cache)?
★★★★
- 原理:将用户查询Embedding为向量,查询向量库中是否有相似的历史查询和响应。
- 相似度阈值:设置余弦相似度阈值(如0.95),超过则直接返回缓存结果。
- 工具:Redis + 向量索引、GPTCache、LangChain CacheBackedEmbeddings。
- 适用场景:FAQ类问答、重复性查询多的场景。
- 注意:缓存结果可能是过时的——需要设置TTL和失效机制。
- 面试要点:语义缓存是LLM成本优化的杀手锏——命中率高的场景可节省80%+成本。
多模型成本对比分析?
★★★
- GPT-4o:能力最强,成本最高($5-15/M tokens)。适合核心业务逻辑。
- GPT-4o-mini:性价比极高($0.15-0.6/M tokens)。适合简单分类/提取。
- Claude Haiku:极快极便宜($0.25-1.25/M tokens)。适合实时场景。
- 国产模型:通义千问/文心一言价格更低,但需考虑数据出境问题。
- 成本对比:同一任务用不同模型跑Benchmark,选择"足够好+最便宜"的组合。
- 面试要点:不是所有问题都需要GPT-4o——用模型路由实现成本优化。
四、链路追踪与调试(19-24)
Agent多步调用的全链路追踪?
★★★★★
- 挑战:Agent可能执行N步推理,每步包含LLM调用+工具调用,需要完整追踪。
- 追踪内容:每步的思考过程、选择的工具、工具输入/输出、LLM调用的Prompt和响应。
- Span属性:model、input_tokens、output_tokens、latency、tool_name、tool_result。
- 可视化:LangFuse/LangSmith的Trace瀑布图展示每步的详细过程。
- 面试要点:Agent的可观测性比简单LLM调用复杂得多——每一步都需要独立追踪。
Prompt版本追踪?
★★★★
- 问题:Prompt变更导致输出质量变化,需要知道每次调用使用了哪个Prompt版本。
- 方案:每次LLM调用记录Prompt版本号(hash或语义版本)。
- LangFuse支持:Prompt管理功能,自动关联Trace和Prompt版本。
- A/B测试:同一请求使用不同Prompt版本,对比输出质量。
- 回滚:发现新Prompt版本质量下降时,快速回滚到旧版本。
- 面试要点:Prompt版本追踪是LLM应用变更管理的基础——不知道哪个Prompt在跑就无法调试。
RAG检索质量追踪?
★★★★
- 追踪内容:检索了哪些文档片段、相似度分数、最终注入上下文的文档。
- 质量评估:检索结果是否相关(可人工标注或用LLM评估)。
- 优化反馈:根据检索质量追踪数据,优化Embedding模型、Chunking策略、检索参数。
- LangFuse支持:记录RAG的检索结果作为Span属性。
- 面试要点:RAG质量问题的关键诊断手段是追踪"检索了什么→LLM看到了什么→最终回答了什么"。
错误诊断与调试?
★★★★
- 常见错误类型:LLM API超时、返回格式错误、幻觉、工具调用失败。
- 调试流程:查看Trace→定位错误Span→分析输入输出→找出根因。
- LLM输出格式错误:检查Prompt是否明确指定了格式、是否有Guardrail验证。
- 幻觉诊断:检查RAG检索结果是否包含正确信息→检查LLM是否正确引用了上下文。
- 面试要点:LLM应用的调试依赖可观测性——没有Trace就只能"盲猜"问题。
线上质量监控与回归检测?
★★★★
- Golden Set:准备一组标准问题和期望答案,定期用最新Prompt/模型跑测试。
- 自动化回归:每次Prompt/模型变更后自动跑Golden Set,对比输出质量。
- 指标:准确率变化、格式合规率变化、延迟变化、成本变化。
- 告警:质量指标下降超过阈值时自动告警。
- 面试要点:Golden Set回归测试是LLM应用的"CI/CD"——确保变更不引入质量回退。
实时异常检测?
★★★
- 异常类型:突然的延迟飙升、错误率突增、成本异常、输出格式变化。
- 检测方法:统计基线(移动平均)+ 阈值告警 + ML异常检测。
- 根因分析:模型服务商故障?Prompt变更?数据变更?流量突增?
- 自动化响应:异常时自动降级(切模型/切缓存/限流)。
- 面试要点:实时异常检测是SRE在AI场景的延伸——需要关注LLM特有的异常模式。
五、评估框架(25-30)
LLM-as-Judge评估方法?
★★★★★
- 原理:用另一个LLM评估目标LLM的输出质量。
- 评估维度:准确性、相关性、完整性、有害性、格式合规性。
- Prompt模板:"评估以下回答的质量,从准确性、相关性、完整性三个维度打分(1-5分)"。
- 优势:可自动化、可扩展、成本低于人工评估。
- 局限:评估LLM本身可能有偏差(偏好自己的风格、位置偏差、冗长偏差)。
- 面试要点:LLM-as-Judge是目前最实用的自动化评估方案——但必须了解其偏差。
RAG评估指标?
★★★★★
- 检索质量指标:
- Context Precision:检索结果中相关文档的比例。
- Context Recall:所需信息被检索到的比例。
- 生成质量指标:
- Faithfulness:回答是否基于检索到的上下文(不编造)。
- Answer Relevancy:回答是否与问题相关。
- 端到端指标:
- Answer Correctness:回答是否事实正确(需要Golden Answer对比)。
- 工具:Ragas(RAG评估框架)、TruLens。
- 面试要点:RAG评估要分两层——检索层和生成层分别评估。
评估数据集构建?
★★★★
- Golden Set:人工标注的标准问答对(问题+期望答案+相关文档)。
- 规模:最小100对,理想1000+对,覆盖各种场景和边界情况。
- 构建方法:从生产日志中采样→人工审核标注→定期更新。
- 难度分层:简单(事实问答)40%、中等(推理)40%、困难(多步推理)20%。
- 面试要点:评估数据集的质量决定评估的可靠性——垃圾进垃圾出。
A/B测试框架?
★★★★
- 场景:对比两个Prompt版本、两个模型、两个RAG策略。
- 方法:随机分流用户到A/B组,收集输出质量和用户反馈。
- 统计显著性:确保样本量足够(通常每组>1000样本)。
- 指标对比:准确率、用户满意度、延迟、成本。
- 工具:LangFuse的A/B测试功能、自建分流框架。
- 面试要点:LLM应用的A/B测试与传统A/B测试类似——关键是统计显著性。
用户反馈收集?
★★★★
- 显式反馈:thumbs up/down、评分(1-5)、文字评价。
- 隐式反馈:用户是否复制了回答、是否追问、是否修改了问题重新提问。
- 数据关联:反馈关联到具体的Trace ID,便于追溯。
- 反馈驱动优化:低评分回答用于改进Prompt、优化RAG、调整模型参数。
- 面试要点:用户反馈是最直接的质量信号——必须建立反馈→改进的闭环。
持续评估与模型更新策略?
★★★★
- 模型更新风险:新模型可能改变输出风格/质量,需要评估后上线。
- 灰度策略:新模型先给5%流量→评估→20%→50%→100%。
- 评估节奏:每日自动评估Golden Set + 每周人工抽检。
- 回滚预案:评估不通过时一键回滚到旧模型。
- 面试要点:模型更新要像代码发布一样严谨——灰度+评估+回滚三步走。
六、日志与审计(31-35)
LLM应用日志设计?
★★★★
- 日志级别:DEBUG(完整Prompt/响应)、INFO(调用摘要)、WARN(质量警告)、ERROR(API错误)。
- 日志内容:TraceID、模型名称、Token用量、延迟、Prompt摘要、响应摘要。
- 脱敏:日志中不记录完整的用户输入和LLM输出(可能含PII),只记录摘要。
- 存储:ELK(Elasticsearch + Logstash + Kibana)或Loki + Grafana。
- 面试要点:LLM日志要在"足够的调试信息"和"隐私保护"之间找平衡。
审计合规日志?
★★★★
- 法规要求:部分行业要求记录AI决策过程(金融、医疗、政务)。
- 审计内容:谁调用了AI、问了什么、AI回答了什么、基于什么信息回答的。
- 不可篡改:审计日志写入WORM存储(Write Once Read Many)。
- 保留期限:根据法规要求保留6个月-3年。
- 面试要点:合规审计日志是AI治理的基础——不是"可选项"而是"必须项"。
结构化日志格式?
★★★★
{
"traceId": "abc-123",
"timestamp": "2025-01-15T10:30:00Z",
"userId": "user-456",
"model": "gpt-4o",
"promptVersion": "v2.3",
"inputTokens": 250,
"outputTokens": 500,
"latencyMs": 1800,
"ttftMs": 300,
"status": "success",
"feedback": "thumbs_up",
"cost": 0.0075
}
- 优势:结构化日志便于搜索、聚合、分析。
- 面试要点:LLM应用日志必须是结构化的——非结构化日志无法做自动化分析。
日志采样与存储策略?
★★★
- 热存储(最近7天):完整日志,支持实时查询。Elasticsearch。
- 温存储(7-90天):采样日志(错误必存,正常采样10%)。对象存储。
- 冷存储(90天+):审计日志(只保留必要字段)。WORM存储。
- 成本控制:日志存储是LLM应用的隐性成本——需要分级存储策略。
- 面试要点:日志分级存储是成本控制的常规操作——热/温/冷三级存储。
日志安全与隐私保护?
★★★★
- PII脱敏:日志中的用户输入/输出在存储前做PII脱敏。
- 访问控制:只有授权人员可以查看完整日志。
- 加密存储:日志数据加密存储(AES-256)。
- 保留策略:设定保留期限,过期自动删除(满足GDPR"被遗忘权")。
- 面试要点:日志安全是数据安全的延伸——AI日志可能包含大量敏感信息。
七、告警与SRE实践(36-40)
LLM应用告警规则设计?
★★★★★
- 错误率告警:5分钟内LLM调用错误率 > 5%。
- 延迟告警:P99 TTFT > 10s,P99 总延迟 > 30s。
- 成本告警:日消耗超过预算80%、小时消耗环比增长 > 50%。
- 质量告警:Golden Set准确率下降 > 10%、用户负面反馈率 > 20%。
- 限流告警:API限流触发次数 > 阈值。
- 面试要点:LLM告警要覆盖"性能+成本+质量"三维度——传统只关注性能。
SLA/SLO设计?
★★★★
- SLO示例:
- 可用性:99.5%(月度,扣除LLM API故障)。
- 延迟:P95 TTFT < 3s,P95总延迟 < 15s。
- 质量:Golden Set准确率 > 85%。
- 成本:月度消耗不超过预算的120%。
- SLI(指标):TTFT、总延迟、错误率、准确率、成本/请求。
- Error Budget:当SLO未达标时触发改进优先级提升。
- 面试要点:LLM应用的SLO要包含质量指标——这是与传统服务最大的区别。
故障演练与应急响应?
★★★★
- 故障场景:LLM API宕机、网络超时、成本突增、质量下降、Prompt注入攻击。
- 应急预案:
- API宕机 → 自动降级到备用模型。
- 网络超时 → 重试3次→降级→返回缓存。
- 成本突增 → 自动限流+告警。
- 质量下降 → 灰度回滚Prompt/模型版本。
- 演练频率:每季度一次故障演练。
- 面试要点:LLM应用的故障演练要包含"模型质量下降"这种AI特有的故障模式。
On-call手册(Runbook)?
★★★
- 级别1(自动恢复):API临时超时→自动重试→恢复。
- 级别2(人工介入):持续错误率>10%→检查API状态→切换模型→通知团队。
- 级别3(紧急响应):成本异常飙升→立即限流→排查根因→升级处理。
- 关键信息:API Key配额、备用模型列表、限流阈值、回滚步骤。
- 面试要点:Runbook是SRE的基本功——AI应用的Runbook要包含模型切换和Prompt回滚。
容量规划?
★★★
- Token消耗预测:基于历史数据预测未来的Token消耗和成本。
- 模型配额规划:确保API Key的Rate Limit足够支持峰值流量。
- 存储规划:日志/Trace数据的存储增长趋势预估。
- 扩容时机:当Token消耗接近配额80%时启动扩容申请。
- 面试要点:LLM应用的容量规划主要是"Token配额"而非"服务器资源"。
八、生产实战与面试总结(41-50)
Spring AI + LangFuse完整集成方案?
★★★★★
@Configuration
public class ObservabilityConfig {
@Bean
public LangFuseObserver langFuseObserver() {
return LangFuseObserver.builder()
.publicKey("pk-xxx").secretKey("sk-xxx")
.baseUrl("https://cloud.langfuse.com").build();
}
@Bean
public MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
return r -> r.config().commonTags("application", "ai-chatbot");
}
}
@RestController
public class ChatController {
@GetMapping("/chat")
public String chat(@RequestParam String message) {
return chatClient.prompt()
.user(message)
.advisors(langFuseObserver)
.call()
.content();
}
}
- 面试要点:Spring AI的可观测性集成通过Advisor和Micrometer实现——侵入性极低。
Grafana Dashboard设计?
★★★★
- 面板1(概览):QPS、平均延迟、错误率、Token消耗/分钟、成本/小时。
- 面板2(延迟分布):TTFT分布直方图、P50/P95/P99延迟趋势。
- 面板3(成本):按模型成本分布、按用户成本Top10、成本趋势。
- 面板4(质量):Golden Set准确率趋势、用户反馈分布。
- 面板5(Agent):工具调用频率、工具调用耗时、Agent步数分布。
- 面试要点:Dashboard要从业务视角设计——不只是系统指标,还要有质量和成本指标。
多模型环境的可观测性?
★★★★
- 挑战:不同模型的定价、Token计算、延迟特性不同。
- 方案:所有模型的Trace使用统一格式,通过model tag区分。
- 对比分析:同一问题用不同模型跑,对比延迟、质量、成本。
- 路由效果追踪:模型路由策略是否正确地将简单问题路由到小模型。
- 面试要点:多模型环境的可观测性关键是"统一格式+标签区分"。
开发/测试/生产环境的可观测性差异?
★★★
- 开发环境:全量Trace、完整输入输出记录、详细调试信息。用Arize Phoenix本地调试。
- 测试环境:全量Trace + Golden Set自动评估。用LangFuse评估质量。
- 生产环境:采样Trace、脱敏日志、关键指标监控。用Grafana + Prometheus + LangFuse。
- 面试要点:不同环境的可观测性策略不同——开发重调试,生产重监控和隐私。
可观测性数据的隐私保护?
★★★★
- 数据分类:用户输入(可能含PII)、LLM输出(可能含敏感信息)、Trace元数据(安全)。
- 脱敏策略:Trace记录中用摘要替代完整内容、PII自动检测和替换。
- 访问控制:完整Trace只对安全团队可见,开发团队只能看脱敏版本。
- 面试要点:可观测性和隐私保护是矛盾的——需要找到"足够的调试信息"和"隐私保护"的平衡。
向量检索的可观测性?
★★★
- 追踪内容:查询向量、检索结果数量、相似度分数分布、检索延迟。
- 质量指标:检索召回率(定期Golden Set评估)、检索延迟P99。
- 成本指标:向量数据库QPS、内存使用率。
- 优化闭环:追踪→发现检索质量差→优化Embedding/Chunking→重新评估。
- 面试要点:向量检索的可观测性是RAG质量优化的基础。
AI应用监控与传统微服务监控的融合?
★★★★
- 挑战:AI应用既有传统的HTTP/RPC调用,又有LLM API调用和Agent工作流。
- 方案:统一使用OpenTelemetry——传统调用和LLM调用都用OTel Trace。
- 区分:LLM相关的Span添加
llm.前缀的属性(llm.model、llm.tokens等)。
- Dashboard:一个Grafana面板同时展示传统指标和LLM指标。
- 面试要点:AI应用的可观测性不应该"另起炉灶"——应融入现有的可观测性体系。
实时监控仪表板设计?
★★★★
- 实时面板(刷新5s):
- 当前QPS、活跃SSE连接数、TTFT实时分布。
- 最近10条Trace列表(可展开查看详情)。
- 最近1小时Token消耗速率(Token/min)。
- 最近1小时错误率和错误类型分布。
- 告警面板:当前活跃告警列表、最近24小时告警历史。
- 面试要点:实时监控要能在30秒内判断系统是否健康——信息密度要高。
可观测性成本控制?
★★★
- 存储成本:Trace数据量可能非常大(每次LLM调用一条)。
- 优化策略:采样(10%正常请求+100%错误请求)、数据压缩、冷热分层存储。
- 工具成本:LangFuse云服务按使用量计费、Grafana Cloud按Series计费。
- 自建 vs SaaS:自建成本(运维人力)vs SaaS成本(订阅费)。
- 面试要点:可观测性本身也需要成本控制——不能让监控成本超过业务成本。
LLM可观测性面试高频总结?
★★★★★
- 高频1:LLM可观测性和传统监控的区别?→ 增加了质量/成本维度、非确定性输出。
- 高频2:你用什么工具做LLM监控?→ LangFuse(Trace)+ Prometheus(Metrics)+ Grafana(展示)。
- 高频3:如何追踪Token消耗和成本?→ 每次调用记录usage字段,按维度聚合。
- 高频4:Agent多步调用怎么追踪?→ Trace树形结构,每步一个Span。
- 高频5:如何评估LLM输出质量?→ Golden Set + LLM-as-Judge + 用户反馈。
- 高频6:如何设置LLM应用的告警?→ 性能+成本+质量三维告警。
- 答题模板:先说方法论(三层可观测性)→ 再说工具选型 → 最后说具体实现。
- 面试要点:展示你对可观测性的系统理解——不是"我用了XX工具",而是"我的可观测性体系是..."。