← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共8章,点击直达)
一、可观测性基础概念(1-6)二、可观测性工具对比(7-12)三、Token消耗监控与成本治理(13-18)四、链路追踪与调试(19-24)五、评估框架(25-30)六、日志与审计(31-35)七、告警与SRE实践(36-40)八、生产实战与面试总结(41-50)

Q58 - LLM可观测性与AI应用监控

共50道题 | 难度分布:★★★★☆平均 | 20K+ AI应用岗位可观测性必考

一、可观测性基础概念(1-6)

LLM可观测性的定义与重要性?

★★★★★

传统APM vs LLM可观测性的区别?

★★★★

Trace/Span概念在Agent链路中的应用?

★★★★★


Trace: 用户提问 "分析这段代码"
  ├── Span: Agent推理 (思考)
  │   └── Span: LLM调用 (GPT-4o, 500 tokens)
  ├── Span: 工具调用 (code_analyzer)
  │   └── Span: LLM调用 (GPT-4o, 1200 tokens)
  └── Span: 最终回答
      └── Span: LLM调用 (GPT-4o, 800 tokens)

OpenTelemetry + OpenLLMetry集成方案?

★★★★

LLM可观测性的核心指标?

★★★★★

可观测性数据的采样策略?

★★★

二、可观测性工具对比(7-12)

LangFuse详解?

★★★★★


// Spring AI + LangFuse集成
@Bean
public LangFuseAdvisor langFuseAdvisor() {
    return LangFuseAdvisor.builder()
        .withPublicKey("pk-xxx")
        .withSecretKey("sk-xxx")
        .withBaseUrl("https://cloud.langfuse.com")
        .build();
}

LangSmith与LangFuse对比?

★★★★

Arize Phoenix?

★★★★

Helicone?

★★★

工具选型对比总结?

★★★★

Spring Boot Actuator + Micrometer集成?

★★★★


@Bean
MeterBinder llmMetrics(MeterRegistry registry) {
    return (r) -> {
        Counter.builder("llm.requests.total")
            .tag("model", "gpt-4o")
            .register(r);
        Timer.builder("llm.request.duration")
            .tag("model", "gpt-4o")
            .register(r);
    };
}

三、Token消耗监控与成本治理(13-18)

Token消耗追踪方案?

★★★★★


ChatResponse response = chatClient.prompt().user(query).call().chatResponse();
Usage usage = response.getMetadata().getUsage();
long inputTokens = usage.getPromptTokens();
long outputTokens = usage.getGenerationTokens();
long totalTokens = usage.getTotalTokens();

成本计算模型?

★★★★

成本告警与预算控制?

★★★★

成本优化策略?

★★★★

语义缓存(Semantic Cache)?

★★★★

多模型成本对比分析?

★★★

四、链路追踪与调试(19-24)

Agent多步调用的全链路追踪?

★★★★★

Prompt版本追踪?

★★★★

RAG检索质量追踪?

★★★★

错误诊断与调试?

★★★★

线上质量监控与回归检测?

★★★★

实时异常检测?

★★★

五、评估框架(25-30)

LLM-as-Judge评估方法?

★★★★★

RAG评估指标?

★★★★★

评估数据集构建?

★★★★

A/B测试框架?

★★★★

用户反馈收集?

★★★★

持续评估与模型更新策略?

★★★★

六、日志与审计(31-35)

LLM应用日志设计?

★★★★

审计合规日志?

★★★★

结构化日志格式?

★★★★


{
  "traceId": "abc-123",
  "timestamp": "2025-01-15T10:30:00Z",
  "userId": "user-456",
  "model": "gpt-4o",
  "promptVersion": "v2.3",
  "inputTokens": 250,
  "outputTokens": 500,
  "latencyMs": 1800,
  "ttftMs": 300,
  "status": "success",
  "feedback": "thumbs_up",
  "cost": 0.0075
}

日志采样与存储策略?

★★★

日志安全与隐私保护?

★★★★

七、告警与SRE实践(36-40)

LLM应用告警规则设计?

★★★★★

SLA/SLO设计?

★★★★

故障演练与应急响应?

★★★★

On-call手册(Runbook)?

★★★

容量规划?

★★★

八、生产实战与面试总结(41-50)

Spring AI + LangFuse完整集成方案?

★★★★★


@Configuration
public class ObservabilityConfig {
    @Bean
    public LangFuseObserver langFuseObserver() {
        return LangFuseObserver.builder()
            .publicKey("pk-xxx").secretKey("sk-xxx")
            .baseUrl("https://cloud.langfuse.com").build();
    }

    @Bean
    public MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
        return r -> r.config().commonTags("application", "ai-chatbot");
    }
}

@RestController
public class ChatController {
    @GetMapping("/chat")
    public String chat(@RequestParam String message) {
        return chatClient.prompt()
            .user(message)
            .advisors(langFuseObserver)
            .call()
            .content();
    }
}

Grafana Dashboard设计?

★★★★

多模型环境的可观测性?

★★★★

开发/测试/生产环境的可观测性差异?

★★★

可观测性数据的隐私保护?

★★★★

向量检索的可观测性?

★★★

AI应用监控与传统微服务监控的融合?

★★★★

实时监控仪表板设计?

★★★★

可观测性成本控制?

★★★

LLM可观测性面试高频总结?

★★★★★