← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共6章,点击直达)
一、评测体系基础(1-7)二、LLM-as-Judge评估方法(8-14)三、RAG评测分层(15-20)四、Prompt版本管理(21-26)五、灰度发布与模型切换(27-34)六、实战与面试总结(35-50)

Q63 - LLM应用评测体系与灰度发布

共50道题 | 难度分布:★★★★☆平均 | 20K+ AI应用岗位质量保障必考

一、评测体系基础(1-7)

为什么需要LLM应用评测?

★★★★★

LLM评测的三个层次?

★★★★★

Golden Set构建方法论?

★★★★★

1. 从生产日志中采样100+真实用户问题。

2. 人工标注每个问题的期望答案(或可接受的答案范围)。

3. 定义评判标准(精确匹配/语义相似/人工打分)。

4. 覆盖不同难度和场景(简单40%/中等40%/困难20%)。

自动化评测 vs 人工评测?

★★★★

评测指标体系?

★★★★★

评测的频率与触发时机?

★★★★

评测的常见陷阱?

★★★★

二、LLM-as-Judge评估方法(8-14)

LLM-as-Judge原理?

★★★★★


评估Prompt:
"评估以下AI回答的质量。
问题:{question}
回答:{answer}
评判维度:准确性(1-5)、相关性(1-5)、完整性(1-5)
输出JSON格式"

LLM-as-Judge的偏差类型?

★★★★★

评估Prompt设计?

★★★★


String evalPrompt = """
你是一个严格的质量评估专家。请评估以下AI回答的质量。

问题:{question}
参考答案:{reference_answer}
AI回答:{ai_answer}

评估维度:
1. 准确性(1-5):回答中的事实是否正确
2. 相关性(1-5):回答是否与问题直接相关
3. 完整性(1-5):回答是否覆盖了所有关键信息
4. 安全性(1-5):回答是否包含有害或不适当内容

输出JSON格式:
{"accuracy": 0, "relevance": 0, "completeness": 0, "safety": 0, "reason": "..."}
""";

参考答案 vs 无参考评估?

★★★★

交叉评估(Pairwise Comparison)?

★★★★

多评估器集成?

★★★

LLM-as-Judge的成本控制?

★★★★

三、RAG评测分层(15-20)

RAG评测的两层架构?

★★★★★

检索质量评测指标?

★★★★★


// 检索质量评测伪代码
List<Document> retrieved = vectorStore.search(query, topK=5);
Set<String> relevant = goldenSet.getRelevantDocs(query);
double precision = intersection(retrieved, relevant).size() / retrieved.size();
double recall = intersection(retrieved, relevant).size() / relevant.size();

生成质量评测指标?

★★★★★


# Ragas评测示例
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision
result = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_precision])

端到端评测流程?

★★★★


Golden Set → 发送请求 → 收集响应 → 评估
                ↓                ↓
         检索结果记录       自动评估(LLM-as-Judge)
                              ↓
                        质量报告(得分+趋势)

检索优化的评测驱动?

★★★★

RAG评测的Ragas框架?

★★★★

四、Prompt版本管理(21-26)

Prompt为什么要做版本管理?

★★★★★

Prompt版本管理的最佳实践?

★★★★


CREATE TABLE prompt_versions (
    id BIGSERIAL PRIMARY KEY,
    prompt_key VARCHAR(100),
    content TEXT,
    version INT,
    status VARCHAR(20), -- production/staging/archived
    created_at TIMESTAMP,
    created_by VARCHAR(50),
    change_reason TEXT
);

Prompt灰度发布流程?

★★★★★

A/B测试框架设计?

★★★★


public String getPromptVersion(String userId) {
    int bucket = Math.abs(userId.hashCode() % 100);
    if (bucket < 5) return "v2.1";   // 5%灰度
    return "v2.0";                    // 95%线上
}

Prompt回滚策略?

★★★★

Prompt管理的工具链?

★★★★

五、灰度发布与模型切换(27-34)

AI应用灰度发布的特殊性?

★★★★★

模型切换的灰度策略?

★★★★

1. 5%流量→Claude,95%→GPT-4o。

2. 对比两者的质量分数、延迟、成本。

3. 25%→Claude,75%→GPT-4o。

4. 持续对比,直到100%切换。

功能开关(Feature Flag)在AI应用中的使用?

★★★★


@Value("${ai.features.enable-agent:true}")
private boolean enableAgent;

public String chat(String message) {
    if (enableAgent) {
        return agentService.run(message);
    }
    return simpleChatService.chat(message);
}

金丝雀发布(Canary Release)?

★★★★

蓝绿部署在AI应用中的应用?

★★★

监控驱动的自动回滚?

★★★★

灰度发布的完整流程图?

★★★★


创建新版本 → 内部评测 → 金丝雀(内部用户) → 灰度5% → 灰度25% → 灰度50% → 全量
    ↓            ↓            ↓              ↓          ↓          ↓         ↓
  存储      Golden Set    人工抽检      自动评测+对比  自动评测   自动评测   持续监控
               ↓            ↓              ↓          ↓          ↓         ↓
            通过?        通过?          通过?        通过?      通过?     稳定运行
               ↓            ↓              ↓          ↓          ↓         ↓
             继续         继续           继续         继续       继续      完成
               ↑            ↑              ↑          ↑          ↑
             回滚←←←←←←←←任何阶段评测不通过←←←←←←←←←←←←

灰度数据的统计分析?

★★★★

六、实战与面试总结(35-50)

Spring AI中的评测集成?

★★★★


@Configuration
public class EvaluationConfig {
    @Bean
    public EvaluationRunner evaluationRunner(ChatModel evalModel, VectorStore vectorStore) {
        return new EvaluationRunner(evalModel, vectorStore, goldenSetLoader());
    }

    @Scheduled(cron = "0 0 * * * *")  // 每小时评测一次
    public void runEvaluation() {
        EvaluationReport report = evaluationRunner.evaluate();
        if (report.getAccuracyScore() < 4.0) {
            alertService.sendAlert("质量评测低于阈值: " + report.getAccuracyScore());
        }
    }
}

评测Dashboard设计?

★★★★

用户反馈驱动的评测?

★★★★

自动化评测管道(CI/CD集成)?

★★★★★


# GitHub Actions评测管道
name: LLM Evaluation
on:
  push:
    paths:
      - 'src/main/resources/prompts/**'
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Run Golden Set Evaluation
        run: |
          java -jar evaluator.jar --golden-set=golden_set.json \
            --endpoint=http://staging:8080/api/chat
      - name: Check Quality Gate
        run: |
          SCORE=$(cat report.json | jq '.accuracy_score')
          if (( $(echo "$SCORE < 4.0" | bc -l) )); then
            echo "Quality gate failed: $SCORE"
            exit 1
          fi

评测报告模板?

★★★★


评测报告 - 2026-06-04
━━━━━━━━━━━━━━━━━━━━━
版本:Prompt v2.3 → v2.4
Golden Set:500条
━━━━━━━━━━━━━━━━━━━━━
准确性:4.2 → 4.5 (+0.3) ✓
相关性:4.4 → 4.4 (不变) -
完整性:3.8 → 4.1 (+0.3) ✓
格式合规:99.2% → 100% (+0.8%) ✓
━━━━━━━━━━━━━━━━━━━━━
平均延迟:1.2s → 1.3s (+0.1s)
Token消耗:420 → 450 (+7%)
━━━━━━━━━━━━━━━━━━━━━
结论:质量提升,建议灰度发布

评测系统的成本与ROI?

★★★

多语言评测?

★★★

安全性评测?

★★★★

评测系统的可观测性?

★★★

对比评测vs 绝对评测?

★★★★

评测的持续改进?

★★★★

评测面试高频10连问?

★★★★★

从零搭建评测体系的路线?

★★★★★

评测与DevOps的融合?

★★★★

评测的行业标准与Benchmark?

★★★

评测体系面试答题模板?

★★★★★