Q63 - LLM应用评测体系与灰度发布
共50道题 | 难度分布:★★★★☆平均 | 20K+ AI应用岗位质量保障必考
一、评测体系基础(1-7)
为什么需要LLM应用评测?
★★★★★
- LLM输出是非确定性的——同一输入可能产生不同输出,必须系统性评估质量。
- Prompt/模型/参数变更后,需要量化评估输出质量是否回退。
- 没有评测的AI应用 = "盲飞"——不知道质量好坏,全凭感觉。
- 评测是AI应用CI/CD的核心——和代码测试一样重要。
- 面试要点:LLM应用评测是生产化的基础设施——没有评测就不敢上线和变更。
LLM评测的三个层次?
★★★★★
- 模型层评测:评估基础模型能力(MMLU、HumanEval、GSM8K等Benchmark)。
- 组件层评测:评估RAG检索质量、Prompt效果、工具调用准确性。
- 系统层评测:端到端评估完整AI应用的输出质量(最贴近用户体验)。
- 面试关注点:应用开发者主要关注组件层和系统层评测。
- 面试要点:面试中重点讲系统层评测——因为这是你实际负责的。
Golden Set构建方法论?
★★★★★
- Golden Set = 标准问答数据集(问题+期望答案+评判标准)。
- 构建步骤:
1. 从生产日志中采样100+真实用户问题。
2. 人工标注每个问题的期望答案(或可接受的答案范围)。
3. 定义评判标准(精确匹配/语义相似/人工打分)。
4. 覆盖不同难度和场景(简单40%/中等40%/困难20%)。
- 维护:定期更新(每月添加新问题,移除过时问题)。
- 规模:最小100对(够做回归测试),理想1000+对(够做统计评估)。
- 面试要点:Golden Set的质量决定评测的可靠性——垃圾进垃圾出。
自动化评测 vs 人工评测?
★★★★
- 自动化评测:LLM-as-Judge、规则匹配、Embedding相似度。快速、可重复、成本低。
- 人工评测:人工阅读输出并打分。准确、但慢且贵。
- 推荐组合:自动化评测做日常回归(每次Prompt变更),人工评测做定期抽检(每周/每月)。
- 原则:自动化评测做广度(覆盖大量case),人工评测做深度(评估复杂场景)。
- 面试要点:评测体系要"自动化为主、人工为辅"——纯人工评测无法跟上迭代节奏。
评测指标体系?
★★★★★
- 准确性(Accuracy):输出是否事实正确。
- 相关性(Relevance):输出是否与问题相关。
- 完整性(Completeness):输出是否覆盖了所有要点。
- 一致性(Consistency):同一输入多次调用的输出是否稳定。
- 格式合规(Format Compliance):输出是否符合指定格式(JSON/表格等)。
- 延迟(Latency):TTFT和总延迟。
- 成本(Cost):每次调用的Token成本。
- 面试要点:评测指标要覆盖"质量+性能+成本"三维度。
评测的频率与触发时机?
★★★★
- 每次Prompt变更后:自动跑Golden Set回归。
- 每次模型切换后:自动跑Golden Set回归。
- 每次代码发布前:作为CI/CD管道的一环。
- 每日定时:检测模型API行为漂移(服务商可能静默更新模型)。
- 每周人工抽检:50-100个生产case人工评审。
- 面试要点:评测不是"做一次"而是"持续做"——集成到CI/CD中。
评测的常见陷阱?
★★★★
- Golden Set太小:统计上不显著,评测结果不可靠。
- Golden Set偏差:只包含"简单"问题,忽略了边界情况。
- 过度依赖LLM-as-Judge:评估LLM本身有偏差,可能给出虚假的高分。
- 忽略成本维度:只看质量不看成本,导致优化后成本翻倍。
- 评测与生产脱节:Golden Set不代表真实用户场景。
- 面试要点:评测的有效性取决于Golden Set的质量和评测方法的可靠性。
二、LLM-as-Judge评估方法(8-14)
LLM-as-Judge原理?
★★★★★
- 用一个LLM(评估LLM)来评估另一个LLM(目标LLM)的输出质量。
- 评估方式:给评估LLM提供问题+目标LLM的输出+评判标准,让它打分和评价。
评估Prompt:
"评估以下AI回答的质量。
问题:{question}
回答:{answer}
评判维度:准确性(1-5)、相关性(1-5)、完整性(1-5)
输出JSON格式"
- 优势:自动化、可扩展、比人工评估便宜100倍。
- 劣势:评估LLM本身有偏差——不是100%可靠。
- 面试要点:LLM-as-Judge是目前最实用的自动化评估方案——但要了解其局限性。
LLM-as-Judge的偏差类型?
★★★★★
- 位置偏差(Position Bias):两个回答同时评估时,评估LLM倾向于选择第一个。
- 冗长偏差(Verbosity Bias):评估LLM倾向于给更长的回答更高的分数。
- 自我偏好(Self-Preference):评估LLM倾向于给自己的回答更高的分数。
- 一致性偏差:评估LLM的打分在不同运行之间可能不一致。
- 缓解:多次评估取平均、随机化顺序、使用不同评估LLM交叉验证。
- 面试要点:了解偏差类型是正确使用LLM-as-Judge的前提。
评估Prompt设计?
★★★★
String evalPrompt = """
你是一个严格的质量评估专家。请评估以下AI回答的质量。
问题:{question}
参考答案:{reference_answer}
AI回答:{ai_answer}
评估维度:
1. 准确性(1-5):回答中的事实是否正确
2. 相关性(1-5):回答是否与问题直接相关
3. 完整性(1-5):回答是否覆盖了所有关键信息
4. 安全性(1-5):回答是否包含有害或不适当内容
输出JSON格式:
{"accuracy": 0, "relevance": 0, "completeness": 0, "safety": 0, "reason": "..."}
""";
- 关键:明确的评分标准、具体的分数定义、结构化输出格式。
- 面试要点:评估Prompt的设计直接影响评估质量——要像业务Prompt一样精心设计。
参考答案 vs 无参考评估?
★★★★
- 有参考评估(Reference-based):对比AI输出与Golden Set中的期望答案。适合有明确答案的场景(FAQ、数据提取)。
- 无参考评估(Reference-free):不给期望答案,直接评估输出质量。适合开放式场景(写作、建议、分析)。
- 选择:有标准答案的场景用有参考评估,开放场景用无参考评估。
- 面试要点:两种方法不是互斥的——根据场景选择或组合使用。
交叉评估(Pairwise Comparison)?
★★★★
- 方法:给评估LLM同一问题的两个回答,让它选择更好的那个。
- 优势:比绝对打分更可靠(相对比较比绝对评分更容易)。
- ELO评分:多次交叉评估后计算ELO分数排名。
- 应用:对比两个Prompt版本、两个模型、两个RAG策略。
- 面试要点:交叉评估比绝对打分更稳定——适合A/B对比场景。
多评估器集成?
★★★
- 方法:使用多个不同的评估LLM(GPT-4o + Claude + 国产模型)同时评估,取平均。
- 优势:减少单个评估LLM的偏差。
- 劣势:成本增加(多倍评估调用)。
- 实践:关键场景用多评估器,日常回归用单一评估器。
- 面试要点:多评估器集成是提高评估可靠性的有效方法。
LLM-as-Judge的成本控制?
★★★★
- 评估调用也需要消耗Token——Golden Set × 评估次数 = 大量Token。
- 成本估算:1000条Golden Set × 每次评估500 Token × $5/M = $2.5/次评估。
- 优化:用便宜模型做初筛(GPT-4o-mini),有争议的case用大模型(GPT-4o)。
- 采样评估:不评估全部Golden Set,按比例采样评估。
- 面试要点:评估本身也需要成本控制——不能让评估成本超过业务成本。
三、RAG评测分层(15-20)
RAG评测的两层架构?
★★★★★
- 检索质量(Retrieval Quality):检索到的文档片段是否相关、是否包含所需信息。
- 生成质量(Generation Quality):LLM基于检索结果生成的回答是否准确、完整、忠实。
- 端到端质量(End-to-End):用户视角的最终回答质量。
- 面试要点:RAG评测必须分层——检索层和生成层的问题需要不同的优化策略。
检索质量评测指标?
★★★★★
- Context Precision(上下文精确率):检索结果中相关文档的比例。
- Context Recall(上下文召回率):所需信息被检索到的比例。
- MRR(Mean Reciprocal Rank):第一个相关结果的排名倒数的平均值。
- NDCG(Normalized Discounted Cumulative Gain):考虑排序位置的检索质量。
// 检索质量评测伪代码
List<Document> retrieved = vectorStore.search(query, topK=5);
Set<String> relevant = goldenSet.getRelevantDocs(query);
double precision = intersection(retrieved, relevant).size() / retrieved.size();
double recall = intersection(retrieved, relevant).size() / relevant.size();
- 面试要点:检索质量评测需要标注"哪些文档是相关的"——这是人工标注的工作。
生成质量评测指标?
★★★★★
- Faithfulness(忠实度):回答是否忠实于检索到的上下文(不编造)。
- Answer Relevancy(回答相关性):回答是否与问题相关。
- Answer Correctness(回答正确性):回答是否事实正确(需要Golden Answer对比)。
- 工具:Ragas(RAG Assessment Framework)、TruLens。
# Ragas评测示例
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision
result = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_precision])
- 面试要点:Faithfulness是RAG最重要的评测指标——防止LLM编造检索结果中没有的信息。
端到端评测流程?
★★★★
Golden Set → 发送请求 → 收集响应 → 评估
↓ ↓
检索结果记录 自动评估(LLM-as-Judge)
↓
质量报告(得分+趋势)
- 自动化:评测脚本 + CI/CD集成 + Grafana趋势展示。
- 面试要点:端到端评测流程要自动化——每次变更后一键评测。
检索优化的评测驱动?
★★★★
- 流程:评测→发现检索质量差→分析根因→优化→重新评测→确认提升。
- 常见优化方向:更换Embedding模型、调整Chunking策略、增加混合检索、调整Top-K参数。
- 评测反馈:每次优化后Golden Set得分变化——量化改进效果。
- 面试要点:评测是优化循环的"指南针"——没有评测,优化是盲目的。
RAG评测的Ragas框架?
★★★★
- Ragas是专门用于RAG评测的开源框架。
- 核心指标:Faithfulness、Answer Relevancy、Context Precision、Context Recall。
- 支持多种LLM作为评估器。
- 与LangChain/LlamaIndex集成。
- 面试要点:Ragas是目前最流行的RAG评测框架——了解核心指标即可。
四、Prompt版本管理(21-26)
Prompt为什么要做版本管理?
★★★★★
- Prompt是AI应用的核心资产——改动影响所有用户。
- 没有版本管理:不知道当前用的是哪个Prompt、无法回滚、无法A/B测试。
- 与代码版本管理类比:代码有Git,Prompt也需要类似的版本管理。
- 面试要点:Prompt版本管理是AI应用工程化的基础——不是"可选"而是"必须"。
Prompt版本管理的最佳实践?
★★★★
- 存储方式:数据库(推荐)而非硬编码。
- 版本字段:version_id、content、created_at、created_by、change_reason。
- 标签管理:production(当前线上)、staging(测试中)、archived(已归档)。
- 变更审批:Prompt变更需要Review(类似Code Review)。
CREATE TABLE prompt_versions (
id BIGSERIAL PRIMARY KEY,
prompt_key VARCHAR(100),
content TEXT,
version INT,
status VARCHAR(20), -- production/staging/archived
created_at TIMESTAMP,
created_by VARCHAR(50),
change_reason TEXT
);
- 面试要点:Prompt存储在数据库而非代码中——支持热更新和A/B测试。
Prompt灰度发布流程?
★★★★★
- 步骤1:创建新Prompt版本(staging状态)。
- 步骤2:在测试环境跑Golden Set评测。
- 步骤3:评测通过后,开始灰度——5%用户看到新Prompt。
- 步骤4:对比新旧Prompt的质量指标。
- 步骤5:逐步放量 5%→10%→25%→50%→100%。
- 步骤6:任何阶段发现质量下降,立即回滚。
- 面试要点:Prompt灰度发布和代码灰度发布流程一样——小步放量+持续评估。
A/B测试框架设计?
★★★★
- 分流策略:按用户ID hash分流(同一用户始终看到同一版本)。
- 指标收集:每版本的准确性、相关性、用户满意度、Token消耗。
- 统计显著性:样本量>1000后再做结论(避免小样本偏差)。
- 工具:LangFuse的Experiment功能、自建分流框架。
public String getPromptVersion(String userId) {
int bucket = Math.abs(userId.hashCode() % 100);
if (bucket < 5) return "v2.1"; // 5%灰度
return "v2.0"; // 95%线上
}
- 面试要点:A/B测试的关键是"同一用户始终看到同一版本"——hash分流保证这一点。
Prompt回滚策略?
★★★★
- 触发条件:质量评测得分下降>5%、用户负面反馈率上升、出现安全事件。
- 回滚操作:将production标签从新版本切回旧版本——秒级生效。
- 自动回滚:灰度阶段评测得分低于基线,自动回滚(不需要人工介入)。
- 回滚后分析:分析新Prompt的问题,修复后再进入灰度流程。
- 面试要点:回滚是安全网——Prompt灰度必须有自动回滚机制。
Prompt管理的工具链?
★★★★
- LangFuse:Prompt管理+版本控制+A/B测试+评测。
- PromptLayer:Prompt版本管理+日志+评估。
- 自建:数据库+管理后台+灰度分流。
- Spring AI集成:PromptTemplate + 数据库存储。
- 面试要点:小团队用LangFuse,大团队自建——核心功能都是版本管理+A/B测试+评测。
五、灰度发布与模型切换(27-34)
AI应用灰度发布的特殊性?
★★★★★
- 与传统应用灰度的区别:AI应用输出非确定性,需要更严格的质量评估。
- 灰度维度:Prompt版本、模型版本、RAG策略、功能开关。
- 评估维度:质量(准确性/相关性)+ 性能(延迟)+ 成本(Token消耗)。
- 面试要点:AI应用灰度需要在每个阶段做质量评估——不能只看系统指标。
模型切换的灰度策略?
★★★★
- 场景:从GPT-4o切换到Claude Sonnet。
- 灰度步骤:
1. 5%流量→Claude,95%→GPT-4o。
2. 对比两者的质量分数、延迟、成本。
3. 25%→Claude,75%→GPT-4o。
4. 持续对比,直到100%切换。
- 关键:每个阶段的评测结果必须达标才能继续放量。
- 面试要点:模型切换灰度是"质量驱动"而非"时间驱动"。
功能开关(Feature Flag)在AI应用中的使用?
★★★★
- AI功能开关示例:
enable_rag: 是否启用RAG检索。
enable_agent: 是否启用Agent模式。
enable_streaming: 是否启用流式输出。
model_version: 使用哪个模型。
- 灰度工具:LaunchDarkly、Unleash、自建。
@Value("${ai.features.enable-agent:true}")
private boolean enableAgent;
public String chat(String message) {
if (enableAgent) {
return agentService.run(message);
}
return simpleChatService.chat(message);
}
- 面试要点:Feature Flag让AI功能的灰度和回滚变得简单。
金丝雀发布(Canary Release)?
★★★★
- 与灰度类似但更保守:先让内部用户/测试账号使用新版本,确认无问题后再扩大范围。
- AI应用的金丝雀:先让QA团队和内部员工使用新Prompt/模型→评测→逐步开放给外部用户。
- 优势:内部用户发现问题的成本远低于外部用户。
- 面试要点:金丝雀发布是AI应用变更的"第一道防线"。
蓝绿部署在AI应用中的应用?
★★★
- 蓝环境(当前版本):处理所有生产流量。
- 绿环境(新版本):部署新Prompt/模型,但不接收流量。
- 验证:在绿环境跑Golden Set评测。
- 切换:评测通过后,一键将流量切到绿环境。
- 回滚:切回蓝环境(秒级)。
- 面试要点:蓝绿部署适合AI应用的"大版本切换"(如模型切换)。
监控驱动的自动回滚?
★★★★
- 监控指标:Golden Set准确率、用户反馈评分、错误率、延迟。
- 自动回滚规则:
- 准确率下降>10% → 自动回滚。
- 错误率>5% → 自动回滚。
- 平均延迟增加>50% → 自动回滚。
- 实现:Prometheus AlertManager + Webhook + 灰度分流器。
- 面试要点:自动回滚是AI应用可靠性的最后一道防线。
灰度发布的完整流程图?
★★★★
创建新版本 → 内部评测 → 金丝雀(内部用户) → 灰度5% → 灰度25% → 灰度50% → 全量
↓ ↓ ↓ ↓ ↓ ↓ ↓
存储 Golden Set 人工抽检 自动评测+对比 自动评测 自动评测 持续监控
↓ ↓ ↓ ↓ ↓ ↓
通过? 通过? 通过? 通过? 通过? 稳定运行
↓ ↓ ↓ ↓ ↓ ↓
继续 继续 继续 继续 继续 完成
↑ ↑ ↑ ↑ ↑
回滚←←←←←←←←任何阶段评测不通过←←←←←←←←←←←←
- 面试要点:灰度发布流程的关键是"每个阶段都有退出条件"。
灰度数据的统计分析?
★★★★
- 样本量要求:每个灰度阶段至少1000个样本(统计显著性)。
- 对比方法:A/B组对比,计算均值差异和置信区间。
- 误判控制:设定统计显著性水平(p < 0.05),避免随机波动误判。
- 实际工具:统计学T检验或简单的百分比对比。
- 面试要点:灰度评测要有统计学意义——不能因为10个样本中6个好就说"效果提升"。
六、实战与面试总结(35-50)
Spring AI中的评测集成?
★★★★
@Configuration
public class EvaluationConfig {
@Bean
public EvaluationRunner evaluationRunner(ChatModel evalModel, VectorStore vectorStore) {
return new EvaluationRunner(evalModel, vectorStore, goldenSetLoader());
}
@Scheduled(cron = "0 0 * * * *") // 每小时评测一次
public void runEvaluation() {
EvaluationReport report = evaluationRunner.evaluate();
if (report.getAccuracyScore() < 4.0) {
alertService.sendAlert("质量评测低于阈值: " + report.getAccuracyScore());
}
}
}
- 面试要点:评测可以集成到Spring Boot应用中——定时评测+告警。
评测Dashboard设计?
★★★★
- 面板1(质量趋势):Golden Set准确率7天趋势、每日评分分布。
- 面板2(版本对比):当前版本vs上一版本的质量/延迟/成本对比。
- 面板3(组件质量):RAG检索质量、Prompt质量、工具调用准确率。
- 面板4(用户反馈):thumbs up/down比例、反馈趋势。
- 面板5(告警):质量低于阈值的告警历史。
- 面试要点:评测Dashboard的核心是"趋势"——单次评测没有意义,趋势才有价值。
用户反馈驱动的评测?
★★★★
- 显式反馈:thumbs up/down → 统计正面反馈率。
- 隐式反馈:复制回答、追问、重新提问 → 推断满意度。
- 反馈→评测:负面反馈的case加入Golden Set,作为回归测试用例。
- 面试要点:用户反馈是"免费的评测数据"——负面反馈是最有价值的优化素材。
自动化评测管道(CI/CD集成)?
★★★★★
# GitHub Actions评测管道
name: LLM Evaluation
on:
push:
paths:
- 'src/main/resources/prompts/**'
jobs:
evaluate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Run Golden Set Evaluation
run: |
java -jar evaluator.jar --golden-set=golden_set.json \
--endpoint=http://staging:8080/api/chat
- name: Check Quality Gate
run: |
SCORE=$(cat report.json | jq '.accuracy_score')
if (( $(echo "$SCORE < 4.0" | bc -l) )); then
echo "Quality gate failed: $SCORE"
exit 1
fi
- 面试要点:评测管道集成到CI/CD——Prompt变更自动触发评测。
评测报告模板?
★★★★
评测报告 - 2026-06-04
━━━━━━━━━━━━━━━━━━━━━
版本:Prompt v2.3 → v2.4
Golden Set:500条
━━━━━━━━━━━━━━━━━━━━━
准确性:4.2 → 4.5 (+0.3) ✓
相关性:4.4 → 4.4 (不变) -
完整性:3.8 → 4.1 (+0.3) ✓
格式合规:99.2% → 100% (+0.8%) ✓
━━━━━━━━━━━━━━━━━━━━━
平均延迟:1.2s → 1.3s (+0.1s)
Token消耗:420 → 450 (+7%)
━━━━━━━━━━━━━━━━━━━━━
结论:质量提升,建议灰度发布
- 面试要点:评测报告要清晰展示"质量+性能+成本"的变化。
评测系统的成本与ROI?
★★★
- 评测成本:1000条Golden Set × 500 Token × $5/M = $2.5/次。
- 每月成本(每日评测)= $2.5 × 30 = $75。
- ROI:一次质量回退导致的用户流失 >> $75/月的评测成本。
- 面试要点:评测的成本远低于质量事故的损失——投入产出比极高。
多语言评测?
★★★
- 场景:AI应用支持中英文,需要分别评测。
- 方法:为每种语言构建独立的Golden Set。
- 挑战:中文评测的LLM-as-Judge质量可能低于英文(训练数据偏差)。
- 面试要点:多语言应用必须做分语言评测——不能只测英文。
安全性评测?
★★★★
- 红队测试数据集:包含Prompt Injection、越狱、PII泄露等攻击case。
- 安全评测指标:攻击成功率(ASR)、绕过率。
- 自动化工具:Promptfoo、Garak。
- 频率:每次Prompt变更后 + 每月定期。
- 面试要点:安全性评测是AI应用评测的独立维度——不能只测"好不好",还要测"安不安全"。
评测系统的可观测性?
★★★
- 评测本身也需要监控:评测脚本是否正常运行、Golden Set是否过期、评估LLM是否可用。
- 评测趋势告警:质量分数持续下降趋势→告警(可能是模型API行为漂移)。
- 面试要点:评测系统也是生产系统——需要监控和维护。
对比评测vs 绝对评测?
★★★★
- 绝对评测:给AI输出打分(1-5分)。简单但有主观性。
- 对比评测:两个输出哪个更好。更可靠但成本更高。
- 推荐:日常回归用绝对评测,A/B测试用对比评测。
- 面试要点:两种评测方式互补使用——根据场景选择。
评测的持续改进?
★★★★
- Golden Set更新:每月添加新case(从生产日志中采样)。
- 评测Prompt优化:定期检查LLM-as-Judge的准确性(与人工评估对比)。
- 评测维度扩展:根据业务需求增加新维度(如"合规性")。
- 评测工具升级:关注新的评测框架和工具。
- 面试要点:评测系统本身也需要持续迭代——不是"建好就不管了"。
评测面试高频10连问?
★★★★★
- Q1:为什么需要LLM评测?→ 非确定性输出需要量化质量评估。
- Q2:什么是Golden Set?→ 标准问答数据集,用于回归测试。
- Q3:LLM-as-Judge有什么偏差?→ 位置偏差、冗长偏差、自我偏好。
- Q4:RAG评测分几层?→ 检索质量+生成质量+端到端质量。
- Q5:Faithfulness是什么?→ 回答是否忠实于检索上下文(不编造)。
- Q6:Prompt怎么做版本管理?→ 数据库存储+版本号+灰度标签。
- Q7:灰度发布怎么保证质量?→ 每阶段评测+自动回滚。
- Q8:评测怎么集成到CI/CD?→ Prompt变更触发Golden Set评测+质量门禁。
- Q9:评测成本怎么控制?→ 采样评测+便宜模型做初筛。
- Q10:自动回滚的触发条件?→ 质量下降>10%、错误率>5%、延迟增加>50%。
- 面试要点:评测面试的核心是"怎么确保AI应用质量不回退"。
从零搭建评测体系的路线?
★★★★★
- 阶段1(1周):构建100条Golden Set + 基础评测脚本。
- 阶段2(2周):集成LLM-as-Judge自动评估 + 评测报告。
- 阶段3(1月):CI/CD集成 + 质量门禁 + 自动告警。
- 阶段4(持续):Golden Set扩充、评测维度扩展、灰度发布集成。
- 面试要点:评测体系可以渐进式搭建——先有基础,再逐步完善。
评测与DevOps的融合?
★★★★
- 评测即测试:把LLM评测当作"AI应用的单元测试"。
- 质量门禁:评测得分低于阈值 → 阻止发布(和代码覆盖率门禁一样)。
- 评测报告:每次发布的评测报告自动生成,供团队Review。
- 面试要点:AI应用的DevOps必须包含"评测"环节——和代码测试一样重要。
评测的行业标准与Benchmark?
★★★
- HELM(Stanford):全面的LLM评测框架。
- Open LLM Leaderboard(HuggingFace):开源模型排行榜。
- MT-Bench:多轮对话评测。
- 人工评测基准:Chatbot Arena(LMSYS)。
- 面试要点:了解行业标准Benchmark——但面试重点是你自己项目的评测体系。
评测体系面试答题模板?
★★★★★
- 第一步(评测策略):Golden Set + LLM-as-Judge + 人工抽检,三层评测。
- 第二步(评测指标):准确性 + 相关性 + 完整性 + 格式合规 + Faithfulness。
- 第三步(自动化):评测脚本 + CI/CD集成 + 质量门禁。
- 第四步(灰度发布):小步放量 + 每阶段评测 + 自动回滚。
- 第五步(持续改进):Golden Set定期更新 + 评测Prompt优化 + 安全评测。
- 答题总结:"评测不是一次性的,而是贯穿AI应用全生命周期的持续过程。"
- 面试要点:用5步模板展示完整的评测思维——不是"我用了XX工具",而是"我的评测体系是..."。