Q108 LLM微调与模型部署实战
20K Java+AI 岗位2025-2026高频考点 — LLM微调和部署是AI落地的关键环节。覆盖全量微调/LoRA/QLoRA/RLHF/GRPO/DPO、推理优化(vLLM/TensorRT/ONNX)、模型服务化(Spring AI集成)、AIGC工程化。
一、LLM微调基础
1. 什么是微调(Fine-tuning)?为什么需要微调?
- 预训练模型通用但不够专业:GPT/Qwen等预训练模型掌握通用知识,但不了解你的业务
- 微调让模型适应特定领域:用领域数据进一步训练,让模型学会专业术语、业务逻辑、输出格式
- 全量微调 vs 参数高效微调(PEFT):全量微调更新所有参数,PEFT只更新少量参数
- 何时需要微调:领域知识不足、格式要求特殊、风格定制
- 何时不需要微调:通用问答场景,Prompt Engineering或RAG已足够
2. 全量微调 vs 参数高效微调?
| 维度 | 全量微调 | PEFT(LoRA等) |
| 训练参数量 | 全部参数(7B/13B) | 0.1%-1%参数 |
| 显存需求 | 极高(A100×8) | 低(单卡24GB) |
| 效果 | 最优 | 接近全量 |
| 训练时间 | 天级 | 小时级 |
| 适用场景 | 大厂/科研 | 大多数团队 |
| 灾难性遗忘风险 | 高 | 低 |
3. LoRA的原理?
- Low-Rank Adaptation:冻结原始权重W,注入低秩矩阵A和B
- 核心公式:
W' = W + BA,其中 B ∈ R^(d×r),A ∈ R^(r×d),r远小于d
- 参数量从d²降到2dr:例如d=4096,r=16,参数量从16M降到131K
- 合并时:
W_merged = W + (α/r) × BA,推理无额外开销
- 为什么有效:模型适应过程具有低秩特性,不需要更新全部参数
4. QLoRA的原理?
- 在LoRA基础上加4-bit量化(NormalFloat4)
- 双重量化:量化常量本身也量化(Double Quantization),进一步节省显存
- 分页优化器(Paged Optimizer):GPU显存不够时自动卸载到CPU
- 单张24GB显卡可微调65B模型(原需要A100×8)
- 三项创新叠加:4-bit NF4 + 双重量化 + 分页优化器
5. LoRA的超参数如何选择?
- r(秩):8-64,简单任务用8,复杂任务用32-64
- alpha:通常设为2r,控制更新幅度(alpha/r=2时效果稳定)
- target_modules:
q_proj, v_proj, k_proj, o_proj, gate_proj, up_proj, down_proj
- dropout:0.05-0.1,数据量大时可设为0
- 经验:先从r=16、alpha=32、target=q_proj+v_proj开始实验
6. 微调数据如何准备?
# SFT数据格式(ChatML)
{"messages": [
{"role": "system", "content": "你是一个Java专家"},
{"role": "user", "content": "什么是AQS?"},
{"role": "assistant", "content": "AQS是AbstractQueuedSynchronizer..."}
]}
# 数据质量 > 数据数量
# 500-5000条高质量数据即可获得显著提升
# 关键:多样性、准确性、格式一致性
# 数据清洗:去重、去低质量、检查格式错误
二、对齐训练
7. RLHF是什么?
- Reinforcement Learning from Human Feedback:基于人类反馈的强化学习
- 三步走:SFT(监督微调)→ 训练奖励模型(RM)→ PPO强化学习优化
- ChatGPT的核心训练方法,让模型输出更符合人类偏好
- 奖励模型:用人类标注的偏好数据(好/差回答对)训练一个打分模型
- PPO:用奖励模型的分数作为信号,通过强化学习优化策略模型
8. DPO vs RLHF?
| 维度 | RLHF | DPO |
| 奖励模型 | 需要单独训练 | 不需要 |
| 训练复杂度 | 高(PPO不稳定) | 低(直接优化) |
| 数据格式 | (prompt, response, reward) | (prompt, chosen, rejected) |
| 训练稳定性 | 需要调多个超参 | 相对稳定 |
| 效果 | 成熟,上限高 | 接近RLHF |
| 适用 | 大厂 | 大多数团队首选 |
9. GRPO是什么?(DeepSeek Math提出)
- Group Relative Policy Optimization:组相对策略优化
- 不需要value网络:只用策略网络,比PPO更简单
- 同一问题生成多个回答(如8个),组内相对排名作为奖励信号
- 避免了奖励模型训练和PPO的不稳定性
- DeepSeek-R1的成功验证了GRPO在大规模强化学习中的有效性
10. 对齐数据的格式?
// DPO训练数据
{
"prompt": "解释Java线程池",
"chosen": "线程池是管理线程的容器,核心参数包括corePoolSize、maxPoolSize、keepAliveTime、workQueue、threadFactory、rejectedExecutionHandler。当提交任务时...",
"rejected": "线程池就是一堆线程放一起用"
}
// chosen是人工标注的更好回答,rejected是较差回答
// 数据要求:chosen和rejected差异明显,边界清晰
三、微调框架实战
11. 常用微调框架对比?
| 框架 | 特点 | 适用场景 |
| LLaMA-Factory | Web UI、零代码、支持多种方法 | 快速上手、生产微调 |
| Axolotl | 配置灵活、支持多种模型 | 研究实验 |
| Unsloth | 2x训练速度、显存优化 | 效率优先 |
| PEFT(HuggingFace) | 底层库、高度可定制 | 自定义开发 |
| DeepSpeed | 分布式训练、ZeRO优化 | 大模型全量微调 |
| swift(ModelScope) | 阿里出品、中文友好 | 国内开发者 |
12. LLaMA-Factory的使用?
# LLaMA-Factory YAML配置示例
model_name_or_path: Qwen/Qwen2.5-7B
stage: sft
finetuning_type: lora
lora_rank: 16
lora_alpha: 32
lora_target: q_proj,v_proj
dataset: java_interview
template: qwen
output_dir: saves/qwen2.5-7b-lora
per_device_train_batch_size: 4
gradient_accumulation_steps: 8
learning_rate: 2.0e-4
num_train_epochs: 3
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
13. 多轮对话数据如何微调?
{"messages": [
{"role": "user", "content": "HashMap的底层原理?"},
{"role": "assistant", "content": "HashMap基于数组+链表+红黑树,默认容量16,负载因子0.75..."},
{"role": "user", "content": "什么时候链表转红黑树?"},
{"role": "assistant", "content": "当链表长度≥8且数组长度≥64时转为红黑树,红黑树节点≤6时退化为链表..."},
{"role": "user", "content": "为什么是8和6不一样?"},
{"role": "assistant", "content": "避免频繁转换。中间差值7作为缓冲,防止在阈值附近反复切换..."}
]}
// 注意:多轮对话要保证上下文连贯,每轮都有教学价值
14. 如何评估微调效果?
- 自动评估:Perplexity(困惑度)、BLEU(翻译质量)、ROUGE(摘要质量)
- 人工评估:准确性、流畅度、安全性、格式合规性
- LLM-as-Judge:用GPT-4/Claude评判输出质量,适合大规模评估
- 业务指标:用户满意度、任务完成率、人工介入率
- 评估集:必须留出未参与训练的测试集,避免"自评自"
15. 微调中的常见问题?
- 过拟合:数据量不足或epoch过多 → 表现为训练集好但测试集差
- 灾难性遗忘:学习率太大 → 模型忘了预训练知识,变"傻"
- 输出格式不对:训练数据格式不一致 → 严格统一数据格式
- 幻觉严重:数据质量差、包含错误信息 → 数据清洗是第一优先级
- 解决方案:降低学习率(1e-5~5e-4)、增加数据量、早停(Early Stopping)
四、模型推理优化
16. LLM推理为什么慢?
- 自回归生成:逐token生成,每步依赖前一步,无法并行
- KV Cache显存占用:序列越长,缓存的Key/Value越大
- 显存带宽瓶颈:内存IO速度远低于计算速度(内存墙问题)
- 批处理效率低:不同请求长度差异大,padding浪费算力
17. KV Cache优化?
# KV Cache:缓存已计算的Key和Value,避免重复计算
# 每生成一个新token,只需计算当前token的Q/K/V,K/V追加到缓存
# 优化方向:
# 1. MQA(Multi-Query Attention):所有Head共享同一组K,V
# 2. GQA(Grouped-Query Attention):分组共享K,V(Llama2采用)
# 3. PagedAttention(vLLM):像虚拟内存一样管理KV Cache,解决碎片问题
# MQA < GQA < MHA(精度从低到高,速度从快到慢)
18. vLLM推理框架?
- PagedAttention:像操作系统管理虚拟内存一样管理KV Cache,消除显存碎片
- Continuous Batching:请求完成即移出batch,新请求随时加入,吞吐量翻倍
- 支持Tensor Parallelism(多卡并行)
- 吞吐量比HuggingFace高24x,P99延迟降低
- 兼容OpenAI API格式,开箱即用
19. TensorRT-LLM?
- NVIDIA出品,极致GPU优化
- Kernel融合:将多个算子合并为一个,减少显存访问次数
- 量化支持:INT8/FP8量化,推理速度翻倍
- 流水线并行 + 张量并行:支持多卡多机部署
- 适合生产环境高吞吐场景,但配置复杂,学习曲线陡
20. 模型量化技术?
| 量化方法 | 精度 | 显存节省 | 精度损失 | 适用场景 |
| FP16 | 16bit | 基线 | 无 | 默认推理 |
| BF16 | 16bit | 基线 | 极小 | 训练+推理 |
| INT8 | 8bit | 50% | 小 | 生产推理 |
| GPTQ | 4bit | 75% | 小 | GPU推理 |
| AWQ | 4bit | 75% | 小 | GPU推理 |
| GGUF | 4-8bit | 灵活 | 可控 | CPU/边缘 |
| FP8 | 8bit | 50% | 极小 | H100推理 |
21. ONNX Runtime部署?
// Java调用ONNX模型
import ai.onnxruntime.*;
OrtEnvironment env = OrtEnvironment.getEnvironment();
OrtSession.SessionOptions opts = new OrtSession.SessionOptions();
opts.setOptimizationLevel(OrtSession.SessionOptions.OptLevel.ALL_OPT);
OrtSession session = env.createSession("model.onnx", opts);
// 构造输入
Map<String, OnnxTensor> inputs = new HashMap<>();
float[][] inputData = new float[1][768]; // 模型输入维度
inputs.put("input", OnnxTensor.createTensor(env, inputData));
// 推理
try (OrtSession.Result result = session.run(inputs)) {
float[][] output = (float[][]) result.get(0).getValue();
}
// 适合传统ML模型和中等规模模型的Java集成
22. Speculative Decoding(推测解码)?
- 核心思路:小模型快速生成候选token(如5个),大模型一次前向传播并行验证
- 2-3x加速,输出结果与大模型完全一致(无损加速)
- 无精度损失,是一种纯工程优化
- 原理:大模型验证k个token只需1次前向传播,而自回归需要k次
- 适合延迟敏感、要求无损的生产场景
五、模型服务化
23. LLM如何部署为API服务?
# vLLM启动OpenAI兼容API
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B \
--host 0.0.0.0 --port 8000 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.9 \
--max-model-len 4096
# 直接兼容OpenAI SDK调用
# curl http://localhost:8000/v1/chat/completions \
# -H "Content-Type: application/json" \
# -d '{"model":"Qwen/Qwen2.5-7B","messages":[{"role":"user","content":"Hello"}]}'
24. Spring AI如何调用本地模型?
// Spring AI 配置类
@Configuration
public class LocalModelConfig {
@Bean
ChatClient chatClient(ChatClient.Builder builder) {
return builder
.defaultSystem("你是一个Java技术专家,回答准确、专业、有条理")
.build();
}
}
// application.yml 配置
// spring:
// ai:
// openai:
// base-url: http://localhost:8000/v1
// api-key: dummy
// chat:
// options:
// model: Qwen/Qwen2.5-7B
// temperature: 0.7
// max-tokens: 2048
25. Ollama本地部署?
# 安装Ollama后一键拉取和运行模型
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
# 支持GGUF格式,自动适配GPU/CPU
# Spring AI + Ollama 集成
// spring:
// ai:
// ollama:
// base-url: http://localhost:11434
// chat:
// model: qwen2.5
// options:
// temperature: 0.7
26. 模型服务的负载均衡?
- 多实例部署 + Nginx/K8s Service:多个vLLM实例,负载均衡分发请求
- 请求路由:按模型类型、按优先级、按租户隔离
- 弹性伸缩:基于GPU利用率HPA(Horizontal Pod Autoscaler)
- 队列管理:请求排队、超时处理、优雅降级
- 关键指标:GPU利用率目标>80%,P99延迟<2s
27. 模型服务的监控?
| 指标 | 说明 | 告警阈值 |
| TPS | 每秒处理token数 | <100报警 |
| TTFT | 首 token 时间 | P99>2s报警 |
| 吞吐量 | 每分钟请求数 | 下降30%报警 |
| GPU利用率 | 计算资源使用率 | <50%或>95%报警 |
| 队列深度 | 等待请求数 | >50报警 |
| 显存使用率 | GPU显存占用 | >90%报警 |
| 错误率 | 请求失败比例 | >1%报警 |
28. 多模型路由策略?
@Service
public class ModelRouter {
// 简单问题→小模型(7B),复杂问题→大模型(72B)
public String route(String question) {
if (question.length() < 100 && !isComplex(question)) {
return "qwen2.5-7b"; // 快速响应
}
if (needsCodeGeneration(question)) {
return "deepseek-coder"; // 代码专用
}
return "qwen2.5-72b"; // 复杂推理
}
private boolean isComplex(String q) {
return q.contains("分析") || q.contains("设计")
|| q.contains("对比") || q.length() > 500;
}
}
六、AI工程化
29. AI应用的全链路架构?
用户请求 → API网关 → Agent/编排层
├── RAG检索(向量库+ES)
├── LLM推理(vLLM集群)
├── Tool调用(Function Calling)
└── 缓存层(Redis+语义缓存)
↓
响应/流式输出(SSE)
↓
可观测性(日志+指标+追踪)
30. Prompt管理最佳实践?
// Prompt模板管理(Spring AI)
@SystemMessage("你是一个{{role}},擅长{{domain}}。请用中文回答。")
public String chat(@UserMessage String question,
@Variable("role") String role,
@Variable("domain") String domain);
// 生产级Prompt管理要求:
// 1. 版本化管理Prompt,支持A/B测试
// 2. Prompt与代码分离,配置化管理
// 3. 不同场景使用不同Prompt模板
// 4. 记录每次Prompt变更和效果
31. AI应用的缓存策略?
- 精确缓存:相同问题直接返回,Redis key = hash(question)
- 语义缓存:Embedding相似度>0.95命中,向量库检索
- Redis + Vector Store双层缓存:精确层 + 语义层
- 缓存命中率监控:命中率<30%说明缓存策略需优化
- TTL设置:知识类缓存长(24h),时效类缓存短(5min)
32. AI应用的安全防护?
- Prompt注入防护:输入过滤(检测恶意指令)、输出校验(检测异常内容)
- 敏感信息过滤:PII检测(身份证号、手机号、银行卡号)
- 内容安全审核:政治敏感、暴力色情、违法违规内容过滤
- 速率限制:每用户每日调用次数上限,防止滥用
- 日志脱敏:记录日志前自动脱敏敏感信息
33. AI应用的降级策略?
@Service
public class ResilientAIService {
public String chat(String question) {
try {
return primaryModel.chat(question); // 主模型(72B)
} catch (Exception e) {
log.warn("主模型调用失败,切换备用模型", e);
try {
return fallbackModel.chat(question); // 备用小模型(7B)
} catch (Exception e2) {
log.error("备用模型也失败,使用模板兜底", e2);
return templateBasedAnswer(question); // 模板兜底
}
}
}
private String templateBasedAnswer(String question) {
// 基于规则模板的最基础回复
return "服务暂时不可用,请稍后重试";
}
}
34. AI应用的成本优化?
| 优化手段 | 效果 | 实施难度 |
| 缓存减少调用 | 降低30-50%调用量 | 低 |
| 路由到合适模型 | 节省60-80%推理成本 | 中 |
| 批处理请求 | 提升GPU利用率 | 中 |
| 流式输出 | 减少用户等待感知 | 低 |
| 模型量化 | 节省50%显存 | 低 |
| 监控每次调用成本 | 数据驱动优化 | 低 |
35. 流式输出的实现?
// Spring AI Streaming
@RestController
@RequestMapping("/api/chat")
public class ChatController {
private final ChatClient chatClient;
@GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> streamChat(@RequestParam String question) {
return chatClient.prompt()
.user(question)
.stream()
.content();
}
// 非流式调用
@PostMapping("/complete")
public String completeChat(@RequestBody ChatRequest request) {
return chatClient.prompt()
.user(request.getQuestion())
.call()
.content();
}
}
七、面试高频综合题
36. Java工程师需要掌握微调吗?
- 不需要自己训练模型,但需要理解原理(LoRA/QLoRA/DPO)
- 关键能力:数据准备、API调用、服务部署、工程优化
- Java工程师优势:结合业务场景做AI落地,系统架构能力强
- 核心竞争力:不是炼模型,而是把模型产品化、工程化
- 建议:了解微调流程,会用LLaMA-Factory,知道如何评估效果
37. LoRA vs 全量微调怎么选?
- 数据量<10K → LoRA/QLoRA,数据少全量微调容易过拟合
- 计算资源有限(单卡/双卡) → LoRA,性价比最高
- 效果要求极致+资源充足(A100×8) → 全量微调,上限最高
- 大多数业务场景LoRA足够:正确数据和prompt比微调方法更重要
- 实际建议:先用LoRA跑基线,效果不够再考虑全量微调
38. 如何选择开源模型?
| 场景 | 推荐模型 | 理由 |
| 通用对话 | Qwen2.5-7B/72B | 中文最强,生态完善 |
| 代码生成 | DeepSeek-Coder | 代码能力突出 |
| 嵌入模型 | BGE-M3 | 多语言多粒度 |
| 推理 | QwQ/DeepSeek-R1 | 推理链能力强 |
| 小型部署 | Phi-3/Qwen2.5-1.5B | 资源需求低 |
| 多模态 | Qwen-VL | 视觉理解能力强 |
39. 模型部署的GPU选型?
| GPU | 显存 | 适用模型 | 参考价格 |
| RTX 4090 | 24GB | 7B-14B(量化) | 消费级 |
| A100 40GB | 40GB | 14B-34B | 企业级 |
| A100 80GB | 80GB | 34B-72B(量化) | 企业级 |
| H100 | 80GB | 72B+ | 旗舰级 |
| L40S | 48GB | 7B-34B | 性价比 |
40. 如何回答"你们的AI技术栈"?
"我们基于Spring AI构建AI中台。模型层使用Qwen2.5-7B做微调(LoRA),vLLM做推理服务。应用层实现了RAG(Milvus向量库+ES混合检索)、Agent(Function Calling+ReAct)、Prompt版本管理。部署在K8s上,支持GPU弹性伸缩和多模型路由。监控方面基于Grafana+Prometheus实现TTFT、吞吐量等核心指标的可视化告警。"
41. AI应用如何做A/B测试?
- 不同Prompt版本 → 对比准确率和用户满意度
- 不同模型 → 对比延迟和效果(7B vs 72B性价比)
- 不同RAG策略 → 对比检索精度和最终回答质量
- 统计显著性检验:至少收集500+样本,置信度>95%
- 工具:MLflow Tracking记录实验,Prometheus监控指标
42. 多模态模型的部署?
- 视觉:Qwen-VL、LLaVA → 图片理解、OCR、表格识别
- 语音:Whisper(ASR)+ TTS(语音合成)
- 架构:统一API网关 + 模态路由(文本/图片/音频分发到不同模型)
- Java集成:Spring AI + HTTP调用多模态API
43. Edge AI边缘部署?
- ONNX Runtime Mobile:Android/iOS端运行ML模型
- TensorFlow Lite:Google生态,移动端成熟
- GGUF格式 + llama.cpp:CPU友好,可在手机/树莓派运行小模型
- 量化+剪枝:模型压缩到原始大小的1/4-1/8
- 适用场景:离线AI、隐私敏感、低延迟要求
44. 模型版本管理?
- MLflow / DVC管理模型版本、训练参数、评估指标
- A/B测试新旧模型:10%流量到新模型,对比效果
- 灰度发布新模型:逐步增加流量比例(5%→20%→50%→100%)
- 回滚机制:效果不及预期时秒级回滚到上一版本
- 模型注册表:Staging → Production → Archived生命周期管理
45. AI应用的测试策略?
| 测试类型 | 测什么 | 怎么测 |
| 单元测试 | Prompt模板、解析逻辑 | JUnit断言 |
| 集成测试 | RAG检索+LLM生成 | 端到端调用 |
| 评估测试 | Golden Set对比 | 准确率/覆盖率 |
| 压力测试 | 并发推理能力 | JMeter/k6 |
| 安全测试 | Prompt注入、越狱 | 红队测试 |
| 回归测试 | 模型更新后效果 | 自动化对比 |
46. MCP(Model Context Protocol)与模型部署?
- MCP让AI应用连接外部工具和数据源:标准化接口
- 类似USB协议:统一AI模型与外部世界的连接方式
- Spring AI已支持MCP:可声明式定义工具供模型调用
- 模型 + 工具 = Agent:MCP是Agent能力扩展的基础设施
- 部署时需考虑MCP Server的高可用和安全性
47. 如何优化LLM的首token延迟(TTFT)?
- Speculative Decoding:小模型投机,大模型验证
- KV Cache预热:预加载热门Prompt的KV Cache
- 模型量化:INT4/INT8减少模型加载和计算时间
- 批处理优化:Continuous Batching减少等待
- 硬件层面:H100的FP8、NVLink互联
48. LLM的Long Context处理?
- RoPE位置编码扩展:从4K扩展到128K/1M(YaRN/NTK-aware)
- 长文本切分+检索:分块后RAG检索,避免塞满整个Context
- 注意力优化:Flash Attention减少显存占用和计算量
- 压缩摘要:先摘要再输入,牺牲细节换长度
- 实践:128K Context效果好但推理慢,多数场景RAG更实用
49. AI应用的合规要求?
- 生成内容审核:上线前必须接入内容安全审核API
- 数据隐私:GDPR/个人信息保护法,用户数据不得用于训练
- 算法备案:国内上线AI服务需在网信办备案
- 可解释性:关键决策需提供推理依据
- 水印标记:AI生成内容需标识来源(合规趋势)
50. AI Engineer vs ML Engineer vs Java+AI?
| 角色 | 核心职责 | 核心技能 |
| ML Engineer | 模型训练与优化 | PyTorch/训练/评估/论文复现 |
| AI Engineer | AI应用开发 | RAG/Agent/Prompt/部署/评估 |
| Java+AI | AI工程化与落地 | Spring AI/微服务/架构设计/业务结合 |
- Java+AI的差异化优势:不是炼模型的人,而是把模型变成产品的人
- 需要懂模型原理(能和算法团队对话),但重心在工程化落地
- 市场需求:AI Engineer >> ML Engineer,Java+AI是最稀缺的交叉人才
面试速记口诀
微调三件套:LoRA(低秩适配)、QLoRA(4bit量化)、DPO(直接偏好优化)
>
推理三优化:vLLM(PagedAttention)、量化(INT4/INT8)、Speculative Decoding
>
部署三方案:vLLM API服务、Ollama本地、Spring AI集成
>
工程化四要素:缓存降级、监控告警、安全防护、成本优化