← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共6章,点击直达)
一、深度学习基础二、Transformer三、RAG深度四、AI工程实践五、面试高频综合题面试速记口诀

Q140-AI大模型基础与LLM原理实战

20K Java+AI 岗位高频考点 — AI大模型是2025-2026年最热门的技术方向,面试必考Transformer原理、LLM特性、RAG架构、微调策略。覆盖深度学习基础、Transformer、主流模型、AI工程实践、评估方法。

一、深度学习基础

1. 机器学习 vs 深度学习?


机器学习(ML):
- 特征工程:人工提取特征
- 算法:决策树/SVM/随机森林/XGBoost
- 数据量:中小规模
- 解释性:较强

深度学习(DL):
- 自动特征学习(神经网络)
- 模型:CNN/RNN/Transformer
- 数据量:大规模
- 解释性:弱(黑盒)

关键概念:
- 损失函数(Loss):预测值与真实值的差距
- 梯度下降(Gradient Descent):优化参数方向
- 学习率(Learning Rate):每次更新的步长
- 过拟合(Overfitting):训练集好,测试集差
- 正则化(Regularization):防止过拟合
- 批量(Batch):一次训练的样本数
- Epoch:所有训练数据过一遍

Java开发者需要理解的程度:
- 不需要手写模型
- 需要理解AI应用集成的原理和限制
- 知道什么场景用什么方法

2. 神经网络基础?


神经元:输入×权重 + 偏置 → 激活函数 → 输出

激活函数:
- ReLU:f(x) = max(0, x)(最常用,简单高效)
- Sigmoid:f(x) = 1/(1+e^-x)(输出0-1,概率)
- Softmax:多分类输出概率分布

前向传播:输入→隐藏层→输出
反向传播:根据误差→更新权重(链式法则)

网络类型:
- CNN:卷积神经网络(图像)
- RNN:循环神经网络(序列,已基本被Transformer替代)
- Transformer:注意力机制(当前主流)

二、Transformer

3. Transformer核心原理?


Transformer = Attention Is All You Need (2017, Google)

核心机制:Self-Attention(自注意力)

Self-Attention:
输入序列 → 生成Q(查询)/K(键)/V(值)
Attention(Q,K,V) = softmax(QK^T / √dk) × V

含义:每个token关注序列中其他所有token的相关程度
解决了RNN的长距离依赖问题

Multi-Head Attention:
多组Q/K/V并行计算 → 拼接 → 线性变换
相当于多个"视角"同时关注

Position Encoding:
Transformer没有位置感知 → 需要额外编码位置信息
正弦/余弦编码 或 可学习位置编码

Transformer结构(Encoder-Decoder):
Encoder:Multi-Head Attention + FFN(×N层)
Decoder:Masked Attention + Cross Attention + FFN(×N层)

GPT系列:只用Decoder
BERT:只用Encoder
T5/BART:Encoder + Decoder

4. GPT训练过程?


三阶段训练:

1. 预训练(Pre-training):
   - 数据:互联网海量文本(TB级)
   - 目标:预测下一个token(自回归)
   - 成本:数百万美元(GPT-4约1亿美元)
   - 结果:基础语言模型

2. 有监督微调(SFT, Supervised Fine-Tuning):
   - 数据:高质量问答对(人工编写)
   - 目标:学习对话格式和指令遵循
   - 数据量:数万到数十万条

3. 人类反馈强化学习(RLHF):
   - 步骤:
     a. 人类标注:对多个回答排序
     b. 训练奖励模型(Reward Model)
     c. PPO强化学习优化
   - 目标:对齐人类偏好(有用、安全、诚实)

LLM核心概念:
- Token:最小文本单元(约4字符=1token)
- Context Window:上下文窗口(GPT-4: 128K, Claude: 200K)
- Temperature:输出随机性(0=确定性, 1=随机)
- Top-P:核采样概率阈值
- Max Tokens:最大生成token数

5. 主流大模型?


| 模型 | 提供方 | 特点 | API |
|------|--------|------|-----|
| GPT-4o | OpenAI | 多模态,强推理 | OpenAI API |
| Claude Sonnet | Anthropic | 长文本,安全 | Anthropic API |
| Gemini Pro | Google | 多模态 | Google AI |
| 通义千问 | 阿里 | 中文优秀 | DashScope |
| 文心一言 | 百度 | 中文场景 | 百度API |
| 智谱GLM | 智谱AI | 开源生态 | 智谱API |
| DeepSeek | DeepSeek | 性价比高 | DeepSeek API |
| Qwen2.5 | 阿里 | 开源可自部署 | Ollama |

自部署方案:
Ollama:一键运行开源模型(Qwen/Llama/GLM)
vLLM:高性能推理服务(PagedAttention)
llama.cpp:CPU/GPU混合推理

Java调用:
Spring AI(统一接口)→ OpenAI/Claude/Ollama
LangChain4j → 类似Spring AI

三、RAG深度

6. RAG vs 微调?


RAG(Retrieval Augmented Generation):
- 检索外部知识 → 增强LLM回答
- 优点:知识实时更新、可引用来源、无需重训练
- 缺点:依赖检索质量、增加延迟
- 适合:知识库问答、企业文档查询

Fine-Tuning(微调):
- 在特定数据上继续训练模型
- 优点:模型行为定制、推理更快
- 缺点:成本高、知识不会更新
- 适合:特定风格/格式/领域

| 维度 | RAG | 微调 |
|------|-----|------|
| 知识更新 | 实时 | 需重新训练 |
| 成本 | 低 | 高 |
| 幻觉 | 较少(有参考) | 可能存在 |
| 定制化 | 知识层面 | 行为层面 |

最佳实践:RAG + Prompt工程 解决大部分场景
只有极端定制需求才考虑微调

7. Advanced RAG技术?


Basic RAG:Query → Embed → 检索 → 拼接 → LLM

Advanced RAG优化:

1. Query改写:
   - Multi-Query:一个问题改写为多个变体
   - HyDE:让LLM先生成假设答案,用答案去检索
   - Step-back:抽象为更高层问题再检索

2. 检索优化:
   - 混合检索:向量(BM25) + 稠密(Embedding) + RRF融合
   - Rerank:BGE-Reranker/Cohere对候选重排序
   - 元数据过滤:先缩小范围再向量检索

3. 分块优化:
   - 语义分块(基于Embedding相似度断点)
   - 父子文档(小块检索,返回大块上下文)
   - 句子窗口(返回匹配句前后N句)

4. Agentic RAG:
   - Agent决定是否检索、检索什么、是否继续
   - 自适应检索(不是每次都检索)
   - 工具调用(查数据库/搜索API)

5. 评估:
   - 检索质量:Recall@K, MRR, NDCG
   - 生成质量:Faithfulness(忠实度), Relevance(相关性)
   - 框架:RAGAS / LLM-as-Judge

四、AI工程实践

8. Prompt工程高级技巧?


1. Chain of Thought(CoT):
   "请一步步思考"
   → LLM输出推理过程,提高复杂推理准确率

2. Few-Shot:
   给几个示例再回答
   示例: Q:... A:... Q:... A:... Q:{用户问题} A:

3. ReAct(Reason + Act):
   思考 → 行动 → 观察 → 思考 → ...
   Agent的核心范式

4. Self-Consistency:
   同一问题多次采样 → 投票取多数
   提高准确性但增加成本

5. 结构化输出:
   "请以JSON格式输出,包含name/age/hobbies字段"
   Spring AI的entity()方法即用此技术

6. Prompt模板管理:
   - 版本控制(Git管理Prompt)
   - A/B测试(不同Prompt效果对比)
   - 评估集(固定的测试用例)

9. AI应用架构模式?


模式一:单次调用(Single Turn)
用户 → API → LLM → 响应
适合:翻译、摘要、分类

模式二:多轮对话(Chat)
用户 → ChatClient(含历史) → LLM → 响应
适合:聊天机器人、客服

模式三:RAG
用户 → Query改写 → 向量检索 → Prompt增强 → LLM
适合:知识库问答

模式四:Agent
用户 → Agent → [思考→调用工具→观察]×N → 最终回答
适合:复杂任务(需要查询/计算/操作)

模式五:Multi-Agent
用户 → Agent编排器 → Agent1 + Agent2 + Agent3 → 汇总
适合:复杂系统(代码审查=安全Agent+性能Agent+风格Agent)

模式六:Workflow(工作流)
定义固定流程:检索→分析→生成→审核→输出
适合:确定性的AI流程(报告生成、数据处理)

10. LLM安全与伦理?


安全威胁:
1. Prompt注入:恶意输入覆盖系统指令
   防御:输入输出分离、检测关键词、SafeGuard

2. 数据泄露:训练数据泄露到输出
   防御:不把敏感数据放入Prompt

3. 幻觉(Hallucination):LLM编造不存在的"事实"
   防御:RAG提供参考、引用来源、置信度评估

4. 偏见(Bias):输出有歧视性内容
   防御:内容审核、安全过滤器

5. 版权:生成内容可能侵犯版权
   注意:企业使用需关注License

合规要求:
- 不存储用户敏感输入
- 输出内容审核
- 数据脱敏
- 使用日志审计
- 中国:生成式AI备案要求

五、面试高频综合题

11. 如何评估AI应用效果?


评估维度:
1. 准确性(Accuracy):回答是否正确
2. 完整性(Completeness):是否覆盖了所有要点
3. 相关性(Relevance):是否回答了用户的问题
4. 忠实度(Faithfulness):是否基于参考文档(RAG)
5. 延迟(Latency):首token延迟 / 总延迟
6. 成本(Cost):Token消耗 / 每次调用费用

评估方法:
1. 人工评估:标注员打分(最准但最贵)
2. LLM-as-Judge:用GPT-4/Claude评估
3. 自动指标:BLEU/ROUGE/Rouge(文本相似度)
4. RAGAS框架:专门评估RAG系统

评估集构建:
- 收集100-500个典型问题
- 标注标准答案(Golden Answer)
- 定期运行评估
- 每次改Prompt/模型后重新评估

12. AI应用成本控制?


成本分析:
GPT-4o: $5/1M input tokens, $15/1M output tokens
Claude Sonnet: $3/1M input, $15/1M output
一次问答(~1000 input + 500 output) ≈ $0.01

优化策略:
1. 模型路由:
   简单问题 → 小模型(GPT-4o-mini/haiku)
   复杂问题 → 大模型
   节省50-80%成本

2. Prompt缓存:
   相同Prompt的响应直接返回
   Spring AI可集成Redis缓存

3. Token优化:
   - 精简Prompt(去除冗余描述)
   - 控制max_tokens
   - 使用更短的system prompt

4. 批处理:
   多个请求合并发送(Batch API)
   降低50%成本但延迟增加

5. 自部署开源模型:
   Qwen2.5-7B / DeepSeek
   适合高频低精度场景
   成本:GPU服务器费用

13. 你的AI项目经验?


标准回答模板:

"我参与了一个企业知识库问答系统的开发,
技术栈是Spring Boot + Spring AI + Milvus + OpenAI。

文档处理:用户上传PDF/Word → Apache Tika解析 →
TokenTextSplitter分块(800字+100重叠) → Embedding写入Milvus。

检索策略:混合检索(向量检索+BM25关键词检索+RRF融合),
然后BGE-Reranker重排序取Top-5。

LLM调用:Spring AI ChatClient + Advisor链,
包括对话记忆(MessageChatMemoryAdvisor)和日志记录。

效果:在200题评估集上,准确率从初始的65%提升到88%,
主要通过优化分块策略、引入混合检索和Rerank实现。

成本方面,我们做了模型路由:简单问题用GPT-4o-mini,
复杂问题才用GPT-4o,整体成本降低了60%。"

面试速记口诀

Transformer核心:Self-Attention(Q/K/V) + Multi-Head + Position Encoding

>

LLM三阶段:预训练(海量数据)→SFT(指令微调)→RLHF(人类对齐)

>

RAG五优化:Query改写+混合检索+Rerank+分块调优+评估反馈

>

AI应用六模式:单次/多轮/RAG/Agent/Multi-Agent/Workflow