← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共14章,点击直达)
一、Transformer架构(1-5)二、位置编码(6-9)三、分词器(10-13)四、大模型训练流程(14-19)五、上下文窗口与KV Cache(20-24)六、模型量化与部署(25-30)七、解码策略(31-34)八、大模型幻觉与缓解(35-38)九、Prompt Engineering(39-43)十、模型评估(44-46)十一、Scaling Law与涌现能力(47-48)十二、MoE混合专家模型(49)十三、流式输出设计(50)十四、OpenAI兼容协议(补充)

title: 大模型基础与LLM原理

tags: [大模型, LLM, Transformer, AI工程化, 2026高频]

created: 2026-05-31


Q22 - 大模型基础与LLM原理 — Java工程师的AI必修课

2026年面试趋势:Java后端也需要懂大模型原理,不再只是调API。
本模块覆盖大模型基础概念、训练流程、部署优化、Prompt工程等高频考点。

一、Transformer架构(1-5)

Transformer的核心架构是什么?Encoder和Decoder分别干什么?

★★★

自注意力机制(Self-Attention)的计算过程?

★★★★

多头注意力(Multi-Head Attention)的作用?

★★★★

Decoder-only架构(GPT系列)为什么成为主流?

★★★★

Transformer中的前馈网络(FFN)起什么作用?

★★★


二、位置编码(6-9)

为什么Transformer需要位置编码?

★★★

RoPE(旋转位置编码)的原理和优势?

★★★★★

正弦位置编码(Sinusoidal PE)的特点?

★★★

ALiBi(Attention with Linear Biases)位置编码?

★★★


三、分词器(10-13)

BPE(Byte Pair Encoding)分词原理?

★★★★

WordPiece和SentencePiece分词器?

★★★

Token计算:一个汉字/单词大约占多少Token?

★★★★

分词器对模型能力的影响?

★★★


四、大模型训练流程(14-19)

大模型训练的三阶段流程?

★★★★★

预训练阶段的关键技术?

★★★★

SFT(有监督微调)的数据要求?

★★★★

RLHF(基于人类反馈的强化学习)流程?

★★★★★

DPO(直接偏好优化)相比RLHF的优势?

★★★★

GRPO(Group Relative Policy Optimization)是什么?

★★★


五、上下文窗口与KV Cache(20-24)

KV Cache的原理和作用?

★★★★★

GQA(Grouped Query Attention)和MQA?

★★★★

Prompt Caching(前缀缓存)的实现原理?

★★★★

长上下文处理的技术挑战?

★★★★

大模型的长上下文能力与"大海捞针"测试?

★★★


六、模型量化与部署(25-30)

模型量化的原理和INT8/INT4?

★★★★

GPTQ和AWQ量化方法?

★★★★

vLLM推理框架的核心优化?

★★★★★

TGI(Text Generation Inference)和llama.cpp?

★★★

模型参数量与推理资源需求的关系?

★★★★

Flash Attention的加速原理?

★★★★


七、解码策略(31-34)

Temperature参数如何影响输出?

★★★★★

Top-P(核采样)和Top-K采样?

★★★★

束搜索(Beam Search)解码策略?

★★★

各解码策略的Java工程选型?

★★★


八、大模型幻觉与缓解(35-38)

什么是大模型幻觉(Hallucination)?

★★★★

RAG(检索增强生成)如何缓解幻觉?

★★★★★

降低Temperature和约束输出能缓解幻觉吗?

★★★★

幻觉检测与评估方法?

★★★


九、Prompt Engineering(39-43)

CoT(思维链)Prompting的原理?

★★★★★

Few-shot Prompting和Zero-shot的选择?

★★★★

ToT(思维树)和GoT(思维图)?

★★★

结构化输出(Structured Output)的设计?

★★★★

System Prompt设计的最佳实践?

★★★★


十、模型评估(44-46)

大模型常用评估基准(Benchmark)?

★★★★

RAG系统评估(RAGAS框架)?

★★★★

Chatbot Arena(模型排行榜)的意义?

★★★


十一、Scaling Law与涌现能力(47-48)

Scaling Law(缩放定律)是什么?

★★★★

涌现能力(Emergent Abilities)是什么?

★★★


十二、MoE混合专家模型(49)

MoE(Mixture of Experts)架构原理?DeepSeek V3的MoE?

★★★★★


十三、流式输出设计(50)

大模型流式输出的SSE vs WebSocket方案?背压处理?

★★★★★


十四、OpenAI兼容协议(补充)

附. OpenAI兼容协议与多厂商适配的Java工程设计?

★★★★★