Transformer是所有现代大模型的底层架构,2017年Google在"Attention is All You Need"论文中提出。
自注意力机制(Self-Attention):
核心公式:
Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V
三个角色:
Q(Query) = "我要找什么"(查询向量)
K(Key) = "我是什么"(键向量)
V(Value) = "我的内容"(值向量)
直觉理解:
每个token都会和序列中的所有token计算相关性得分,
得分越高,说明两个token关联越紧密,生成时越关注对方。
计算复杂度: O(n^2),序列长度翻倍,计算量翻四倍。
这就是为什么长上下文窗口非常昂贵。
多头注意力(Multi-Head Attention):
为什么需要多头?
单头只能关注一种语义关系,多头让模型同时关注多种关系。
实现:
将Q/K/V分成h组(如8头),每组独立计算注意力,
最后拼接所有头的输出,做一次线性变换。
好处: 不同头关注不同维度——有的关注语法、有的关注语义、有的关注位置。
位置编码(Positional Encoding):
问题: Transformer本身没有顺序概念("我爱你"和"你爱我"对它一样)
解决: 注入位置信息
主流方案:
正弦编码(原始): sin/cos函数,固定公式
RoPE(旋转位置编码): 通过旋转角度编码位置,可外推到更长序列
ALiBi: 直接在注意力分数上加距离惩罚
2026面试热点: RoPE是GPT-4、DeepSeek、Qwen等主流模型的位置编码方案,
支持通过NTK-aware缩放扩展上下文长度。
| 模型 | 参数量 | 上下文 | 核心特点 | 适用场景 |
|---|---|---|---|---|
| DeepSeek V4 | 1.6T(49B激活) | 100万 | MoE架构,MIT开源 | 性价比首选 |
| GPT-5 | 未公开 | 256K | 推理能力强 | 复杂任务 |
| Claude Opus 4 | 未公开 | 200K | 长文/代码能力 | 代码/长文档 |
| Qwen 3 | 235B(22B激活) | 128K | 中文优秀,开源 | 中文场景 |
| GLM-4 | 130B | 128K | 国产多模态 | 多模态场景 |
DeepSeek V4 面试热点:
面试官: "你们项目用的什么模型?为什么选它?"
回答要点:
1. CSA+HCA混合注意力: token压缩+稀疏注意力,每token FLOPs仅为V3.2的27%
2. MoE架构: 1.6T总参数只激活49B,效果和效率兼顾
3. 100万token上下文: 业界最长,支持超长文档处理
4. 完全开源MIT协议: 企业可自由商用
5. 华为昇腾NPU验证: 国产芯片生态支持
选型考量: 性价比 > 中文能力 > 开源协议 > 数据安全(国产模型)
┌─────────────┬───────────────────┬───────────────────┐
│ 维度 │ 长上下文 │ RAG │
├─────────────┼───────────────────┼───────────────────┤
│ 简单性 │ 高(无需检索管线) │ 低(需Embedding+库) │
│ 成本 │ 高(长输入token贵) │ 低(只输入相关片段) │
│ 准确性 │ 可能被中间信息干扰│ 聚焦相关片段 │
│ 实时性 │ 需更新上下文 │ 检索库实时更新 │
│ 适用规模 │ 短文档(<50K) │ 大规模知识库(百万) │
└─────────────┴───────────────────┴───────────────────┘
面试话术:
"长上下文和RAG是互补关系。简单场景(单篇文档问答)用长上下文,
开发成本低。大规模知识库(百万文档、实时更新)必须用RAG。
我们项目两者结合:长上下文处理单次对话引用,RAG管理全局知识库。"
1. 角色设定: "你是资深Java架构师,请..."
2. 零样本(Zero-Shot): 不给示例,直接让模型回答
3. 少样本(Few-Shot): 给出几个示例再提问,提升准确性
4. 思维链(CoT): "请一步步思考"——引导模型展示推理过程
5. 结构化输出: "请以JSON格式输出"
6. 分步指令: 把复杂任务拆成多步
CoT示例:
普通提问: "3487 * 2941 = ?"
CoT提问: "请一步步计算 3487 * 2941"
效果: CoT能显著提升数学/逻辑推理的准确率
结构化Prompt四要素:
角色(Role) + 任务(Task) + 格式(Format) + 约束(Constraints)
Token: 文本的最小单位(中文约1.5字/token)
"你好世界" → [2435, 7892] → 约2个token
Embedding: Token → 固定维度向量(768/1024/4096维)
[2435, 7892] → [[0.12, -0.34, ...], [0.56, 0.78, ...]]
语义相近的文本 → 向量距离近 → 这就是向量检索的基础
工程含义:
API按Token计费 → Prompt越精简越省钱
模型有上下文窗口限制(4K~1000K tokens) → 超出要截断或压缩
Embedding维度越高表达力越强 → 但存储和计算成本也越高
你的项目技术选型:
主模型: GLM(智谱AI)—— 国产模型,数据不出境,合规
框架: Spring AI 1.0.7
存储: MySQL + MongoDB + Redis
消息: RabbitMQ(MQ自动定价管道)
面试讲法:
"我们选GLM是因为合规要求(数据不出境),加上128K上下文满足定价文档需求。
框架选Spring AI,与现有Spring Boot技术栈无缝整合。"
1. 用自己的话解释自注意力机制的Q/K/V分别是什么,计算复杂度是多少
2. 如果面试官问"你们为什么选GLM不选GPT",你怎么回答?列出至少3个理由
3. 场景题:客户有10万份PDF文档要做问答系统,你选长上下文还是RAG?为什么?
4. 写一个结构化的Prompt,让大模型分析一段Java代码的性能问题(包含四要素)
5. 解释Token和Embedding的关系,以及它们在RAG系统中的角色