← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标(学完能回答的面试题)核心知识(1小时精讲内容)面试速记卡(考前30秒速看)练习题(自测)学习资料

L21 - AI大模型基础

本节目标(学完能回答的面试题)

核心知识(1小时精讲内容)

1. Transformer架构(面试必问)

Transformer是所有现代大模型的底层架构,2017年Google在"Attention is All You Need"论文中提出。

自注意力机制(Self-Attention):


核心公式:
  Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V

三个角色:
  Q(Query)  = "我要找什么"(查询向量)
  K(Key)    = "我是什么"(键向量)
  V(Value)  = "我的内容"(值向量)

直觉理解:
  每个token都会和序列中的所有token计算相关性得分,
  得分越高,说明两个token关联越紧密,生成时越关注对方。

计算复杂度: O(n^2),序列长度翻倍,计算量翻四倍。
这就是为什么长上下文窗口非常昂贵。

多头注意力(Multi-Head Attention):


为什么需要多头?
  单头只能关注一种语义关系,多头让模型同时关注多种关系。

实现:
  将Q/K/V分成h组(如8头),每组独立计算注意力,
  最后拼接所有头的输出,做一次线性变换。

好处: 不同头关注不同维度——有的关注语法、有的关注语义、有的关注位置。

位置编码(Positional Encoding):


问题: Transformer本身没有顺序概念("我爱你"和"你爱我"对它一样)
解决: 注入位置信息

主流方案:
  正弦编码(原始): sin/cos函数,固定公式
  RoPE(旋转位置编码): 通过旋转角度编码位置,可外推到更长序列
  ALiBi: 直接在注意力分数上加距离惩罚

2026面试热点: RoPE是GPT-4、DeepSeek、Qwen等主流模型的位置编码方案,
支持通过NTK-aware缩放扩展上下文长度。

2. 主流模型对比(2026面试必考)

模型参数量上下文核心特点适用场景
DeepSeek V41.6T(49B激活)100万MoE架构,MIT开源性价比首选
GPT-5未公开256K推理能力强复杂任务
Claude Opus 4未公开200K长文/代码能力代码/长文档
Qwen 3235B(22B激活)128K中文优秀,开源中文场景
GLM-4130B128K国产多模态多模态场景

DeepSeek V4 面试热点:


面试官: "你们项目用的什么模型?为什么选它?"

回答要点:
1. CSA+HCA混合注意力: token压缩+稀疏注意力,每token FLOPs仅为V3.2的27%
2. MoE架构: 1.6T总参数只激活49B,效果和效率兼顾
3. 100万token上下文: 业界最长,支持超长文档处理
4. 完全开源MIT协议: 企业可自由商用
5. 华为昇腾NPU验证: 国产芯片生态支持

选型考量: 性价比 > 中文能力 > 开源协议 > 数据安全(国产模型)

3. 长上下文 vs RAG(高频对比题)


┌─────────────┬───────────────────┬───────────────────┐
│    维度      │   长上下文        │     RAG            │
├─────────────┼───────────────────┼───────────────────┤
│  简单性      │ 高(无需检索管线)  │ 低(需Embedding+库) │
│  成本        │ 高(长输入token贵) │ 低(只输入相关片段) │
│  准确性      │ 可能被中间信息干扰│ 聚焦相关片段       │
│  实时性      │ 需更新上下文      │ 检索库实时更新     │
│  适用规模    │ 短文档(<50K)      │ 大规模知识库(百万) │
└─────────────┴───────────────────┴───────────────────┘

面试话术:
"长上下文和RAG是互补关系。简单场景(单篇文档问答)用长上下文,
开发成本低。大规模知识库(百万文档、实时更新)必须用RAG。
我们项目两者结合:长上下文处理单次对话引用,RAG管理全局知识库。"

4. Prompt Engineering核心技巧


1. 角色设定: "你是资深Java架构师,请..."
2. 零样本(Zero-Shot): 不给示例,直接让模型回答
3. 少样本(Few-Shot): 给出几个示例再提问,提升准确性
4. 思维链(CoT): "请一步步思考"——引导模型展示推理过程
5. 结构化输出: "请以JSON格式输出"
6. 分步指令: 把复杂任务拆成多步

CoT示例:
  普通提问: "3487 * 2941 = ?"
  CoT提问: "请一步步计算 3487 * 2941"
  效果: CoT能显著提升数学/逻辑推理的准确率

结构化Prompt四要素:
  角色(Role) + 任务(Task) + 格式(Format) + 约束(Constraints)

5. Token与Embedding


Token: 文本的最小单位(中文约1.5字/token)
  "你好世界" → [2435, 7892] → 约2个token

Embedding: Token → 固定维度向量(768/1024/4096维)
  [2435, 7892] → [[0.12, -0.34, ...], [0.56, 0.78, ...]]
  语义相近的文本 → 向量距离近 → 这就是向量检索的基础

工程含义:
  API按Token计费 → Prompt越精简越省钱
  模型有上下文窗口限制(4K~1000K tokens) → 超出要截断或压缩
  Embedding维度越高表达力越强 → 但存储和计算成本也越高

6. 与你的AI定价系统项目对照


你的项目技术选型:
  主模型: GLM(智谱AI)—— 国产模型,数据不出境,合规
  框架:   Spring AI 1.0.7
  存储:   MySQL + MongoDB + Redis
  消息:   RabbitMQ(MQ自动定价管道)

面试讲法:
"我们选GLM是因为合规要求(数据不出境),加上128K上下文满足定价文档需求。
框架选Spring AI,与现有Spring Boot技术栈无缝整合。"

面试速记卡(考前30秒速看)

练习题(自测)

1. 用自己的话解释自注意力机制的Q/K/V分别是什么,计算复杂度是多少

2. 如果面试官问"你们为什么选GLM不选GPT",你怎么回答?列出至少3个理由

3. 场景题:客户有10万份PDF文档要做问答系统,你选长上下文还是RAG?为什么?

4. 写一个结构化的Prompt,让大模型分析一段Java代码的性能问题(包含四要素)

5. 解释Token和Embedding的关系,以及它们在RAG系统中的角色

学习资料