← 课程目录 🚀 从零到一
📐 学习维度 阶段6 · 第22章 AI 大模型基础 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

22.1 大模型怎么说话:Token、注意力与采样

审校 2026-09-25 · 素材来源:L21-AI大模型基础、深度文08-AI大模型基础与面试核心
📑 本篇章节导航 (共7节,点击直达)
Token:模型的货币单位自注意力:每个词看一遍全场采样:为什么每次回答不一样长上下文与 RAG:装进去还是查出来踩坑清单面试怎么问一句话总结

从这一章开始进入 AI 主线。用大模型 API 之前,先回答三个底层问题:模型看到的「文字」是什么?它怎么决定下一个词?为什么同样的提问两次答案不一样?这三个问题分别对应 Token、自注意力(Transformer 中计算词与词相关性的机制)与采样策略——后端工程师不需要会训模型,但这三个概念决定你能不能用好 API。

Token:模型的货币单位

Token(文本被切分后的最小处理单位,中文约 1.5 字一个)是理解大模型计费、限流、上下文的一把钥匙。你好世界 会被切成大约两个 token,configuration 可能切三个。三件事跟着 token 走:API 按 token 计费,输入输出分开算钱,Prompt 越长越贵;上下文窗口按 token 限额(主流 128K 到百万级),System Prompt、历史对话、检索注入、用户输入加当前输出全挤在这一扇门里(23.2 的记忆管理就是管这个预算的);限流按 token 速率计(TPM),超了就 429(22.5 的重试课)。动手算一笔账建立直觉:一个日均 10 万次调用的功能,System Prompt 500 token、对话加检索平均 3000 token,光输入就是 3.5 亿 token/天——Prompt 每精简 10%,每月账单直降一成,这就是「Prompt 工程也是成本工程」的由来。Embedding(把文本映射成固定维度向量的表示方法)是 token 的下一站——语义相近的文本向量距离近,「怎么退货」和「退换货政策」在向量空间里紧挨着,关键词检索对不上、向量检索秒对上——这就是向量检索与 RAG 的数学地基。

自注意力:每个词看一遍全场

Transformer(2017 年论文 Attention is All You Need 提出的架构,所有现代大模型的底座)的核心是自注意力,公式一行,直觉更重要:


Attention(Q,K,V) = softmax(QK^T/sqrt(d_k)) * V

Q=我要找什么  K=我是什么  V=我的内容
直觉: 每个token给序列里所有token打相关性分,
      按分数加权汇总信息——"处理'它'时知道'它'指谁"

「银行」在「河边的银行」和「去银行办卡」里含义不同,就是因为注意力让每个词带上了全场语境。多头注意力(Multi-Head:把 QKV 分成多组并行计算再拼接)让模型同时关注多种关系——有的头管语法、有的管语义、有的管位置。位置编码(给没有顺序概念的模型注入位置信息,主流方案 RoPE 旋转位置编码)补上 Transformer 天生的「不分先后」缺陷——这也是「模型记不住你上周说过什么」的根源:它没有跨请求的存储,每次调用都是一次失忆初见,多轮连续感全靠把历史拼进本次输入(23.2 的记忆工程就是给模型外挂海马体)。要记的工程含义只有一条:注意力要对序列里每对 token 两两计算,复杂度 O(n²)——序列翻倍计算量翻四倍,这就是长上下文昂贵、以及各家拼命做稀疏注意力的原因。

采样:为什么每次回答不一样

模型每步输出的不是词,是词表上的概率分布——「今天天气真」后面「好」的概率 85%。怎么挑出下一个词就是采样策略:temperature(温度:调节分布的陡峭程度)低则分布尖锐、稳定刻板,高则平坦、天马行空;top_p(核采样:只在累计概率前 p 的候选词里随机挑)是更稳的收敛手段,常见搭配 temperature 0.7/top_p 0.9;top_k(只在前 k 个候选里挑)思路相同按个数截断。把 temperature 设为 0 就是贪心选最大概率——但注意:温度为 0 也不保证 100% 可复现,分布式推理的浮点顺序仍有扰动,关键流程必须在业务层做校验与兜底(22.3 的功课)。选型经验:分类抽取、结构化输出用低温;文案创作、头脑风暴用高温——温度是「精确模式」与「发散模式」的旋钮。

长上下文与 RAG:装进去还是查出来

窗口大了(128K 甚至百万),还要 RAG 吗?这是高频追问,答案是互补而非替代。长上下文:全量塞进窗口,简单直接、无需检索管线,但每次调用都为全部 token 付费,且存在「中间信息容易被忽略」的迷失问题。RAG(检索增强生成:先检索相关片段再拼进 Prompt)只把相关片段送进窗口,百万级文档库、频繁更新的知识用它在成本与准确性上都占优。工程口径:单篇文档问答用长上下文省事,十万级文档、知识频繁变更用 RAG——两者也常组合:RAG 管全局知识,长上下文装当轮材料。模型选型同理按场景:中文与合规优先国产开源系,复杂推理用旗舰闭源,性价比场景用 MoE 架构的激活参数小的模型——「按场景选型」永远比「哪个最强」是更好的答案。

踩坑清单

面试怎么问

一句话总结

Token 是货币、注意力是读法、采样是性格——这三个概念把「大模型怎么说话」讲完:计费窗口盯 token、成本瓶颈盯 O(n²)、稳定性盯采样参数,带着这三把尺子,后面 Spring AI 的 API 才不是黑盒。