← 返回首页 📖 📖 Wiki知识库
📐 学习维度 本篇是 📖 📖 Wiki知识库 🏠 首页 🛤️ 学习路径 📚 全部文章

LLM长上下文与位置编码外推深度实战 - 二、位置编码的本质:为什么 Transformer 需要位置信息

本文是 LLM长上下文与位置编码外推深度实战 的分章阅读版。

二、位置编码的本质:为什么 Transformer 需要位置信息

2.1 Transformer 的"位置盲"问题

Self-Attention 公式:


Attention(Q, K, V) = softmax(QK^T / √d) × V

关键缺陷:Attention 是集合操作,不区分 token 顺序。把"我打你"和"你打我"输入 Transformer,得到完全相同的注意力分布——只是 Q/K/V 的内容不同,但缺少"谁在前谁在后"的信号。

解决方案:在输入中注入位置信息。

2.2 三种位置编码方案

类型代表思想
绝对位置编码sinusoidal, learned PE给每个位置 1, 2, 3... 一个 embedding
相对位置编码T5 Relative, ALiBiattention 用相对距离 m-n
旋转位置编码RoPE用旋转矩阵编码相对位置

演化路径:绝对 → 相对 → 旋转(本质还是相对,但数学形式优雅)。

2.3 Sinusoidal 编码(Vaswani 2017)


PE(pos, 2i) = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))

优点:无需训练,平滑连续。

缺点:绝对位置,不能外推(超出训练范围 sin 值飘忽)。

2.4 Learned PE(GPT/BERT 时代)

每个位置一个可学习 embedding,直接加到 token embedding 上。

优点:简单,易学。

缺点:



相关页面