本文是 LLM长上下文与位置编码外推深度实战 的分章阅读版。
Self-Attention 公式:
Attention(Q, K, V) = softmax(QK^T / √d) × V
关键缺陷:Attention 是集合操作,不区分 token 顺序。把"我打你"和"你打我"输入 Transformer,得到完全相同的注意力分布——只是 Q/K/V 的内容不同,但缺少"谁在前谁在后"的信号。
解决方案:在输入中注入位置信息。
| 类型 | 代表 | 思想 |
|---|---|---|
| 绝对位置编码 | sinusoidal, learned PE | 给每个位置 1, 2, 3... 一个 embedding |
| 相对位置编码 | T5 Relative, ALiBi | attention 用相对距离 m-n |
| 旋转位置编码 | RoPE | 用旋转矩阵编码相对位置 |
演化路径:绝对 → 相对 → 旋转(本质还是相对,但数学形式优雅)。
PE(pos, 2i) = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))
优点:无需训练,平滑连续。
缺点:绝对位置,不能外推(超出训练范围 sin 值飘忽)。
每个位置一个可学习 embedding,直接加到 token embedding 上。
优点:简单,易学。
缺点: