本文是 LLM知识编辑深度实战 的分章阅读版。
Token → Embedding → N 层 Transformer Block → Output
每个 Block:
├── Multi-Head Self-Attention (MHSA)
└── Feed-Forward Network (FFN)
├── Linear1 (up_proj): dim → 4×dim
├── ReLU/GeLU 激活
└── Linear2 (down_proj): 4×dim → dim
关键发现 (Geva et al., 2021):FFN 是一个键值记忆网络。
FFN(x) = Linear2( GeLU( Linear1(x) ) )
Linear1 的每一行 → "key" (识别某种模式)
Linear2 的每一列 → "value" (该模式对应的输出)
例:
Key 1: "苹果公司"的语义模式
Value 1: "Steve Jobs" (训练时的知识)
数学表达:
$$
\text{FFN}(x) = \sum_{i=1}^{4d} \text{GeLU}(\langle k_i, x \rangle) \cdot v_i
$$
其中 $k_i$ 是 Linear1 的第 i 行,$v_i$ 是 Linear2 的第 i 列。
实证研究:
结论:编辑中间层的 FFN 最有效。
研究 (Dai et al., 2022):每个事实对应少数几个"知识神经元"。
实验:
1. 输入 "Eiffel Tower is located in"
2. 追踪每一层的激活
3. 发现:某几个 FFN 神经元在 "Paris" 这个 token 上强烈激活
4. 抑制这些神经元 → 模型输出错误位置