2.1 标准RNN的数学定义

一个标准的循环神经网络在时间步 $t$ 的隐藏状态 $\mathbf{h}_t$ 和输出 $\mathbf{o}_t$ 可以表示为：

其中：

• $\mathbf{x}_t \in \mathbb{R}^{d}$ 是时间步 $t$ 的输入
• $\mathbf{h}_t \in \mathbb{R}^{h}$ 是隐藏状态（网络的“记忆”）
• $\mathbf{o}_t \in \mathbb{R}^{q}$ 是输出
• $\mathbf{W}_{xh} \in \mathbb{R}^{h \times d}$：输入到隐藏层的权重
• $\mathbf{W}_{hh} \in \mathbb{R}^{h \times h}$：隐藏层到隐藏层的权重（循环的核心）
• $\mathbf{W}_{ho} \in \mathbb{R}^{q \times h}$：隐藏层到输出的权重
• $\phi$ 是隐藏层激活函数（通常为 $\tanh$ 或 ReLU）
• $\psi$ 是输出层激活函数（通常为 Softmax 或恒等映射）

💡 关键洞察：$\mathbf{W}_{hh}$ 是RNN的“记忆矩阵”——它决定了当前隐藏状态如何继承上一时刻的信息。正是这个矩阵的循环使用，让RNN拥有了处理变长序列的能力。

2.2 按时间步展开的计算图

BPTT的核心思想是：将循环网络按时间步“展开”成一个前馈网络。

对于一个长度为 $T$ 的序列，展开后的计算图为：

1
x₁ → h₁ → o₁ → L₁
2
↑    ↑
3
Wxh  Whh
4
     ↓
5
x₂ → h₂ → o₂ → L₂
6
↑    ↑
7
Wxh  Whh
8
     ↓
9
...
10
x_T → h_T → o_T → L_T

注意：所有时间步共享同一组参数（$\mathbf{W}_{xh}, \mathbf{W}_{hh}, \mathbf{W}_{ho}$）。这是RNN与前馈网络的关键区别——也是BPTT梯度推导的难点所在。

2.3 损失函数

对于序列数据，总损失是所有时间步损失之和：

其中 $\mathbf{y}_t$ 是时间步 $t$ 的真实标签。

3.1 梯度的“两条路径”

在BPTT中，损失 $L$ 对参数 $\mathbf{W}_{hh}$ 的梯度需要沿着两条路径传播：

1. 同一时间步内：通过 $\partial \mathbf{o}_t / \partial \mathbf{W}_{hh}$ 直接传播
2. 跨时间步：通过隐藏状态 $\mathbf{h}_t$ 对 $\mathbf{h}_{t-1}$ 的依赖关系传播

对于参数 $\mathbf{W}_{hh}$，总梯度为所有时间步贡献之和：

3.2 单个时间步的梯度展开

根据链式法则，$\partial L_t / \partial \mathbf{W}_{hh}$ 可以展开为：

这个公式的含义是：时间步 $t$ 的损失，受到从时间步 $k$ 到 $t$ 的所有隐藏状态的影响。

其中最关键的是 $\partial \mathbf{h}_t / \partial \mathbf{h}_k$，它表示了隐藏状态在时间上的传播。

3.3 隐藏状态的时间传播——核心推导

根据隐藏状态的更新公式 $\mathbf{h}_i = \phi(\mathbf{W}_{xh}\mathbf{x}_i + \mathbf{W}_{hh}\mathbf{h}_{i-1} + \mathbf{b}_h)$，我们有：

其中 $\text{diag}(\phi'(\mathbf{h}_{i-1}))$ 是对角矩阵，对角线上是激活函数导数在各隐藏神经元上的值。

因此，从时间步 $k$ 到 $t$ 的梯度传播为：

这就是BPTT的核心公式——一个从 $k+1$ 到 $t$ 的矩阵连乘。

3.4 完整的梯度表达式

将上述结果代入，得到 $\partial L_t / \partial \mathbf{W}_{hh}$ 的完整表达式：

最终，总梯度为：

🔑 核心公式的直观理解：这个双重求和告诉我们——每一个时间步的损失，都受到所有历史时间步的影响，而影响的强度由一连串矩阵乘积决定。距离越远（$t-k$ 越大），连乘的项越多，梯度就越容易出问题。

4.1 数学根源：矩阵连乘的指数行为

观察 $\partial \mathbf{h}_t / \partial \mathbf{h}_k$ 的表达式：

这个连乘的行为取决于矩阵 $\mathbf{W}_{hh}^{\top} \cdot \text{diag}(\phi'(\mathbf{h}_{i-1}))$ 的谱范数（即最大奇异值）：

• 如果谱范数 < 1：连乘结果指数级衰减 → 梯度消失
• 如果谱范数 > 1：连乘结果指数级增长 → 梯度爆炸

对于 $\tanh$ 激活函数，$\phi'(\mathbf{h}) = 1 - \tanh^2(\mathbf{h}) \in (0, 1]$，其最大值恰好为1。这意味着：

• 当 $\| \mathbf{W}_{hh} \| < 1$ 时 → 梯度消失（更常见）
• 当 $\| \mathbf{W}_{hh} \| > 1$ 时 → 梯度爆炸（虽少见，但破坏性极强）

4.2 梯度消失：为什么RNN“记不住”长序列？

当 $\| \mathbf{W}_{hh} \| < 1$ 时：

其中 $\gamma = \max(\phi') \leq 1$。当 $t-k$ 较大时（即依赖关系较长），梯度指数级趋近于0。

直观表现：

• 短期依赖有效：相邻时间步的梯度（如 $t-k=1$）衰减很小，模型可以学习局部关系
• 长期依赖失效：远时间步的梯度（如 $t-k=10$）几乎为0，模型无法捕捉跨度较大的依赖

📌 实例：在一个100个单词的句子中，第1个单词对第100个单词的影响，在BPTT中需要经过99次矩阵连乘。如果每次乘法的谱范数为0.9，那么 $0.9^{99} \approx 3 \times 10^{-5}$——梯度几乎完全消失了。

4.3 梯度爆炸：虽不常见，但破坏性极强

当 $\| \mathbf{W}_{hh} \| > 1$ 时，梯度会指数级增长。

梯度爆炸虽然不如梯度消失常见（因为权重初始化通常会控制 $\| \mathbf{W}_{hh} \|$ 在1附近），但一旦发生，后果极其严重：

• 梯度值变为 NaN（无穷大）
• 参数更新步长极大，模型权重发散
• 训练彻底崩溃

在实际训练中，梯度爆炸更容易被检测到（梯度值突然变得极大），而梯度消失更隐蔽（训练缓慢但不崩溃）。

5.1 为什么需要梯度裁剪？

梯度爆炸的解决方案相对直接——在反向传播过程中限制梯度的大小。

梯度裁剪（Gradient Clipping）的核心思想是：如果梯度的范数超过某个阈值，就将其缩放到该阈值以内，同时保持梯度方向不变。

5.2 基于范数的梯度裁剪（Norm-based Clipping）

最常用的方法是基于全局范数的梯度裁剪。

设所有参数的梯度为 $\mathbf{g} = [g_1, g_2, \ldots, g_N]$，其 $L_2$ 范数为：

设定阈值 $\theta$（通常称为 max_norm），裁剪后的梯度为：

关键特性：

• 梯度方向保持不变（只改变模长）
• 梯度范数被限制在 $\theta$ 以内
• 所有参数梯度统一缩放，保持相对大小关系

💡 为什么是全局裁剪而非逐层裁剪？ 如果逐层独立裁剪，会破坏不同层之间梯度的相对比例，影响优化 dynamics。全局裁剪保持了梯度的方向信息，是更合理的选择。

5.3 阈值 $\theta$ 如何设置？

阈值的选择是梯度裁剪中最关键的超参数：

经验法则：

1. 从较大的值开始（如 1.0 或 5.0），观察训练过程中梯度的平均范数
2. 如果出现梯度爆炸（loss突然变为NaN），降低阈值
3. 如果训练过于稳定但收敛慢，适当提高阈值

常见实践：

• 很多研究将阈值设为 1.0
• 一些工作中阈值设为 5.0、10.0 甚至更大
• 建议监控梯度范数的统计分布，将阈值设为平均范数的 2-3 倍

PyTorch中的实现：

1
import torch
2
import torch.nn as nn
3

4
# 在反向传播之后、优化器更新之前进行梯度裁剪
5
loss.backward()
6
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
7
optimizer.step()

clip_grad_norm_ 函数会计算所有参数的梯度总范数，如果超过 max_norm，则统一缩放。

5.4 Python实现：从零实现梯度裁剪

1
import numpy as np
2

3
def clip_gradients(parameters, gradients, max_norm):
4
    """
5
    基于全局L2范数的梯度裁剪
6

7
    Args:
8
        parameters: 模型参数列表
9
        gradients: 与parameters对应的梯度列表
10
        max_norm: 梯度范数的阈值
11

12
    Returns:
13
        clipped_gradients: 裁剪后的梯度列表
14
    """
15
    # 计算所有梯度的L2范数平方
16
    total_norm_sq = 0.0
17
    for grad in gradients:
18
        total_norm_sq += np.sum(grad ** 2)
19
    total_norm = np.sqrt(total_norm_sq)
20

21
    # 如果范数超过阈值，进行缩放
22
    if total_norm > max_norm:
23
        clip_coef = max_norm / (total_norm + 1e-6)
24
        clipped_gradients = [grad * clip_coef for grad in gradients]
25
    else:
26
        clipped_gradients = gradients
27

28
    return clipped_gradients, total_norm
29

30
# 使用示例
31
# 假设有一个3层RNN的参数
32
params = [np.random.randn(10, 10) for _ in range(3)]  # 模拟参数
33
grads = [np.random.randn(10, 10) * 5 for _ in range(3)]  # 模拟梯度
34

35
clipped_grads, norm = clip_gradients(params, grads, max_norm=1.0)
36
print(f"原始梯度范数: {np.sqrt(sum(np.sum(g**2) for g in grads)):.4f}")
37
print(f"裁剪后梯度范数: {np.sqrt(sum(np.sum(g**2) for g in clipped_grads)):.4f}")

5.5 两种梯度裁剪方式的对比

对于RNN训练，强烈推荐使用基于全局范数的裁剪，因为它保持了梯度的方向信息。

6.1 LSTM的核心思想：加法路径替代乘法路径

LSTM引入了一个细胞状态（Cell State） $\mathbf{c}_t$，其更新方式为：

其中 $\mathbf{f}_t$ 是遗忘门，$\mathbf{i}_t$ 是输入门，$\odot$ 是逐元素乘法。

关键差异：在普通RNN中，$\partial \mathbf{h}_t / \partial \mathbf{h}_{t-1}$ 是矩阵乘法（$\mathbf{W}_{hh}^{\top} \cdot \text{diag}(\phi')$）；而在LSTM中，细胞状态的传递路径上是逐元素乘法（$\mathbf{f}_t \odot \mathbf{c}_{t-1}$）。

逐元素乘法的好处是：

• 没有矩阵乘法，不存在谱范数导致的指数衰减
• 遗忘门 $\mathbf{f}_t$ 可以学习为接近1的值，让梯度几乎无损地通过
• 梯度在细胞状态路径上的衰减是逐元素的、可控的，而非全局性的

6.2 GRU的简化设计

GRU（门控循环单元）是LSTM的简化版本，合并了细胞状态和隐藏状态：

其中 $\mathbf{z}_t$ 是更新门。与LSTM类似，GRU通过 $(1 - \mathbf{z}_t) \odot \mathbf{h}_{t-1}$ 这一加法路径，为梯度提供了直接传播的通道。