1.1 标准RLHF的流程

标准RLHF流程的四阶段重负：

1. 训练奖励模型（RM） ：需要大量成对偏好数据训练一个独立的奖励模型
2. 加载四个模型：Actor、Critic、Reward Model、Reference Model需同时驻留显存（70B参数模型下，仅模型参数就需约560GB显存）
3. 在线采样与优势计算：需要不断从策略中采样，用GAE计算优势函数
4. 多轮PPO更新：超参数（$\epsilon, \beta, \lambda$）的精细调优往往需要数周实验。整个过程对算力、工程能力和超参数调优的要求极高。

这种复杂性在学术界和工业界都催生了一个根本性的追问：我们真的需要先训练一个奖励模型，再用强化学习去优化它吗？ 或者说，这种“先建模、再优化”的两阶段范式，是否是这个问题的唯一解？

1.2 DPO算法提出背景

2023年，斯坦福大学Rafael Rafailov团队在论文Direct Preference Optimization: Your Language Model is Secretly a Reward Model中给出了一个颠覆性的答案 —— 带KL散度约束的奖励最大化问题，其最优策略与奖励函数之间存在一一对应关系。因此，优化策略等价于优化奖励函数，无需显式构建奖励模型，更无需强化学习的采样循环。这篇论文的核心洞察正如其标题所言：“Your Language Model is Secretly a Reward Model”——你的语言模型本身就隐藏着一个奖励模型。

DPO的核心思想极为简洁：直接优化语言模型以符合人类偏好，无需显式训练独立的奖励模型，也无需复杂的强化学习阶段。它将RLHF的多阶段流程替换为单个训练阶段，本质上是一个监督学习问题。

如果说PPO是“训练一个裁判（奖励模型），再让选手（策略）按照裁判的评分标准去训练”，那么DPO就是“直接给选手看冠军（偏好回答）和淘汰者（被拒绝回答）的对比录像，让它自己领悟评分标准”。前者需要一整套比赛和评分系统，后者仅需一组对比案例。

2.1 起点：带KL约束的RLHF优化目标

标准RLHF的优化目标是最大化带KL散度约束的奖励期望，核心是寻找一个策略 $\pi_\theta$，在最大化奖励的同时，不偏离参考策略 $\pi_{\text{ref}}$ 太远：

各符号的含义：

• $r(x, y)$：奖励函数，对”在输入$x$下生成回答$y$”的质量评分，通常由独立的奖励模型提供。鼓励模型生成高奖励的回答。
• $D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$：KL散度，衡量两个策略分布的差异，防止模型在追求奖励时”走火入魔”。
• $\beta > 0$：KL约束强度系数，控制对齐目标与保持能力之间的权衡。$\beta$ 越大，模型越保守，越接近 $\pi_{\text{ref}}$；$\beta$ 越小，模型越激进，越追求奖励最大化

问题在于，这个目标函数包含对策略 $\pi_\theta$ 的采样期望，而采样操作是不可微的——这正是为什么我们需要PPO这样的强化学习算法来优化它。PPO本质上是在找一个数值解。

2.2 关键洞察：从“数值解”到“闭式解”

DPO的突破性洞察在于：对于上述带KL约束的奖励最大化问题，其最优策略不仅存在，而且可以用奖励函数的闭式表达出来。

注意，KL散度可以展开为：

代入原目标，构造拉格朗日函数求解：

通过变分法求解，对于每个输入 $x$，最优策略 $\pi^*$ 应满足：

其中 $Z(x) = \sum_y \pi_{\text{ref}}(y|x) \exp\left( \frac{1}{\beta} r(x, y) \right)$ 是配分函数（Partition Function） ，用于归一化概率分布。

这个公式的深刻含义：最优策略 $\pi^*$ 是在参考策略的基础上，按照指数比例向高奖励区域偏移的结果。$\beta$ 控制偏移的”温度”——$\beta$ 越小，偏移越集中到最高奖励的回答上；$\beta$ 越大，偏移越平缓，保留更多参考策略的多样性。

逆向看这个公式，奖励函数 $r$ 可以被 $\pi^*$ 和 $\pi_{\text{ref}}$ 表达：

这个看似简单的数学变换，正是DPO”语言模型本身就是奖励模型”的第一个理论基础。它告诉我们：奖励函数与最优策略之间，存在着一一对应的关系。

2.3 Bradley-Terry模型：将偏好转化为概率

在RLHF中，偏好数据通常以成对比较的形式收集：给定输入 $x$，标注者从两个回答 $(y_w, y_l)$ 中选出更喜欢的一个（$y_w$表示”获胜”回答，$y_l$表示”落败”回答）。

Bradley-Terry模型假设人类偏好遵循逻辑斯谛概率。该模型假设：对于一对回答 $(y_w, y_l)$，人类偏好 $y_w$ 胜过 $y_l$ 的概率为：

其中 $\sigma(t) = \frac{1}{1 + e^{-t}}$ 是sigmoid函数。这个假设的直觉是：两个回答的奖励差异越大，人类偏好其中之一的概率就越高。如果 $r(x, y_w) \gg r(x, y_l)$，偏好概率趋近于1；反之则趋近于0；若两者奖励相近，偏好概率约为0.5。

Bradley-Terry模型是DPO推导的第二个理论基础。它将隐式的人类偏好，映射为了一个可计算的概率表达式。

2.4 目标损失函数：将奖励参数化为策略

现在，将第 2.2 节的最优策略表达式代入 2.3 节的Bradley-Terry模型中。注意，配分函数 $Z(x)$ 在相减中完美抵消：

这个公式是DPO的核心方程。它的物理含义是：偏好概率可以直接由当前策略 $\pi_\theta$ 和参考策略 $\pi_{\text{ref}}$ 的对数概率比来表示，完全不需要显式的奖励模型！

这个公式的直觉表明模型的偏好预测完全由以下机制决定：

• 对获胜回答 $y_w$，我们希望 $\pi_\theta(y_w|x) \gg \pi_{\text{ref}}(y_w|x)$（模型相比参考模型，更倾向于生成这个好回答）
• 对落败回答 $y_l$，我们希望 $\pi_\theta(y_l|x) \ll \pi_{\text{ref}}(y_l|x)$（模型相比参考模型，更不倾向于生成这个坏回答）
• 两者的比值差异越大，模型区分好坏的能力越强

于是，DPO的训练目标是最小化负对数似然损失：

这个损失函数的直观理解：

• 分子项 $\log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)}$：衡量当前模型生成“偏好回答”相比参考模型的相对概率提升。
• 分母项 $\log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}$：衡量当前模型生成“被拒绝回答”相比参考模型的相对概率提升。
• 两者之差越大，说明模型越倾向于生成偏好回答而非被拒绝回答。
• $\beta$ 控制着这个差异的缩放程度——$\beta$越大，模型对偏好差异越敏感，优化会更快但可能牺牲多样性。
• sigmoid + 负对数：将问题转化为一个标准的二元分类任务——模型要做的就是学会“区分”偏好和被拒绝的回答。

损失函数的梯度分析：为了更深入理解DPO的优化行为，我们对损失函数关于策略参数 $\theta$ 求梯度：

其中 $\Delta = \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}$。

梯度分析的关键分析：

• 当 $\Delta$ 很大（模型已经能很好地区分好/坏回答）时，$\sigma(\beta \cdot \Delta) \to 0$，梯度趋于0——模型自动停止对已学会样本的过度优化，防止过拟合
• 当 $\Delta$ 很小（模型还无法区分）时，$\sigma(\beta \cdot \Delta) \approx 0.5$，梯度最大——模型集中精力在困难样本上
• 这种自适应加权机制是DPO的一大优势，使得训练过程更加稳定和高效

然而，梯度公式中也隐藏着一个重要问题：$\nabla_\theta \log \pi_\theta(y_l|x)$ 项的系数为负，意味着被拒绝回答的梯度方向是减大概率。当被拒绝回答本身在参考模型中有较高概率时，这个梯度信号会非常强，可能导致模型过度惩罚某些本来合理的回答。这正是DPO”被拒绝样本过度影响”问题的数学根源。

2.5 隐式奖励：语言模型内部的奖励编码

仔细观察上述公式，DPO虽然没有显式训练奖励模型，但它在训练过程中隐式地定义了一个奖励函数：

$r_\theta(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$

这个隐式奖励有一个重要的自归一化特性：在任意输入 $x$ 下，所有可能的 $y$ 上的期望值 $\mathbb{E}_{y \sim \pi_{\text{ref}}}[e^{r_\theta(x,y)/\beta}] = 1$，不需要像显式奖励模型那样额外做归一化处理。

这个隐式奖励函数衡量的是当前策略相比参考策略，在生成回答 $y$ 上的相对优势：

• 如果 $\pi_\theta$ 相比 $\pi_{\text{ref}}$ 在生成 $y$ 上的概率提升了，则 $r_\theta(x, y) > 0$（奖励为正）
• 如果 $\pi_\theta$ 相比 $\pi_{\text{ref}}$ 在生成 $y$ 上的概率下降了，则 $r_\theta(x, y) < 0$（奖励为负）
• 这正是论文标题的由来——策略模型本身就在隐式地编码一个奖励函数。它不需要额外训练，而是在偏好优化的过程中自然地涌现出来。

3.1 训练流程步骤

1. 数据准备：收集偏好数据集 $\mathcal{D} = \{(x_i, y_w^i, y_l^i)\}_{i=1}^N$，其中 $x_i$ 是输入提示，$y_w^i$ 是标注者偏好的回答，$y_l^i$ 是被拒绝的回答。
2. 参考模型加载：加载SFT模型作为 $\pi_{\text{ref}}$，并在训练中冻结其参数。
3. 策略模型初始化：使用同样的SFT模型初始化 $\pi_\theta$ —— 这是DPO的一个重要设计——两个模型从同一状态出发。
4. 前向计算：对每个样本 $(x, y_w, y_l)$，分别用 $\pi_\theta$ 和 $\pi_{\text{ref}}$ 计算四个对数概率：
   • $\log \pi_\theta(y_w|x)$，$\log \pi_\theta(y_l|x)$
   • $\log \pi_{\text{ref}}(y_w|x)$，$\log \pi_{\text{ref}}(y_l|x)$
5. 损失计算：代入DPO损失函数，计算标量损失值。
6. 反向传播：仅更新 $\pi_\theta$ 的参数，$\pi_{\text{ref}}$ 保持冻结。
7. 迭代：重复步骤4-6直到收敛。

关键细节：

• 使用mask机制：只计算回答部分的loss，忽略prompt部分的token
• 标签平滑（Label Smoothing） ：通常将偏好标签设为0.9/0.1而非1.0/0.0，以提高泛化性
• 梯度裁剪：建议使用1.0的梯度裁剪范数，防止梯度爆炸

3.2 核心伪代码

1
import torch
2
import torch.nn.functional as F
3
from transformers import AutoModelForCausalLM
4

5
# ==================== 初始化阶段 ====================
6
# 1. 加载参考模型 (通常是SFT后的模型，冻结)
7
model_ref = AutoModelForCausalLM.from_pretrained("sft_model")
8
for param in model_ref.parameters():
9
    param.requires_grad = False
10

11
# 2. 加载待训练的策略模型 (从SFT模型初始化)
12
model_policy = AutoModelForCausalLM.from_pretrained("sft_model")
13

14
# 3. 加载偏好数据集: (prompt, chosen_response, rejected_response)
15
# chosen_response: 人类偏好的回答
16
# rejected_response: 人类不偏好的回答
17
dataset = load_preference_data("my_preference_data.jsonl")
18

19
# 超参数
20
BETA = 0.1  # KL惩罚系数，控制隐式奖励的缩放
21
LEARNING_RATE = 5e-6
22
BATCH_SIZE = 32
23
optimizer = torch.optim.AdamW(model_policy.parameters(), lr=LEARNING_RATE)
24

25
# ==================== 训练循环 ====================
26
model_policy.train()
27
for epoch in range(num_epochs):
28
    for batch in dataloader(dataset, batch_size=BATCH_SIZE):
29
        prompts, chosen, rejected = batch
30

31
        # ----- Step 1: 前向传播 -----
32
        # 计算策略模型在偏好回答和被拒绝回答上的对数概率
33
        policy_chosen_logps = model_policy(prompts, chosen).log_probs  # shape: (B,)
34
        policy_rejected_logps = model_policy(prompts, rejected).log_probs
35

36
        # 计算参考模型在偏好回答和被拒绝回答上的对数概率 (冻结，无梯度)
37
        with torch.no_grad():
38
            ref_chosen_logps = model_ref(prompts, chosen).log_probs
39
            ref_rejected_logps = model_ref(prompts, rejected).log_probs
40

41
        # ----- Step 2: 计算DPO损失 -----
42
        # 计算隐式奖励之差
43
        implicit_chosen_reward = BETA * (policy_chosen_logps - ref_chosen_logps)
44
        implicit_rejected_reward = BETA * (policy_rejected_logps - ref_rejected_logps)
45
        reward_diff = implicit_chosen_reward - implicit_rejected_reward
46

47
        # DPO损失: 负对数sigmoid
48
        # loss = -log(sigmoid(reward_diff))
49
        loss = -F.logsigmoid(reward_diff).mean()
50

51
        # 可选: 添加一个正则化项，控制策略与参考模型的绝对偏离
52
        # 这有助于缓解DPO的过拟合问题
53
        # kl_regularization = BETA * (policy_chosen_logps - ref_chosen_logps).pow(2).mean()
54
        # loss = loss + 0.01 * kl_regularization
55

56
        # ----- Step 3: 反向传播与优化 -----
57
        optimizer.zero_grad()
58
        loss.backward()
59
        # 梯度裁剪，防止梯度爆炸
60
        torch.nn.utils.clip_grad_norm_(model_policy.parameters(), max_norm=1.0)
61
        optimizer.step()
62

63
        # 监控指标
64
        if step % 100 == 0:
65
            # 计算当前batch的准确率: 模型是否正确区分偏好回答
66
            accuracy = (reward_diff > 0).float().mean()
67
            print(f"Loss: {loss.item():.4f}, Acc: {accuracy.item():.2f}")
68

69
# ==================== 推理阶段 ====================
70
# 训练完成后，model_policy即可用于生成符合人类偏好的回答
71
model_policy.eval()
72
response = model_policy.generate(prompt)

要点总结：

1. 极简架构：训练循环中仅包含前向传播、损失计算、反向传播三步，与标准的有监督微调（SFT）无异。
2. 离线训练：所有训练数据在训练开始前就已准备好，无需与环境交互采样，也无需动态生成数据。
3. 梯度流分析：损失的梯度会同时调整策略对 $y_w$ 和 $y_l$ 的概率——提升 $y_w$ 的概率同时降低 $y_l$ 的概率，但来自 $y_l$ 的梯度往往占主导（这也是DPO梯度不平衡问题的根源）。
4. 参考模型的作用：参考模型在整个训练过程中保持冻结，为策略模型提供了一个锚点，防止策略在优化过程中偏离太远。

4.1 DPO解决的问题

1. 解决了RLHF的工程复杂性：RLHF需要训练独立的奖励模型，再用PPO进行策略优化，流程复杂、超参数敏感。DPO将这一切压缩为一个简单的分类损失函数，只需前向和反向传播，无需采样、无需价值网络、无需裁剪。有估算表明，DPO相比RLHF可节省50-60%的计算成本。
2. 解决了训练不稳定的问题：PPO虽然通过裁剪机制保证了稳定性，但仍然面临奖励震荡、熵崩溃等问题。DPO从根本上避免了强化学习的不稳定性——它本质上是监督学习，优化过程平滑可预测。
3. 解决了超参数敏感的问题：PPO需要精细调优 $\epsilon$、$\beta$、$\lambda$、学习率等多个超参数。DPO的主要超参数仅有 $\beta$ 一个，对超参数的敏感性显著降低。
4. 实现了与RLHF理论上等价的目标：DPO并非一种“简化版”或“近似版”的RLHF。它在数学上隐式地优化了与RLHF完全相同的目标——带KL散度约束的奖励最大化。这意味着DPO在理论上与RLHF享有同样的优化目标，只是实现路径截然不同。

4.2 DPO的创新点

5.1 适应场景

1. 资源受限的团队：算力和工程能力有限，无法支撑PPO的复杂流程。
2. 快速迭代验证：需要快速测试偏好对齐效果，DPO的轻量级特性使其成为理想选择。
3. 偏好明确的场景：当人类偏好相对明确、可以用成对数据充分表达时（如风格控制、安全性对齐）。
4. 已有高质量偏好数据的场景：DPO的效果高度依赖数据质量，有现成高质量偏好数据时效率极高。
5. 不需要细粒度奖励信号的场景：如果不需要为每个生成步骤提供精细的奖励反馈，DPO足够胜任。

5.2 核心优势

5.3 核心局限