2.2.1. 输出范式的革命性变革

（1）传统LLM范式（黑箱输出）：$Question \rightarrow LLM \rightarrow Answer$

• 缺陷：无中间过程，错误无法追溯，复杂问题准确率低；

（2）推理模型范式（透明推导）：$Question \rightarrow LLM \rightarrow Reasoning\ Chain \rightarrow Answer$

• 优势：推理过程可解释、可验证，复杂问题拆解后难度降低；
• 形式化表示： $Output = [R_1, R_2, ..., R_k, A]$ ，其中 $R_i$ 是第 $i$ 步推理， $A$ 是最终答案。

2.2.2. CoT的核心延伸：大规模应用（Scaling CoT）

• 推理模型的进阶方向：不仅在小样本提示中使用CoT，更通过预训练、微调、强化学习让模型“主动生成高质量CoT”，而非依赖人工设计的提示模板。

• 关键目标：让模型学会“自主拆解问题”，例如面对“复杂方程求解”，能自动生成“移项→化简→求解→验证”的推理链。

2.3.1. 识别特征（基于ChatGPT 5 Thinking实例）

推理模型与传统LLM的三大显著差异，可通过用户交互界面直接识别：

1. 思考阶段可视化：

   • 显示“Thinking”状态及思考时长（如5s），对应模型内部生成推理链的过程；
   • 技术本质：推理链生成需要额外的计算步骤，模型会暂停答案输出，专注于推理链构建。

2. 推理链完整性：

   • 答案包含“条件分析→步骤推导→结论”的完整逻辑，而非直接给出结果；
   • 实例：计算小熊年龄时，模型会考虑“生日是否已过”的边界条件（“若2025年生日已过则5岁，否则4岁”）。

3. 推理链默认隐藏：

   • 用户看到的是“思考后的总结答案”，完整推理链（包含冗余推导、中间错误修正）不展示；
   • 技术原因：推理链token数远多于答案，展示会增加用户阅读负担，且可能暴露模型的推理缺陷。

2.3.2. 计费规则

推理模型的计费核心是“推理token计入输出成本”，这是由其“推理链+答案”的输出结构决定的：

1. OpenAI/Anthropic计费规则：完整的推理token（包括隐藏部分）+ 答案token，而非仅用户看到的答案token；
2. Google Gemini 2.5 Pro计费规则：推理token不可见但占用上下文窗口（Context Window），上下文窗口大小直接影响推理链长度上限；

3.1.1. 代码推理基准（Code Reasoning）

（1）任务类型：解决编程问题、修复bug、代码优化；

（2）核心要求：模型生成的代码需通过所有测试用例（Test Cases），推理链需包含“问题分析→算法选择→代码实现→测试验证”步骤；

（3）代表数据集：

• HumanEval：包含164个Python函数生成任务，每个任务有详细的文档字符串和测试用例；
• CodeForces：编程竞赛平台数据集，包含不同难度的算法题（如动态规划、图论）；
• SWE-bench：软件工程基准，要求模型修复真实项目中的bug（如GitHub开源项目的issue）；

3.1.2. 数学推理基准（Math Reasoning）

（1）任务类型：解决复杂数学问题（如奥数、竞赛题、代数方程）；

（2）核心要求：模型需生成“逐步推导过程”，最终答案需与标准答案一致；

（3）代表数据集：

• AIME（American Invitational Mathematics Examination）：美国高中数学竞赛，侧重多步代数、几何推理；
• GSM8K：包含8.5k个小学数学问题，需1-2步推理；

3.1.3. 基准数据集的共性特征

• 数据结构：每个样本包含“问题（Problem）→ 推理链（Reasoning Chain）→ 答案（Answer）→ 验证用例（Test Cases）”；

• 难度梯度：从简单（1步推理）到复杂（10+步推理），覆盖不同推理能力层级；

• 评估方式：客观自动评估（代码通过测试用例、数学答案匹配），无主观偏差。

3.2.1. 数学推导

（1）前提假设：设总尝试次数为n，其中成功次数为c，失败次数为n-c；每次尝试独立，成功概率为p，失败概率为1-p。

（2）公式推导：

• “k次尝试均失败”的概率为 $\binom{n-c}{k} / \binom{n}{k}$ （从n次尝试中选k次，均为失败尝试）；
• “至少1次成功”的概率为总概率1减去“均失败”概率，即：$Pass @ k=1-\frac{\binom{n-c}{k}}{\binom{n}{k}}$

（3）特殊情况：Pass@1（单次生成成功的概率），公式简化为： $Pass@1 = \frac{c}{n}$ ，直接反映模型的“单次推理准确率”。

3.2.2. 衍生指标：Cons@k（Consensus at k）

（1）定义：对k次生成结果进行“多数投票”，若投票结果与真值一致，则判定为成功；

（2）数学表示： $Cons@k = P(majority({A_1, A_2, ..., A_k}) = Ground\ Truth)$ ；

（3）优势：降低单次生成的随机性影响，更适合评估“高风险推理任务”（如医疗诊断、金融分析）。

3.2.3. 指标的影响因素与适用场景

（1）影响因素：

• 采样数k：k越大，Pass@k越高（尝试次数越多，成功概率越高）；
• 温度系数Temperature（T）：T越高，生成越随机，Pass@k提升幅度越明显（适合探索多种推理路径）；T越低，生成越确定，Pass@k提升幅度平缓（适合聚焦最优推理路径）；

图2 Pass@K与K，T的关系

如图所示，当k从1增至100时，Pass@k从0.1提升至0.4（T=1.0），而T=0.0时仅提升至0.2。

（2）适用场景：

• Pass@k：适用于“检查成本低、可接受高延迟”的场景（如离线代码生成、批量数学计算），可通过增加k提升成功率；
• Pass@1：适用于“要求单次生成准确、低延迟”的场景（如实时问答、在线编程辅助），需优先优化模型的单次推理能力；
• Cons@k：适用于“错误成本高、需多人共识”的场景（如法律文书推理、学术论文审核）。

4.3.1. 奖励1：验证推理链存在（$R_{CoT}$）

图3 验证推理链存在的实例

（1）目标：激励模型生成完整的推理链，而非直接输出答案；

（2）验证逻辑：

• 文本长度校验：推理链长度需超过阈值（如问题长度的2倍）；
• 关键词校验：推理链需包含“因为”“所以”“首先”“其次”“计算”“推导”等逻辑连接词；
• 结构校验：推理链需包含“问题分析→步骤拆解→结论推导”的完整结构；

（3）数学表示： $R_{CoT} = 1$ （满足所有校验）或 $0$ （不满足）。

4.3.2. 奖励2：验证答案正确性（$R_{Accuracy}$）

图4 验证答案正确性的实例

（1）目标：激励模型生成正确的答案，推理链需服务于“正确答案”；

（2）验证逻辑：

• 代码推理：生成的代码通过所有测试用例（如函数返回值与预期一致）；
• 数学推理：答案与地面真值完全匹配（如方程的实根和为1）；

（3）数学表示： $R_{Accuracy} = 1$ （正确）或 $0$ （错误）。

5.2.1. PPO的单样本优势值

（1）定义： $A_t = Q(S_t, a_t) - V(S_t)$ ，其中 $Q(S_t, a_t)$ 是状态 $S_t$ 下选择动作 $a_t$ 的动作价值， $V(S_t)$ 是状态 $S_t$ 的价值函数；

（2）缺陷：仅考虑单个样本的“绝对优势”，容易导致模型过度聚焦于局部最优推理路径，缺乏全局探索。

5.2.2. GRPO的群体相对优势值

图5 GRPO的Reward计算公式

（1）定义：对于包含G个样本的群体 ${o_1, o_2, ..., o_G}$ （每个样本 $o_i$ 是一个完整的“问题→推理链→答案”序列），样本 $o_i$ 的优势值为：$\hat{A}_{i,t}=\frac{r_{i}-mean\left(\{r_1,r_2,\cdots,r_G\}\right)}{std\left(\{r_1,r_2,\cdots,r_G\}\right)}$

变量定义：

• $r_i$ ：样本 $o_i$ 的总奖励（ $r_i = R_{CoT}(o_i) + R_{Accuracy}(o_i)$ ）；
• $mean({r_1,...,r_G})$ ：群体的平均奖励；
• $std({r_1,...,r_G})$ ：群体奖励的标准差。

（2）物理意义：优势值是样本奖励在群体中的“标准化Z分数”，反映样本的“相对优势”（比群体平均水平好多少）；

（3）优势：减少个体奖励波动的影响，提升训练稳定性；鼓励模型探索“比群体平均更好的推理路径”，而非仅优化单个样本的绝对优势。

5.3.1. GRPO损失函数

[ \begin{aligned} \mathcal{J}{\text{GRPO}}(\theta) = \mathbb{E}{[q \sim P(Q), {o_i}{i=1}^G \sim \pi{\theta_{\text{old}}}(O|q)]} \Bigg[ & \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \Bigg{ \min \Bigg( \frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q,o_{i,<t})} \hat{A}{i,t}, \quad \text{clip} \Bigg( \frac{\pi\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q,o_{i,<t})}, 1-\varepsilon, 1+\varepsilon \Bigg) \hat{A}{i,t} \Bigg) \Bigg} & - \beta , \mathbb{D}{\text{KL}}\big[ \pi_\theta | \pi_{\text{ref}} \big] \Bigg] \end{aligned} ]

参数解释：

• 期望项 $\mathbb{E}[q\sim P(Q), {o_i}_{i=1}^G \sim \pi_{\theta_{old}}(O|q)]$ ：对“问题分布 $P(Q)$ ”和“旧策略生成的群体样本分布 $\pi_{\theta_{old}}(O|q)$ ”取期望，保证训练覆盖多样的问题和推理路径； > - ( q \sim P(Q) )：从问题分布中采样一个问题 (q)。 > - ( {o_i}{i=1}^G \sim \pi{\theta_{\text{old}}}(O|q) )：从旧策略 (\pi_{\theta_{\text{old}}}) 中采样 (G) 个回答（输出序列），针对同一个问题 (q)。
• 群体平均 $\frac{1}{G}\sum_{i=1}^G$ ：对群体中的G个样本取平均，利用群体相对优势值优化；
• 序列平均 $\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}$ ：对每个样本的 $|o_i|$ 个token取平均，平衡不同长度推理链的贡献；
• 裁剪项 $min[..., clip(...)]$ ：与PPO一致，限制策略比的波动范围； > - (\pi_\theta)：当前要优化的策略。 > - (\pi_{\theta_{\text{old}}})：旧策略，用于重要性采样。 > - (o_{i,t})：第 (i) 个回答的第 (t) 个 token。 > - (q, o_{i,<t})：问题 + 该回答的前 (t-1) 个 token 作为上下文。 > - (\hat{A}_{i,t})：优势函数估计，对于第 (i) 个回答的第 (t) 个 token。 > - (\varepsilon)：PPO 的 clip 范围超参数。
• KL惩罚项 $-\beta \mathbb{D}_{KL}[\pi_\theta || \pi_{ref}]$ ：新增项，通过KL散度限制新策略与参考模型的偏差，避免模型忘记基础推理能力。 > - (\beta)：KL 惩罚系数。 > - (\pi_{\text{ref}})：参考策略（通常为预训练模型或SFT模型，不变）。 > - (\mathbb{D}{\text{KL}})：KL 散度，用于约束 (\pi\theta) 不要偏离 (\pi_{\text{ref}}) 太远。

5.3.2. PPO损失函数

$\mathcal{J}_{\text{PPO}}(\theta) = \mathbb{E}_{[q \sim P(Q), o \sim \pi_{\theta_{old}}(O|q)]} \frac{1}{|o|} \sum_{t=1}^{|o|} \min \left[ \frac{\pi_{\theta}(o_t|q, o_{<t})}{\pi_{\theta_{old}}(o_t|q, o_{<t})} A_t, \text{clip} \left( \frac{\pi_{\theta}(o_t|q, o_{<t})}{\pi_{\theta_{old}}(o_t|q, o_{<t})}, 1 - \epsilon, 1 + \epsilon \right) A_t \right]$

与GRPO的相似之处：

• Ratio比率：$\frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q,o_{i,<t})} \hat{A}_{i,t}$ 与 $\frac{\pi_{\theta}(o_t|q, o_{<t})}{\pi_{\theta_{old}}(o_t|q, o_{<t})} A_t$
• Clipping裁剪函数：$min[..., clip(..., 1-\varepsilon, 1+\varepsilon )]$

与GRPO的核心差异：

• 无群体平均项：PPO仅处理单个样本，GRPO则处理群体样本；
• 无KL惩罚项：PPO仅通过裁剪限制策略偏差，对推理任务的稳定性支持不足；
• 优势值：PPO为单样本绝对优势 $A_t$ ，GRPO为群体相对优势 $\hat{A}_{i,t}$ 。

5.3.3. GRPO与PPO流程对比

图7 GRPO与PPO流程对比图

（1）GRPO 流程（上半部分）——GRPO 是专为推理任务设计的 PPO 改进算法，核心是群体化优化：

1. 输入：问题 (q) 输入到策略模型（Policy Model）。
2. 群体采样：策略模型针对同一问题 (q)，生成一组（共 (G) 条）不同的输出序列 ({o_1, o_2, …, o_G})，覆盖多种推理路径。
3. 双模型评估：
   • Reward Model：对每条输出 (o_i) 计算奖励 (r_i)，衡量其正确性与质量。
   • Reference Model：计算策略模型与参考模型之间的 KL 散度，用于约束策略更新幅度，防止偏离过远。
4. 群体计算：在整个群体 ({r_1, …, r_G}) 内，通过标准化（Z-score）计算每条输出的群体相对优势值 (A_i)，即 (\hat{A}_{i} = \frac{r_i - \text{mean}(r)}{\text{std}(r)})。
5. 策略更新：使用 GRPO 损失函数，结合群体优势值 (A_i) 和 KL 约束，更新策略模型。

（2）PPO 流程（下半部分）——PPO 是传统的强化学习算法，核心是单样本迭代优化：

1. 输入：问题 (q) 输入到策略模型（Policy Model）。
2. 单次采样：策略模型生成一条输出 (o)。
3. 三模型评估：
   • Reward Model：对输出 (o) 计算奖励 (r)。
   • Reference Model：计算 KL 散度，用于约束策略更新。
   • Value Model：估计当前状态的价值 (v)。
4. 优势估计：使用 GAE（Generalized Advantage Estimation），结合奖励 (r) 和价值 (v)，计算单条输出的绝对优势值 (A)。
5. 策略更新：使用 PPO 损失函数，结合绝对优势值 (A) 和 KL 约束，更新策略模型与价值模型。

（3）核心差异总结

5.4.1. 问题现象

图8 训练问题现象图

随GRPO训练步数增加，模型的平均输出token数（推理链+答案） 持续上升（如DeepSeek R1-Zero从0增至12000+ tokens），但推理准确率（Pass@1）提升趋于平缓——模型生成大量冗余推理步骤（如重复计算、无关推导），导致推理效率低下。

5.4.2. 问题成因：序列平均项的不良激励

GRPO损失函数中的 $\frac{1}{|o_i|}$ 序列平均项是核心原因：

• 对于短输出（ $|o_i|$ 小）： $\frac{1}{|o_i|}$ 值大，单个token的奖励/惩罚被放大；若优势值 $\hat{A}_{i,t} < 0$ （样本奖励低于群体平均），短输出的惩罚更重；
• 对于长输出（ $|o_i|$ 大）： $\frac{1}{|o_i|}$ 值小，单个token的奖励/惩罚被缩小；若优势值 $\hat{A}_{i,t} < 0$ ，长输出的惩罚更轻；
• 模型的最优策略：主动生成更长的输出以规避惩罚，形成“长度膨胀”的不良激励。

5.4.3. 解决方案：均衡token级贡献

核心思路：移除 $\frac{1}{|o_i|}$ 的序列平均项，让每个token的贡献相等，避免长度依赖的奖励偏差：

（1）$DAPO$（Distributed Advantage Policy Optimization）：

• 改进方案：将“样本内token平均”改为“群体内总token平均”，公式调整为：$\frac{1}{\sum_{i=1}^{G}\left|o_{i}\right|} \sum_{i=1}^{G} \sum_{t=1}^{\left|o_{i}\right|}$
• 物理意义：每个token的贡献权重为“1/群体总token数”，与样本长度无关，均衡短输出和长输出的token贡献。

（2）$Dr. GRPO$（Doctor GRPO）：

• 改进方案：直接移除样本内token平均项，仅保留群体平均项，公式调整为：$\frac{1}{G} \sum_{i=1}^{G} \sum_{t=1}^{\left|o_{i}\right|}$
• 物理意义：每个样本的贡献权重为“1/G”，样本内每个token的贡献权重为“1”，避免长度归一化导致的偏差。

5.4.4. 改进效果

通过DeepSeek R1-Zero的训练曲线验证两种方案的有效性：

• Token效率：随着强化学习的进行，Dr.GRPO的Reward在输出长度为500 tokens左右急剧上升，token效率极高，而普通GRPO的Reward随着输出长度平缓增加（输出长度在800～1000 tokens，Reward增加缓慢几乎保持不变），token效率太低；
• 输出长度：正确答案的输出长度趋于稳定（约400 tokens），错误答案的输出长度被显著压缩（从高于2.0k tokens降至1.0k tokens以下）；
• 输出长度控制：Dr. GRPO/DAPO训练的模型，平均输出长度从12000+ tokens降至4000 tokens以下；
• 准确率保持：Pass@1准确率从0.6提升至0.8，与原始GRPO持平，甚至略有提升。