自 RLHF 提出以来，LLM+RL 的研究一直是热点，从最开始的对齐人类偏好到后来的训练复杂推理模型，RL 已俨然成为一个基础步骤和必要环节。笔者之前的文章中也多次讨论过相关内容，但主要侧重于算法原理和实现过程，但其中的很多根本性问题未做过多讨论，因此本篇将从经典算法到最新的算法展开，主要讨论以下问题：

• • RLHF 的本质是什么，及其与 RL 和有监督学习（SL）的关系
• • 当前的各种优化方法的优化点是什么，其立足角度和收益如何
• • 使用 RL 训练逻辑推理模型，有哪些经验及注意事项

一、从 RL 角度再思考 Post-training

RLHF 是一种使用强化学习方法将 LLM 对齐人类的技术，并逐步延伸到复杂推理模型的训练中，在发展过程中也出现多种算法，包括 PPO，DPO，GRPO，RLOO，REINFORCE 及其衍生版本。在本节中，我们将试图从最基础的 PPO 算法出发，结合 RL 理论，试图从一个统一的视角来理解不同算法的本质、取舍及效果。

首先我们不妨来回顾一下 RLHF (PPO) 的工作流程，这是我们接下来讨论的框架和基础：

1.首先使用经典的有监督方法训练得到一个 SFT 模型，以作为 RL 训练的初始模型(  )以及计算 KL 散度的参考模型(  )；

2.使用人工标注的偏好数据集训练奖励模型  , 最场景的方式是 Bradley-Terry 模型，即通过有监督学习将人类有偏好的结果赋予更高的分数；

3.进行 PPO 强化学习训练，该过程可分为2步：

采样阶段：

• • 对每个提示  ，用  生成回答  ，并计算奖励  （包含KL惩罚项避免偏离SFT）。
• • 计算优势估计  （常见的是GAE）和回报值，并将以上结果存入 experience buffer。

优化阶段：

• • 策略更新：最大化PPO-Clip目标函数：

同时加入熵正则项鼓励探索。

• • 价值函数更新：最小化价值函数损失

 拟合回报值, 其中  表示状态  的实际回报值，可以估计为  。

1.1 RLHF 中的 RL 基础概念

RL 中有一些必要的概念与构成，如环境、状态、动作、奖励等，下面我们将 RLHF 中的各环节对应起来。

状态(State): 初始状态即由用户输入 prompt 

动作(Action)：对于语言模型来说，动作空间由模型词汇表中的所有token组成，即大小为 vocab_size

奖励(Reward):

• • response level：策略  根据当前上下文生成 token，逐步构建的回答  , 在评估时，通常以最后一个 token EOS 的分数代替（这是最常见的做法，上图显示就是这种）。
• • token level: 该方式基于一种认识：每一个 token 是一个 action，生成的完整 completion 构成一个决策序列，这种方式事实上与自然语言的特点并不相容，即人类通常不会逐字去评估一段话，而是看完一整句或整段后进行评估，因此这种方式采用的也比较少。

序列决策：经典 RL 处理的都是序列决策问题，即一次探索由多个交互（动作）构成。而在 RLHF 中，如果我们将 response 看做 action，那么 RLHF 实际上就是一种单步的、即时奖励的 RL。

环境(Environment): 在经典 online RL 中，环境是客观的、能够提供即时反馈，从而帮助模型进行更新；而在 RLHF 中环境实际上由策略模型和奖励模型本身构成，而奖励模型还是预先训练好的、静态的，从这个角度来说，RLHF 更类似于offline RL 或监督学习，而不是online RL。

策略(Policy): 在 RLHF 中，策略即 LLM 本身

1.2 基于策略梯度的更新方法

RLHF 中的算法都是基于策略梯度的 RL 算法，即通过深度学习模型为策略建模，输入某个状态，然后输出动作的概率分布，目标是寻找一个最优策略并最大化该策略在环境中的期望回报。

依据训练数据产生的方式，主流的 RLHF 方法可以大致分为两大类：

• • On-Policy: 在训练过程中，模型主动生成自己的数据样本，进而根据模型当前状态持续探索和更新，这种方式的瓶颈主要在数据生成过程（耗费计算资源和时间），典型方法的如 PPO
• • Off-Policy: 训练依赖于预先收集的数据（或由另一个策略生成的数据），无需实时生成，这种方式样本效率高，典型方法如 DPO

接下来以 On-Policy 的 PPO 算法为例来回顾 RLHF 中策略更新的核心过程，一个典型的 PPO 算法包括以下组成：

• • Actor: 即策略模型，用以生成输出，并根据反馈进行更新
• • Critic: 扮演教练的角色，为每个生成的输出提供即时反馈，并随着模型能力的提升与 Actor 模型同步更新
• • Reward Model: 作为裁判，分配最终得分或偏好评估，预先由偏好数据训练得到，在PPO训练过程中保持不变
• • Reference Model: 作为策略模型的参考，防止演员模型偏离原始预训练分布太远

接下来简要回顾策略优化的过程，强化学习中的目标是优化策略以最大化期望回报

策略的回报定义在所有可能的轨迹上

轨迹  的概率可以表示为

其中轨迹总回报被定义为

在深度学习中，我们通常通过最小化损失函数并使用随机梯度下降来更新参数。然而，由于我们的目标是最大化回报，我们使用随机梯度上升来更新策略

关于  的推导可以参考 深度强化学习（五）：策略梯度的方法^[1] 在此直接给出结果

其中  可以有以下多种形式：

（1）  ：轨迹的总回报

（2）  : 动作  之后的回报，无偏但方差较大

（3） : 增加偏置项的改进版本，以减小方差

（4） ：动作价值函数

（5） : 优势函数，把状态价值函数  作为基线，从  函数减去这个  函数则得到了  函数，RLHF 的主要采用形式，且PPO, GRPO, RLOO等不同算法的差异也主要体现在这里

（6）：时序差分残差，利用  公式即可得到

以上几种方式更加深入的讨论和区别，及其在不同算法上的使用，将在第二节进行深入讨论。

1.3 重要性采样与梯度裁剪

在策略梯度中，除了  外，另一个关键的部分即  采样，如果按照这种方式进行更新，则在每次更新参数后都需要重新采样轨迹，而不能进行多步迭代后，因此样本效率比较低，那么该如何提高样本效率呢？ 答案是重要性采样 (Importance Sampling) 。

重要性采样将已知分布的样本转换为未知分布的样本，如下所示 p(x) 为未知分布，而  为已知分布：

这样就将 on-policy 的形式转化成了 off-policy 的形式，则策略梯度可改写为

这样就从  采样变成了从  采样。

现在我们尝试基于以上过程推导出损失函数。假设当前策略为 ，参数为。我们考虑如何借助当前的找到一个更优的参数，使得。具体来说，由于初始状态的分布和策略无关，因此上述策略下的优化目标可以写成在新策略 的期望形式：

则新旧策略的目标函数之间的差距为：

只要我们能找到一个新策略，使得

就能保证策略性能单调递增，即实现策略更新。由于上式是通过  进行采样的，同样可以采用重要性采样，这样就可以得到替代的优化目标：

在 PPO 中，可以进一步简化优化目标，即

根据拉格朗日乘子法将 KL 散度以惩罚项的形式放到目标函数中，使之变成一个无约束的优化问题

PPO 的另一种截断的形式更加直接，它在目标函数中进行限制，以保证新的参数和旧的参数的差距不会太大 (这也是最常见的形式)，即：

二、主流算法的思路及其比较

在第一节中，我们简要回顾了 RL 在 Post-traing 中的核心过程，但是在 1.2 小节中留下了  未做深入讨论，事实上这也是当前 REINFORCE, ReMax, RLOO, PPO, GRPO, Dr.GRPO 的差异所在。在进行比较之前，我们需要确定几个概念，弄清了这几个关键概念的计算过程，也就理解了不同算法的差别。

Return (回报)：从时间步数  开始的回报  为轨迹的总（折现）奖励  由此还可以得到其递推关系  。

状态值函数定义为在策略  下的当前状态期望回报
$$
V_\pi(s)=\mathbb{E}_\pi\left[G_t \mid s_t=s\right]
$$

动作值函数被定义为在策略  下的当前状态下动作的期望回报

以上二者的关系为，在使用策略  中，状态  的价值等于在该状态下基于策略  采取所有动作的概率与相应的价值相乘再求和的结果: 

使用策略 时，状态s下采取动作a$ 的价值等于即时奖励加上经过衰减后的所有可能的下一个状态的状态转移概率与相应的价值的乘积：

Advantage(优势) 表示相对于基线的差异，通常把状态价值函数  作为基线，从  函数减去这个  函数则得到了  函数，即

2.1 PPO 与 VC-PPO

优势函数A很难精确计算，对于如何估计优势函数，目前比较常用的一种方法为广义优势估计（Generalized Advantage Estimation，GAE），接下来我们简单介绍一下 GAE 的做法。

首先，用  表示时序差分误差，其中 V 是一个已经学习的状态价值函数。于是，根据多步时序差分的思想，有：

然后，GAE 将这些不同步数的优势估计进行指数加权平均：

其中，  是在 GAE 中额外引入的一个超参数,

• • 当  时，  ，也即是仅仅只看一步差分得到的优势；
• • 当  时，  ，则是看每一步差分得到优势的完全平均值。

这样就得到了完整版本的 PPO 损失函数的公式，即

下面通过一个例子来说明主要元素的计算过程

可以看到，PPO 是 token-level 的动作，而其奖励确实 response-level（只在 EOS 位置有奖励值），这种方式实际上会导致奖励非常稀疏。

主流框架的实现可参考：

• • trl/ppo_trainer^[2]
• • OpenRLHF/get_advantages_and_returns^[3]
• • verl/compute_gae_advantage_return^[4]

标准的 PPO 算法直接来源于经典 RL ，对语言序列的特点考虑的有限，特别是在长文本上，对此 VC-PPO 做了一些特异性修正，下面理解一下其核心点：长序列中的值模型偏差及其消除

在 PPO 中，VM 是由 RM 初始化的，而由于 reward 是 response-level 的，即取的是 <EOS> 位置的分数，而分配给靠前token 的分数较低；而 value 是 token-level 的，在给定策略下估计所有在之前的 token 的预期累积奖励。在早期训练阶段，由于 GAE 的反向计算，每个时间步 t 都会存在正偏差，并沿着轨迹累积。

在 GAE 计算过程中，分配给 token 的奖励在传播到前面的标记时以  (通常为0.95)的速率衰减。传播到  位置token 的奖励信号是  。当  很大时，产生的奖励信号基本上为零。而如果设置  则不会出现这种衰减。

在经典 RL，每一步的 action 都能得到奖励值，累积奖励具有高方差，导致收敛速度慢，因此使用 GAE 与 λ=0.95 ，即认为当前的步骤更加重要，未来的步骤折现需要打一个折扣。而在 RLHF 中，一个奖励模型或基于规则的评分机制提供轨迹级别的反馈，这些反馈是非累积的且定义明确的值。

为了平衡以上问题，VC-PPO 提出了一种长度自适应更新策略，确保 TD 误差在短序列和长序列上分布更加均匀，即

这种方式可以更加灵活有效地处理不同长度的序列。

2.2 RLOO

RLOO核心实现细节在于，它使用批次中其他样本的平均奖励来计算基线，而不是平均所有奖励。具体来说，在每个时间步  ，我们从  采样  个输出样本，因此对于一个 prompt 来说，其基线可以定义如下：

在此情况下，其优势函数为：

下面通过一个例子来说明主要元素的计算过程

可以看到 RLOO 与 PPO 的计算过程明显不同，主要体现在：

• • PPO 的计算过程是 token-level 的（即将 token 看做 action），而 RLOO 的计算过程是 response-level 的（即将 response 看做 action）
• • RLOO 没有 PPO 中的 value model(critic) ，而需要对每个 prompt 产生多个输出，即显存占用变少而产生样本变多；
• • PPO 使用 GAE 的方式计算 A 函数，而 RLOO 通过与基线的差值来计算 A 函数

当然，RLOO 也可以通过 token-level 的方式进行计算，更多实现可参考：

• • trl/rloo_trainer (token-level & response-level)^[5]
• • OpenRLHF (token-level)^[6]
• • verl/compute_rloo_outcome_advantage (response-level)^[7]

2.3 GRPO 与 Dr,GRPO

DeepSeek提出的 GRPO 基本上结合了 PPO 与 RLOO 的多采样技巧, 其通过简化值估计并将相同的价值分配给每个 token（即在提示的完成中，每个 token 都分配相同的价值，而不是标准值函数中的折扣奖励）来实现这一点，然后通过蒙特卡洛估计优势或基线。

具体来说，对于给定的prompt s 的一组多个相应  其损失函数可写成

同样可将其拓展为 token-level 的损失函数

其中第  个response 的优势计算方式如下：

直观地说，GRPO 的更新是在批次内比较单个问题与多个答案，这是一种非常简单的方式来计算优势，即特定动作相对于给定状态的平均动作有多好。相对于 PPO，GRPO 通常使用每个提示的样本数量要高得多。

GRPO 的优势计算存在偏差权衡。通过标准差进行归一化会奖励那些在批次中答案正确性变化较小的提问。对于几乎全部正确或全部错误的答案，标准差会较低，优势会较高。

Dr. GRPO 提出在这种情况下移除标准差项，但这会以降低那些全部错误但有少数正确答案的提问的权重为代价，这可能会被视为有价值的信号。

Dr. GRPO 移除了标准差归一化项。这解决了对低奖励方差问题（即几乎所有答案都是正确或错误的）的偏差，在常数缩放因子下等同于 RLOO 估计

回顾一下 RLOO 的优势估计

则有以下缩放等价性

关于 GRPO 还有一个细节是关于 KL 散度的，即在通常的 GRPO 实现中，KL 并不直接作用为 reward 的惩罚项，而是通常直接作用到损失函数中 (DAPO 与 Dr. GRPO 证明KL并非必须项)，即