VERL & GRPO

PPO 需要训练一个额外的 Critic 模型来估计 V(s)，内存开销很大（参数量往往和 Actor 相同，占双倍显存）。GRPO 利用语言模型生成任务的特性，同一个输入生成多个结果，通过横向对比直接得出优势。

# GRPO Core Logic
for prompt in batch:
    # 1. Rollout G responses
    responses = policy.generate(prompt, num_return_sequences=G)
    
    # 2. Get rewards (e.g. from Reward Model or rule-based)
    rewards = reward_fn(prompt, responses) # shape: [G]
    
    # 3. Group Relative Advantage
    adv = (rewards - rewards.mean()) / (rewards.std() + 1e-4)
    
    # 4. PPO-style actor update
    ratio = torch.exp(logprob - old_logprob)
    loss = -torch.min(ratio * adv, torch.clamp(ratio, 1-eps, 1+eps) * adv) + kl_penalty

1. 如果所有 r_i 相同，标准差 sigma_G 为 0。为了防止除零，通常会加上 epsilon (如 1e-4)。此时所有 A_i = 0，这意味着模型不需要在这些同等质量的选择中做区分。

2. 即使奖励函数整体发生了偏移（比如从 0~1 变成了 10~11，或同时乘以 10），经过减均值除标准差的归一化后，优势 A_i 完全不变！这极大地增强了训练对抗 Reward Model 不稳定的鲁棒性。

# VERL/vLLM Actor 中常见的张量计算 (Pseudo-code)
with torch.no_grad():
    ref_logprobs = ref_model(input_ids)
    old_logprobs = old_model(input_ids) # 或在 Rollout 时直接记录

# 在 Actor Training 循环中
current_logprobs = current_model(input_ids)

# PPO Ratio (exp(log a) / exp(log b) = exp(log a - log b))
ratio = torch.exp(current_logprobs - old_logprobs)

# KL 惩罚 (基于 Reference Model) 的无偏估计
log_ratio_ref = current_logprobs - ref_logprobs
kl = torch.exp(log_ratio_ref) - log_ratio_ref - 1.0

实践中，我们无法计算整个词表的精确 KL 散度，而是使用按 Token 采样的无偏估计 (Unbiased estimators)：

• PRM (Process Reward Model，过程奖励模型): 为推理过程的每一步（Step-level）单独打分，能够精准定位错误发生的节点。（如 OpenAI 的 Let's Verify Step by Step）。
• Token 级 KL 惩罚 (Token-level KL): 虽然外部奖励（如对错）是全局的，但 KL 惩罚是按 Token 计算并加到每个 Token 的奖励上的。这能在一定程度上为正确的 Token 提供“锚点”，保留细粒度信号。
• GAE (广义优势估计): 如果引入 Critic 模型，它可以评估每个状态（即当前 Token 之前的前缀）的期望价值，从而计算出每个 Token 对应的细粒度时序差分残差 (TD Residuals)。这就是为什么 PPO 虽然需要 Critic，但在信用分配上比只用最终奖励的 REINFORCE 更好。

生成长文本序列的自回归过程是典型的 Memory-Bound (显存带宽瓶颈)，需要 vLLM 这种具有 PagedAttention 机制的高效推理引擎。而计算梯度是 Compute-Bound (算力瓶颈)，适合 3D 并行的 Megatron-LM 或 FSDP。通过解耦，两种任务都能跑在最适合的引擎上。

唯一的代价是：在 Actor 训练完成几次更新后，需要把模型权重 (Weights) 同步回 vLLM 的显存中，这引入了进程间通信的开销。对于大型集群，这部分通常通过 NVLink 或高速 RDMA 网络异步完成 (如 AReaL 的架构)。

假设同一个 prompt 上，temperature=0.2 时 4 个答案 reward 近似为 [0.61, 0.60, 0.62, 0.61]，那么组内标准差很小，优势几乎都接近 0。模型会收到“这些答案差不多”的信号。若 temperature=1.1 时 reward 变成 [0.95, 0.10, 0.78, -0.20]，组区分度更大，但方差也会显著升高。工程上常取 G=4 或 8、temperature≈0.7~1.0，再结合任务类型调参。

若 advantage=2.0，ratio=1.6，ε=0.2，则未裁剪目标为 1.6×2=3.2；裁剪后上限是 1.2×2=2.4。PPO/GRPO 会选更保守的那个，从而阻止一次更新把该 token 概率拉得过猛。反过来若 advantage 为负，裁剪也会阻止概率被一次性打得太低。

# Example RL batch
input_ids.shape       = [8, 512]
attention_mask.shape  = [8, 512]
position_ids.shape    = [8, 512]
response_mask.shape   = [8, 512]
old_logprobs.shape    = [8, 128]
ref_logprobs.shape    = [8, 128]
rewards.shape         = [8]
advantages.shape      = [8, 128]  # after token broadcast

这里常见的坑是：有些张量按整句存储（如 rewards=[B]），有些按 response token 存储（如 old_logprobs=[B,T_resp]）。真正算 loss 前，通常需要把句级信号 broadcast 到 token 级，再乘上 response_mask。

token_loss = ppo_loss_per_token(current_logprobs, old_logprobs, advantages)
masked_loss = token_loss * response_mask
loss = masked_loss.sum() / response_mask.sum()

这段逻辑看起来简单，但它非常关键：它保证 prompt 区域不会平白给梯度，padding 区域不会污染平均值，长短句也能被合理归一化。

# tensors of shape [batch_size, seq_len]
reward_env = verifier_score(response)       # e.g., [8.0, 0.0, 8.0, ...]
reward_fmt = format_bonus(response)         # e.g., [1.5, 1.5, 0.0, ...]

# length penalty often applied to final token or distributed
penalty_len = length_penalty(response)      # e.g., 0.01 * len(response)

# KL penalty is computed per-token: log(P_theta) - log(P_ref)
kl_divergence = log_probs - ref_log_probs
penalty_kl = beta * kl_divergence           # beta is often dynamically adjusted

# Final assembly (often done per-token for PPO, or summed for GRPO)
reward_final = reward_env + reward_fmt - penalty_len - penalty_kl.sum(dim=-1)

注意：KL 惩罚通常是在 token 级别计算并参与 advantage 估计的，而 env reward 和 format reward 通常只在最后一个 token 给定。这就涉及到了 credit assignment 的问题。

假设有一批数据的 env reward 是 [0, 100, 0, 100]，均值为 50，方差极大。如果不做归一化，梯度的方差会非常大，导致训练极不稳定。GRPO 通过直接减去 batch 均值并除以标准差来进行优势估计（Advantage Estimation），本质上自带了 Reward Normalization 的效果。

• ✅ 检查 reward 的均值 / 方差是否突然漂移 (极有可能导致 Advantage 爆炸)
• ✅ 检查 ratio 是否大量超出 [1-ε, 1+ε] (意味着 Clipping 机制经常被触发，策略偏离过远)
• ✅ 检查 KL 是否突然飙升 (Reward Hacking) 或长期贴近 0 (不学习)
• ✅ 检查 response_mask / padding mask 是否正确 (最常见的低级 Bug)
• ✅ 检查 old_logprob 是否真来自 rollout 时的旧策略 (异步系统容易用错版本)
• ✅ 检查 reward shaping 各项量纲是否失衡 (例如 KL 惩罚完全掩盖了 Env Reward)

PPO/GRPO 的核心公式包含 ratio = exp(log_prob - old_log_prob)。在长序列生成中，如果累积的策略差异过大：

如果不做 Clipping（或者 Clipping 的 loss 没有被正确传播），梯度就会被放大 3000 倍，导致下一次更新直接 NaN。这就是为什么 clip_range (通常为 0.2) 如此重要。

在 VERL 等系统中，Rollout (vLLM) 和 Actor Update (Megatron/DeepSpeed) 是分布在不同 GPU 上的。如果 vLLM 生成数据太慢，Actor 已经更新了 3 个 step，此时 vLLM 才把基于 version-1 权重生成的数据发过来给 version-4 的 Actor 训练。

这种极端的 Off-policy 数据会导致 KL 散度极高，PPO 算法会疯狂拒绝这些数据（所有的 ratio 都被 clip），最终表现为：系统在跑，GPU在烧，但 loss 不降，能力不涨。