GAE

1. Critic 是什么？

在强化学习里，智能体（Agent）要在环境中做决策。Actor-Critic 框架把智能体拆成两个部分：

Critic 估计的价值函数定义为：

即：从状态 \(s\) 出发，按照策略 \(\pi\) 执行动作，未来所有奖励的折扣之和的期望值。\(\gamma \in [0,1)\) 是折扣因子，控制未来奖励相对于即时奖励的重要程度。

为什么需要 Critic？在纯策略梯度（REINFORCE）中，我们用整个轨迹的回报 \(G_t\) 来估计梯度，方差极高（噪声大，训练不稳定）。Critic 提供一个基准值（baseline），大幅降低方差，同时训练更快更稳定。

2. 优势函数 A(s, a)

光有 \(V(s)\) 还不够。我们真正关心的是：某个具体动作 \(a\) 比"平均水平"好多少？这正是优势函数的定义：

其中 \(Q^\pi(s,a)\) 是动作价值函数（Q 函数）：在状态 \(s\) 执行动作 \(a\)，然后继续按策略 \(\pi\) 行动的期望总回报：

策略梯度定理可以用优势函数表达（这是 Actor-Critic 的核心）：

问题来了：\(A^\pi(s,a)\) 无法直接计算（需要知道真实的 \(Q\) 和 \(V\)）。我们只能用 Critic 来估计它——这就引出了下面的内容。

3. TD 残差：单步优势估计

最简单的优势估计：只走一步，然后用 Critic 估计剩余价值。这就是时序差分（TD）残差：

解读：\(r_t + \gamma V(s_{t+1})\) 是对 \(Q(s_t, a_t)\) 的一步估计（TD 目标），减去 \(V(s_t)\) 就得到了优势估计 \(\hat{A}_t \approx \delta_t\)。

4. 蒙特卡洛回报：N 步优势

走多步再用 Critic 截断，得到 N 步回报：

对应的 N 步优势估计：

当 \(n \to \infty\) 时，就退化为纯蒙特卡洛（不再用 Critic 截断），此时偏差最小，但方差最大。

这个表格揭示了一个两难困境：步数越多，偏差越小，但方差越大。GAE 用一个优雅的方式解决这个问题。

5. GAE：广义优势估计

GAE（Schulman et al., 2016）的核心思想：不选一个固定的步数 n，而是对所有 n 步估计做指数加权平均！

其中 \(\delta_{t+l} = r_{t+l} + \gamma V(s_{t+l+1}) - V(s_{t+l})\) 是第 \(t+l\) 步的 TD 残差，\(\lambda \in [0,1]\) 是 GAE 的超参数（类似 TD(λ) 中的 λ）。

λ 的两个极端情形

逆向递推计算（重要！）

实际实现时，GAE 从轨迹末尾往回递推，复杂度 O(T)：

这个递推公式是 GAE 代码实现的核心，非常优雅且高效。

6. 交互可视化：GAE 权重如何分布

下方可视化展示了一条长度为 6 的轨迹。拖动 λ 滑块，观察权重 \((\gamma\lambda)^l\) 如何随距离 l 衰减，以及 GAE 是如何从轨迹末尾逆向累积 TD 残差的。

7. λ 调参实战指南

\(\lambda\) 是 GAE 最重要的超参数。下面通过具体场景帮你建立直觉：

8. 常见坑点与 FAQ

9. GAE 在 PPO 训练循环中的位置

GAE 是 PPO（Proximal Policy Optimization）的重要组成部分。完整的 PPO 训练循环如下：

下面是 GAE 的完整 Python 实现（与 PyTorch 兼容）：

import torch

def compute_gae(
    rewards,       # shape [T]   — 每步奖励 r_t
    values,        # shape [T+1] — Critic 输出 V(s_0)...V(s_T)
    dones,         # shape [T]   — episode 是否结束 (bool)
    gamma=0.99,    # 折扣因子
    lam=0.95,      # GAE lambda
):
    T = len(rewards)
    advantages = torch.zeros(T)
    last_gae = 0.0

    for t in reversed(range(T)):
        # 如果 episode 结束，next_value = 0
        next_value = values[t + 1] * (1.0 - float(dones[t]))

        # TD 残差 δ_t
        delta = rewards[t] + gamma * next_value - values[t]

        # GAE 逆向递推: Â_t = δ_t + γλ * Â_{t+1}
        last_gae = delta + gamma * lam * last_gae * (1.0 - float(dones[t]))
        advantages[t] = last_gae

    # 回报 = 优势 + Critic 基线 (用于更新 Critic)
    returns = advantages + values[:-1]
    return advantages, returns


# ---- PPO 训练循环核心 (伪代码) ----
for iteration in range(num_iterations):
    # 1. 采样轨迹
    obs, acts, rews, dones, vals = rollout(actor, critic, env)

    # 2. 计算 GAE 优势
    advantages, returns = compute_gae(rews, vals, dones, gamma, lam)

    # 3. 归一化优势 (重要！减少训练不稳定)
    advantages = (advantages - advantages.mean()) / (advantages.std() + 1e-8)

    # 4. PPO Clip 更新 Actor
    ratio = (new_log_prob - old_log_prob).exp()
    clip_loss = -torch.min(
        ratio * advantages,
        torch.clamp(ratio, 1-eps, 1+eps) * advantages
    ).mean()

    # 5. MSE 更新 Critic
    value_loss = ((critic(obs) - returns) ** 2).mean()