后训练之名词解释

认识陌生名词。

以下内容是我个人笔记，用来反复回忆重要名词的，也着重记录了一些数学的推导过程。

（但是，名词之间的逻辑关系较弱，可能不太适合初学建立知识体系。）

---

Exposure Bias：暴露偏差

Compounding Errors：误差积累

强化学习的目标：

$$\max_{\theta} J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \gamma^t r_t \right]$$

RLHF 的策略优化目标函数（带 KL 惩罚）：

$$\max_{\theta} \mathbb{E}_{y \sim \pi_{\theta}(\cdot \mid x)} \left[ r_{\phi}(x,y) - \beta D_{\mathrm{KL}} \left( \pi_{\theta}(\cdot \mid x) \Vert \pi_{\mathrm{ref}}(\cdot \mid x) \right) \right]$$

上式中

$$\log \frac{ \pi(y_i\mid x) }{ \pi_{\mathrm{ref}}(y_i\mid x) }, \qquad y_i\sim\pi(\cdot\mid x)$$

是单个蒙特卡洛样本估计项。而上式的最优化闭式解是：

$$\pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right) }{ \displaystyle \sum_{y'} \pi_{\mathrm{ref}}(y'\mid x) \exp\left(\frac{r_\phi(x,y')}{\beta}\right) }$$

也可以简写为：

$$\pi^*(y\mid x) \propto \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right).$$

最优化闭式解中，常有 $Z$ 是归一化常数，

$$Z(x) = \sum_{y'} \pi_{\mathrm{ref}}(y'\mid x) \exp\left(\frac{r_\phi(x,y')}{\beta}\right).$$

所以也可以记为：

$$\pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right) }{ Z(x) }$$

最优化闭式解证明

固定输入 $x$，将目标函数写成：

$$\max_{\pi} \sum_y \pi(y\mid x) \left[ r_\phi(x,y) - \beta \log \frac{\pi(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} \right].$$

概率分布需要满足归一化约束：

$$\sum_y \pi(y\mid x)=1.$$

构造拉格朗日函数：

$$\mathcal{L}(\pi,\lambda) = \sum_y \pi(y\mid x) \left[ r_\phi(x,y) - \beta \log \frac{\pi(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} \right] + \lambda \left( \sum_y\pi(y\mid x)-1 \right).$$

对 $\pi(y\mid x)$ 求偏导：

$$\frac{\partial\mathcal{L}} {\partial\pi(y\mid x)} = r_\phi(x,y) - \beta \left[ \log \frac{\pi(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} +1 \right] +\lambda.$$

令偏导等于零：

$$r_\phi(x,y) - \beta \left[ \log \frac{\pi^*(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} +1 \right] +\lambda =0.$$

整理得：

$$\log \frac{\pi^*(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} = \frac{r_\phi(x,y)}{\beta} + \frac{\lambda}{\beta} -1.$$

两边取指数：

$$\pi^*(y\mid x) = \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right) \exp\left(\frac{\lambda}{\beta}-1\right).$$

由于

$$\exp\left(\frac{\lambda}{\beta}-1\right)$$

与 $y$ 无关，所以它可以作为归一化常数。定义：

$$Z(x) = \sum_{y'} \pi_{\mathrm{ref}}(y'\mid x) \exp\left(\frac{r_\phi(x,y')}{\beta}\right).$$

最终得到：

$$\boxed{ \pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right) }{ Z(x) } }$$

也就是：

$$\boxed{ \pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r_\phi(x,y)}{\beta}\right) }{ \displaystyle \sum_{y'} \pi_{\mathrm{ref}}(y'\mid x) \exp\left(\frac{r_\phi(x,y')}{\beta}\right) } }$$

对应的最优目标值为：

$$J^*(x) = \beta\log Z(x).$$

这里的闭式解针对的是最优概率分布 $\pi^*$，而不是神经网络参数 $\theta$。参数化语言模型的最优参数

$$\theta^* = \arg\max_\theta J(\theta)$$

通常没有闭式解，需要使用 PPO 等数值优化方法近似求解。

---

Full KL：比较教师和学生在完整词表上的概率分布。$q$ 是教师：

$$D_{\mathrm{KL}}(q\|p_\theta) = \sum_{a\in V} q(a\mid s) \log\frac{q(a\mid s)}{p_\theta(a\mid s)}$$

Top-K KL：只比较教师概率最高的 $K$ 个 token。在 Top-K 内重新归一化后计算：

$$D_{\mathrm{KL}}(\tilde q\|\tilde p_\theta)$$

Sampled-token log-ratio：比较 rollout 中实际采样到的 token，

$$\log \frac{p_\theta(a_t\mid s_t)} {q(a_t\mid s_t)} = \log p_\theta(a_t\mid s_t) - \log q(a_t\mid s_t)$$

PG-style objective：使用策略梯度形式训练，

$$L_{\mathrm{PG}} = -A_t\log p_\theta(a_t\mid s_t)$$

重要性采样比：

$$\rho_t = \frac{p_\theta(a_t\mid s_t)} {\mu(a_t\mid s_t)}$$

SFT：监督微调，$x$ 为输入，$y$ 为回答，

$$L_{\mathrm{SFT}} = -\mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \sum_{t=1}^{T} \log p_\theta(y_t\mid x,y_{<t}) \right]$$

GKD：广义知识蒸馏，2306.13649。

PPO：近端策略优化。

优势函数：

$$A^\pi(s_t,a_t)=Q^\pi(s_t,a_t)-V^\pi(s_t)$$

广义优势估计：

$$A_t^{\mathrm{GAE}} = \delta_t+\gamma\lambda\delta_{t+1}+(\gamma\lambda)^2\delta_{t+2}+\cdots$$

其中 $\delta_t$ 是 TD error 时序差分误差：

$$\delta_t=R_t+\gamma V(s_{t+1})-V(s_t)$$

GAE 为什么可以估计 Advantage？

Advantage 是

$$A^\pi(s_t,a_t) = Q^\pi(s_t,a_t)-V^\pi(s_t)$$

对于固定的 MDP 和策略 $\pi$，$A^\pi(s_t,a_t)$ 是一个确定的真实量。

GAE 是根据随机采样轨迹得到的随机估计量，

$$A_t^{GAE} = \sum_{l=0}^{\infty} (\gamma\lambda)^l\delta_{t+l}^V$$

即：

$$A_t^{GAE} = \delta_t + \gamma\lambda\delta_{t+1} + (\gamma\lambda)^2\delta_{t+2} +\cdots$$

若 $V=V^\pi$ 时，$\delta_t$ 本身就是 Advantage 的无偏估计。令：

$$\delta_t^\pi = r_t+\gamma V^\pi(s_{t+1})-V^\pi(s_t)$$

对 $s_t,a_t$ 取条件期望：

$$\begin{aligned} \mathbb E[ \delta_t^\pi \mid s_t,a_t ] &= \mathbb E[ r_t+\gamma V^\pi(s_{t+1}) \mid s_t,a_t ] - V^\pi(s_t) \\ &= Q^\pi(s_t,a_t)-V^\pi(s_t) \\ &= A^\pi(s_t,a_t) \end{aligned}$$

因此：

$$\boxed{ \mathbb E[ \delta_t^\pi \mid s_t,a_t ] = A^\pi(s_t,a_t) }$$

而，未来的 TD residual 的条件期望为 0。首先：

$$\mathbb E[ \delta_{t+l}^\pi \mid s_{t+l},a_{t+l} ] = A^\pi(s_{t+l},a_{t+l})$$

而：

$$a_{t+l} \sim \pi(\cdot\mid s_{t+l})$$

所以：

$$\begin{aligned} \mathbb E[ \delta_{t+l}^\pi \mid s_{t+l} ] &= \mathbb E_{a\sim\pi} [ A^\pi(s_{t+l},a) ] \\ &= 0 \end{aligned}$$

这是因为：

$$\begin{aligned} \mathbb E_{a\sim\pi} [ A^\pi(s,a) ] &= \sum_a \pi(a\mid s) \left[ Q^\pi(s,a)-V^\pi(s) \right] \\ &= V^\pi(s)-V^\pi(s) \\ &= 0 \end{aligned}$$

因此，在 Markov 环境并且后续动作按照 $\pi$ 采样时：

$$\mathbb E[ \delta_{t+l}^\pi \mid s_t,a_t ] = 0, \qquad l\ge 1$$

因此，

$$\begin{aligned} \mathbb E[ A_t^{GAE} \mid s_t,a_t ] &= \mathbb E \left[ \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}^\pi \mid s_t,a_t \right] \\ &= A^\pi(s_t,a_t) \end{aligned}$$

即：

$$\boxed{ \mathbb E[ A_t^{GAE}(V^\pi) \mid s_t,a_t ] = A^\pi(s_t,a_t) }$$

另一个视角，GAE 的另一个本质：多个 $k$-step Advantage Estimator 的加权平均。定义：

$$\hat A_t^{(k)} = \sum_{l=0}^{k-1} \gamma^l r_{t+l} + \gamma^kV(s_{t+k}) - V(s_t)$$

它也可以写成：

$$\boxed{ \hat A_t^{(k)} = \sum_{l=0}^{k-1} \gamma^l\delta_{t+l} }$$

例如：

$$\hat A_t^{(1)} = \delta_t$$ $$\hat A_t^{(2)} = \delta_t+\gamma\delta_{t+1}$$ $$\hat A_t^{(3)} = \delta_t+\gamma\delta_{t+1}+\gamma^2\delta_{t+2}$$

GAE 等价于：

$$\boxed{ A_t^{GAE} = (1-\lambda) \sum_{k=1}^{\infty} \lambda^{k-1} \hat A_t^{(k)} }$$

因为：

$$(1-\lambda) \sum_{k=1}^{\infty} \lambda^{k-1} = 1$$

当 $V=V^\pi$ 时，对于任意 $k$：

$$\mathbb E[ \hat A_t^{(k)} \mid s_t,a_t ] = A^\pi(s_t,a_t)$$

所以 GAE 是一组无偏 estimator 的加权平均，因此：

$$\boxed{ \mathbb E[ A_t^{GAE}(V^\pi) \mid s_t,a_t ] = A^\pi(s_t,a_t) }$$

实际真实训练中，是神经网络，

$$V_\phi(s) \approx V^\pi(s)$$

而不是精确的：

$$V^\pi(s)$$

因此，

$$\boxed{ \mathbb E[ A_t^{GAE}(V_\phi) \mid s_t,a_t ] \neq A^\pi(s_t,a_t) }$$

GAE 在实际情况下可能有 bias。

---

PPO 的 surrogate objective，式子中，CPI 代表 Conservative Policy Iteration：

$$L^{\mathrm{CPI}}(\theta) = \mathbb{E}_{s,a\sim\pi_{\theta_{\mathrm{old}}}} \left[ \frac{\pi_\theta(a|s)} {\pi_{\theta_{\mathrm{old}}}(a|s)} A^{\pi_{\mathrm{old}}}(s,a) \right]$$

加入 clipping 限制，得 PPO 的 clipped objective：

$$L^{\mathrm{CLIP}}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta)\hat{A}_t,\; \operatorname{clip} \left( r_t(\theta),1-\epsilon,1+\epsilon \right)\hat{A}_t \right) \right]$$

为什么 PPO surrogate 是正确的？

---

TL;DR：PPO surrogate 在旧策略处提供与原 reward objective 相同的 policy gradient。

• PPO 的基础 surrogate objective 为：

  $$L^{\mathrm{CPI}}(\theta) = \mathbb{E}_{s,a\sim\pi_{\theta_{\mathrm{old}}}} \left[ \frac{\pi_\theta(a|s)} {\pi_{\theta_{\mathrm{old}}}(a|s)} A^{\pi_{\mathrm{old}}}(s,a) \right]$$

• 在旧策略处：

  $$\theta=\theta_{\mathrm{old}} \quad\Rightarrow\quad r_\theta = \frac{\pi_\theta(a|s)} {\pi_{\theta_{\mathrm{old}}}(a|s)} =1$$

• 对 surrogate 求梯度：

  $$\nabla_\theta L^{\mathrm{CPI}}(\theta) = \mathbb{E} \left[ \nabla_\theta r_\theta A^{\pi_{\mathrm{old}}} \right]$$

• 又因为：

  $$\nabla_\theta r_\theta = r_\theta \nabla_\theta\log\pi_\theta(a|s)$$

  所以在旧策略处：

  $$\nabla_\theta L^{\mathrm{CPI}}(\theta) \big|_{\theta=\theta_{\mathrm{old}}} = \mathbb{E} \left[ \nabla_\theta\log\pi_\theta(a|s) A^{\pi_{\mathrm{old}}}(s,a) \right]$$

• 根据 Policy Gradient Theorem：

  $$\nabla_\theta J(\theta) \big|_{\theta=\theta_{\mathrm{old}}} = \mathbb{E} \left[ \nabla_\theta\log\pi_\theta(a|s) A^{\pi_{\mathrm{old}}}(s,a) \right]$$

• 因此：

  $$\boxed{ \nabla L^{\mathrm{CPI}}(\theta_{\mathrm{old}}) = \nabla J(\theta_{\mathrm{old}}) }$$

• PPO-Clip 在旧策略处有：

  $$r_t(\theta_{\mathrm{old}})=1$$

  此时尚未触发 clipping，因此局部上：

  $$L^{\mathrm{CLIP}} = L^{\mathrm{CPI}}$$

  从而：

  $$\boxed{ \nabla L^{\mathrm{CLIP}}(\theta_{\mathrm{old}}) = \nabla J(\theta_{\mathrm{old}}) }$$

综上，PPO surrogate 与真实 return objective 在旧策略处具有相同的一阶梯度。

surrogate 在旧策略附近是原目标的合理局部替代。

但离旧策略远时，局部一致性越不能保证。

因此需要 clipping 或 KL constraint / penalty 限制策略更新幅度。

可以用代理目标代替真实 return objective 做局部优化。前提：proximal。要让新策略保持在旧策略附近。

此前提是 PPO 的名字。

---

surrogate objective：替代目标函数。常常：重要性采样、局部有效的一阶近似。

policy gradient 目标：最大化期望 reward，

$$J(\theta) = \mathbb{E}_{y\sim\pi_\theta} [R(y)]$$

经典 REINFORCE 的梯度：

$$\nabla_\theta J = \mathbb{E} \left[ R(y)\nabla_\theta\log\pi_\theta(y\mid x) \right]$$

由于自回归分解（autoregressive factorization）：

$$\pi_\theta(y\mid x) = \prod_{t=1}^{T} \pi_\theta(y_t\mid s_t)$$ $$\log\pi_\theta(y\mid x) = \sum_{t=1}^{T} \log\pi_\theta(y_t\mid s_t)$$

所以：

$$\nabla_\theta J = \mathbb{E} \left[ \sum_{t=1}^{T} R(y) \nabla_\theta \log\pi_\theta(y_t\mid s_t) \right]$$

上式是，只有一个最终 reward $R(y)$ 的 vanilla REINFORCE 中，同一个最终 reward 会作用于整条轨迹上的所有 token。

一般 vanilla REINFORCE 用 $G_t$，定义 $G_t$，

$$G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} +\cdots = \sum_{k=t}^{T} \gamma^{k-t} r_k$$

使用 return $G_t$，得到 reward-to-go 形式的 REINFORCE 梯度：

$$\nabla_\theta J = \mathbb{E} \left[ \sum_{t=1}^{T} G_t \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right]$$

为什么可以把整条轨迹的 return R 换成 G？

对于第 $t$ 步，整条轨迹的 return 可以拆成：

$$R(\tau) = \underbrace{ r_1+\cdots+r_{t-1} }_{\text{过去的 reward}} + \underbrace{ r_t+\cdots+r_T }_{G_t}$$

因此：

$$R(\tau) \nabla_\theta \log\pi_\theta(a_t\mid s_t)$$

可以写成：

$$\left( r_1+\cdots+r_{t-1} \right) \nabla_\theta \log\pi_\theta(a_t\mid s_t) + G_t \nabla_\theta \log\pi_\theta(a_t\mid s_t)$$

其中，第 $t$ 步之前的 reward 在选择当前动作 $a_t$ 之前就已经发生，因此给定 $s_t$ 后，它们不依赖当前动作 $a_t$。

注意对于任意不依赖当前动作 $a_t$ 的量 $C$，都有：

$$\mathbb{E}_{a_t\sim\pi_\theta(\cdot\mid s_t)} \left[ C \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right] = 0$$

这是因为：

$$\mathbb{E}_{a_t\sim\pi_\theta} \left[ \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right] = \sum_{a_t} \pi_\theta(a_t\mid s_t) \nabla_\theta \log\pi_\theta(a_t\mid s_t)$$ $$= \sum_{a_t} \nabla_\theta \pi_\theta(a_t\mid s_t) = \nabla_\theta \sum_{a_t} \pi_\theta(a_t\mid s_t) = \nabla_\theta 1 = 0$$

因此下式中期望贡献为 $0$：

$$\mathbb{E} \left[ \left( R(\tau)-G_t \right) \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right] = 0$$

所以：

$$\mathbb{E} \left[ R(\tau) \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right] = \mathbb{E} \left[ G_t \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right]$$

---

而 baseline $V(s_t)$ 定义 Advantage：

$$A_t = G_t-V(s_t)$$

于是：

$$\nabla_\theta J = \mathbb{E} \left[ \sum_{t=1}^{T} A_t \nabla_\theta \log\pi_\theta(a_t\mid s_t) \right]$$