记号

固定状态 token prefix：$s$，考虑 action distribution mismatch，假设各方法使用同一个 $Q(s,a)$。

定义：

$$z(a)=\nabla_\theta\log p_\theta(a\mid s), \qquad g^\star=\mathbb E_p[Qz]=\operatorname{Cov}_p(Q,z).$$ $$V^q(s)=\mathbb E_q[Q\mid s], \qquad m_q(s)=\mathbb E_q[z\mid s].$$

对于重要性采样，再定义：

$$r(a\mid s)=\frac{p(a\mid s)}{q(a\mid s)}, \qquad w(a\mid s)=f(r(a\mid s)),$$

定义 weighted mean score：

$$m_w(s)=\mathbb E_q[wz\mid s].$$

使用以上记号，给出下表。

同策略的 RLVR，例如 GRPO 等，对 inference compute 有很高的要求。

这是阅读的出发点，但是也记录了别的工作。有点杂，仅方便我个人回顾。

此文章已经在知乎上收获了 105 + 的赞同和 144 + 的收藏，欢迎来知乎上点点赞同 🌹

最近的 BPO 与 Score Centering 两个工作热度很高，BPO 的作者也在知乎上分享对比了两个方法。😉

• Score Centering：解释 training–inference mismatch（TIM）为何制造 drift，并消除它。
• BPO（Bellman Policy Optimization）：从 Policy Mirror Descent（PMD）出发，利用 Bellman 方程消去中间价值，推导无 critic 的轨迹目标，再近似成 token loss。

TML OPD 博客的 $\gamma$ 在哪里？他们的原文写的是：

「折扣因子」是什么？它不在公式里。作为初学者我很困惑 🤔。

暑假里做了一些趣味的阅读:D

包括网上刷到的博客、奇闻、论文、研究等。

（未写完）

上一次的学习笔记：Claude Code 学习笔记 | Palind’s Blog。

这一次主要围绕多 agent 的机制。

主要内容：

1. 再看 Claude Code 之前泄露的源码，学习 subagent 与 agent 间交流机制。学习 agent team 机制以及实现。见 多 Agent。
2. 顺手搓了一个可视化反代，这样方便实验、方便直接观察 LLM 具体流量，看收到的请求与相应内容。反代的仓库放在 Palind-Rome/agent-wirelens: 反向网关实验台。
3. 通过反代实验台，截图记录了真实请求，见 多 agent 实验与截图记录。
4. 我很好奇：这种流量与请求如何利用起来？真实的 agent 训练得到多 agent 能力是什么样的？从 hf 上看看 agent 数据集与训练方法。见 真实数据集情况。

认识陌生名词。

以下内容是我个人笔记，用来反复回忆重要名词的，也着重记录了一些数学的推导过程。

DPO 极简笔记，方便回顾。

通过 Codex 写的 verl 源码学习交互式网站：verl-src-reading

源码：仓库

面向后训练初学者，解释算法、解释工程、解释相关论文。

基于 VitePress 构建，较为美观；下次可以试试颜值更高的 fumadocs。

fork 了 AgentGym-RL，并尝试加入 OPD 的 RFC。