同一个GRPO名字之外：优势尺度、裁剪单位与训推失配¶
LLM 后训练 · 更新 2026-11-04 · 55 篇主题资料 / 7 篇重点对照
GRPO家族的差别可拆成三问：奖励怎样变成优势、哪种概率比被裁剪、样本到底由哪个分布生成。Dr. GRPO、DAPO、GSPO与TIS/IcePop分别改动这些环节，不能把所有ratio都叫同一种off-policy校正。
机制对照 · 取舍分析 · 跨论文问答 · 更新记录 · 本主题逐篇问答
怎么读这张卡片
重点比较下表代表论文；完整主题目录保留在文末。机制与假设的对照不等于统一 benchmark 的性能排名；教学例子不是论文实测。
机制对照¶
比较维度：优势尺度：组均值、组标准差、长度归一化 · 更新单位：token surrogate或sequence ratio · 采样有效性：零方差组与动态补采 · 分布角色：当前训练、旧训练、rollout引擎
| 论文与来源 | 机制定位 | 得到了什么，付出什么 |
|---|---|---|
| RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs · 原始来源 章节：背景与主要改动、核心公式、结果、负控与边界 |
将优化单位从自由文本改为合法菜单动作概率，单前向label readout后做决策级PPO；同策略内边缘化措辞可去掉对应方差。 | 菜单、记忆和afterstate改变接口；方差恒等式不比较不同模型，也不消除时序信用噪声。本地仅概率/PPO/枚举审计，完整多环境训练成本过高不复现。 |
| DeepSeekMath / GRPO · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
用同题组的奖励均值和标准差替代critic，保留old-policy ratio、clip和reference KL。 | 省去价值模型，却需要同题多响应；全组同奖励没有相对方向。本地是完整候选action，不是DeepSeekMath训练。 |
| Dr. GRPO · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
去掉response内长度平均和组标准差，保留组内中心化，审查隐含难度与长度权重。 | 去归一化改变不同组与轨迹的梯度相对尺度，不会创造全错组信号；本地伪长度仅用于诊断。 |
| DAPO · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
组合Clip-Higher、零方差组过滤、token-level loss和过长奖励处理。 | 有效更新样本与实际生成预算要分别计数；本地长度来自伪token，未复刻长CoT分布式训练。 |
| GSPO · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
先对响应内log-ratio取平均再指数化，整条response共享sequence clip。 | 改变异常token如何影响整条轨迹，不等于重新定义奖励；本地没有真实token轨迹或MoE路由。 |
| TIS · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
用训练侧与rollout引擎概率比校正训推差异，只对过大权重单侧截断。 | 小ratio仍保留，重尾被限制；它不替代old-policy陈旧校正。本地用确定性引擎扰动验证梯度路径。 |
| IcePop · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
对训推ratio使用双侧有效区间，区间内保留原ratio，区间外策略梯度为零。 | 会丢弃严重失配token，而不是把所有ratio夹回边界；本地未运行真实MoE集群。 |
取舍分析¶
先画概率比的分子分母，再讨论稳定性¶
GSPO聚合的是当前策略相对旧策略的响应内log-ratio；TIS与IcePop关注相同权重在训练引擎和rollout引擎中的概率差。前者管理策略更新幅度，后者处理采样实现失配。同一训练流程可以同时需要两类因子，不能删掉一种后声称另一种已经覆盖全部偏差。
归一化改变权重，不等于补上缺失信号¶
GRPO组标准差、Dr. GRPO移除该尺度、DAPO按有效token汇总，都会改变样本之间的相对贡献。然而同题全对或全错时，中心化后仍可能没有方向。DAPO动态采样处理的是这类组进入更新的问题，代价应把被过滤前的生成也计入，不能仅按optimizer步数对齐成本。
更新单位先于裁剪公式：文本和决策不是同一变量¶
GRPO/GSPO主要调整既有文本策略的优势或ratio单位，RLiD先把被优化的概率事件改成编译菜单中的动作。其Rao-Blackwell解释只在同一文本策略里对同动作措辞求条件期望；不能凭这个恒等式断言另训LDM更强。菜单是否包含afterstate、记忆来自何处、标签校准及接口对齐，都需在比较前写清；PPO公式相同并不能抹去这些差别。
跨论文问答¶
先想自己的答案，再展开；每个问题至少联系两篇论文。
把文本映射到动作后方差下降，为什么不意味着RLiD在每个任务都胜过带推理token的策略？¶
展开答案与例子
答案： 该结论固定同一个文本策略和只依赖动作的优势，边缘化措辞后保持期望更新并删去措辞方差。真正LDM有不同参数化和训练路径，文本推理还提供额外计算；时序信用和菜单接口也未被恒等式解决。论文ARC的Qwen3.5-2B上token策略仍更高，必须保留这个反例。
教学例子： 教学例：一个策略用两种句子表达open可被边缘化；把它换成另一个只看label的网络，已超出同策略恒等式的比较范围。
同题四条回答全错，把GRPO改成Dr. GRPO就能得到学习方向吗？¶
展开答案与例子
答案： 若奖励仍完全相同，去掉组标准差也不会改变减均值后全零的事实。Dr. GRPO主要改变尺度偏置，DAPO则会过滤零方差组并继续采样。若预算内始终没有可区分结果，仍需另外解决探索或监督，不能靠重命名归一化获得新信息。
教学例子： 教学例子：奖励全为0时，0减组均值仍为0；把分母从标准差改成常量不会令某条轨迹突然更好。
GSPO是否等于先逐token做PPO裁剪，再把结果求平均？¶
展开答案与例子
答案： 不等于。GSPO先平均log-ratio形成一个响应级ratio，再用它裁剪整条响应；逐token裁剪是先分别作非线性选择。平均与裁剪不能任意交换，某个异常词元在两种流程里的影响不同。序列级奖励也不在数学上强制唯一一种surrogate。
教学例子： 教学例子：一枚token的ratio很高，其余接近一；逐token方案可只裁它，GSPO则依据聚合后的单一ratio决定整条响应的权重。
某token的训推ratio非常小，TIS与IcePop会怎样处理，和策略变旧是一回事吗？¶
展开答案与例子
答案： TIS单侧上截断仍保留这个小权重，IcePop若低于下界会把本次策略梯度置零。它们审查的是训练引擎与rollout引擎的差异；当前权重相对旧采样权重的变化还需另算。不能把区间外mask称作普通PPO clip，也不能用它自动消除策略陈旧。
教学例子： 教学例子：同一份权重因两套kernel给出不同概率，是训推问题；拿几步更新前的权重采样，则另有策略陈旧问题。
更新记录¶
新论文带来新路线、改变取舍，或补充现有路线时，都在这里说明。
2026-11-04 · 精读RLiD，增加文本概率事件与可执行动作事件这一比较轴，明确同策略方差边缘化不等于不同LDM优越性，并补充标签边际KL与逐行entropy的区别；仅L1组件，完整训练成本过高不复现。
涉及：rlid
2026-10-27 · 首版：比较GRPO/Dr. GRPO/DAPO的优势与归一化、GSPO序列ratio、TIS/IcePop训推校正；已阅54篇摘要，精读6篇。
覆盖 54 篇主题资料；目录见下。
本主题全部 55 篇资料
目录归类覆盖本主题全部资料；重点对照范围以上表为准。
- RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
- MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
- CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
- On-Policy Residual Learning for Diffusion Language Models
- Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
- Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
- Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
- When KL Regularization Misfires in Group Policy Optimization
- Sharpening Tax in Post-Training
- RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
- Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
- Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
- Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training
- Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
- Turn-level Multiscale Density Ratio Estimation for LLM Agents
- MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
- Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
- Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
- TTPO: Test-Time Policy Optimization
- Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
- From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
- Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
- GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
- Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
- ReCo
- Reinforcement Learning for Code Optimization
- Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
- ISO: An RLVR-Native Optimization Stack
- RIPO
- Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
- STARE
- KPop
- GPRL
- ConSPO
- Missing Old Logits
- LUSPO
- Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
- Online IcePop
- Stabilizing RL with LLMs
- IcePop
- GPPO
- TIS
- GSPO
- Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
- CISPO / MiniMax-M1
- TTRL
- LUFFY
- VAPO
- Dr. GRPO
- DAPO
- REINFORCE++
- RLOO
- DeepSeekMath / GRPO
- ReMax
- InstructGPT / PPO-RLHF