LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RLiD的一个动作，和让LLM写一句动作命令有什么根本差别？
RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
问答新增：2026-11-04 · University of Illinois Urbana-Champaign
展开答案与例子
答案：RLiD在已编译的合法单token菜单标签上归一化概率，一次前向直接选可执行动作，不生成或解析自由文本。收益依赖菜单和观测接口；它没有自动保留长推理文本带来的额外计算，也不能声称所有任务更强。
教学例子：教学例：菜单只有open、take两个动作时，选标签B直接映射take；自由文本可能写成没有可执行命令的解释。合法输出来自接口合同，不是100%任务成功。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RLiD的方差定理能证明新训练的LDM一定比生成式LLM更好吗？
RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
问答新增：2026-11-04 · University of Illinois Urbana-Champaign
展开答案与例子
答案：不能。恒等式在同一个文本策略内，把映射到同一动作的不同措辞边缘化；优势在给定动作后不能依赖措辞。它保持期望更新并去掉措辞方差，不比较不同参数化/训练的模型，也不消除跨时间信用估计的噪声。
教学例子：教学例：open drawer和I should open drawer映射同一动作，可枚举并边缘化；若奖励另外奖励措辞礼貌，优势已依赖措辞，便不满足该前提。
依据：核心公式、数据协议与代码映射；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
RLiD的KL(uniform到菜单边际)，是否等同于让每条决策都更随机？
RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
问答新增：2026-11-04 · University of Illinois Urbana-Champaign
展开答案与例子
答案：不等同。先按菜单把微批次动作分布求均值，再约束该标签边际接近均匀；每条决策仍可很确定。逐决策entropy会鼓励每条都分散，改变了目标。外部校准减法又是另一种标签偏置处理，不能混成一个更新时序。
教学例子：教学例：两条二动作决策分别接近[1,0]和[0,1]，均值是[.5,.5]，边际KL为零，但各自entropy都低。
依据：核心公式、结果、负控与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
只实现合法菜单和clipped PPO，是否就完成RLiD的Agent训练？
RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs
问答新增：2026-11-04 · University of Illinois Urbana-Champaign
展开答案与例子
答案：没有。old-policy logp和优势必须来自外部真实采样，保持冻结且与同菜单对齐；本地不提供LM、compiler、记忆、GiGPO或蒸馏。若传入平均episode长度除以本episode长度的权重，应对加权决策取均值，不能再随意除以权重和。
教学例子：教学例：两步episode每步权重.75，单步episode权重1.5，两者总权重同为1.5；这只检查长度平衡公式，不代表ALFWorld完整路线已达到论文99.3%。
依据：数据协议与代码映射、结果、负控与边界、高成本完整实验；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
MOER为什么用逐渐缩短的专家前缀引导学生？
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：完整专家解法减少探索空间，完全无指导又可能难以成功。逐步减少前缀让学生承担更多续写；失败时回滚到已验证完整专家轨迹，避免把错误续写继续当示范。
教学例子：例如先提示前两步，再只提示第一步，学生逐渐自己完成剩余推导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
MOER里续写由学生生成，为什么整条专家前缀引导轨迹仍按off-policy处理？
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：学生是在外部专家前缀条件下续写，整条轨迹并非从无引导学生策略完整采样，因此不能仅按作者身份把后半段归为普通on-policy。MOER成功时保留引导轨迹，失败时回滚到已验证专家轨迹，并使用两类目标；专家信息仅能处于训练边界。
教学例子：老师先写出关键推导，学生接着完成；即使后半段亲自写出，也不能假装学生从空白独立走到了同一状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
MOER怎样区分原生on-policy与专家前缀引导轨迹？
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：整个引导轨迹均视为off-policy，即使后半由学生生成，因为其起始状态受专家干预。两类使用不同目标，不能按词元作者把后缀直接归入原生策略样本。
教学例子：例如学生接着专家写第三步，第三步仍属于受引导轨迹的数据流。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
MOER的off-policy比值前向为一时为什么仍有梯度？
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：分母中的策略概率停止梯度，分子保持可微，所以数值相消不等于导数相消。联合组优势不除标准差，最终按全部有效响应词元归一，不能额外按混合权重改分母。
教学例子：例如分子等于detach后的分母时结果是一，但改变分子仍会改变损失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
CORD为什么先选要保护的目标？
CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong
展开答案与例子
答案：任务奖励与教师指导梯度冲突时，直接相加会抵消。保护方向明确哪一目标的一阶方向不能被另一目标损害，再最小修改未保护梯度；这是一种明确取舍。
教学例子：例如保护任务奖励与保护教师行为，是两种不同配置，不能只写用了投影。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
CORD为什么要先选protected梯度，再对另一个梯度投影？
CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong
展开答案与例子
答案：投影的含义是尽量保留被保护目标的方向，只最小修改冲突的另一方向；交换保护对象会得到不同更新。还要区分只在冲突时投影与始终投影，并在完整优化批次汇总后操作。得到的是优化器转换前的一阶性质，不保证有限AdamW步后目标必降。
教学例子：任务奖励与教师模仿希望把同一参数往相反方向推。保护任务目标与保护模仿目标，保留下来的方向不会相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
CORD只在冲突时投影与always投影有什么差别？
CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong
展开答案与例子
答案：冲突门控保留同向分量，只有内积为负才移除冲突；always连有益平行分量也去掉。两者合成方向不同，且投影前性质不保证自适应优化器有限步更新必然下降。
教学例子：例如两个梯度同向时，冲突版直接相加，always版仍削掉另一方向的平行部分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
CORD为什么先累加完整optimizer批梯度，再投影一次？
CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong
展开答案与例子
答案：投影是非线性操作，逐微批投影再相加通常不等于全批投影。固定权重汇总后还需先应用目标权重λ；保护梯度为零时不投影，λ为零直接返回第一目标方向。
教学例子：例如两微批冲突方向抵消后可能不冲突，提前分别投影会改变最终结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GGPO为什么分开behavior与reference两种策略角色？
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：behavior决定采样数据来自哪里，reference定义KL锚点。二者可不同，混为一个会误解目标和刷新行为；周期改变reference是在改变后续优化目标，而非自动重采同一批数据。
教学例子：例如一套冻结策略收集回答，另一套参考决定偏移惩罚，各自有独立职责。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GGPO的behavior policy与reference policy为什么不能混为同一个角色？
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：behavior决定固定样本从哪里来，reference决定KL锚定后的Gibbs目标。GGPO根据调整奖励的log-mean-exp与均值差直接优化，不额外套learner/behavior重要性权重。刷新reference改变后续目标，而不是改写过去采样来源；过滤和归一化后的日志也不能直接套原始理论界。
教学例子：旧模型提供一组回答，新模型相对另一个锚点更新；更换锚点并不会让这批旧回答变成由新模型采样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GGPO的Gibbs gap与普通learner/behavior重要性加权有什么不同？
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：它用调整奖励的log-mean-exp减均值度量组内偏离，直接求导，不把learner/behavior比再乘进更新。额外重要性权重会改变目标，不应因看见off-policy样本就自行添加。
教学例子：例如数据来自旧策略，并不意味着所有方法的损失都必须再乘同一套比值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GGPO可选clipping为何不能直接对clamp后的LME反传？
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：该接口先用裁剪的learner/reference比计算冻结系数，再用原序列logp更新。直接穿过clamp会把饱和词元梯度清零，改变规定的替身梯度；全批归一与过滤边界也须保留。
教学例子：例如裁剪只限制用于构造权重的数值，不代表饱和位置从学习图中永久消失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ORL为何要让扩散训练看到自身诱导的残差上下文？
On-Policy Residual Learning for Diffusion Language Models
问答新增：2026-10-27 · Together AI / University of Illinois Urbana-Champaign
展开答案与例子
答案：残差来自前一步模型预测，推理时包含模型自身误差。只训练理想残差会形成状态分布差，在线采集和重放让模型学习实际会遇到的残差状态。
教学例子：例如前一步把某词预测错，下一步需要见过这种带错概率上下文才能学会修复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ORL为什么要求重放模型自己产生的残差状态，而不只训练固定残差输入？
On-Policy Residual Learning for Diffusion Language Models
问答新增：2026-10-27 · Together AI / University of Illinois Urbana-Champaign
展开答案与例子
答案：扩散模型上一步预测会成为下一步残差上下文，误差也沿这条状态路径传播。固定或理想残差训练可能避开推理时真实遇到的状态；在线采集与精确重放让训练面对自身诱导的分布，再结合熵收缩。该机制不是输出后的简单修补，本地尚无完整训练证据。
教学例子：第一轮预测已偏向错误词，第二轮会在这个偏差上继续更新；只用完美残差做训练，可能从未见过这种纠偏情形。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
ORL残差学习与推理后额外平滑输出有何不同？
On-Policy Residual Learning for Diffusion Language Models
问答新增：2026-10-27 · Together AI / University of Illinois Urbana-Champaign
展开答案与例子
答案：后处理只改最后结果，ORL把前一步分布传入后续模型并参与训练，改变状态和学习目标。它还包含精确重放与熵收缩，不能用简单概率平均冒充整个方法。
教学例子：例如把两次结果平均，没有教模型在上次错配状态下继续去噪。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
本地能否调用ORL adapter复现残差轨迹？
On-Policy Residual Learning for Diffusion Language Models
问答新增：2026-10-27 · Together AI / University of Illinois Urbana-Champaign
展开答案与例子
答案：当前只有文献收录，没有本地adapter、指标或GPU回执。README公式是阅读记号，不能因看见递推式就登记可执行算子，也不能把通用扩散模块称为该训练已实现。
教学例子：例如演化注册表里加一个名字，不会自动产生在线采集和精确重放流程。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GPPO框架把近端更新拆成哪两个独立选择？
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：一是f-divergence几何，二是如何估计该散度的拓扑。不同组合定义不同可接受概率比范围，因此统一框架并不表示所有实例训练行为相同。
教学例子：例如相同散度函数配不同概率补集处理，也可能得到不同信任域。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
同一个f-divergence换成MC、atomic或binary估计，为何可能得到不同信任域？
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：估计方式决定采样动作概率及其补集怎样进入散度，因而相同函数和半径也不必给出相同可行比率区间。GPPO把几何与估计拓扑分开描述，再由实际区间约束策略更新。不能只给GRPO换名称；某些KL写法间的差异也应显式保留而非暗改。
教学例子：一个动作本来极罕见，只约束它自己的比率与同时考虑“其余动作”概率，可能允许不同幅度的概率变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
MC、atomic与binary拓扑为何不能只看成实现细节？
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：它们分别如何计入采样动作概率及未采样补集不同，会改变估计散度和允许比值边界。只有在相应定义成立时才能谈算法对应，不能把名字映射当数学等价。
教学例子：例如binary还考虑一减动作概率的部分，不是给atomic结果简单换标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GPPO中的literal KL与two-sided-log为什么分开暴露？
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：原式与部分算法映射存在不一致，本地显式区分两个目标，避免悄悄改公式。实现还需保证比值正、binary补集合法，并按选定拓扑求信任域而非固定复制PPO边界。
教学例子：例如配置写KL却执行双侧log，会使实验无法知道究竟验证了哪个目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TAPO轨迹版为何关注前缀状态分布而不只关注当前动作比值？
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：前面策略的细小变化可累积成后续状态偏移，当前动作比值不足以描述整段访问差异。前缀对数比的几何平均把轨迹信息带进当前更新，并按位置收紧边界。
教学例子：例如前几步分支已经改变，最后一步动作看似接近，也不能说明其状态仍来自旧分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
TAPO用前缀几何平均比率后，为什么还要stop-gradient避免跨token反传？
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：前缀比率用于衡量累计状态偏移，但当前动作的信用不应经这一权重再回传到所有早期token。TAPO冻结几何平均权重，并让当前动作保留自己的log-prob梯度，避免额外的跨位置梯度和按前缀长度稀释。权重与梯度路径是两个需要分别实现的部分。
教学例子：第十步的前缀已偏离旧策略，需要调整这一动作的权重；不等于这一次损失应该同时重写前九步的信用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
前缀几何平均与前缀概率比直接相乘有什么差别？
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：几何平均取平均log-ratio后指数化，减轻比值随前缀长度极端放大的尺度问题。它是另一估计设计，不是完整轨迹重要性乘积的数值技巧替代。
教学例子：例如同样轻微偏移重复多步，连乘可能很极端，几何平均保留的是平均偏移尺度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TAPO怎样避免前缀比值让当前词元梯度被除以位置长度？
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
问答新增：2026-10-27 · Tsinghua University AIR
展开答案与例子
答案：前缀几何比停止梯度，再乘当前概率除以其停止梯度副本。这样前向保持所需比值，反向只作用当前动作，不引入前序梯度或一除位置长度的稀释。
教学例子：例如第十步权重参考前十步，但它的梯度不应因此自动缩成原来的十分之一。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ZCPO为什么把KL漂移放进组内系数而不另加独立损失？
When KL Regularization Misfires in Group Policy Optimization
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：独立KL在奖励无区分时仍可能推动更新，ZCPO把奖励和相对KL共同中心化后形成零和系数，再交给原策略surrogate，强调组内相对信用。
教学例子：例如所有回答奖励一样时，不希望仅因额外KL项仍自动发生一次策略训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ZCPO为什么把KL放进组内零和系数，而不另外加一项KL loss？
When KL Regularization Misfires in Group Policy Optimization
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：独立KL项在奖励没有区分或奖励梯度抵消时仍可能推动策略。ZCPO把响应平均条件KL的相对漂移与组内奖励一起中心化，再放入原策略surrogate。奖励尺度为零或组不合格时跳过整组，还需避免优化器权重衰减造成无信号更新，不能只返回零损失。
教学例子：一组回答全得相同奖励，本来没有相对学习方向；额外KL仍可能改模型，所以要明确整组是否真正跳过优化步骤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
ZCPO条件KL与采样token的单点log-ratio可以互换吗？
When KL Regularization Misfires in Group Policy Optimization
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：不能。规定信号是完整词表条件KL，先沿响应长度平均，再组内中心化。单点比值是不同估计，可能有很大采样波动，不能仅因都涉及log概率就替换。
教学例子：例如某次采到的罕见词偏移，不代表整份条件分布的KL就是该数值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ZCPO奖励全相同的组为什么必须跳过optimizer更新？
When KL Regularization Misfires in Group Policy Optimization
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：奖励尺度为零会产生除零，且空损失仍执行AdamW可能通过权重衰减改参数。整组应跳过；组大小不足也不进入该相对系数计算，不能只把系数填零后照常step。
教学例子：例如日志显示梯度零，但权重衰减仍能改模型，因此跳过与零梯度不是同一件事。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GMC-GRPO为什么按组限制重要性总质量？
Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：异步样本来自较旧策略，某些比值可能很大。按整个组同系数缩放，可约束总质量，同时保持组内原比值比例，减少逐轨迹各自截断带来的结构改变。
教学例子：例如一组所有比值一起放大时，统一缩小而非只切掉其中最大一条。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GMC-GRPO为什么统一缩放整组重要性比，而不把每条轨迹各自截断？
Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：逐条截断会不均匀改变组内样本之间的比例。组质量封顶在总比率过大时用同一个因子缩放，保持相对比例而限制总权重。它控制的是组层面质量，仍依赖采样和矩条件；在公式上计算这一步，不代表已经搭建并验证异步训练系统。
教学例子：一组旧轨迹的比率总量过大，统一缩小可保留彼此相对贡献；分别裁平可能让原本不同的重要性看起来一样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
组质量帽与逐轨迹clipping保留的关系有什么不同？
Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：组帽让所有比值乘相同因子，组内相对比例不变；独立裁剪会改变彼此比例。其理论结论还依赖共同二阶矩等条件，不表示任何异步陈旧程度都能修复。
教学例子：例如大比值与中比值在独立截断后可能接近，而统一缩放仍保留它们比率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GMC权重在总质量低于帽时应怎样变化？
Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：缩放系数为一，原比值不变；超过帽才乘帽除总和。需核对比值非负及分组边界，本地只验证质量帽核，未构建异步训练集群或测吞吐。
教学例子：例如两个不同提示组不能合并总和，否则一组极大比值会影响另一组。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Range-GRPO为什么给奖励区间而非只信一个裁判分数？
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
问答新增：2026-10-27 · Yonsei University
展开答案与例子
答案：单点评分掩盖估计不确定性，区间让组内关系承认哪些顺序尚不能确定。只有可判定的区间关系提供方向，避免将微小噪声差硬转成偏好。
教学例子：例如两个评分的可能范围大量重叠，就不强行说其中一个明显更好。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
奖励区间重叠时，Range-GRPO为什么不强行给两条回答排出先后？
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
问答新增：2026-10-27 · Yonsei University
展开答案与例子
答案：点估计的微小差别可能只是裁判不确定性。Range-GRPO比较校准区间的可确定关系，重叠时不制造方向信号，再在组内聚合相对优势；区间退化为点时回到对应点奖励情形。区间可信性依赖校准协议，只有区间关系算子并不等于已训练可靠judge。
教学例子：两个回答的质量估计范围大幅重叠，不能因一个中心值略高就当作明确优例；先保留无法确定的关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
区间重叠置为不确定，与把区间中点排序有何不同？
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
问答新增：2026-10-27 · Yonsei University
展开答案与例子
答案：中点排序总能给出方向，即使差异远小于不确定范围；区间关系选择保守地不给这类伪信号。代价是监督可能更稀疏，不能无对照就断言训练更快或更好。
教学例子：例如两区间中点一高一低但范围重叠，保守方法不把这个小差当确定胜负。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
Range-GRPO本地实现是否已经校准conformal裁判？
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
问答新增：2026-10-27 · Yonsei University
展开答案与例子
答案：没有。它接收给定区间并计算成对关系与点极限；区间覆盖保证还需真实校准数据和裁判流程。区间退化为点时应检查相应DR-GRPO极限，而非随意平滑。
教学例子：例如输入一个很宽区间通过测试，只说明关系核能处理，不证明其覆盖率正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RLCPR为什么不对所有长回答统一扣长度分？
RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：长推理有时必要。只有全组都偏长且答案后验已集中时，额外长度更可能没有区分价值，才启用组内相对惩罚；因此它保留针对困难不确定推理的空间。
教学例子：例如一组都已很确定却反复解释，可与仍在探索关键分叉的长回答区别处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RLCPR为什么只有全组都长且答案后验集中时才加相对长度惩罚？
RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：后验接近说明这些推理给答案提供的区分有限，全组都长时才有理由压缩相对冗余。门控同时满足后，惩罚依据组内相对长度而非统一固定阈值；等号边界和分位数口径都重要。输入后验与熵须来自真实模型，手工数值只验证公式。
教学例子：同题几条回答都很长且答案概率近似，可尝试偏向较短者；若长回答明显提高答案支持，就不应照样惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
RLCPR的熵分层与长度门控是同一选择吗？
RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：熵分层在采样数据前调节保留分布，长度与后验门控在生成组内决定奖励修正。二者时点和变量不同，不能用一个全局长度阈值替代整条流程。
教学例子：例如先决定更常抽哪类题，再判断该题本轮回答是否普遍冗长，是两步。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
RLCPR门控遇到等于长度或后验阈值时是否激活？
RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：原条件使用严格大于最短长度阈值和严格小于后验极差阈值，等号不激活。熵CDF也用严格小于处理并列值；本地手工量只验证公式，不是实际RL收益。
教学例子：例如组最短长度正好落在阈值上，不能改成大于等于以多惩罚一些样本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Sharpening Tax为何同时观察单次成功与固定预算覆盖？
Sharpening Tax in Post-Training
问答新增：2026-10-27 · Meta Superintelligence Labs / University of Wisconsin–Madison
展开答案与例子
答案：后训练可能提高常见正确路径概率，却减少其他任务或解法的可达性。固定采样预算下的覆盖差揭示这种代价，避免只凭单次成功率判断能力边界扩大。
教学例子：例如某题从偶尔对变常对，但另一类题再也采不到正确解，覆盖可能下降。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
pass@1提高时，Sharpening Tax为什么仍要比较固定预算下的任务覆盖？
Sharpening Tax in Post-Training
问答新增：2026-10-27 · Meta Superintelligence Labs / University of Wisconsin–Madison
展开答案与例子
答案：后训练可能把概率集中到熟悉解法，让一次命中更高，却失去某些只有多次采样才能找到的解。覆盖差比较基座与后训练策略在同一预算能解决哪些任务，再据难度调温。单次准确率、token熵和任务覆盖不是同一指标，不能用一个替代另一个。
教学例子：模型对常见题更确定，但再也采不到一类罕见正确解；只看首个答案的表现，可能完全看不见这部分覆盖损失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
后验调温与简单所有题都提高温度有什么差别？
Sharpening Tax in Post-Training
问答新增：2026-10-27 · Meta Superintelligence Labs / University of Wisconsin–Madison
展开答案与例子
答案：按估计难度分配组采样温度，试图在利用与覆盖间做条件化取舍；全局升温对已掌握和困难题一视同仁。估计错误也会影响分配，不能视作保证恢复全部覆盖。
教学例子：例如熟练题无需同样强探索，困难题可能需要更多分支，而不是统一变随机。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
Tax_K计算时为什么必须固定K及两策略输入集合？
Sharpening Tax in Post-Training
问答新增：2026-10-27 · Meta Superintelligence Labs / University of Wisconsin–Madison
展开答案与例子
答案：覆盖随采样次数和题目集合变化，两边预算或样本不同会混入比较偏差。定义为base覆盖减post覆盖，正负号应保留；本地仅执行指标核，不含原模型实验。
教学例子：例如base采很多次而post只采一次，得到的差不能解释为后训练本身的税。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GRAFT什么时候才借用peer轨迹组？
Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：receiver全失败而peer同题组内既有成功又有失败时，才有可迁移的相对优势信号。不是每次都借最强模型答案，也不是只复制peer的一条正确轨迹。
教学例子：例如receiver四条都错，peer组内有对有错，后者才提供组内可区分反馈。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GRAFT为什么交换同题完整peer组，而不只挑peer的一条成功回答？
Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：receiver全错组缺少区分信号，完整peer组同时保留成功与失败及其内部相对优势。只取成功例会改变组结构和信用。跨模型尤其跨tokenizer时，还需序列兼容性与token比率裁剪处理错配；交换来的数据不能被标成receiver自己的在策略采样。
教学例子：模型甲同题全错，模型乙有对有错。把乙的整组连同组内信用交给甲学习，与单独塞入一份标准答案不同。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
借完整peer组与只塞一条成功答案有何差别？
Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：完整替换保留peer原组内部优势关系；只加正例会改变组分布及信用基准。借用仍是跨策略数据，不能标成receiver自身的on-policy生成。
教学例子：例如peer失败轨迹也保留，才能解释为什么组内成功轨迹获得相对正优势。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
跨tokenizer的GRAFT为什么先用序列平均似然衡量兼容性？
Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：不同分词造成词元级一一对应困难，序列平均似然提供整体兼容信号，再用重要性比裁剪限制更新。它不使两模型策略自动相同，来源、组内优势和文本重评分需可追踪。
教学例子：例如同一句话被拆成不同数量词元，不能按位置直接相减两个模型词元概率。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RFPO的reward-free是不是不需要任何质量信号？
Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training
问答新增：2026-10-27 · University of Luxembourg
展开答案与例子
答案：它用已校准且冻结的critic预测前缀成功概率，替代训练时昂贵的外部终局奖励。监督被转移到critic而非消失，critic可靠性仍决定信号质量。
教学例子：例如未完成解答可获得成功预估，但这来自已有评价能力，不是凭空知道答案。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RFPO冻结critic后，为什么还需要去长度偏置和二值化，不能直接最大化它的连续分数？
Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training
问答新增：2026-10-27 · University of Luxembourg
展开答案与例子
答案：冻结只阻止critic参数继续变化，不能消除其评分偏差。策略仍可能通过冗长或其他捷径提高分数，因此方法对前缀成功估计去偏并二值化，同时把critic用于基线和未完成轨迹预报。reward-free不等于无监督来源，而是复用已校准critic提供信号。
教学例子：critic偏爱长推理，学生即使不更正确也可靠加长拿高分；固定critic之后，这个可利用的偏差仍然存在。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
critic同时作奖励与baseline会带来什么额外风险？
Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training
问答新增：2026-10-27 · University of Luxembourg
展开答案与例子
答案：两种角色共享偏差时，策略可能利用critic盲点。去长度偏置和二值化用于限制这种利用，但不能保证评价器不受攻击，也不能用critic自身得分证明真实能力提升。
教学例子：例如把冗长文字误判成更可能成功，策略就可能只学会拖长输出。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
RFPO为什么冻结critic，并区分未完成轨迹的预报？
Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training
问答新增：2026-10-27 · University of Luxembourg
展开答案与例子
答案：冻结保证策略训练期间评价基准明确，未完成预报用于处理尚无终局结果的轨迹，不能冒充已验证成功。当前本地只执行去偏、二值奖励和GAE核，未训练长推理模型。
教学例子：例如截断轨迹的高成功预报要保留估计身份，不能直接标成真实答案正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TLM-DRE为什么在turn层面建模而不只平均全部词元？
Turn-level Multiscale Density Ratio Estimation for LLM Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：多轮任务各轮贡献和长度不同，多尺度轮次权重能表达对话过程结构；把所有词元等权平均可能让长轮次支配信号。具体信用仍依赖输入密度比与反馈。
教学例子：例如简短工具选择可能关键，不能因只有几个词就被冗长描述的梯度淹没。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
tlm-DRE为什么提高低置信轮次的权重，而不是给每轮相同惩罚？
Turn-level Multiscale Density Ratio Estimation for LLM Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：参考策略的长度平均对数概率被用作训练充分程度的估计，低置信轮次获得更高尺度，改变多轮密度比及正负轨迹的不对称训练压力。它依赖置信与学习需求的关系，不声称低概率动作必错；本地仅执行权重与更新诊断，未验证真实Agent泛化。
教学例子：工具选择轮次犹豫、最后复述轮次很确定，可把更多校正压力放在前者；但低置信可能也来自合法的罕见动作。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
正负token密度比非对称更新与统一加权有什么差别？
Turn-level Multiscale Density Ratio Estimation for LLM Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：正负证据承担强化与抑制不同作用，非对称规则允许不同处理。统一规则会抹平这个设计，但非对称本身不证明对所有数据更好，需要真实多轮任务验证。
教学例子：例如鼓励关键正确动作和压低错误续写，不必被假定具有同样的权重曲线。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TLM-DRE本地轮权重核能代表真实多轮Agent训练吗？
Turn-level Multiscale Density Ratio Estimation for LLM Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：不能。当前只执行轮次权重与非对称词元更新的参考计算，未运行完整智能体环境。输入应保留词元所属轮次，不能把拼接文本直接当作一轮并沿用原方法名称。
教学例子：例如三个工具轮次拼成长字符串后失去边界，就无法验证原本的turn分配。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
MaD-RL为什么约束输出类别分布，而不是仅增加词元熵？
MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：类别多样性描述语义结果频率，词元熵描述表面生成不确定性。模型可以措辞多样却总选同一类别，因此用经验类别分布与指定目标构造奖励，再与正确性结合。
教学例子：例如写出许多不同句子却全推荐同一类物品，词元多样不等于类别覆盖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
MaD-RL为什么约束输出类别频率，而不是只提高每个token的熵？
MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：token更随机不保证最终类别更均衡。MaD-RL先把输出映射为类别，用经验频率与指定目标分布的差异构造奖励，再与任务正确性结合。频率在该次更新中视为固定，未采到的类别也不会凭空获得on-policy样本；类别判定与无效输出分母必须明确。
教学例子：模型可以用很多不同措辞反复给出同一类别，token多样但决策仍坍缩；应直接检查最终类别分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
类别分布匹配与单独最大化正确率会出现什么取舍？
MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：正确性奖励可能集中到最容易的类别，分布奖励则把质量分配拉向目标；二者需分别测量。匹配分布不保证每条正确，正确率高也不保证达到目标类别比例。
教学例子：例如各类别数量均衡了，但某类回答仍错误，不能只报分布距离就算成功。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
MaD-RL统计类别频率时无效样本可以从分母删除吗？
MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：不能随意删去，否则改变经验分布和每类奖励。更新时频率视为固定，零目标概率需显式平滑，未采到类别也不会凭空收到on-policy梯度；本地诊断不等于完整模型训练。
教学例子：例如把无法分类输出全部排除，会让剩余类别比例看似更符合目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TASCO在测试时适配的是主模型权重，还是额外的轻量prefix？
Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
问答新增：2026-10-27 · Chongqing University
展开答案与例子
答案：主模型冻结，适配对象是附加的轻量prefix。测试时优化因此仍会改变模型的条件输入表示，但不是重新训练全部骨干，也不是仅靠多采样选答案。它使用当前任务的无标签信号，不能把测试金标当成prefix优化目标。
教学例子：保持语言模型各层权重不动，只更新前缀向量，再重新读取该题分布；题目答案不参与更新。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
TASCO只提高测试题置信度为什么不够，还要检查邻域扰动的稳定性？
Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
问答新增：2026-10-27 · Chongqing University
展开答案与例子
答案：错误答案也可能被模型反复自信确认，仅优化置信会强化这种错误。TASCO冻结主模型，只调轻量前缀，并把邻域扰动下预测不稳定作为额外惩罚。它利用的是无标签稳定性线索，不是正确性oracle；本地扰动诊断没有加载真实LLM前缀。
教学例子：题目换一种等价说法，模型就从一个答案跳到另一个；即使原答案概率很高，这种不稳定也提示不能只按置信强化。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
TASCO更新prefix与增加best-of-N采样，额外计算主要花在哪里？
Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
问答新增：2026-10-27 · Chongqing University
展开答案与例子
答案：prefix适配把计算用于优化可训练条件，再让冻结模型据此预测；best-of-N主要生成更多候选并依赖选择规则。二者的可训练状态和预算构成都不同，比较时需要计入优化前向、反向及候选生成，不能把相同候选数当相同成本。
教学例子：一种做几次prefix梯度更新后答题，另一种直接生成多份答案再筛选；次数相同也不是同一种工作量。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TASCO本地扰动惩罚是否包含真实LLM prefix训练？
Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
问答新增：2026-10-27 · Chongqing University
展开答案与例子
答案：没有。本地只执行随机邻域扰动与稳定性惩罚参考核，未加载冻结语言模型的prefix路径。不能把小向量目标通过解释成真实测试时推理收益。
教学例子：例如在数值特征上测稳定，不等于已在真实题目上优化语言模型前缀。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Probe-ERPO为什么用不依赖最终答案的探针？
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：测试时没有标准答案，若探针先读取最终正确解，就失去无标签适配意义。PCR用探针一致性提供可信度线索，再决定强化还是施加负向约束。
教学例子：例如从中间状态检查一致性，而不是拿金标逐条比对后决定该学谁。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
Probe-ERPO为什么用不依赖最终答案的探针一致性，低一致时又不直接强化多数答案？
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：直接用模型自己的输出当标签可能循环确认错误。输出自由探针提供另一种一致性估计，高一致与低一致分支采用不同更新；低一致时限制排名靠后的候选，并配合熵控制探索。一致性仍不是答案真值，所以不能把探针分数当作有监督正确率。
教学例子：多个相关探针互相矛盾，主答案即使票数最多也不宜盲目强化；可先抑制明显落后的候选，保留进一步探索。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
高PCR强化与低PCR负向排名为何不是简单同一伪标签训练？
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：低一致组缺少可靠正例，方法转而约束较差候选，不把某个多数项无条件当真。高一致也只是可用线索，仍需熵控制与独立评估防止错误共识。
教学例子：例如候选彼此矛盾时，可以先远离明显弱项，不必强行选一条作为正确示范。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
Probe-ERPO的负排名mask能否访问标准答案？
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：不能。mask应由允许的探针与候选排名形成，答案只能在独立评分时出现。本地机制组件不能因预设mask工作正常，就宣称真实探针已具备可靠识别能力。
教学例子：例如测试固定哪些位置被压低，只验证更新路径，不代表自动知道了哪些推理错。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RLVR Fusion中的Merge、Mix RL、MOPD各复用什么？
Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：Merge复用专家权重差，Mix RL复用训练数据，MOPD同时使用专家与数据提供蒸馏。这些资源前提不同，选择不能只依据一个平均效果数字。
教学例子：例如只有已训练专家没有原训练集时，能做的融合路径与数据齐全时不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RLVR Fusion里的Merge、Mix RL和MOPD为什么不能当作同一种融合操作？
Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：三者复用的产物不同：Merge组合已有专家的参数增量，Mix RL混合领域数据再训练，MOPD同时利用专家指导与数据。可用专家、数据和预算因此决定可选路线。平均接近不代表各领域相同，也不能用概率向量合并的小实验证明真实checkpoint融合无损。
教学例子：只有两个领域专家权重、没有训练数据时，可讨论参数合并；若只有数据而无专家，则不能假装可以运行同样的蒸馏。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
平均接近为何不能证明三种融合在每个领域等价？
Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：平均会抵消单领域差异，论文也记录单项差距更大。比较需看目标领域、专家和数据可得性及成本；机制近似或总体相近不代表逐任务可互换。
教学例子：例如数学略好、代码略差的两个模型，平均相同也不满足相同部署需求。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
Merge的task vector为什么必须相对同一基座定义？
Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：专家参数减基座构成任务向量，再按规定合并。若基座或参数坐标不同，差向量不再表达同一参照变化；本地候选Merge也不能冒充大检查点完整融合实验。
教学例子：例如两专家来自不同词表或权重布局，不能直接逐元素平均差值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TTPO为什么把同意与反对多数票的轨迹分开训练？
TTPO: Test-Time Policy Optimization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：多数票可能错，但分歧轨迹通常仍提供不同性质的信号。同意分支用自蒸馏，分歧分支用组强化学习，避免给所有轨迹同一无标签伪监督。
教学例子：例如支持主流结论与另走一条路的回答，不直接按相同模仿目标处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
TTPO为什么对同意多数票与反对多数票的回答采用不同目标？
TTPO: Test-Time Policy Optimization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：多数票可能正确也可能错，完全照抄会把误差扩散。TTPO对同意分支使用自蒸馏，对分歧分支采用组式RL，并通过token选择过滤已收敛位置和高置信错误。两条路径利用不同信号，并不把多数票升级为真值，也不允许读取测试金标。
教学例子：几条回答都选同一答案，其中一条反对；不能简单把反对者整段删掉，而要按各分支的目标与可靠性过滤处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
TTPO与直接把多数答案当金标相比多了哪些限制？
TTPO: Test-Time Policy Optimization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：它采用非对称目标，并过滤已收敛词元及高置信错误，承认多数票并非真值。过滤可靠性仍影响结果，不能用无标签共识宣称得到了独立验证解。
教学例子：例如一组一致猜错时，多数项也可能不值得继续强化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TTPO本地是否执行真实测试时采样与Qwen更新？
TTPO: Test-Time Policy Optimization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：未执行。当前只验证分支目标与词元选择路径，不能将手工候选上的更新视为真实无标签题目适配。实现需在分支判定前保持答案不可见。
教学例子：例如预给候选答案用于公式测试，不等于模型在评测题上真实生成这些轨迹。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GRIN为什么只在失败组注入golden response？
From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
问答新增：2026-10-27 · University of California, Merced
展开答案与例子
答案：全失败组缺少相对正信号，正确轨迹可提供可学方向；学生已有成功样本时则更多保留原生探索。注入是训练期帮助，不是让评测模型读取答案。
教学例子：例如学生所有尝试都失败时才补一条验证解，而非每题始终给出标准答案。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GRIN给失败组注入golden response时，为什么必须按混合采样分布校正？
From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
问答新增：2026-10-27 · University of California, Merced
展开答案与例子
答案：注入的专家回答并非由无提示当前策略采到，组内数据来自策略与外部来源的混合。以混合分布作分母的校正用于处理这种变化，能力提高后再减少注入、回到探索。gold只属于训练监督，不能让被评估Agent在部署输入中直接读取。
教学例子：学生整组都答错，训练时加入一份已验证解法；可以利用它学习，但不能把这份外部解法记成学生自己探索成功。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GRIN混合策略校正与把专家答案当作学生采样有什么差别？
From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
问答新增：2026-10-27 · University of California, Merced
展开答案与例子
答案：混合数据的采样分布包含注入来源，校正分母应反映这个分布。把专家样本标成纯on-policy会给错误权重，并掩盖外部知识来源。
教学例子：例如人工加入的解法没有由学生随机采到，不能拿学生生成概率当它唯一来源。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GRIN的重要性比为什么用q_mix而非冻结reference？
From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
问答新增：2026-10-27 · University of California, Merced
展开答案与例子
答案：q_mix描述样本实际怎样产生，reference通常描述正则锚点，两者职责不同。实现需追踪混合来源及概率；本地确定性候选诊断未复刻论文知识吸收数据。
教学例子：例如参考模型很旧但样本来自另一专家，二者概率不能随意替换。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ERPO为何把策略漂移问题放到输入侧观察？
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
问答新增：2026-10-27 · AMAP, Alibaba Group
展开答案与例子
答案：回答正则会直接限制响应探索；ERPO关注模型诱导的问题分布漂移，用问题似然加权及Query-KL控制输入环境的偏移，改变正则作用位置。
教学例子：例如保持学习问题的分布不至于失衡，而非要求每个回答都贴近旧措辞。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ERPO把正则移到问题分布一侧，和直接限制回答分布有什么区别？
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
问答新增：2026-10-27 · AMAP, Alibaba Group
展开答案与例子
答案：回答侧KL会直接压制输出变化，稳定训练的同时也限制探索。ERPO用reference的问题似然对query加权，并约束模型诱导的问题分布漂移，改变的是哪些输入获得多少更新压力。它不是把回答KL换个变量名；本地typicality代理也没有验证真实query分布建模。
教学例子：训练持续偏向某类熟题时，可调整问题侧权重；这与要求每个回答都紧贴原模型，是两种不同的约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
Query-KL与Policy-KL能否在实现里直接互换？
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
问答新增：2026-10-27 · AMAP, Alibaba Group
展开答案与例子
答案：不能。一个约束问题分布，一个约束给定问题下回答分布，梯度边界不同。两者都写KL不代表同一正则，也不能在回答score function上施压后仍称仅输入侧控制。
教学例子：例如常抽哪些题与一道题怎样作答，是两个不同条件分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ERPO本地candidate typicality为何只能叫query-likelihood代理？
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
问答新增：2026-10-27 · AMAP, Alibaba Group
展开答案与例子
答案：它在有限候选上模拟输入典型性，用来验证控制流与梯度边界，并非真实语言模型对自然问题的似然。静态权重来自冻结参考，不能用测试正确率倒推权重。
教学例子：例如候选特征常见程度不等于完整中文问题在真实模型下的生成概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GCPO为什么保护预训练权重的主奇异空间？
GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
问答新增：2026-10-27 · Shanghai AI Laboratory
展开答案与例子
答案：论文观察到rollout更新进入这些主空间的尖峰可能先于验证退化，于是把更新限制在两侧正交补，避免覆盖已有主要映射。观察关联并不表示所有主方向都不能学习。
教学例子：例如保持已有重要输入输出映射，优先在剩余子空间添加任务变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GCPO为什么把低秩更新投影到左右奇异空间的正交补，而不只惩罚投影大小？
GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
问答新增：2026-10-27 · Shanghai AI Laboratory
展开答案与例子
答案：软惩罚允许优化用足够大收益换取主子空间漂移，双侧投影则把这类更新从可行域中直接排除。固定预训练主奇异空间后，输入和输出两侧都受约束，目标是减少覆盖已有主映射。向量级诊断并不等同真实逐层矩阵LoRA训练。
教学例子：若某个权重矩阵的主要输入输出方向需要保护，只在损失里罚它仍可被突破；双侧投影要求每次有效更新都避开这些方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GCPO硬正交约束与加一个小投影惩罚有何区别？
GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
问答新增：2026-10-27 · Shanghai AI Laboratory
展开答案与例子
答案：硬约束把不合条件的更新从可行域排除，软惩罚仍允许优化器用目标收益交换违规。二者约束强度与训练行为不同，不能只调惩罚系数就声称严格双侧正交。
教学例子：例如软目标允许暂时进入主方向，硬投影则每次都移除相应分量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GCPO本地向量策略验证了原文逐层双侧LoRA吗？
GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
问答新增：2026-10-27 · Shanghai AI Laboratory
展开答案与例子
答案：没有。向量参数用经验更新协方差的主右空间做正交限制，是参考机制代理；原文矩阵还需输入与输出两侧固定投影。不能把单侧向量核的结果当逐层双侧模型证据。
教学例子：例如一维参数数组没有独立左右作用轴，无法直接测试完整矩阵两侧约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ERILS为什么在扩散RL中引入外部rollout？
Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：学生自身探索可能覆盖不足，外部策略提供不同轨迹。引入后必须处理来源与长度差异，不能把外部高分直接解释为学生原生可达能力。
教学例子：例如外部模型提供另一种去噪轨迹，学生学习来源仍要在记录中明确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ERILS为什么分别处理自身与外部rollout的奖励，而不把它们直接拼组归一化？
Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：不同来源的长度与奖励分布可能不同，联合归一化会把来源差异混成优势，使一类样本支配或失去信号。ERILS限制外部轨迹长度并分来源处理奖励，保留外部探索价值。来源分组不自动消除所有离策略误差，仍需按实际目标解释采样口径。
教学例子：外部策略总写更长、更高分的回答，直接与学生短回答混组，可能让所有学生样本都变负；应先识别来源差异。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
来源分别归一与on/off混合一起归一有什么区别？
Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：两个来源的奖励尺度和分布可能不同，联合基线会让一种来源系统压制另一种。分别处理能保留各自组内信号，但不自动解决所有跨策略偏差。
教学例子：例如专家奖励整体较高，联合均值可能把学生有价值改进也变成负优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ERILS实现为什么还需显式检查外部响应长度？
Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：长轨迹会影响有效词元预算与损失尺度，方法要求长度约束。来源标签也要一直传到奖励归一化，不能拼接后丢失；本地candidate-policy未跑完整扩散检查点训练。
教学例子：例如超长专家轨迹若直接混入，可能占满批次预算，改变原来的混合设定。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ReCo为何同时处理重复响应与饱和词元？
ReCo
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：高概率回答反复出现会占据更多训练权重，已确定词元也可能继续被强化。响应级期望次数修正与词元方差比针对两种不同冗余，意在保留更多可探索路径。
教学例子：例如同一解法出现多次，里面的常见格式词又很确定，两层重复都可能主导梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ReCo为什么既抑制高频回答，又按token的Bernoulli方差调整更新？
ReCo
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：响应级重复会让热门解法反复占据样本，token级饱和又会继续放大已占优决策。两项分别校正组内期望出现次数和局部决策的可塑性，不能相互替代。保持覆盖的目标也不等于追求任意随机性，本地候选概率不能代表真实长文本路径覆盖。
教学例子：多次采样都得到同一句模板，末尾选择也几乎确定；只减少重复回答权重，未必能避免饱和token继续主导更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
响应去重与ReCo期望出现次数加权能等同吗？
ReCo
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：硬去重直接丢重复样本，期望次数权重依据策略概率连续调整贡献；词元方差比还另作局部修正。二者改变的目标不同，不能用简单去重冒充整个方法。
教学例子：例如两回答碰巧未重复，但一种本来极常见，概率权重仍可能不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ReCo的Bernoulli方差比为什么要保留old与current区分？
ReCo
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：它比较当前概率乘一减概率与旧策略相应量，衡量决策饱和变化。分母边界需数值保护，不能把两边都用当前概率后得到一；本地候选动作不等价自然语言pass@64。
教学例子：例如旧概率极接近边界时要审查稳定性，不能把数值异常当巨大有效信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
代码优化RL为什么不能只奖励程序答案正确？
Reinforcement Learning for Code Optimization
问答新增：2026-10-27 · FAIR at Meta / Inria
展开答案与例子
答案：正确性是前提，目标还包括运行速度；但计时受输入规模与机器负载影响，需要专门测试和校准，才能把有效优化与环境噪声区分。
教学例子：例如两个算法输出一样，较大输入下运行差异才可能体现真正复杂度改进。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
代码优化RL为什么先校准计时环境，再把耗时加入奖励？
Reinforcement Learning for Code Optimization
问答新增：2026-10-27 · FAIR at Meta / Inria
展开答案与例子
答案：共享worker负载和小测试波动会让同一程序测得不同速度，策略可能学会利用计时噪声而非优化程序。独立沙箱计时、正确性门控与优化测试共同界定速度奖励，再处理稀疏优势和旧批次。通过语法或小夹具不能证明生产代码更快。
教学例子：一份程序恰好在空闲机器上跑得快，不应因此压过真正更高效的版本；先做同条件重复计时，再比较合法程序。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
代码耗时奖励与普通数学verifier奖励有何不同？
Reinforcement Learning for Code Optimization
问答新增：2026-10-27 · FAIR at Meta / Inria
展开答案与例子
答案：数学正确性常可相对确定地判定，耗时则依赖测试、沙箱和负载，容易被小测试或测量噪声误导。需要门控与参考百分位，而非直接用一次墙钟时间作可靠优劣。
教学例子：例如共享worker短暂拥塞会让同一程序变慢，不应误判为代码退化。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
代码优化方法的本地组件能替代独立计时服务吗？
Reinforcement Learning for Code Optimization
问答新增：2026-10-27 · FAIR at Meta / Inria
展开答案与例子
答案：不能。真实奖励需通过正确性及优化测试、独立沙箱校准，再处理稀疏优势和陈旧批次；只计算奖励公式不包含这套执行环境，也不能编造真实加速测量。
教学例子：例如模拟给出快慢分数，未实际运行代码，就只能验证更新接口。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ISO为什么固定奇异值而只调整singular frames？
ISO: An RLVR-Native Optimization Stack
问答新增：2026-10-27 · The University of Texas at Austin
展开答案与例子
答案：固定谱强度、改变输入输出方向，提供一种受结构限制的适配空间，减少任意重塑权重。它不是冻结整层，也不意味着权重功能完全不变。
教学例子：例如同样各方向伸缩强度，旋转输入和输出基仍能改变处理哪些特征。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ISO固定奇异值只优化singular frames，和普通低秩增量训练有什么不同？
ISO: An RLVR-Native Optimization Stack
问答新增：2026-10-27 · The University of Texas at Austin
展开答案与例子
答案：固定谱把参数变化限制为输入与输出奇异方向的调整，而非自由改变所有幅度或任意加一个低秩矩阵。这个约束影响可达权重集合，也为专家合并提供结构。只验证小矩阵或候选策略上的保持性质，不能据此声称完整模型优化栈已被复现。
教学例子：同一组奇异值对应的矩阵仍可因方向旋转而改变映射；因此“谱不变”不意味着模型行为不变，也不等于参数被冻结。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
ISO固定谱与GCPO保护主子空间是不是同一种约束？
ISO: An RLVR-Native Optimization Stack
问答新增：2026-10-27 · The University of Texas at Austin
展开答案与例子
答案：不是。ISO固定奇异值而可改变奇异框架，GCPO限制更新不得进入选定主空间；固定量与允许变化的方向不同，只能按机制比较，不能由名字相近推断等价。
教学例子：例如保持尺度但转动方向，与保持主方向不动再在补空间更新，并非一回事。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ISO实现中怎样避免把Σ也作为可训练参数？
ISO: An RLVR-Native Optimization Stack
问答新增：2026-10-27 · The University of Texas at Austin
展开答案与例子
答案：参数化需明确固定Σ0，只把允许的输入输出框架交给优化器，并检查相应结构约束。普通无约束矩阵更新会改变谱；本地候选核未覆盖原文完整大模型栈。
教学例子：例如把重建矩阵整体设requires_grad后任意更新，会绕过固定奇异值的设计。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Off-Context GRPO为什么只让behavior看特权提示？
Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：提示帮助采到成功轨迹，目标策略仍按部署条件只看原题。这样训练学习无提示行为；若目标也看到解题信息，就不再检验推理时无需特权上下文。
教学例子：例如采样器可拿到一段草稿，目标评分时必须去掉这段草稿。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
Off-Context GRPO采样时给提示，为什么优化与推理却仍使用无提示策略？
Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：提示用于提高困难题成功轨迹的出现率，采样行为分布因此不同于目标策略。训练用无提示策略概率与带特权行为概率的比值校正，而不是训练一个依赖提示才能运行的模型。忽略分母或把提示留在评测输入中，都会改变方法所声称的任务。
教学例子：训练教师给出一段草稿帮助采到正确续写；更新时学生仍只条件于原题，测试时也不能把那段草稿偷偷保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
它与直接对提示后回答做普通SFT有何区别？
Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：它保留可验证奖励和组内相对信号，并校正有提示采样与无提示目标分布；普通模仿不自动处理这种采样差。两者都需严格隔离评测答案。
教学例子：例如有提示更易生成某解法，不代表无提示策略原来以同样频率生成它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
Off-Context重要性比分子分母分别条件于什么？
Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：分子是原问题下目标策略概率，分母是问题加特权信息下behavior采样概率。回答前缀相同，条件上下文不同；不能把两边都用带提示概率让比值退化。
教学例子：例如删除提示只发生在目标视图，分母仍须保留真实采样时的提示条件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RIPO为什么认为固定概率比clip没有给各区域相同距离预算？
RIPO
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：同样比值变化在高低概率区域对应的分布距离不同。用Fisher–Rao几何按旧概率调整边界，试图让局部更新预算更均衡，而非固定百分比一刀切。
教学例子：例如罕见动作与常见动作都提高相同比例，对分布几何的影响并不相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
相同PPO ratio区间在不同旧概率处，为什么不代表相同的策略距离？
RIPO
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：概率空间的几何随旧概率位置改变，罕见动作与高概率动作的相同比率变化会消耗不同局部KL预算。RIPO依据Fisher–Rao距离设置概率相关半径，试图让约束更可比。它改变裁剪边界而非优势标签，仍需用实际更新验证稳定性。
教学例子：把一个极少见动作的概率翻倍与把常见动作概率翻倍，对其余分布的影响不同；统一比率上限并不几何等距。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
RIPO自适应边界与直接提高PPO全局ε有何差别？
RIPO
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：全局ε同时放宽所有动作，RIPO依据旧概率区分位置。它是概率条件化的距离设计，不只是把训练调得更激进，也不保证任何数据都更稳。
教学例子：例如只希望低概率区域有合适探索空间，不必让高概率区域也同样放大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
RIPO动态clip应该读取更新前还是更新后的概率？
RIPO
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：边界按旧策略动作概率定义，训练中固定这份参照，再评价当前比值。若用不断变化的当前概率重算，会让信任域随更新移动；本地候选核不等于长CoT训练。
教学例子：例如一个动作本轮被提高概率，不应据此立即重写这轮的原始允许边界。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
SIS为什么尝试把部分旧策略token变成当前策略可用样本？
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
问答新增：2026-10-27 · Renmin University of China
展开答案与例子
答案：异步和样本复用造成陈旧分布，长序列重要性连乘方差大。拒绝采样选择的接受部分可减少这种校正负担，未接受部分仍由宿主算法处理，而非整条数据一律丢弃。
教学例子：例如旧批次里一些词元仍与当前分布兼容，可保留它们的训练价值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
SIS接受旧token后为什么把ratio置1，这是否意味着整条旧轨迹都变成on-policy？
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
问答新增：2026-10-27 · Renmin University of China
展开答案与例子
答案：拒绝采样在给定前缀下校正被接受动作的条件分布，理想条件下这部分无需再乘原重要性比；未接受token仍由宿主算法处理。它不把整条旧轨迹自动改成当前策略轨迹，且top-K envelope是工程近似，必须与精确采样保证区分。
教学例子：一条旧回答只有部分位置通过接受检验，不能因为其中一个token被接受，就把整段历史的全部比率都改成一。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
SIS接受token后把ratio设一，与普通clip到一相同吗？
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
问答新增：2026-10-27 · Renmin University of China
展开答案与例子
答案：不同。接受事件由拒绝采样分布机制决定，不是看到任意比值就数值截成一。精确包络与工程top-K近似也有区别，不能把近似选择包装成无条件精确采样保证。
教学例子：例如随手把所有大比值改成一，没有提供接受样本来自目标分布的依据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
SIS的top-K envelope来自哪个策略，拒绝项怎样处理？
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
问答新增：2026-10-27 · Renmin University of China
展开答案与例子
答案：工程近似用behavior的top-K候选估包络；接受项按规则置一，未接受项继续使用GRPO、DAPO或GSPO等宿主校正，不能自动也改成一或删掉。
教学例子：例如一处拒绝并不表示整条响应都必须丢弃，处理仍遵循所选宿主目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
STARE为什么关注surprisal关键词元而非平均强化整条轨迹？
STARE
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：轨迹优势相同地作用所有位置，可能在熵变化上产生不同效果。按惊讶度分位数找关键位置，再结合目标熵闭环调整权重，让更新关注分布状态而非只看终局结果。
教学例子：例如一处不确定分叉与常见标点即使共享优势，也不必承担相同探索作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
STARE为什么同时看token surprisal和整体熵目标，而不一律强化意外token？
STARE
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：高surprisal位置可能对熵变化更敏感，但持续放大它们也可能让策略过度发散。STARE先按batch分位识别关键位置，再依据当前熵与目标熵的差异调节优势权重。意外程度不是正确性，门控旨在控制训练动态，不是把罕见词都标成好动作。
教学例子：同样一个低概率token，在策略过度确定时与已经过度随机时，可能需要不同调节方向；不能永远给它额外正权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
STARE目标熵闭环与固定熵奖励有何机制区别？
STARE
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：固定奖励持续朝同一熵方向推动，闭环依据当前熵与目标差距调节。它仍依赖目标设定与测量，不意味着熵越大越好，也不能由高惊讶度判定词元正确。
教学例子：例如熵已高于目标时，控制方向应与熵不足时不同，而非始终鼓励随机性。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
STARE关键位置为什么按batch分位数识别？
STARE
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：分位数按当前批分布定义相对关键性，与固定绝对惊讶度阈值不同。实现需固定有效词元mask和所用策略概率，排除padding；本地只验证重权与闭环核。
教学例子：例如padding的伪低概率若混进统计，会把关键分位数整个移位。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
KPop为什么把一个token与其余词表看成二元分布？
KPop
问答新增：2026-10-27 · Ling / Ring Team
展开答案与例子
答案：仅比较采样词概率比可能忽视它在整体质量中的地位。二元表示同时约束该词与补集的概率变化，用正反KL衡量训练与服务失配，再决定是否保留更新。
教学例子：例如同样倍数的变化发生在罕见词或高概率词上，补集变化并不相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
KPop为什么比较token与其余词表的双向binary KL，而不只判断ratio是否过大？
KPop
问答新增：2026-10-27 · Ling / Ring Team
展开答案与例子
答案：相同比率在不同基础概率下含义不同，二元分布同时考虑当前token及其补集，更能反映局部概率变化。正反KL还具有不对称性，因此两边都过关才保留更新。这个掩码检验训推概率一致性，不证明留下的动作正确或整个异步系统无偏。
教学例子：一个罕见词与一个常见词都出现相同比率偏移，仅看ratio会同等处理；加入其余词表概率后，几何差异才显现。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
双向binary KL门控与固定ratio mask有何差别？
KPop
问答新增：2026-10-27 · Ling / Ring Team
展开答案与例子
答案：双向KL根据概率水平自适应评估失配，固定ratio只看相对倍率。两个方向都需达标，因为KL不对称；这仍只是mask规则，不证明真实异步服务已同步。
教学例子：例如一个方向KL较小不代表反向也小，只检一边会放过另一类失配。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
KPop的保留条件是两个KL同时小还是任一小？
KPop
问答新增：2026-10-27 · Ling / Ring Team
展开答案与例子
答案：必须正反两个binary KL均不超过阈值；用或条件会放宽算法。边界概率需稳定处理且不能混淆serving与training来源，本地没有真实训推引擎或MoE集群。
教学例子：例如只有训练到服务方向达标时仍应mask，不能因另一边通过就保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GPRL为什么先逐偏好维度算组内优势？
GPRL
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：不同维度量纲与波动不同，先在每个维度标准化，避免大数值维度自动主导；再按任务上下文聚合，表达不同质量取舍。标准化不表示各维度同样重要。
教学例子：例如格式分以百分制、正确性以零一制，直接相加会让格式数值压倒正确性。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GPRL为什么逐偏好维度算组内优势，再按上下文聚合？
GPRL
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：直接相加原始奖励会让量纲大或方差大的维度支配训练，掩盖帮助性、格式与简洁性的冲突。逐维标准化先获得可比信号，再用上下文权重表达任务取舍，并监测漂移。标准化不决定价值优先级，也不能把单一答案准确率当作多维偏好的完整评估。
教学例子：一个评分维度取百分制，另一个只取少数档位，直接求和容易由前者主导；需先区分尺度与用户真正想要的权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GPRL与先把多维reward加总再做GRPO有什么区别？
GPRL
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：先加总会在归一化前混合尺度与冲突，逐维标准化再聚合保留每维相对关系。两者通常不交换；上下文权重及漂移控制还需独立验证，不能只报单一准确率。
教学例子：例如一维波动很大时，先总分标准化仍可能让其他维度几乎失去作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GPRL本地exact-answer负结果能否否定论文开放式多维结论？
GPRL
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：不能。当前未接入真实人类多维偏好或开放生成judge，本地准确率更低是应保留的负结果，但评测目标与原文不同。实现需逐维维护均值方差和有效权重。
教学例子：例如简洁性改善与最终答案命中可能冲突，单看答案分数不能概括全部维度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ConSPO为什么用组内InfoNCE表达序列优劣？
ConSPO
问答新增：2026-10-27 · Beijing Institute of Technology
展开答案与例子
答案：同提示多个序列作为相互竞争的候选，以优选序列对整组的相对分数形成目标。长度平均的logp减少序列长度尺度干扰，组内温度控制分离强度。
教学例子：例如一个好解法需相对多条其他解法提高，而不仅评价它自身概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ConSPO为什么用长度归一化序列分数做组内InfoNCE，而不直接累计token奖励？
ConSPO
问答新增：2026-10-27 · Beijing Institute of Technology
展开答案与例子
答案：累积对数概率会随长度改变分数尺度，可能把长短差异误当优劣。ConSPO先用平均token分数表示整条响应，再在同题组内做对比，使优选响应相对其他候选得到更高概率。归一化与温度仍影响梯度，组内相对好不保证答案绝对正确。
教学例子：同题一份短回答和一份长解释都正确，直接求和可能惩罚后者；先归一化，再比较组内相对质量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
ConSPO组对比与逐个独立正负二分类有何区别？
ConSPO
问答新增：2026-10-27 · Beijing Institute of Technology
展开答案与例子
答案：InfoNCE的分母把全组耦合，一个候选变化会影响共同归一；独立成对损失分别计算关系。组大小和负例组成也会改变目标，不能把两者简单视为完全等价。
教学例子：例如新增一条竞争回答会进入共同分母，原来的每对损失则没有同样耦合。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ConSPO实现中温度与长度归一化分别作用在哪里？
ConSPO
问答新增：2026-10-27 · Beijing Institute of Technology
展开答案与例子
答案：先对有效响应logp按长度平均，再除温度送入组softmax，计算稳定log-sum-exp。padding与提示不得计入响应长度；本地核没有复刻论文规模训练。
教学例子：例如先对每个词元任意温度处理后再改长度分母，会偏离规定序列分数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Missing Old Logits为什么不只是缺少一份日志？
Missing Old Logits
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：历史训练侧概率是区分训推失配与策略陈旧所需的参照。只留下服务概率后，两种变化混在一个比率里，难以确定优化器到底在校正什么。
教学例子：例如同一词概率变化可能来自推理引擎差异，也可能来自策略已训练多步。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
丢掉历史训练侧logits后，为什么无法分清训推失配与策略陈旧？
Missing Old Logits
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：当前训练概率到旧推理概率的总比率可拆成历史训推差异和后续策略变化，两者需要历史训练侧概率作中间量。缺失它时，只看总比率无法判断偏移来自引擎还是权重更新。快照或old-logit模型是在恢复这个参照，不是给缺失值随便补零。
教学例子：同一旧样本现在概率变了，可能是推理引擎当时就有差，也可能训练后模型改变；没有旧训练快照，两种原因会混在一起。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
训推校正与staleness校正为何需要不同分母？
Missing Old Logits
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：前者比较同一旧策略的训练和推理实现，后者比较当前与旧训练策略。连乘可得到整体比率，但两者不能互相替代，否则会把系统差异当作学习漂移。
教学例子：例如更换推理实现但权重未变，仍可能有第一种差异，却没有同样的训练陈旧。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
缺失旧训练logits时能直接用当前logits回填吗？
Missing Old Logits
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：不能假装它仍是历史值。快照、old-logit模型、中断同步或EWMA等是明确修复方案，各有假设与成本；本地只验证分解及状态路径，未部署真实异步训练集群。
教学例子：例如当前模型已更新，拿它重算旧样本会改写历史参照而非恢复原记录。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
LUSPO为什么把响应长度轨迹当成优化目标的一部分审查？
LUSPO
问答新增：2026-10-27 · Meituan
展开答案与例子
答案：不同RLVR目标对序列长度的隐含加权不同，可能导致响应逐渐坍塌或偏移。对序列logp作规定归一化，试图区分奖励学习与长度尺度效应。
教学例子：例如准确率暂时不变但回答越来越短，仍需检查是否丢掉长推理覆盖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
LUSPO为什么认为sequence ratio仍需检查长度偏置，序列级更新不就已经公平了吗？
LUSPO
问答新增：2026-10-27 · Meituan
展开答案与例子
答案：把更新聚合到序列级并不会自动消除累积log-prob与长度的耦合。LUSPO从目标分解关注这种差异，用长度无偏口径组织序列分数，避免更新系统性推着响应变长或变短。短算术任务上跑通归一化，并不能验证长CoT训练的长度动力学。
教学例子：两条回答每步变化相近，但一条长很多，累积比率仍可能不同；称为“序列级目标”本身不能消除这种长度效应。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
LUSPO序列比与把每个token ratio独立clip有何区别？
LUSPO
问答新增：2026-10-27 · Meituan
展开答案与例子
答案：它先形成长度归一化的序列log-ratio再指数化，整条响应共享相应信号；逐词元裁剪处理局部比值，目标不相同。序列方法也不能自动保证任何长回答动力学。
教学例子：例如一处变大另一处变小，序列平均与分别裁剪可能得到不同更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
LUSPO本地短算术测试为什么不能证明长CoT长度稳定？
LUSPO
问答新增：2026-10-27 · Meituan
展开答案与例子
答案：代码虽有自由生成、序列比和长度归一化，但短响应缺少原文长链的长度演化范围。实现需按真实有效响应长度计算，不可把padding或prompt带入分母。
教学例子：例如十余词的算术回答跑通，未覆盖数千词推理中逐步累积的长度变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
校准感知RL中的decision token，是整段解释都正确的评分吗？
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：不是。它关注承载最终决策的词元概率及其校准，不能用该概率直接评价整段推理的事实忠实性。候选决策正确与概率可信也要分别测；一个答案词元获得高概率，并不证明前面每一步解释都可靠。
教学例子：最终选项A的概率很高，只描述这次选择的信心，不能据此给此前一段可能含错误的解释全判正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
准确率提高而ECE变差，为什么Calibration-Aware RL还要单独约束决策概率？
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：正确决策只要求最大概率类别对，校准还要求置信与真实命中频率相符。RLVR可能把已正确的选择推得过度自信，因此两项应分开测量。本地温度只由validation选择，test用于最终报告；事后校准机制并不等于原论文完整RL训练被复现。
教学例子：两模型总选同一类别，但一个每次声称几乎必对，另一个承认不确定；准确率相同不代表概率质量相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
本地温度校准与原论文完整RLVR训练有什么差别？
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：温度在已有logits上调整概率尺度，原论文训练会改变决策模型本身。两者都关注校准，但执行环节不同，不能把后处理结果称为完整训练复现。
教学例子：例如冻结模型调T，不涉及重新采样轨迹和策略梯度更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
校准温度T允许在测试NLL上选择吗？
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：不允许。只在验证NLL上拟合，冻结后报告测试准确率与校准指标；测试调T会把最终评估用于选择。本地实现只覆盖校准轴和隔离协议。
教学例子：例如试遍温度看测试哪点最好，再报告该点，会高估未见数据表现。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Online IcePop为什么要求一批rollout只更新一次？
Online IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：单次更新避免同一批被反复利用产生额外策略陈旧，使更新起点的policy ratio为一；它仍保留训练与推理引擎数值失配校正，并非所有比率都消失。
教学例子：例如新批次用完就丢，不再拿已更新策略对旧批次做第二轮。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
Online IcePop每批只更新一次后，为什么仍不能删掉训推引擎校正？
Online IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：单次使用新鲜rollout消除了跨更新复用造成的策略陈旧，所以对应policy ratio在采样点为一，不再需要那条PPO裁剪路径。但同一权重在推理和训练引擎中仍可能给出不同概率，双侧IcePop掩码及区间内原始比率仍负责这一差异。
教学例子：刚采样的回答虽然没有过期，推理端与训练端精度仍不同；“新鲜数据”不意味着两个引擎算出的概率完全一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
Online IcePop与普通IcePop少掉的是哪种校正？
Online IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：少掉重复更新引入的stale-policy ratio与PPO clip，保留训推双侧mask和区间内原比值。若仍多轮优化同一批，就不能沿用纯在线设定的简化。
教学例子：例如省略PPO比值的前提是调度改变，而不是单删一行公式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
怎样验证Online IcePop没有暗中复用同一批次？
Online IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：批次需要唯一身份和消费状态，第二次更新应被拒绝；一个candidate group对应一批只是本地调度代理，不包含真实并行通信或采样集群。
教学例子：例如重试回调再次送来同批数据，也不能被当作一批新鲜轨迹。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
miniRL为什么同时考虑训推差异和策略陈旧？
Stabilizing RL with LLMs
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：相同权重在不同引擎下也可能给不同概率，旧权重与新权重之间还存在学习漂移。两者来源不同，分解后才能为on-policy与off-policy设置合适校正。
教学例子：例如更换内核造成偏差，与模型训练后概率改变，不能都归因于同一个旧模型。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
MiniRL为什么把训推差异与policy staleness拆开，MoE Routing Replay又处理哪层不一致？
Stabilizing RL with LLMs
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：引擎数值差异与参数更新造成的陈旧是不同来源，不能用同一个未说明的比率混过去。方法对在策略部分做概率校正，对离策略更新结合裁剪，并重放rollout时的MoE路由以减少执行路径变化。概率权重和专家路径都需核对，小核诊断不代表集群验证。
教学例子：相同token在采样时走专家甲，训练重算时走专家乙，即使权重刚同步也会产生差异；仅调陈旧比率未必解决。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
MoE Routing Replay与普通ratio clipping各解决什么？
Stabilizing RL with LLMs
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：路由重放约束专家执行路径的一致性，裁剪限制概率比带来的更新幅度。它们作用层次不同，裁剪并不会自动恢复曾经使用的专家分支。
教学例子：例如保留旧专家选择信息，与只把一个过大概率比压小，不是同一干预。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
miniRL本地状态核能证明真实MoE集群稳定吗？
Stabilizing RL with LLMs
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：不能。当前验证校正、裁剪和路由状态的机制语义，未复刻大模型分布式训练。实际重放还需记录并对齐每词元路由，不能用标签字段替代真正执行。
教学例子：例如日志写着replay，不表示前向计算已经按记录的专家路径运行。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
IcePop为什么也要屏蔽非常小的训推比？
IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：单侧上截断只控制巨大权重，严重偏小也可能反映引擎失配，继续保留会给不可靠梯度。双侧区间选择保留可信范围，并不把区间外比值拉回边界。
教学例子：例如训练概率远低于服务概率，也不能因权重小就认定没有问题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
IcePop区间外token的更新归零，和把ratio裁到最近边界有什么不同？
IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：裁剪会保留边界权重下的贡献，掩码则直接放弃该token本次策略梯度。IcePop用固定双侧区间排除过大和过小的训推比，区间内仍使用原始校正权重，避免把它们全部改成一。它过滤的是失配程度，不是在判断token内容好坏。
教学例子：某token的训推比极小，单侧上截断几乎不处理它；双侧掩码会排除，而非给它补上一个最小边界权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
IcePop的mask与TIS截断在越界样本上有何不同？
IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：IcePop越界项本次梯度归零，TIS对大比值截到上限后仍保留贡献；区间内IcePop使用原比值，不统一改成一。二者偏差与保留策略不同。
教学例子：例如过大比值在一种方法仍有封顶权重，在另一种方法直接不参与此次更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
IcePop要避免把训推比与policy比写成同一个量吗？
IcePop
问答新增：2026-10-27 · Ant Group
展开答案与例子
答案：需要。前者描述引擎差异，后者描述当前与采样策略差异，mask只针对规定的训推比。当前候选核未实现真实MoE路由或异步集群。
教学例子：例如把新旧策略变化拿来做引擎mask，会误删正常学习导致的概率改变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GPPO保留的是PPO哪类原本被清零的信号？
GPPO
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：普通clip在正优势高比值和负优势低比值区域可能切断梯度，GPPO尝试保持相同前向数值却恢复这些反向信号，避免直接停止相关学习。
教学例子：例如失败样本概率已降低很多时，仍可能需要继续学到如何远离它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GPPO前向仍像PPO，为什么越界token却能保留反向信号？
GPPO
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：前向裁剪值和反向导数可以通过stop-gradient构造分别指定。GPPO保留PPO形式的数值目标，同时用边界权重恢复原本被截平象限的更新，避免正样本探索和负样本学习同时中断。仅比较loss数值看不出差异，必须检查梯度路径。
教学例子：两个算子打印同一个裁剪后分数，但一个越界时梯度为零，另一个仍有边界加权梯度；训练行为会不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
前向损失相同为什么训练更新仍可能不同？
GPPO
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：自动微分图可通过stop-gradient改变导数而不改当前数值。GPPO的关键就是前反向分离，因此只比较loss日志无法判断是否实现其机制。
教学例子：例如两函数当前都输出同一数，detach分支会让它们对参数的导数不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GPPO测试应该只断言clipped loss数值相等吗？
GPPO
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：不够。还需在越界优势象限检查梯度是否保留，并与普通PPO的零梯度区分；stop-gradient边界要明确。本地未训练原文长CoT模型。
教学例子：例如正优势且ratio越上界的输入，是检验恢复反向路径的针对性负控。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TIS为什么在权重相同的训推引擎之间仍有用？
TIS
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：精度、kernel等数值差异可让采样分布与训练侧重算分布不一致。TIS用两者概率比修正策略梯度，处理的是执行实现差异而非额外任务奖励。
教学例子：例如同一参数在两套计算路径下给出略不同的词概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
TIS为什么只上截断训练与推理概率比，而保留小权重样本？
TIS
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：比率用于把rollout引擎采样校正到训练侧分布，特别大的权重会带来重尾方差，上截断限制其支配程度。小比率表示该样本在目标侧贡献较小，仍可保留相应权重。它不是PPO的新旧策略比，也不等于双侧丢弃失配token。
教学例子：一个旧引擎常采到、训练侧罕见的词应少贡献，而不是自动删除；极大的反向失配则需限制其单个样本影响。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
TIS为什么只上截断而不像IcePop两侧丢弃？
TIS
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：上截断控制重尾大权重，同时保留小权重贡献；双侧mask则会删除两种方向严重失配。两者保留策略不同，不能把TIS低权重也置零后仍称原公式。
教学例子：例如很小ratio在TIS里仍有小贡献，而不是自动被判无效。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TIS权重应使用哪个引擎概率作分母？
TIS
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：分母是实际生成轨迹的rollout引擎概率，分子是对应训练侧概率；随后还可有独立policy ratio。当前本地用确定性扰动模拟数值差异，未测真实vLLM/FSDP。
教学例子：例如把分子分母倒过来，会把应降低的样本权重反而提高。
依据：背景与主要改动、核心公式；例子用于解释机制。
原始资料 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GSPO为什么让完整响应共享一个重要性比？
GSPO
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：终局奖励在序列级给出，词元局部异常可能导致零散裁剪。平均词元log-ratio后形成序列比，把更新决策提升到完整响应层，减少局部比值主导。
教学例子：例如一个罕见词偏移很大，不必直接决定整条长回答所有位置分别怎样被clip。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GSPO为何先平均token log-ratio再指数化，而不逐token各裁一次？
GSPO
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：完整回答接收一个结果奖励，逐token异常可能引发不一致裁剪。GSPO把平均log-ratio变成单个序列权重，让整条回答共享相对优势与裁剪决定。它缓和局部噪声，但改变了信用聚合粒度，也不能因此推断所有长度偏置或MoE路径差异已经消失。
教学例子：一段正确回答只有一个词的ratio异常，逐词裁剪与整段共享一个几何平均权重，会给出不同的更新分配。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GSPO几何平均序列比与真正序列概率比相同吗？
GSPO
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：不相同。前者对log-ratio取长度平均，后者是求和后指数，即词元比连乘。平均改变长度尺度与目标定义，不能把它描述成只为避免溢出的同值计算。
教学例子：例如重复同一个小偏移很多步，连乘会累积放大，几何平均保持平均程度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GSPO的clip应逐token执行还是按响应执行？
GSPO
问答新增：2026-10-27 · Alibaba Qwen Team
展开答案与例子
答案：规定对每条响应的单一序列比clip，整条共享权重。有效响应mask决定长度，不能计入padding；本地候选没有真实词元轨迹，也未复刻MoE路由与集群。
教学例子：例如先把各词元裁剪再取平均，通常不会得到先平均再裁剪的同一结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RLCR为什么让模型同时输出预测和置信度？
Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
问答新增：2026-10-27 · Massachusetts Institute of Technology
展开答案与例子
答案：只奖励答对不能约束报出的概率是否诚实，proper scoring rule把概率与结果一起评价，让真实概率在相应假设下获得最优期望激励。
教学例子：例如知道自己常错时报告中等信心，比一律宣称确定更符合校准目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RLCR输出答案再报置信，为什么需要proper scoring rule而不是只奖励答对？
Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
问答新增：2026-10-27 · Massachusetts Institute of Technology
展开答案与例子
答案：二元正确奖励不区分恰当谨慎与盲目自信，模型即使经常出错也可能报高置信。proper评分规则把预测概率与结果共同计分，在其假设下激励诚实概率。训练与报告应分开准确性和校准；本地Brier梯度实验不是论文完整rollout强化学习。
教学例子：一个答题器对不熟悉的问题总说“完全确定”，仅按对错奖励未必纠正这句话；概率评分会让无根据自信付出代价。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
RLCR与训练后仅显示一个confidence字段有何区别？
Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
问答新增：2026-10-27 · Massachusetts Institute of Technology
展开答案与例子
答案：字段若不进入目标就没有校准学习压力，RLCR把合适评分规则加入奖励。本地Brier与hybrid是机制实现，不能据此声称原文rollout栈已执行。
教学例子：例如界面写出九成信心，不代表模型曾因信心不准受到训练惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
本地RLCR的Brier梯度应覆盖哪些类别？
Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
问答新增：2026-10-27 · Massachusetts Institute of Technology
展开答案与例子
答案：对完整softmax候选分布与one-hot目标计算多类平方差并反传，不只针对选中类别或展示置信值。hybrid还组合CE；未运行论文检查点RL。
教学例子：例如未被选中的类别仍分走概率质量，也应参与分布评分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
CISPO为什么把裁剪对象放在importance weight上？
CISPO / MiniMax-M1
问答新增：2026-10-27 · MiniMax
展开答案与例子
答案：它希望限制权重幅度却保留优势方向与有效学习信号，区别于PPO在部分越界区域通过min分支直接清零梯度。关键在冻结权重与可微logp路径的分工。
教学例子：例如一个正样本权重封顶后，仍可通过logp项继续产生强化信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
CISPO裁剪的是importance weight，为什么不像PPO那样让部分越界token直接没有梯度？
CISPO / MiniMax-M1
问答新增：2026-10-27 · MiniMax
展开答案与例子
答案：它把裁剪后的比率当作策略梯度的权重，优势方向和log-prob更新仍被保留；PPO的min-surrogate则会在某些越界象限形成平坦区。两者即使采用相似裁剪区间，反向路径也不同。测试需要检查梯度，不能只比前向目标或把优势本身截断。
教学例子：一个负优势token已经很少出现，PPO可能不再继续压低；权重式裁剪仍可给它受限的负向学习信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
CISPO与普通PPO都出现clip，为什么不能当成同一目标？
CISPO / MiniMax-M1
问答新增：2026-10-27 · MiniMax
展开答案与例子
答案：PPO比较未裁剪和裁剪surrogate的较小值，CISPO用裁剪权重乘优势与logp。反向路径与越界行为不同，不能只检查clip上下界一致就判断等价。
教学例子：例如两者前向都含一个边界值，但一个切断学习、另一个仍能更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
CISPO的裁剪比值若直接参与反传会有什么风险？
CISPO / MiniMax-M1
问答新增：2026-10-27 · MiniMax
展开答案与例子
答案：会引入额外权重导数，改变把校正权重用于策略梯度的目标。实现应核对固定rollout、权重及logp路径，不把本地机制通过写成MiniMax规模训练完成。
教学例子：例如应由当前动作logp承担策略梯度，而非同时沿用于构造权重的支路重复求导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
TTRL在无标签测试题上从哪里得到奖励？
TTRL
问答新增：2026-10-27 · PRIME-RL author team
展开答案与例子
答案：对同题多次采样，以多数一致答案作伪标签，再按是否一致生成奖励并在线更新。它不读取gold，但多数本身可能错，因此仍需独立评测。
教学例子：例如模型几次都猜同一个错误结果，共识只能提供自监督线索。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
TTRL用测试题多数票作奖励，为什么必须明确它是无标签适配而非普通固定模型评测？
TTRL
问答新增：2026-10-27 · PRIME-RL author team
展开答案与例子
答案：测试输入被用于采样并即时更新参数，评测对象因此随过程变化。多数票提供伪标签而非gold，可能自我强化错误，所以必须报告采样与适配预算，并把隐藏答案留在独立评分侧。无标签不等于没有测试时学习，更不能与零适配结果混写。
教学例子：模型对一道新题采样多次，再按共识更新后作答；这与直接调用原模型一次不同，即使全过程没有读取标准答案。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
TTRL与单纯多数投票推理的差别是什么？
TTRL
问答新增：2026-10-27 · PRIME-RL author team
展开答案与例子
答案：多数投票只汇总输出，TTRL还用该伪奖励改变模型参数，后续行为会受更新影响。计算预算和状态传递因此不同，比较时不能忽略训练成本。
教学例子：例如同样抽几条回答，投票返回后结束，TTRL则还执行一次优化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
TTRL的答案规范化能查看测试标准解吗？
TTRL
问答新增：2026-10-27 · PRIME-RL author team
展开答案与例子
答案：不能。等价判断与多数统计只能用允许的预测文本规则，金标用于事后评分。当前本地只验证闭环机制，未执行论文规模真实无标签rollout。
教学例子：例如不能先拿正确数值过滤候选，再说多数票自主找到了伪标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
LUFFY为什么要同时保留离线示范与在线探索？
LUFFY
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：高质量示范能提供学生尚难采到的路线，在线轨迹保留当前策略的探索状态；统一支持集并处理来源概率，避免只会模仿专家或只在已有行为中打转。
教学例子：例如专家展示新证明思路，学生仍生成自己的尝试并接受任务反馈。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
LUFFY把离线示范和在线rollout放在一起时，为什么还要关心行为分布mu？
LUFFY
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：示范与当前策略样本来自不同分布，不能仅因共用一个batch就当成同一种on-policy数据。重要性比及正则化用于控制这种来源错配，同时保留在线探索。示范覆盖不到的状态仍需学生自己访问，且训练示范不能泄漏到最终被评估策略的输入。
教学例子：专家有一条成功推导，学生自己采到几条失败推导；混合使用时要记录每条来源，而非把专家成功记作学生采样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
LUFFY混合更新与把示范追加到普通GRPO组有何区别？
LUFFY
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：外部示范来自不同采样来源，需要相应校正与正则；直接当学生采样会错设分母。方法强调统一目标中的来源关系，而非仅增加几条高分文本。
教学例子：例如人工插入成功解法不能伪装成学生当前策略恰好采出的结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
LUFFY里采样策略μ与参考策略ref各有什么作用？
LUFFY
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：μ描述混合样本怎样生成，ref定义KL锚点，不能混用。实现需追踪示范与在线来源，本地候选诊断不包含原论文真实文本与分布式训练。
教学例子：例如数据从专家来，reference却是初始学生，二者概率没有理由相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
VAPO为什么为长推理重新重视value critic？
VAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：长轨迹终局奖励稀疏，critic可为各前缀提供基准，但偏差也会随长度影响优势。预训练value与长度自适应设计希望使这条价值路径更可靠。
教学例子：例如解题中间步骤尚无终局反馈，价值估计可为其后续收益提供参考。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
VAPO为什么先改善critic，并让GAE与响应长度相关，而不是直接换成无critic算法？
VAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：长推理中稀疏奖励和长度差异会放大价值估计偏差，VAPO选择修复value-based路径：预训练critic，再让优势估计与actor策略适配长度。它没有声称critic可以省略；本地小价值估计和伪长度也不能代替真实长CoT的训练与稳定性证据。
教学例子：短回答很快看到结果，长回答要延迟很久才获奖；同一优势估计参数可能给它们不同的偏差与方差。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
VAPO与critic-free GRPO主要交换了什么成本和信号？
VAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：GRPO用同题响应组相对奖励省掉value模型，VAPO承担critic训练成本获得前缀价值估计。二者误差来源不同，不能因少一个模型就判定能力更好。
教学例子：例如组内全错时GRPO缺少差异，critic可能仍给估计，但也可能估错。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
VAPO的本地critic为何不能叫预训练value model复现？
VAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：本地候选动作和伪长度只模拟价值与长度自适应关系，并非真实长CoT前缀。GAE的λ依响应长度设定需保留，不能用固定λ替代后声称完整方法。
教学例子：例如几类候选的价值表，不等于读入数千词推理前缀的神经critic。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
Dr. GRPO为什么审查长度平均和组标准差两种归一？
Dr. GRPO
问答新增：2026-10-27 · SAIL 研究团队
展开答案与例子
答案：这些操作不只是数值稳定，也会改变不同长度响应和不同难度题的训练权重。移除后保留组均值中心化，让奖励差在原尺度上参与更新。
教学例子：例如奖励差相同但组方差不同，标准化会让两组产生不同强度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
Dr. GRPO为什么同时移除组标准差和响应内长度平均？
Dr. GRPO
问答新增：2026-10-27 · SAIL 研究团队
展开答案与例子
答案：按组标准差会让不同难度问题因局部方差被重新加权，响应内长度平均又改变长短轨迹的相对贡献。移除两项后，保留中心化奖励并按固定口径汇总，从目标层面减少这些偏置。它不是删除所有归一化，也不保证任何任务都自动更好。
教学例子：两个问题的平均奖励差相近，但其中一个组方差极小，标准化后可能被放大；再除响应长度会叠加另一层权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
Dr. GRPO与GRPO在全组奖励中心化上还相同吗？
Dr. GRPO
问答新增：2026-10-27 · SAIL 研究团队
展开答案与例子
答案：仍减同题组均值，区别是移除规定的长度与标准差归一。不能把去标准差误写成不需要baseline，也不能擅自再用全局标准差而称目标完全相同。
教学例子：例如每条仍相对组平均判断好坏，只是不再除该组波动大小。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
本地伪长度能证明Dr. GRPO消除真实长CoT长度偏置吗？
Dr. GRPO
问答新增：2026-10-27 · SAIL 研究团队
展开答案与例子
答案：不能。候选策略无自由生成长度，伪长度只能暴露不同归一计算的差别。真实验证还需词元损失与长响应分布，不能把公式测试当成论文训练结果。
教学例子：例如改变一个候选的模拟长度，不会产生真实生成中提前结束的行为。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
DAPO为什么动态跳过全对或全错的响应组？
DAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：二元奖励组内无方差时缺少相对优势信号，继续占用训练批会浪费有效样本位置。动态采样选择有差异组，但并没有自动解决所有失败题的探索不足。
教学例子：例如四条全错难区分谁更好，需要重新采样而非把同一零信号重复优化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
DAPO的Dynamic Sampling为什么丢弃全对组，难道正确回答不值得继续学习？
DAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：同组全对或全错时，中心化奖励没有相对差异，继续消耗该组预算难以提供所需优势。动态采样挑选仍有区分的组；Clip-Higher、token级汇总与过长惩罚分别处理探索和长度问题。丢弃无方差组不等于判定这些回答无价值，也不允许用test挑题。
教学例子：同题所有回答奖励完全相同，再算组内相对优势仍无方向；换一组尚有成败差异的训练样本，可能更有学习信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
Clip-Higher与普通对称clip主要放宽哪侧？
DAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：上界更宽，允许正向概率提升保留更多探索空间，下界仍单独控制。它还需与动态采样、词元损失和超长塑形共同理解，单改上界不是完整DAPO。
教学例子：例如让一个有用新动作更易提高概率，并不意味着下降方向也同样放宽。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
DAPO词元级分母与逐响应均值有什么差别？
DAPO
问答新增：2026-10-27 · ByteDance Seed
展开答案与例子
答案：先汇总有效响应词元再统一归一，避免每条先平均造成另一种长度权重。动态过滤与超长惩罚也需明确；本地伪长度未覆盖真实mask与32B训练。
教学例子：例如长短两条先各自平均，和把全部词元放一起平均，贡献权重一般不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
REINFORCE++为什么不用每个prompt自己的标准差？
REINFORCE++
问答新增：2026-10-27 · Independent researchers
展开答案与例子
答案：局部方差由少量采样决定，可能随机放大某些难度组。保留组内中心化、使用全局优势尺度，试图减少这种跨题重新加权，而不增加critic。
教学例子：例如某题偶然只有一点奖励波动，不应因此被局部归一放得特别大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
REINFORCE++为什么保留组内中心化，却把尺度归一化放到全局？
REINFORCE++
问答新增：2026-10-27 · Independent researchers
展开答案与例子
答案：组内中心化消除同题共同难度，但局部标准差可能把偶然小方差组放大。跨batch的全局尺度提供更一致的更新量纲，在不增加critic的情况下减少局部重新加权。全局统计的窗口与分布也有影响，小batch EMA诊断不能当作大规模稳定性证明。
教学例子：两道题都出现一点奖励差，只有一道题的组方差特别小；统一全局尺度可避免它因偶然方差而获得异常大权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
全局EMA归一与组内GRPO归一为什么不是交换顺序而已？
REINFORCE++
问答新增：2026-10-27 · Independent researchers
展开答案与例子
答案：分母统计范围不同，组内均值仍描述同题相对表现，全局二阶量提供共享尺度。改统计范围会改变题间权重，不能仅称为相同优势的更快计算。
教学例子：例如两组奖励差一样、方差不同，共享尺度与各除本组方差会产生不同结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
REINFORCE++的EMA状态在评估中能用金标重估吗？
REINFORCE++
问答新增：2026-10-27 · Independent researchers
展开答案与例子
答案：训练统计应按规定批次顺序更新并保留状态，不能用测试答案调尺度。当前小候选批EMA只验证统计与更新语义，不代表原文大batch分布。
教学例子：例如把全测试集奖励先扫一遍定分母，会把评测信息带回训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
RLOO为什么把完整response看作一个动作？
RLOO
问答新增：2026-10-27 · Cohere For AI
展开答案与例子
答案：RLHF奖励常在整段回答后给出，完整动作的REINFORCE可避免学习逐前缀value网络。同题其他回答的平均回报作为baseline降低方差，但仍需要多次采样。
教学例子：例如一篇摘要获得终局分数，直接用其相对回报加权整段logp。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
RLOO为什么用同题其余样本的平均奖励作baseline，而把当前样本排除？
RLOO
问答新增：2026-10-27 · Cohere For AI
展开答案与例子
答案：baseline用来降低方差，应避免把当前动作自己的随机奖励混入其参照。leave-one-out使用同prompt其他独立样本，整段回答当一个动作，省去value网络。仍需足够组大小与一致奖励口径；无需critic不意味着无需采样、reference约束或外部评价。
教学例子：四份独立回答中评价第一份时，用另外三份的平均表现作参照；若把自己也算入，参照会随自身奖励一起移动。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
leave-one-out基线与包含自身的组均值有何差别？
RLOO
问答新增：2026-10-27 · Cohere For AI
展开答案与例子
答案：LOO为当前样本排除自己，避免其奖励直接进入自身baseline；包含自身则有不同缩放和依赖结构。两者都critic-free，但不能忽略组大小后当作完全相同。
教学例子：例如两条回答时，第一条的LOO基线就是第二条，不是两条平均。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
RLOO在K等于一时能直接执行同一公式吗？
RLOO
问答新增：2026-10-27 · Cohere For AI
展开答案与例子
答案：不能，分母K减一且没有其他样本形成基线。实现需要求足够组大小并区分KL塑形后的回报，本地K为四的完整候选不是7B生成与真实奖励模型。
教学例子：例如仅生成一篇摘要时，不能把空集合平均偷偷置零后声称仍是同一LOO估计。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
GRPO为什么可以去掉与policy同规模的value model？
DeepSeekMath / GRPO
问答新增：2026-10-27 · DeepSeek-AI
展开答案与例子
答案：它用同题响应组奖励的均值与标准差估计相对优势，不学习前缀value函数。节省的是critic资源，代价是组采样和组内有区分反馈的需求。
教学例子：例如同题多次尝试中好的相对其他尝试获得正优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
GRPO省掉critic后，同一问题的回答组怎样提供优势，old policy与reference还各做什么？
DeepSeekMath / GRPO
问答新增：2026-10-27 · DeepSeek-AI
展开答案与例子
答案：组内奖励的中心化与尺度化提供相对优势，代替单独训练的价值估计；old policy记录采样时分布，用于比率和裁剪，reference则提供KL锚点。三者角色不能互换，全同奖励组也不会凭空产生区分信号。本地候选动作更新不等于完整数学模型训练。
教学例子：同题几份回答有对有错，可比较彼此奖励；更换reference只改变锚定目标，不能改写这些回答当时由谁采样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
GRPO的old policy与reference policy为什么不是同一角色？
DeepSeekMath / GRPO
问答新增：2026-10-27 · DeepSeek-AI
展开答案与例子
答案：old用于采样与近端比值，reference用于长期KL锚定；old可随训练批刷新，reference通常按独立协议固定。混用会把更新限制与偏移正则耦合。
教学例子：例如一轮新采样要更新old，不意味着初始参考模型也必须随之改写。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
GRPO全组同分时优势应怎样处理？
DeepSeekMath / GRPO
问答新增：2026-10-27 · DeepSeek-AI
展开答案与例子
答案：中心化后为零，标准差也为零，需数值保护且不得用评分器金标硬造组内差异。本地六候选完整动作验证目标，不包含DeepSeekMath自由生成训练。
教学例子：例如四条都错不能按接近标准答案的程度偷偷排序，除非协议本来允许该奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
ReMax为什么使用同题greedy回答的奖励作baseline？
ReMax
问答新增：2026-10-27 · 香港中文大学（深圳）/ 深圳市大数据研究院
展开答案与例子
答案：它提供随问题变化的参照，无需另训练value模型。采样回答比当前贪心更好则强化、更差则抑制；贪心答案本身不一定正确。
教学例子：例如抽样找到比常规首选更好的解释，差值提供正向学习信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
ReMax用greedy回答奖励作baseline，会不会要求greedy答案一定正确？
ReMax
问答新增：2026-10-27 · 香港中文大学（深圳）/ 深圳市大数据研究院
展开答案与例子
答案：不需要。baseline只是同prompt的参照，用来降低采样更新的方差；随机回答比greedy好或差，决定相对信号。greedy也可能错，且baseline不作为独立真值标签。方法省去value模型，但仍要实际生成并评价greedy与采样两条路径的成本。
教学例子：贪心解法答错，随机解法答对时仍有正信号；如果两者都错，不能因为贪心是baseline就把它称作标准答案。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
ReMax与RLOO的baseline来源有什么不同？
ReMax
问答新增：2026-10-27 · 香港中文大学（深圳）/ 深圳市大数据研究院
展开答案与例子
答案：ReMax另外生成贪心轨迹，RLOO用同组其他随机响应。前者依赖贪心质量与额外执行，后者依赖组采样统计，不能只比较是否critic-free。
教学例子：例如两个方法都省value网络，却为基线花在不同类型的生成上。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
ReMax训练时能把greedy baseline的奖励当可微路径吗？
ReMax
问答新增：2026-10-27 · 香港中文大学（深圳）/ 深圳市大数据研究院
展开答案与例子
答案：策略梯度把baseline作为固定回报参照，不应沿解码决策或奖励重新反传。贪心与随机轨迹需同题同评价协议；本地候选greedy不代表真实模型显存或延迟结果。
教学例子：例如本轮改变策略时，不能同时通过离散argmax奖励支路求一个虚构梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
基础理解
InstructGPT三阶段分别引入什么监督？
InstructGPT / PPO-RLHF
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：人工示范训练SFT，人工排序训练奖励模型，再用PPO优化奖励并以参考KL控制偏移。每阶段的模型和数据作用不同，单跑PPO损失不构成整条流程。
教学例子：例如有示范但没有排序数据，尚不足以声称奖励模型已被训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
核心机制
InstructGPT流程中的reward model、critic、old policy与reference为什么不能合成一个概念？
InstructGPT / PPO-RLHF
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：reward model把偏好转成评分，critic估计回报以构造优势，old policy标识采样分布，reference约束相对SFT策略的漂移。它们可能有共享初始化，但训练目的与使用时点不同。只跑候选策略的actor/critic更新，并未复现人工排序、奖励模型训练或大模型RLHF。
教学例子：一份回答可被奖励模型评高分，但critic只是预测它未来能获多少回报；reference又只负责比较策略偏离程度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
方法对比
PPO clip与reference KL都限制变化，为什么仍需区分？
InstructGPT / PPO-RLHF
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：clip限制相对old policy的近端更新，KL限制相对参考策略的偏移；作用基准与时间尺度不同。二者不能互相替代，也不保证奖励模型没有被利用。
教学例子：例如每步都小改仍可长期离初始策略很远，近端限制不等于固定锚点。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 策略优化：谁在采样，谁在被更新
实现细节
本地PPO-RLHF是否包含真实学习的reward model？
InstructGPT / PPO-RLHF
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：没有，奖励来自确定性结果和过程轴，策略也是候选线性模型。虽有actor、old、critic、clip与KL结构，仍不能宣称训练了GPT-3或使用原文人工数据。
教学例子：例如一个数值critic可验证baseline更新，不代表完整人类偏好训练栈。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接