LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
A2D为什么训练问题合成器而非先直接训练学生？
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：问题决定学生访问哪些前缀，也决定教师能提供什么帮助。先冻结评分师生、优化提问分布，再筛库并从原学生开始蒸馏，分开课程学习与学生更新。
教学例子：例如先寻找学生有差距又能学的练习题，而非边改题边偷偷累计学生收益。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
A2D为什么既要求师生分歧大，又要求教师偏好落在学生可达支持集？
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：只有分歧可能选到学生完全学不动的问题，只有兼容性又可能选到已掌握的问题。A2D用差异与兼容性的乘积奖励问题合成器；兼容性取教师在学生候选上的原始概率质量，不能重新归一化抹掉不可达部分。评分师生冻结，下游再从原始学生开始蒸馏。
教学例子：例如学生会两种基本解法，教师还知道一种相近改进，问题有学习空间；若教师几乎只支持学生完全采不到的路线，兼容性应低。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
A2D的兼容性与纯师生分歧奖励有什么差别？
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：分歧大可能表示任务完全不可达，兼容性看教师质量落在学生支持多少。乘积平衡学习空间与可达性，不把越难越远直接当越有价值。
教学例子：例如教师只会学生从不支持的路线，分歧虽大仍可能低教学回报。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
A2D兼容概率为什么不能在并集内重新归一后再算？
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：它需教师全词表在学生候选上的原始质量，重归一会隐藏并集外质量。重复惩罚按完整评分批聚类，非单GRPO组；下游候选优势也不再任意组标准化。
教学例子：例如教师绝大部分质量在学生候选外，局部归一会把不可达程度夸成很兼容。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
TAR为什么先从base实际采到正确记忆？
Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：目标是保住基座已有但后训练压制的模式，必须真实生成并经训练verifier通过，再选分散原型；手写标准解无法证明原来可达，没正确候选就不建bank。
教学例子：例如基座从未采出的解法，不能被包装成被遗忘的旧能力。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
TAR为什么只重放相对基础策略被压制的正确轨迹，而不是固定模仿整个记忆库？
Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：基础策略实际采样并经训练验证器筛出的正确轨迹用于保存多样解法。当前策略若未压低某条轨迹，其门控可以为零；若发生压制，再把损失集中到被压低的词元。轨迹门与词元权重都停止梯度，避免优化器通过改变门控取巧，测试答案不参与建库。
教学例子：例如旧策略的代数解法逐渐采不到时才补学其中受压步骤；仍常见的图解轨迹无需重复强制模仿，也不能手编答案冒充旧采样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
TAR自适应重放与固定archive反复SFT有什么差别？
Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：只有相对base被压制时才开轨迹门，并聚焦受压词元，避免已掌握部分持续限制新适应。固定回放始终提供监督，不具这种按当前压制变化的选择。
教学例子：例如某旧解法仍常见时可不额外回放，后来下降再补。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
TAR能仅对活跃门的轨迹平均loss吗？
Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：不能，按全部bank轨迹平均，零gate也在分母；门与token权重都detach，半精度内部需稳定计算。只除活跃数会随激活比例额外放大回放。
教学例子：例如只一条被压制时，改活跃分母会让它比规定全bank均值强很多。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
STOPD为什么在生成前随机选cutoff？
Does On-Policy Distillation Need to Complete Every Rollout?
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：预先独立抽取可明确每个位置被保留的概率，并实际节省后续生成；生成完再截只能省监督且可能引入选择偏差。自然EOS仍是有效词元。
教学例子：例如先决定最多走到某块末尾，而不是看完答案再挑最有利长度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
STOPD按截断位置的逆概率加权，为什么还不能用本批随机词元数直接归一化？
Does On-Policy Distillation Need to Complete Every Rollout?
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：预先随机截断使后面词元更少被观测，精确纳入概率的倒数可校正梯度和。但随机分子再除以同批随机分母，并不自动保持无偏。方法使用前批的加权计数作当前归一量，权重和分母不参与微分；结论也不是每次优化器更新都等于完整生成。
教学例子：例如后段步骤只有部分截断计划能保留，应增加其权重；但不能因此宣称一次短生成的平均损失必定与完整长回答相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
逆纳入概率保证梯度和无偏，等于每次Adam更新相同吗？
Does On-Policy Distillation Need to Complete Every Rollout?
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：不等于。随机和的期望可匹配完整和，但归一和非线性优化器还有额外状态。不能把无偏性直接扩大到每批参数更新或训练结果完全一样。
教学例子：例如两次短采样平均接近全和，不代表每次自适应步长都与完整批一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
STOPD最后不足整块的位置如何算权重与normalizer？
Does On-Policy Distillation Need to Complete Every Rollout?
问答新增：2026-10-27 · Cornell University
展开答案与例子
答案：按精确覆盖概率处理短尾块，不能假定所有块等宽；使用前批加权计数作当前normalizer。计划分begin、loss、finish防复用，不能拿当前随机计数替代。
教学例子：例如最大长度不是块宽整数倍时，尾部位置仍需正确纳入概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
BoundaryEvo为什么每轮重新评估旧问题？
BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
问答新增：2026-10-27 · Shanghai Artificial Intelligence Laboratory
展开答案与例子
答案：学生能力变化，原本有价值的边界题可能已掌握，旧replay需重新过筛并补新问题。课程与模型共同演化，而不是固定难题集永久回放。
教学例子：例如原来不会的证明学会后，应转向新的能力缺口。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
BoundaryEvo为什么先选能力边界问题，再重新生成并验证教师轨迹？
BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
问答新增：2026-10-27 · Shanghai Artificial Intelligence Laboratory
展开答案与例子
答案：问题是否值得学取决于当前学生与专家的差距，旧问题也需重新检查；确定问题后生成新教师轨迹并独立验证，可避免把旧错误答案跟随问题一起重用。初始行为预热与后续验证监督具有不同过滤规则，不能把预热未验答案宣传成正确标签。
教学例子：例如学生已经学会某个分解题，就不必永久重放；新边界题即使问题合理，也要重新核验教师解法，不能沿用未经检查的旧稿。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
capability priming与正式验证教师监督的区别是什么？
BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
问答新增：2026-10-27 · Shanghai Artificial Intelligence Laboratory
展开答案与例子
答案：初期少量行为预热不按正确性过滤，后阶段选题后生成fresh教师轨迹并独立验证。不能把前者未验数据描述成正确示范，也不能省去后者验收。
教学例子：例如学习教师表达习惯与确认某题解法正确，是两个阶段标准。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
BoundaryEvo在SFT前应固定哪些生成与验证记录？
BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
问答新增：2026-10-27 · Shanghai Artificial Intelligence Laboratory
展开答案与例子
答案：选题依据当前学生、固定expert和analyzer的差距及质量条件；新teacher轨迹验证后只监督响应token。测试参考不能参与选题，旧答案也不能直接冒充fresh生成。
教学例子：例如换了新问题却复用另一题旧解，失去选题与监督的一致性。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
BranchOPD为什么在不确定分叉处多采suffix？
Branching On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / SenseTime Research
展开答案与例子
答案：单条轨迹只展示一次后续，额外学生分枝可覆盖同一状态的多种选择，让教师指导更集中在有分歧的位置。分枝仍来自冻结学生而非教师直接指定。
教学例子：例如一道证明转折有两种延续，可从相同前文独立尝试两条。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
BranchOPD从同一前缀分枝时，为什么前缀只应计算一次损失？
Branching On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / SenseTime Research
展开答案与例子
答案：分枝增加的是同一学生状态下的多种后续，若每条分枝都重复计算共享前缀，会无意放大早期词元权重。方法按不确定性与师生分歧选分叉，从冻结学生独立采样续写，再由教师评分；它不是教师强制续写，也不按答案正确性预筛分枝。
教学例子：例如共享三步推理后生成两种续解，共享三步只记一次，两条后续各自受监督；否则增加分枝会顺带加重无关前文。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
按分歧分枝与只保留正确分枝有什么假设差别？
Branching On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / SenseTime Research
展开答案与例子
答案：前者不靠答案筛选，后者事后条件化结果，会改变采样分布。教师评分与协议结束监督也不能被成功过滤替代，否则预算与来源不再相同。
教学例子：例如失败分枝仍提供怎样继续的状态，不能为了曲线好看全部删除。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
BranchOPD为什么共享前缀不能按分枝数重复计loss？
Branching On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / SenseTime Research
展开答案与例子
答案：新增的是后缀覆盖，重复前缀会无意提高其权重。需去重、对齐有效位置，PBR监督规定结束事件；不能把完整boxed后EOS规则泛化成任意早停。
教学例子：例如一个前缀长出五枝，不应让前面无关词也自动学五次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
GRPO课程中的难度为什么随策略更新？
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
问答新增：2026-10-27 · Dalian Maritime University
展开答案与例子
答案：以当前多次rollout成功率定义难度，学会后同题会变容易，遗忘后可重新变难。课程是动态状态选择，题面长度或旧固定分数都不是同一量。
教学例子：例如昨日全错的短题今天常对，应该离开原来的困难带。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
GRPO难度课程为什么要随当前策略重测成功率，而不能按题目长度固定分级？
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
问答新增：2026-10-27 · Dalian Maritime University
展开答案与例子
答案：难度取决于当前策略和采样预算，同一道题会随学习进出目标成功率区间。课程用真实生成的成功率分带，阶段选择依赖验证集；越往难处推进并不保证更好，因此还需要最难阶段对照。长度奖励是辅助目标，不能代替难度估计或用测试表现决定推进。
教学例子：例如短算术题可能恰好是当前模型弱项，长题反而熟练；课程应依据当前多次解答是否成功，而不是字符串长短。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
在线fixed-medium与不断升到最难带为何不等价？
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
问答新增：2026-10-27 · Dalian Maritime University
展开答案与例子
答案：前者持续保持可学的中等成功区间，后者逐段推进可能进入几乎无信号区；原研究也保留最难阶段退化边界，不能把越难越好当通则。
教学例子：例如课程越过能力边界后全组失败，难度更高却可能学不到。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
课程阶段选择能看测试分或使用长度奖励定难度吗？
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
问答新增：2026-10-27 · Dalian Maritime University
展开答案与例子
答案：不能，阶段只看验证并恢复所选checkpoint；长度奖励是辅助目标，不用于成功率难度gate。每步需真实rollout重估，不能把静态mock概率充当在线机制。
教学例子：例如长回答不一定难，不能根据长度奖励高低直接决定进入哪个阶段。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
渐进收缩为什么从正确轨迹中再挑高分支不确定性？
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
问答新增：2026-10-27 · National University of Singapore / Nanjing University
展开答案与例子
答案：正确结尾仍可能经过后续易错分叉，Monte Carlo续写估计可识别有教学价值状态。只看原轨迹正确与否会遗漏这些关键分叉。
教学例子：例如一条正确推导在中途有多个易混公式，值得针对性学习。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
渐进收缩为什么先测教师轨迹的分支不确定性，再按学生损失选训练子集？
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
问答新增：2026-10-27 · National University of Singapore / Nanjing University
展开答案与例子
答案：正确教师轨迹也可能经过后续容易分叉的位置，蒙特卡洛续写可识别这种学习价值。先按教师分支不确定性收缩池，再经真实学生探测，选当前损失较高的轨迹并重新路由。减少学生曝光量不等于相同倍数的总加速，教师探测成本必须另计。
教学例子：例如两条都正确的证明，一条中间选择容易走错，先保留它；学生掌握后再换别的难点，不能只按答案是否正确筛选。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
教师profiling与学生NLL重路由分别解决什么？
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
问答新增：2026-10-27 · National University of Singapore / Nanjing University
展开答案与例子
答案：教师阶段找潜在推理难点，学生探测阶段判断当前学生尚未掌握什么。两层依据不同，不能把teacher难度分永久当作学生难度，也不能用静态长度代替。
教学例子：例如教师认为难的步骤学生已会，学生路由可把预算转给别处。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
曝光量减少为何不能直接写成总GPU加速倍数？
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
问答新增：2026-10-27 · National University of Singapore / Nanjing University
展开答案与例子
答案：公式只统计学生训练曝光，不包括教师真实续写profiling、学生探测和其他开销。需分别记账并保留真实生成证据，不能由少训练样本推算端到端速度。
教学例子：例如前期花很多教师计算筛题，少两个epoch未必按比例省总时间。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
SynthSelf为什么让更大同家族模型改写训练示范？
Continually Post-training Small Models via Synthetic Self-distillation
问答新增：2026-10-27 · KAIST AI / LG AI Research
展开答案与例子
答案：小模型自改写容易失真，而原示范风格未必适合学生；更大同家族aligner生成候选改写，经答案检查才监督学生。它不是改写越短越好。
教学例子：例如把跳步证明改成学生可学的步骤，同时保持训练题结论正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
SynthSelf为什么用较大的同家族改写器，并在改写后再次核对训练答案？
Continually Post-training Small Models via Synthetic Self-distillation
问答新增：2026-10-27 · KAIST AI / LG AI Research
展开答案与例子
答案：小学生直接自改写可能引入错误，较大同家族模型用于把训练示范改成更适合学生学习的表达。改写经答案拒绝采样后才用于响应监督，且需实测分布与保真约束是否成立。改写器并不天然满足约束，评测答案也不能进入改写或学生输入。
教学例子：例如把训练题的冗长正确解改成清晰步骤后，仍要检查结论一致；不能用测试题标准答案指导改写，再把得分称为泛化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
答案拒绝采样与仅检查文本格式有什么区别？
Continually Post-training Small Models via Synthetic Self-distillation
问答新增：2026-10-27 · KAIST AI / LG AI Research
展开答案与例子
答案：格式合法不保证内容正确，拒绝采样要核对改写答案；原约束还需实际测改写分布与保真关系，不能因同家族就宣布必满足。
教学例子：例如JSON完整但最后算错，仍不该进入有效训练改写。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
SynthSelf的gold允许在哪些阶段出现？
Continually Post-training Small Models via Synthetic Self-distillation
问答新增：2026-10-27 · KAIST AI / LG AI Research
展开答案与例子
答案：训练示范可供离线aligner改写与验收，学生输入不包含评测答案，测试标签不能筛选课程。真实学生SFT不可由文本过滤代替，既有失败和修后证据分别保留。
教学例子：例如筛出正确文本但没做任何参数更新，尚不是完整训练实现。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
DIAL-OPD为什么在大log差之外乘概率对数均值？
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
问答新增：2026-10-27 · Eastern Institute of Technology, Ningbo / The Hong Kong Polytechnic University
展开答案与例子
答案：两模型都极低概率的词也可出现大log差，尺度因子降低这类噪声位置优先级，突出有较实际支持的分歧。选中并不等于已被verifier认定错误。
教学例子：例如一个怪词两边都不想要，差十倍也未必比关键数字的小差更有价值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
DIAL-OPD为什么不直接按师生对数概率差最大的词元选择监督？
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
问答新增：2026-10-27 · Eastern Institute of Technology, Ningbo / The Hong Kong Polytechnic University
展开答案与例子
答案：两者都认为极不可能的词元也可能有很大对数差，单看差值会高估其训练价值。概率对数均值提供尺度调节，再结合差异选位置；未选位置仍保留在上下文，只是不计对应损失。选择监督位置不会自动减少生成成本，也不保证每个大分歧都是知识错误。
教学例子：例如教师和学生都几乎不支持一个怪词，它们的对数差仍很大；尺度调节让正常关键步骤的分歧有机会优先受监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
DIAL只监督部分位置与删除未选文本有何区别？
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
问答新增：2026-10-27 · Eastern Institute of Technology, Ningbo / The Hong Kong Polytechnic University
展开答案与例子
答案：未选位置仍作为条件上下文保留，只屏蔽对应loss。删除文本会改变后续前缀和教师分布，已不再是相同学生轨迹上的稀疏监督。
教学例子：例如不学习中间连接词，后续数字仍需读到它之前的完整算式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
DIAL对p=q的对数均值怎么处理？
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
问答新增：2026-10-27 · Eastern Institute of Technology, Ningbo / The Hong Kong Polytechnic University
展开答案与例子
答案：用连续极限避免零除零；有效响应内按每条规定配额选择，优势停止梯度，只沿末学生logp更新。不能先全batch统一排名导致长回答独占配额。
教学例子：例如两概率相等时数学上有有限极限，不应返回NaN或任意大分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
GRPODropout为什么删部分高概率正优势回答？
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
问答新增：2026-10-27 · Harbin Institute of Technology (Shenzhen)
展开答案与例子
答案：这些样本可能继续集中已占优模式，按熵贡献选择性减少其更新，并保留失败负反馈。它不是随机丢神经元，也没有减少已付出的rollout生成预算。
教学例子：例如同一常见正确模板反复出现，可少强化其中一些重复优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
GRPODropout为何筛掉部分高概率正优势响应，却恢复所有非正优势响应？
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
问答新增：2026-10-27 · Harbin Institute of Technology (Shenzhen)
展开答案与例子
答案：高概率且正优势的响应可能进一步强化已占优势的模式，筛选依据是它们对熵变化的贡献，而非随机丢弃。保留负向反馈后，再按旧策略概率重新中心化优势，避免筛选改变基线。生成预算并未因此减少，节约更新样本不等于少生成。
教学例子：例如一组里常见正确模板过度主导，可少学其中部分重复回答；失败回答仍用于惩罚，不能删掉后把剩余样本都视为正例。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
响应dropout与生成前少采几条有什么成本差异？
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
问答新增：2026-10-27 · Harbin Institute of Technology (Shenzhen)
展开答案与例子
答案：前者先生成再筛训练，仍支付全组生成；后者减少数据覆盖和生成成本，改变估计条件。不能把少反传响应自动写成同等比例的端到端采样加速。
教学例子：例如八条都生成后只用六条，不等于只花六条生成的时间。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
GRPODropout删除后能用原组优势不再中心化吗？
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
问答新增：2026-10-27 · Harbin Institute of Technology (Shenzhen)
展开答案与例子
答案：需要按保留项旧策略概率重新中心化，且所有非正优势响应恢复。忽略任一会改变均值和负反馈结构，不能把简单随机去两条称原算法。
教学例子：例如删掉强正样本后组基准已变化，原优势并不自动仍满足规定中心。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
MagicBeanStalk为什么递归分解再组合难题？
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：硬题全错缺少优势，子题示例可揭示有效蓝图，再合成新叶并沿依赖组合，寻求当前策略既有对又有错的可学任务。合成合法不等于任务有效。
教学例子：例如将复杂推导拆成可练的小环节，再组合成保留关键依赖的新题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
MagicBeanStalk的子题有效性和最终Goldilocks筛选，为什么不能互相替代？
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：子题示范是否提高父题成功率，检验依赖分解是否有效；最终任务还需对目标策略在给定预算下既非全对也非全错，并存在正常结束的正确解。两条件针对不同对象与阶段。局部教师诊断通过不代表递归构造成功，本地多次构造失败也须保留。
教学例子：例如两个子题确实帮助另一个学生解父题，但目标模型仍一次都解不出合成题；这种任务仍未通过最终可学习性筛选。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
子题effectivity与目标policy Goldilocks各验证什么？
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：前者看子例是否提高某学生父题成功，后者看最终目标策略在规定预算是否有部分成功且至少正常结束正确。两阶段对象不同，前者不能替代后者。
教学例子：例如辅助学生学得好，但目标模型仍全错，最终题仍不适合本轮训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
本地MBS格式合法的新题能直接进入实现通过状态吗？
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：不能，还需完整正确解、独立验证、蓝图与新颖性以及有效性和Goldilocks检查。既有多次真实构造失败需保留，单次教师质量诊断不是整方法通过。
教学例子：例如JSON与依赖图都合法，内容却无法解出，仍应记构造失败。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
PIVOT为什么按问题而不是全训练同时从OPD切到RL？
PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
问答新增：2026-10-27 · Ping An Technology / University of Science and Technology of China
展开答案与例子
答案：不同题学生准备程度不同，统一切换会让困难题过早失去教师。按教师对学生响应的困惑度排序，逐渐增加低困惑度题的RL比例，其他仍蒸馏。
教学例子：例如已熟悉的题先自主探索，尚偏离教师的题继续有人指导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
PIVOT为什么让低教师困惑度的问题先转RL，而高困惑度问题继续蒸馏？
PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
问答新增：2026-10-27 · Ping An Technology / University of Science and Technology of China
展开答案与例子
答案：困惑度在学生自己的响应上计算，表示教师对学生当前行为的支持程度。较低时可较早依靠任务奖励探索，较高时继续获得教师监督；按问题组汇总后随训练逐步增加RL比例。它是路由依据，不是正确性判定，也不表示低困惑度问题必然简单。
教学例子：例如教师已认可学生的一类解题步骤，这类题先转奖励训练；另一类仍频繁偏离教师分布，暂时保留蒸馏而非统一切换。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
教师困惑度与verifier正确率为什么不能互换？
PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
问答新增：2026-10-27 · Ping An Technology / University of Science and Technology of China
展开答案与例子
答案：困惑度衡量教师对学生文本的支持，正确率衡量任务结果。高支持可能仍错，低支持也可能是新有效解法；它是路由代理，不是独立答案验证。
教学例子：例如教师不习惯学生新表达，并不证明该表达的结论错误。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
PIVOT怎样从响应分数形成问题路由？
PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
问答新增：2026-10-27 · Ping An Technology / University of Science and Technology of China
展开答案与例子
答案：先算每响应教师平均负logp的指数，再同题组平均、批内标准化，按余弦比例选最低问题。GRPO与OPD各保留规定归一，不能按单token直接分成两个目标。
教学例子：例如同题几条回答先汇总，不能只取最容易一条就判整题可转RL。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
ReCal为什么剪枝前就考虑后续OPD可恢复性？
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
问答新增：2026-10-27 · Zhongguancun Academy / Tencent / University of Science and Technology of China
展开答案与例子
答案：严重剪枝会让学生只访问劣质状态，教师在这些状态的监督也受限。探针损伤帮助校准重新挑通道，意在保留更可恢复的结构，不是仅事后补训。
教学例子：例如关键运算路径删坏后，单靠更长蒸馏未必能恢复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
ReCal为什么用剪枝探针测损伤，却回到未剪枝模型重新计算通道选择？
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
问答新增：2026-10-27 · Zhongguancun Academy / Tencent / University of Science and Technology of China
展开答案与例子
答案：第一次剪枝暴露哪些教师状态受损，这些损伤用于重加权原模型的校准激活，再重新选择通道。它试图避免损坏学生只能产生贫乏轨迹、后续蒸馏难以修复的循环。损伤估计需保留词表剩余概率质量，单独归一化少数候选会改变KL含义。
教学例子：例如探针发现处理进位的状态受损较大，重新校准时提高这些状态的重要性；不是在已经删掉的通道上继续随意打补丁。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
损伤加权校准与按普通激活大小直接剪有何不同？
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
问答新增：2026-10-27 · Zhongguancun Academy / Tencent / University of Science and Technology of China
展开答案与例子
答案：前者关注教师轨迹哪些状态被probe损坏，再重权原模型统计；普通激活重要性不直接看恢复需求。目标宽度与恢复流程需相同才能公平比较。
教学例子：例如某状态不常见但损伤很大，可在校准中获更多权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
ReCal top教师候选外的概率可以丢掉再归一吗？
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
问答新增：2026-10-27 · Zhongguancun Academy / Tencent / University of Science and Technology of China
展开答案与例子
答案：不能，保留top及其余总质量桶来估损伤，避免隐藏词表外误差。每响应损伤权重归一到单位，零损伤退化均匀；通道重选回到未剪原模型统计。
教学例子：例如probe把质量移到top外，局部重归一会看不见这类损伤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
FTW为什么不用同题多轨迹或value critic？
Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT
问答新增：2026-10-27 · Trent AI Limited
展开答案与例子
答案：有状态工具轨迹采集贵，方法从近期FIFO真实轨迹池反复抽批，模仿批内精英并用KL约束。它以回放排名替代一部分同题组与价值估计需求。
教学例子：例如每个工具任务只做一条，也可把近期不同任务轨迹放进池中选批精英。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
Follow the Winners为什么反复抽小批精英，而不只取整个回放池的前K条？
Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT
问答新增：2026-10-27 · Trent AI Limited
展开答案与例子
答案：每次先从近期轨迹池随机抽批，再取批内高回报轨迹，重复入选次数形成平滑的排名权重。整池硬截断是特例，通常会丢掉更多次优但有用的轨迹。方法不要求同题多条轨迹或价值模型，仍需KL控制更新；本地小环境诊断不证明工具任务收益。
教学例子：例如池中最好路线经常入选，次好路线也可能在某批成为精英；不是永久只训练全池最前几条，更不是给重复轨迹去重后等权。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
FTW小批精英与整池一次top-K为何不等价？
Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT
问答新增：2026-10-27 · Trent AI Limited
展开答案与例子
答案：反复抽批形成按排名的软占用率，次优轨迹也可能入选；整池硬截断只保留绝对前列。重复入选次数是权重的一部分，去重会改目标。
教学例子：例如全池第二梯队在一批中没有最强对手时仍可成为精英。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
FTW的K=C与C=N分别应退化成什么？
Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT
问答新增：2026-10-27 · Trent AI Limited
展开答案与例子
答案：前者保留整批，成为均匀抽样；后者每次取全池，对应整池精英选择。应验证分布和为一并保留跨批重复，本地bandit诊断不等于真实工具环境收益。
教学例子：例如把K设成C还偏爱最高排名，就说明实现未正确退化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
LESSER为什么用输出层梯度作为数据选择特征？
LESSER: Post-Training Data Selection with Output-Layer Gradients
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：全参数逐样本反传昂贵，独立readout梯度可由一次前向的概率残差与末隐藏态解析得到，再压缩成特征供原选择器使用。改变的是表示，不是另造选样准则。
教学例子：例如仍按与目标查询相似度选题，只把代价高的梯度特征换成输出层形式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
LESSER从一次前向解析输出层梯度，为什么不能称为全参数梯度的精确替代？
LESSER: Post-Training Data Selection with Output-Layer Gradients
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：解析式利用隐藏状态与输出概率残差的外积，精确针对独立输出读出层；双侧共享投影再压缩这些特征，原数据选择规则可以继续使用。它不是所有层梯度，嵌入权重绑定时还需区分间接依赖。选择用验证代理查询，隔离测试集不能参与选样。
教学例子：例如用少量验证题的输出层梯度方向挑相关训练题；不能先看测试题方向来选数据，也不能把最后一层相似等同全模型更新相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
LESSER与完整模型梯度相似度能声称完全等价吗？
LESSER: Post-Training Data Selection with Output-Layer Gradients
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：不能，解析精确性针对独立输出层；隐藏态若经绑定embedding依赖同一参数，还有额外路径。压缩也近似几何，不能从公式核通过推断同样下游性能。
教学例子：例如最后一层方向相近，不代表所有中层参数更新都相近。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
LESSER为什么候选与query共享同一随机投影？
LESSER: Post-Training Data Selection with Output-Layer Gradients
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：只有共同坐标才能比较特征相似度，应先在token残差和hidden两侧投影，避免物化大矩阵。query来自验证代理，测试不可选样；本地输入随机张量仅诊断。
教学例子：例如每样本各抽一套投影，向量夹角就不再比较同一特征空间。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
DARS为什么把进度写成依赖predicate图？
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：已完成步骤可能依赖后来失效的条件，单纯累计进度无法反映破损。图状态让验证、失效和修复影响相关信用，同时保持独立分支，不一律清零。
教学例子：例如预订取消会影响依赖行程，却不必抹去独立完成的材料准备。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
依赖感知奖励塑形为什么只衰减破损依赖附近的信用，而不清空所有已完成进度？
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：任务以先决条件图表示，某个条件失效会影响依赖它的后续工作，却不必影响独立分支。按图距离衰减信用，再由势函数差分形成奖励，可反映破损与修复。它依赖谓词状态和依赖图是否正确，本地状态转移核没有证明真实智能体训练收益。
教学例子：例如订票失效会削弱依赖该行程的酒店安排信用，但不应抹掉独立完成的报销材料；修复后相关进度再按状态恢复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
依赖距离衰减与全局失败扣分有何差别？
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：衰减针对离破损依赖不同距离的工作，全局扣分不分关联。图错也会误分信用，因此结构化不自动保证准确，仍需验证predicate和依赖。
教学例子：例如酒店安排依赖航班，另一分支的账户验证不该同受惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
DARS修复事件是否只改当前reward不改状态？
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：应更新依赖状态与势函数，再由相邻势差得奖，否则后续仍基于旧破损记录。当前只执行状态核，未训练原文模型；上游接口说明不等于作者训练代码已发布。
教学例子：例如航班修复后关联信用应按新状态恢复，而不只是额外加一次奖金。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
GATS为什么让教师权重随学生差距下降？
Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
问答新增：2026-10-27 · Dalian University of Technology / Kuaishou
展开答案与例子
答案：教师在稀疏奖励初期提供方向，学生接近固定教师参考后减少模仿，避免继续限制自身探索；达到参考后永久撤出，后续只做奖励训练。
教学例子：例如学生已掌握教师水平，继续每步跟随可能妨碍自主改进。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
GATS为什么使用滞后一拍的学生成功率，并在赶上教师后永久撤出教师？
Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
问答新增：2026-10-27 · Dalian University of Technology / Kuaishou
展开答案与例子
答案：滞后移动平均避免当前批次结果立即改变同批教师权重，固定教师参考使差距有稳定基准。差距缩小时蒸馏线性减弱，达到参考后永久关闭教师而继续奖励训练，避免短期波动反复开关。成功率受估计噪声影响，本地只验证调度状态机。
教学例子：例如本轮表现改善，下轮才减少指导；一旦达到设定教师参考，即使随后小幅波动也不重新叫回教师，这与逐批动态开关不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
GATS永久withdrawal与每批按成功率重新开关有什么区别？
Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
问答新增：2026-10-27 · Dalian University of Technology / Kuaishou
展开答案与例子
答案：永久状态避免短期波动反复调用教师，动态开关可在下降后恢复指导，二者政策不同。成功率有估计噪声，不能把一次达到就解释成所有能力超过教师。
教学例子：例如下一批稍降也不会重启教师，这是状态机规定而非忘记调用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
GATS为什么用滞后一拍学生EMA与固定教师尾部成功率？
Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
问答新增：2026-10-27 · Dalian University of Technology / Kuaishou
展开答案与例子
答案：当前批奖励不能即时反向改变同批调度，固定参照使差距可解释。需处理教师基准为零等边界，当前仅验证调度核，未执行Qwen Agent RL。
教学例子：例如先完成本批记录，下一批权重再读更新后EMA，避免数据时序混乱。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
ROFT为什么把环境反馈转成自我回顾再学习？
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
问答新增：2026-10-27 · Rensselaer Polytechnic Institute
展开答案与例子
答案：直接终局奖励难表达可复用经验，模型事后写回顾将失败或成功转成文字监督。学习对象是回顾，不是把全部历史动作当作正确行为重放。
教学例子：例如执行错误后归纳应先检查文件权限，可成为下次任务的经验。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
ROFT为什么只监督自我回顾词元，而不把轨迹里的动作和环境反馈一起训练？
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
问答新增：2026-10-27 · Rensselaer Polytechnic Institute
展开答案与例子
答案：完整轨迹与反馈是回顾所需的条件，监督对象则是模型事后归纳的经验。分开上下文掩码与目标掩码，可避免把环境文本或历史错误动作当成应模仿标签；损失按所有回顾词元统一平均。本地没有完整智能体数据闭环，注册名称也不代表已接入演化控制器。
教学例子：例如一次工具调用失败后，模型回顾应先检查参数；训练读取错误调用和报错，却只学习这段回顾，不模仿报错内容或错误动作。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
ROFT与用原轨迹动作做行为克隆有何不同？
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
问答新增：2026-10-27 · Rensselaer Polytechnic Institute
展开答案与例子
答案：行为克隆模仿曾经采取的动作，回顾监督可学习避免这些动作的经验，两者标签对象不同。回顾若错误仍会误导，并非自我解释就天然可靠。
教学例子：例如失败动作是删错文件，回顾可教检查路径，而不是再模仿删除。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
ROFT多个长短回顾的loss如何归一？
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
问答新增：2026-10-27 · Rensselaer Polytechnic Institute
展开答案与例子
答案：按全部有效回顾词元全局平均，任务、动作、观察、反馈mask为零但保留输入。若先各回顾平均再等权，会改变长度权重；当前没有完整Agent数据或Evolve闭环。
教学例子：例如一条很短和一条很长回顾，两个平均方案赋予的词元总贡献不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
ROSS为什么重用历史self-rollout却不整段模仿？
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
问答新增：2026-10-27 · AllSpark Team（原文以团队署名，未列机构）
展开答案与例子
答案：旧轨迹包含错误与冗余，完整上下文仍决定后续状态，选择性续写监督只吸收有价值部分。可见文字与应学标签应分开，不能把历史存在就当正确。
教学例子：例如保留一次失败经过作背景，只学习后来被选中的纠正。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
ROSS为什么保留历史轨迹的完整上下文，却只监督筛出的续写片段？
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
问答新增：2026-10-27 · AllSpark Team（原文以团队署名，未列机构）
展开答案与例子
答案：历史上下文说明续写发生在什么状态，删掉它会改变条件分布；只对选中续写计算损失，则避免把旧轨迹中的错误或冗余步骤都当标签。上下文可见与梯度监督需要独立掩码。本地选择掩码是固定诊断输入，没有实现论文选择器，不能据此宣称自动筛选能力。
教学例子：例如早期有一步错误但后续成功纠正，训练可读到整段经过，只学习被选的纠正续写；不能把可见上下文全部纳入模仿损失。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
ROSS与直接删掉未选span再SFT有什么差别？
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
问答新增：2026-10-27 · AllSpark Team（原文以团队署名，未列机构）
展开答案与例子
答案：删span改变后续条件，完整上下文加选择loss则保留真实轨迹状态。选择器质量仍决定监督可靠性，mask准确不等于选择算法已经实现。
教学例子：例如移除错误前缀后，纠错句的含义和生成概率都可能改变。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
ROSS当前本地selector是真实学习出来的吗？
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
问答新增：2026-10-27 · AllSpark Team（原文以团队署名，未列机构）
展开答案与例子
答案：不是，选择mask是fixture，只验证full-context与selective-loss边界。不得把固定mask的梯度隔离通过，写成自动筛选历史有效步骤的模型能力。
教学例子：例如测试明确指定学最后两句，只说明程序遵从mask，不说明会自己挑句。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
RetireOPD为什么为不同技能设置可退休教师？
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：各技能掌握程度不同，教师可在学生接近其水平且分布进步停滞时退出，继续RL探索。统一固定教师预算可能对熟练技能过多、对薄弱技能不足。
教学例子：例如搜索已熟而格式仍弱，可分别决定是否保留指导。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
RetireOPD为什么不能仅凭学生成功率接近教师就立即退休所有教师？
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：方法给不同技能配置解耦教师，退休同时考虑成功率接近和分布差距不再收缩。前者反映任务结果，后者提示继续蒸馏的边际空间；只看其中一项可能过早撤走有用指导。退休应针对相应技能判断，本地仅验证判据和更新，不代表论文规模多教师训练。
教学例子：例如学生搜索技能已接近搜索教师，但工具格式仍落后，前者可以考虑退休，不能据一个总成功率就把格式教师一并撤掉。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
退休看成功率和分布gap，为什么不只看其一？
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：成功率相近仍可能有可学行为差异，gap停滞也可能表示学生仍失败；联合条件用于判断继续蒸馏的价值。它是调度判据，不是所有能力超过教师的证明。
教学例子：例如任务得分接近但工具选择还不同，仍需核对差距是否真正收缩完。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
RetireOPD本地判据通过是否代表已训练解耦Agent教师？
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：没有，只执行退休状态与学生更新核。成功率、gap趋势、技能身份和退役状态需可追踪，不能只有一个registry标签就称完整多教师闭环。
教学例子：例如模拟统计触发retired，只验证条件分支，不证明真实教师已被替代。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
轨迹可学性为什么不等同成功奖励？
Trajectory Learnability for Offline On-Policy Distillation
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：成功说明结果，学习价值还取决于当前学生是否已掌握。成功参考与当前策略的逐词元似然变化帮助区分已有知识与潜在可吸收部分，再重权离线轨迹。
教学例子：例如两条都对，一条学生会了，另一条尚缺关键转折。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
离线OPD为什么比较成功参考模型与当前策略的逐词元似然，而不只按轨迹奖励排序？
Trajectory Learnability for Offline On-Policy Distillation
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：终局成功只能说明轨迹结果，不能说明当前学生在哪些位置还可学习。用成功轨迹训练参考模型，再比较其与当前策略的词元似然变化，可形成轨迹可学性权重。该信号仍依赖参考模型和离线覆盖，不能恢复数据中从未出现的状态，本地只是权重核验证。
教学例子：例如两条都答对的解法，一条学生已熟练，另一条关键转折尚未掌握；可学性重加权试图区分它们，而非给相同成功标签就等权。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
离线可学性重权与重新采当前on-policy数据有什么差别？
Trajectory Learnability for Offline On-Policy Distillation
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：重权只在既有轨迹覆盖中分配预算，采新数据可发现新状态。前者不能凭权重恢复库里不存在的路径，不能因为名字含OPD就声称持续实时学生采样。
教学例子：例如缓存没有新解法，再怎么重权也不会自动生成它。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
本地可学性聚合是否包括论文完整GPU训练？
Trajectory Learnability for Offline On-Policy Distillation
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：不包括，只执行逐词元聚合与轨迹权重。参考和当前概率应评价同一文本前缀并保留版本，不能把不同响应的似然变化相减当可学性。
教学例子：例如旧模型评A解法、新模型评B解法，差值混入内容改变。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
GrowMTP为什么在RL过程中同时生长草稿头？
GrowMTP: Can RL Grow Its Own Draft Head?
问答新增：2026-10-27 · WeChat AI, Tencent / Peking University
展开答案与例子
答案：主策略持续变化会让静态draft过时，利用rollout接受反馈训练MTP头，使加速模块跟随策略。提升草稿效率与提升任务能力是不同目标。
教学例子：例如策略学会新表达后，草稿头也需学会提议它，才容易被接受。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
GrowMTP为什么按实际接受深度训练草稿头，并把它与主干梯度解耦？
GrowMTP: Can RL Grow Its Own Draft Head?
问答新增：2026-10-27 · WeChat AI, Tencent / Peking University
展开答案与例子
答案：草稿越深，前面的提议必须先被接受才会真正影响生成，实际接受深度能提供与使用情形相关的训练信号。梯度解耦限制草稿加速目标干扰主策略的奖励学习。接受率与端到端速度还取决于硬件及验证成本，本地深度损失诊断没有测得GPU加速。
教学例子：例如第三个草稿词元只有前两个通过验证才有用，训练不能假定每个深度都同样可达；改善草稿头也不能自动算作主策略能力提升。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
按接受深度学习与每个future head等权监督有何不同？
GrowMTP: Can RL Grow Its Own Draft Head?
问答新增：2026-10-27 · WeChat AI, Tencent / Peking University
展开答案与例子
答案：实际可用深度受前面接受事件约束，深度耦合反映这种使用条件；等权假定各头贡献相似。它仍需精确验证，不能因head训练好就跳过target。
教学例子：例如第三头只有前两步被接受后才可能真正节省生成步骤。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
GrowMTP为何要与主干梯度解耦，本地测了加速吗？
GrowMTP: Can RL Grow Its Own Draft Head?
问答新增：2026-10-27 · WeChat AI, Tencent / Peking University
展开答案与例子
答案：加速损失不应未经控制改变主RL目标，解耦限定其作用路径。当前只执行深度接受损失，未报告GPU吞吐，不能由接受率公式推算实际加速。
教学例子：例如草稿变准也可能增加计算，端到端速度还需真实计时。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
STRIDE-OPD为什么从最弱正确turn重新开始？
Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Science and Technology of China / Ant Group
展开答案与例子
答案：重启已缓存的可学状态，可把预算放在勉强掌握的轮次，而非反复生成熟悉前段；正确资格提供安全起点，弱表示仍有指导空间。
教学例子：例如第一轮已稳定，第二轮刚能做对，下次可从第二轮前缀重试。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
STRIDE-OPD为什么把早停与最弱正确轮次的前缀重启配在一起？
Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Science and Technology of China / Ant Group
展开答案与例子
答案：教师累积置信度触发停止，可避免在低价值后续上继续花费；缓存中较弱但正确的轮次则提供可学习的重启状态，把预算回投到仍需加强的位置。停止和重启是不同决策，不能等同直接跳到标准答案。本地状态核未验证大模型多轮生成吞吐。
教学例子：例如一段工具交互后续已无新增指导，可停止；下一次从此前勉强完成的正确轮次重试，而不是总从任务开头重复熟悉步骤。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
早停与统一缩短所有轨迹有何不同？
Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Science and Technology of China / Ant Group
展开答案与例子
答案：早停由教师累积置信度触发，并与前缀重启配合；统一长度上限不依状态。两者数据覆盖不同，缩短轨迹也不自动保证任务完整或节省同等计算。
教学例子：例如一条早已充分、一条仍需探索，不必在同一token数截断。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
STRIDE缓存前缀能在任意环境状态直接恢复吗？
Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Science and Technology of China / Ant Group
展开答案与例子
答案：需保证前缀与实际动作观察状态对应，不能只拷文本却丢环境状态。当前本地验证早停重启核，未复现大模型rollout吞吐，不能把状态机通过当生产速度证据。
教学例子：例如工具已执行一次，恢复时不能重复副作用而假装同一状态。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
Data-free OPD说data-free具体减少什么依赖？
Data-free On-policy Distillation
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences / Tencent
展开答案与例子
答案：教师自行生成训练问题，减少额外收集后训练题库的需求；教师预训练知识和生成偏好仍是信息来源，不意味着从零无数据学习。
教学例子：例如老师出练习题无需人工题库，但其出题能力来自已有训练。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
Data-free OPD自己生成问题，为什么仍不能说训练不依赖任何先验知识？
Data-free On-policy Distillation
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences / Tencent
展开答案与例子
答案：问题来自教师自身策略而非外部后训练题库，减少的是额外数据收集依赖；教师参数、生成分布和筛选条件仍决定课程覆盖。自生成也可能重复已有模式或产生不可靠任务，需要验证质量。本地只做问题生成的策略特征诊断，尚未生成自然语言训练集。
教学例子：例如教师围绕已知代码技能提出练习，可减少人工题库；但如果它一直生成同一类循环题，学生不会因此自动学到未覆盖的并发问题。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
教师自生成课程与固定公开题库在覆盖上有什么取舍？
Data-free On-policy Distillation
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences / Tencent
展开答案与例子
答案：自生成可围绕教师能力定制，也可能重复或遗漏；固定题库覆盖可审计但收集成本高。两者需独立验证质量，不能把自然语言格式合法当有效任务。
教学例子：例如教师反复只出线性方程题，不会自动覆盖几何推理。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
DF-OPD本地生成过真实自然语言训练集吗？
Data-free On-policy Distillation
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences / Tencent
展开答案与例子
答案：尚未，只做自生成问题的策略特征诊断。完整流程还需实际问题生成、质量筛选与学生蒸馏记录，不能用候选索引变化冒充真实教师出题。
教学例子：例如抽到一个特征编号不是一条已验证的数学题。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
自适应OPD gate为什么组合多路信号？
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
问答新增：2026-10-27 · Xiaohongshu
展开答案与例子
答案：熵、不确定性、参考偏移与师生gap各描述不同状态，单一信号可能不足。组合门控在每位置分配正反KL指导，仍依赖这些代理与目标的关系。
教学例子：例如教师确定但偏离参考很大，与教师不确定却接近学生，是不同情况。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
逐词元门控为何混合FKL与RKL，而不是对整条回答只选一个散度方向？
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
问答新增：2026-10-27 · Xiaohongshu
展开答案与例子
答案：不同位置的教师不确定性、师生差距与参考偏移不同，统一散度方向可能把覆盖与集中之间的取舍强加给所有词元。门控组合多路信号，在位置层分配正向和反向蒸馏权重。门控是启发监督分配，不是正确性证明，本地四信号实验也没有稳定胜出结论。
教学例子：例如关键分叉处需保留教师多种选择，已收敛的格式位置可更集中；不能因为一句话整体可靠，就认为每个词元都应使用相同权重。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
逐token混合FKL/RKL与固定整句比例有何区别？
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
问答新增：2026-10-27 · Xiaohongshu
展开答案与例子
答案：前者可按位置分配覆盖和集中压力，后者给所有词同一取舍。更灵活也增加调参和过拟合风险，机制诊断不能写成稳定全面胜出。
教学例子：例如关键分叉与确定格式词不必承担相同散度混合。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
四信号gate本地探索结果能直接用于能力晋级吗？
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
问答新增：2026-10-27 · Xiaohongshu
展开答案与例子
答案：不能，当前是确定性机制诊断，完整模型效果与公平预算尚未确立。实现要明确方向、信号版本和gate梯度，不可只改注册名就声称新训练已接入。
教学例子：例如某小候选任务一次更高分，仍不足以推广到开放式语言能力。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
LOCUS为什么把任务更新压到低秩方向？
LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：目标是用紧凑任务相关变化改善token效率，限制无关漂移，同时保留任务能力。低秩只是可行空间限制，子空间若漏关键方向也会损害表现。
教学例子：例如删重复表述所需变化不必任意重写全部模型参数。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
LOCUS把更新限制在任务相关低秩子空间，为什么有机会缩短回答却不等于直接截断？
LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：低秩约束作用于参数更新方向，试图保留任务相关的有效变化、限制无关漂移，简洁性通过后训练目标学习。直接截断则在生成后强行删掉内容，可能损失必要步骤。子空间是否覆盖目标能力仍需检验，本地特征SVD投影不能证明大模型长度与能力兼得。
教学例子：例如让模型学会少写重复检查，与把每条证明的后半段删除不同；若所选子空间不包含关键推理方向，即使回答变短也可能失去正确性。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
任务低秩更新与生成后截断回答有什么区别？
LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：前者训练模型选择更简洁的行为，后者强行删输出并可能丢关键步骤。简洁性应与正确性共同评估，不能只看到词数下降就认定效率改善。
教学例子：例如少写重复检查与把证明最后结论切掉，长度都变短但质量不同。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
LOCUS本地SVD投影代表训练了真实语言模型吗？
LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation
问答新增：2026-10-27 · University of Washington
展开答案与例子
答案：没有，只在样本特征子空间投影策略梯度。需审查rank、基正交和投影前后梯度边界，不能把随机低秩矩阵叫已学到任务语义子空间。
教学例子：例如数值上投影成功，不表示该基覆盖真实推理关键能力。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
Sparse OPD为什么研究一两个关键位置也能否提供学习？
Extremely Sparse Supervision Incentivizes Reasoning Ability
问答新增：2026-10-27 · Amazon / Duke University
展开答案与例子
答案：全词元监督可能大量冗余，选教师与学生重要正差异处检验信息是否集中。特定实验少量有效不表示所有任务都可固定只教一词。
教学例子：例如一个关键运算符改正可能比整段连接词模仿更影响结论。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
Sparse OPD只监督少数最大正差异位置，为什么仍要保留完整学生轨迹上下文？
Extremely Sparse Supervision Incentivizes Reasoning Ability
问答新增：2026-10-27 · Amazon / Duke University
展开答案与例子
答案：关键位置的教师分布依赖前面实际生成的推理，去掉未监督部分会改变该状态。稀疏化改变的是哪些位置产生梯度，而不是把其余词元从条件输入删除。少量位置有效是实验条件下的发现，不能推断任何任务都只需一两个词元，本地也未做全参数蒸馏。
教学例子：例如只学习一次关键纠错词元，教师仍需看到之前的计算才能判断它；把整段前文删掉后监督同一个字，已经变成不同任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
稀疏监督与更短生成为什么不是同一效率优化？
Extremely Sparse Supervision Incentivizes Reasoning Ability
问答新增：2026-10-27 · Amazon / Duke University
展开答案与例子
答案：稀疏化减少被监督位置，仍需保留学生轨迹并可能评分全段寻找关键点；短生成直接改变采样成本和状态覆盖。不能把少loss token数等同总推理成本下降。
教学例子：例如先生成千词再选一词，仍已支付千词生成费用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
Sparse OPD未选位置的梯度与上下文如何区分？
Extremely Sparse Supervision Incentivizes Reasoning Ability
问答新增：2026-10-27 · Amazon / Duke University
展开答案与例子
答案：未选token不产生对应直接损失，但保留为后续条件，模型共享参数仍可能间接受影响。本地未执行真实Qwen或Llama全参数训练，不能据候选核复述原表成绩。
教学例子：例如不监督第二步，并不表示第三步评分时可以删掉第二步。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
RAIL为什么学习recoverability而不是只看不确定性？
Optimizing What Policies Learn From: Recoverability-Aware Rollout Intervention Learning
问答新增：2026-10-27 · University of Notre Dame / Amazon
展开答案与例子
答案：不确定状态未必可修复，干预应带来预期恢复收益并考虑成本。控制器把位置和方式作为条件决策，避免均匀追加预算或长期固定启发式。
教学例子：例如缺一次工具重试与前提完全错的轨迹，值得投入的程度不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
RAIL为什么把干预位置与方式当作带成本的决策，而不总在最不确定处多采样？
Optimizing What Policies Learn From: Recoverability-Aware Rollout Intervention Learning
问答新增：2026-10-27 · University of Notre Dame / Amazon
展开答案与例子
答案：不确定不代表能够恢复，一些状态追加预算也难以改变结果。控制器根据状态学习不同干预的可恢复收益，并扣除成本；从影子评估到实际执行，使调度随策略变化调整。恢复信号需要真实可审计反馈，不能读取标准答案来选动作，本地未运行原文大规模环境。
教学例子：例如一条轨迹只差一次工具重试，另一条已因前提错误无从修复，相同追加预算可能收益不同；单按熵高低无法区分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
shadow-to-live评估与直接拿gold选择干预有何不同？
Optimizing What Policies Learn From: Recoverability-Aware Rollout Intervention Learning
问答新增：2026-10-27 · University of Notre Dame / Amazon
展开答案与例子
答案：前者通过允许的试探和实际反馈学习恢复价值，gold选择是不可用的oracle。控制器部署输入必须保持公开，不能把训练诊断标注直接作为可见状态。
教学例子：例如知道标准计划后精准重启，只能算oracle诊断而非智能控制。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
RAIL当前本地路径能支持哪些声明？
Optimizing What Policies Learn From: Recoverability-Aware Rollout Intervention Learning
问答新增：2026-10-27 · University of Notre Dame / Amazon
展开答案与例子
答案：可验证干预选择与成本目标的参考机制，不含原文大模型、专有环境或昂贵judge。需实际执行并评价后才称能力集成，不能只凭argmax公式报告预算收益。
教学例子：例如随机生成一组恢复分数后选最大值，尚未测真实轨迹能否恢复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
SpecRoll为什么需要快速与慢速两种draft适配？
SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts
问答新增：2026-10-27 · VNU University of Engineering and Technology / Viettel AI
展开答案与例子
答案：RL目标策略不断变化，轻量隐状态纠偏应对短期漂移，持续退化才训练future head，避免每次波动都付完整更新成本。两者优化提议而非替换目标策略。
教学例子：例如一批接受率暂降先快速调整，持续跟不上再更新head。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
SpecRoll中快速纠偏和慢速草稿头更新，为什么都不能替代精确验证器？
SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts
问答新增：2026-10-27 · VNU University of Engineering and Technology / Viettel AI
展开答案与例子
答案：策略在RL中持续变化，快速隐藏状态纠偏用于及时适应，持续退化时再触发较慢的草稿头训练。二者提高提议质量，精确接受拒绝验证才负责保持目标采样分布。若省略验证，即使草稿看似更准也可能改变RL数据分布；本地没有大模型吞吐结论。
教学例子：例如草稿头突然跟不上新策略，先修正隐状态再考虑训练；每次提议仍须验证，不能因连续几次猜对就直接当目标策略输出。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
SpecRoll改变draft后，GRPO目标也要改成draft目标吗？
SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts
问答新增：2026-10-27 · VNU University of Engineering and Technology / Viettel AI
展开答案与例子
答案：不需要，精确target验证保持采样分布，GRPO本身不变。若省验证直接用草稿，就改变训练数据政策，无法沿用原分布不变说明。
教学例子：例如草稿常猜对也不能直接把其概率当当前策略概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
本地SpecRoll注册候选意味着已测大模型RL吞吐吗？
SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts
问答新增：2026-10-27 · VNU University of Engineering and Technology / Viettel AI
展开答案与例子
答案：没有，当前验证状态与选择路径，未运行原文模型和完整环境。实际需核对接受拒绝残差、更新调度及成本，注册发现仅表示可被列出。
教学例子：例如候选列表出现方法名，不等于控制器已执行其完整GPU训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
CoBA-RL为什么用pass@k探测边界再注入教师？
CoBA-RL
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：pass@1提高可能只是已有正确路径更常见，高采样覆盖帮助识别尚难达到的题。边界附近教师引导提供新路线，再用RL巩固，目标是兼顾利用与扩展。
教学例子：例如原来偶尔会的题更稳定，与原来反复采样都不会的题学会，是不同变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
CoBA-RL为什么同时看pass@1与较大采样预算的pass@k来定位能力边界？
CoBA-RL
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：单次成功率提高可能只是把已有正确轨迹变得常见，不一定获得原先完全采不到的新解法。多次采样用于探测边界，再在边界附近引入教师并用RL巩固。有限预算仍可能漏掉稀有解，本地仅到较小的采样规模，不能宣称复现原文高采样边界增量。
教学例子：例如原来偶尔能解的题变成经常解对，说明利用更好；若想判断是否学会原先从未解出的题，还需更广采样并计入教师成本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
边界课程与按固定题面难度排队有什么区别？
CoBA-RL
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：课程依据当前策略多次采样能力更新，固定题面不随掌握变化。有限k仍可能漏稀有正确路径，所以边界是预算条件估计，不能当绝对不可解证明。
教学例子：例如模型学会新技巧后，一道长题也可能不再位于边界。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
CoBA本地pass@8能否证明论文pass@256边界增量？
CoBA-RL
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：不能，教师规模、学生规模与采样预算不同。当前有真实生成、触发与成本曲线，但只支持缩小配置的机制证据，不能把较小k直接换标签当原规模。
教学例子：例如八次未成功不等于二百多次也不会成功，统计覆盖不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
稀疏到稠密原则论文为何重视等标签预算的阶段实验？
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
问答新增：2026-10-27 · LinkedIn
展开答案与例子
答案：稠密教师信号通常花费不同监督成本，只有把标签预算与阶段流程对齐，才能理解哪些顺序有效。论文贡献不是另一个通用KL函数，而是四阶段经验比较。
教学例子：例如额外调用更多教师得到提高，不能都归因于目标从稀疏变稠密。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
稀疏到稠密奖励原则为什么不仅是把GRPO与KL算子按顺序调用？
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
问答新增：2026-10-27 · LinkedIn
展开答案与例子
答案：论文核心是四阶段流程及相同标签预算下的经验对照，还区分教师访问状态上的正向KL与学生访问状态上的逆向KL。散度方向和状态来源共同决定训练信号，只有几个通用算子或阶段标签不能构成复现。本地目前文献收录，未执行完整训练流程。
教学例子：例如同样写着KL损失，在教师标准解的前缀计算与在学生错误前缀计算，监督对象不同；不能仅因公式名字相同就合并成一个阶段。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
相同KL方向在teacher occupancy与student occupancy上等价吗？
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
问答新增：2026-10-27 · LinkedIn
展开答案与例子
答案：不等价，状态访问决定监督覆盖；教师理想前缀与学生实际前缀包含不同错误。方向与occupancy必须一起说明，不能只列KL符号便判同一训练。
教学例子：例如同一损失在正确证明与错误中间式上，教会的修复行为不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
库里已有GRPO和OPD算子是否算完整四阶段复现？
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
问答新增：2026-10-27 · LinkedIn
展开答案与例子
答案：不算，当前仅文献收录，没有完整阶段调度、真实冻结教师及等预算实验。共享tokenizer等前提也需满足，四个状态标签不代表实际训练链路。
教学例子：例如把配置阶段写齐但未运行数据流，不能报告流程已验证。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
Lightning OPD为什么把教师打分移到训练前缓存？
Lightning OPD
问答新增：2026-10-27 · MIT HAN Lab
展开答案与例子
答案：教师在线推理可能成为瓶颈，先对学生生成轨迹一次评分，训练反复读标签，减少持续教师调用。成本被前置，不代表初次打分或学生生成免费。
教学例子：例如先备好每个前缀的教师分数，再在多次更新时重复使用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
Lightning OPD缓存的是学生轨迹上的教师评分，为什么不能等同持续更新的在线教师蒸馏？
Lightning OPD
问答新增：2026-10-27 · MIT HAN Lab
展开答案与例子
答案：先由学生采样、再用一致教师配置打分，可一次付出教师成本，后续训练读取缓存。标签最初位于学生分布，但学生更新后访问状态会变化，旧缓存不会自动覆盖新状态。因而成本收益与缓存覆盖、教师一致性有关，本地只验证数据流，没有真实词表蒸馏成绩。
教学例子：例如学生初期常犯某类错误，缓存能教这些前缀；当学生后来走出新解法，旧缓存不会自动补上新前缀，需要另行定义刷新协议。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
离线教师缓存与每步刷新学生轨迹的OPD有何覆盖差？
Lightning OPD
问答新增：2026-10-27 · MIT HAN Lab
展开答案与例子
答案：缓存保留初始学生访问状态，当前学生更新后可能走新状态，在线刷新能覆盖这些变化但更贵。两者是覆盖和成本取舍，不可称缓存永远保持当前on-policy。
教学例子：例如学生新学到另一解法，旧缓存并没有自动获得其前缀标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
Lightning缓存应核对哪些身份以避免teacher mismatch？
Lightning OPD
问答新增：2026-10-27 · MIT HAN Lab
展开答案与例子
答案：教师检查点、提示、tokenizer、响应内容与位置mask需一致，修改文本或教师配置后不能沿用旧标签。当前本地只有缓存数据流，未跑真实Qwen词表蒸馏和AIME。
教学例子：例如分词器升级后旧位置logp可能错位，不能仅因文件名相同继续读。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
跨文字系统知识研究为什么不只考查翻译质量？
Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：同一事实用另一套文字表示时，失败可能来自实体识别、参数知识检索或推理表达，翻译只是其中一环。研究用回归和干预拆分因素，不能直接当新RL算法。
教学例子：例如一个人名转成另一文字后答错，不一定是从未学过这个人的事实。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
跨文字系统知识迁移为何不能只靠把问题机械音译来判断模型是否拥有知识？
Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：文字系统变化会同时影响实体识别、参数知识检索与推理表达，仅比较音译前后答案难以定位原因。论文结合观察回归、训练期实体提示干预和真实LoRA来拆分这些因素。提示或正则替换只是条件改变，本地文献收录没有实现语言模型知识检索能力。
教学例子：例如同一地名改用另一种文字后回答失败，可能是实体没对齐而非事实从未学过；加提示能帮助诊断，却不能当成迁移训练已经完成。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
训练期entity提示干预与推理时手工音译能相互替代吗？
Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：不能，前者用于研究检索与学习路径，后者只改当前输入，可能绕过困难。真实LoRA与语义风格迁移也不能由正则替换或小分类器冒充。
教学例子：例如把名字统一转回熟悉写法能帮助答题，却未证明模型学会跨文字迁移。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
本地这篇是否存在可执行知识迁移operator？
Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：当前仅收录文献，未实现所需真实语言模型语义模块及LoRA训练。公式是方法解释，不能借通用SFT接口就声明已复现，也不以测试答案构造训练提示。
教学例子：例如一个音译函数能运行，不意味着论文的参数知识检索机制已接入。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
PLD不微调参数，知识最终存在哪里？
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
问答新增：2026-10-27 · Google
展开答案与例子
答案：存于教师抽象、聚类和修订得到的可读系统规则，学生推理时读取冻结指令。规则是学习产物，参数不变不表示没有训练数据依赖。
教学例子：例如把常见日期处理经验编成几条指令，部署时作为学生系统提示。
依据：背景与主要改动、核心公式与数据协议；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
PLD不更新学生参数，为什么还要训练、验证与测试严格分离？
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
问答新增：2026-10-27 · Google
展开答案与例子
答案：教师从带标签训练样本提取规则，经语义聚类与错误对照修订后，规则本身就承载了学习结果。验证集可判断规则是否收敛，测试时必须冻结规则，不能依据测试答案继续修补。参数不变并不消除泄漏风险；它把教师推理编译为可读指令而非微调权重。
教学例子：例如训练中提炼日期归一化规则，验证后固定为系统指令；看到测试标准日期再添加特例，即使没有梯度更新也已使用测试标签。
依据：背景与主要改动、核心公式与数据协议；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
PLD语义DBSCAN与简单把相同句子去重有什么不同？
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
问答新增：2026-10-27 · Google
展开答案与例子
答案：语义聚类可把不同措辞的同类微规则聚合并去噪，字符去重只识别字面相同。规则冲突还要根据训练错误修订，不能由字符串列表自动保证一致。
教学例子：例如两条不同表达的单位换算规则应可能属于同一语义簇。
依据：背景与主要改动、核心公式与数据协议；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
PLD的规则什么时候冻结，测试反馈能继续修订吗？
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
问答新增：2026-10-27 · Google
展开答案与例子
答案：用训练样本提规则和纠错，验证判断收敛后冻结，测试不再依据标准答案改规则。未更新权重仍可能泄漏，因此提示版本与来源应可追踪。
教学例子：例如看完测试日期错例后加特例，再重报测试分，就不再是独立评估。
依据：背景与主要改动、核心公式与数据协议；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
CHORD为什么让SFT辅助项在RL中逐渐退火？
CHORD
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：早期专家示范提供稳定方向，后期过强模仿可能限制探索。动态权重和词元不确定性使两种信号平滑交接，避免阶段突然切换带来的过拟合或遗忘。
教学例子：例如一开始多学标准步骤，熟练后让任务奖励有更多决定权。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
CHORD为什么在RL过程中逐渐减小专家监督，而不一次性切掉SFT？
CHORD
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：专家数据可在探索初期提供稳定方向，但长期过强模仿会限制新策略；动态退火结合词元不确定性权重，让监督与探索平滑交接。它仍需控制专家与当前策略的分布差异，不保证混合必然优于分阶段。本地专家候选只是代理，未训练词元不确定性模型。
教学例子：例如学生开始解题时保留教师步骤指导，逐渐熟练后更多依靠任务奖励；不是到某一步突然完全忘掉专家，也不是始终固定等权。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
CHORD与PIVOT按问题切换是否同一机制？
CHORD
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：CHORD混合目标并退火辅助监督，PIVOT按教师困惑度把问题路由到不同目标。作用粒度和调度依据不同，不能只因都从模仿走向RL就视为等价。
教学例子：例如一法同题可同时承受两项，一法按规则选择该题走哪条分支。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
CHORD本地gold candidate能代表真实token不确定性模型吗？
CHORD
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：不能，只是确定性专家代理，未训练LLM词元不确定性。实现需分别记录专家off-policy数据与学生rollout，按规定退火，不能把专家答案泄露到学生评估输入。
教学例子：例如固定候选标签没有提供真实长文本每个位置的不确定估计。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
SPIRAL为何让同模型扮演出题与解题两方？
SPIRAL
问答新增：2026-10-27 · Apple
展开答案与例子
答案：零和可判定游戏让对手变化形成动态课程，不必人工逐题增加难度。同模型角色不同仍需明确奖励与合法规则，不能让出题者自行宣布胜负。
教学例子：例如一个角色设计局面，另一个尝试破解，程序按同一规则裁决。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
SPIRAL的出题者与解题者零和对抗，为什么仍需要可自动判定的游戏规则？
SPIRAL
问答新增：2026-10-27 · Apple
展开答案与例子
答案：对抗让双方随着对手变强而调整策略，可形成动态课程；但输赢必须由独立、明确的游戏规则决定，不能让出题者自己宣称解题者失败。零和奖励定义激励关系，不保证课程一定覆盖通用推理。本地只验证状态与目标，没有复刻大模型多轮自博弈训练。
教学例子：例如出题者设计一个规则明确的文字博弈局面，解题者尝试获胜，程序裁定结果；不能允许出题者临时改规则把任何回答判输。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
自博弈课程与固定难题库各有什么边界？
SPIRAL
问答新增：2026-10-27 · Apple
展开答案与例子
答案：自博弈随对手变化可适应，但也可能陷入局部游戏套路；固定题库覆盖清楚却缺少动态对抗。游戏中进步不能直接外推全部开放推理能力。
教学例子：例如赢了某种文字博弈，不代表数学、检索和工具任务都同步提升。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
SPIRAL实现为什么必须保持两方零和奖励对应？
SPIRAL
问答新增：2026-10-27 · Apple
展开答案与例子
答案：同一结果的双方优势方向应相反，规则与角色状态需对齐；若两方都因同一获胜得正奖，就改了博弈。当前本地核未复刻大模型多轮自博弈训练。
教学例子：例如出题方获胜时，解题方不能同时被记录成同样成功。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
Absolute Zero为什么还需要程序verifier？
Absolute Zero
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：模型自生成任务与解答不代表自带真值，程序执行提供独立可验证反馈。零人工逐题数据与零监督不同，课程仍受可执行任务范围和验证器质量限制。
教学例子：例如生成代码再实际运行核对结果，而不是相信模型自己写的输出。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
Absolute Zero的自生成课程为什么仍离不开程序验证器？
Absolute Zero
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：提议者产生任务，求解者给出解答，程序执行提供独立奖励，从而无需人工逐题标注。没有人工数据不表示没有监督来源，验证器与任务可执行性构成信号基础。若用任务自带答案直接馈给求解者，就破坏了闭环；本地机制诊断未复现完整大模型课程。
教学例子：例如模型生成可执行代码任务并预测输出，实际运行程序核对；答案应由执行结果验证，不能把生成任务时保存的标准输出塞进求解提示。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
proposer生成更难题与有效能力边界课程有什么区别？
Absolute Zero
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：单纯更难可能使solver全失败，没有学习信号；课程需围绕当前能力形成可验证挑战。任务形式合法也不等于有教学价值，不能只优化新颖复杂。
教学例子：例如一题复杂到预算内无人能解，未必比适度挑战更适合训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
Absolute Zero评估时可把生成时保存的答案给solver吗？
Absolute Zero
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：不能，答案或执行结果应留在验证端，solver只读公开任务。当前本地只验证课程与状态核，没有原规模大模型闭环，不能以内部求解器成绩充当模型能力。
教学例子：例如模型需预测程序输出，不能先将真实执行输出拼回提示。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
基础理解
RAFT为什么用当前模型持续产生新训练候选？
RAFT
问答新增：2026-10-27 · HKUST
展开答案与例子
答案：固定SFT库无法随策略改善提供新数据，迭代采样、奖励排序和选优监督把较好行为加入下一轮。它仍受候选覆盖限制，没生成的优秀答案无法被选。
教学例子：例如第一轮学好后可生成更好的摘要，再以新候选继续训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
核心机制
RAFT按奖励选优后做最大似然训练，和直接把奖励当策略梯度有何不同？
RAFT
问答新增：2026-10-27 · HKUST
展开答案与例子
答案：RAFT用奖励模型排序当前策略的多个回答，筛选高质量样本后执行普通监督微调；奖励决定样本选择，而非直接作为每个动作的梯度权重。新策略再生成下一轮数据，仍受奖励模型偏差与候选覆盖限制。本地候选策略只验证迭代采样和筛选状态转移。
教学例子：例如从几篇候选摘要中选评分最高的一篇再学习其文字；没有出现的好摘要无法被选中，评分错误也可能被下一轮模仿放大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
方法对比
RAFT与PPO在奖励进入梯度的方式上有何不同？
RAFT
问答新增：2026-10-27 · HKUST
展开答案与例子
答案：RAFT奖励决定筛哪些文本，然后用最大似然学习；PPO把优势与概率比直接进入策略目标。筛选监督与加权策略梯度不是同一估计，即便都循环采样。
教学例子：例如高奖只影响一条回答是否入库，不一定按分数大小连续放大其CE。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 数据与预算：下一份算力花在哪里
实现细节
RAFT选优与评估数据隔离应怎样维护？
RAFT
问答新增：2026-10-27 · HKUST
展开答案与例子
答案：奖励模型和采样版本需记录，同提示候选内选优后更新新策略，测试答案不能参与排序。当前候选策略验证状态转移，未训练真实生成式LLM或奖励模型。
教学例子：例如拿测试正确性直接挑样本再训练，不能称未见测试上的泛化改进。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接