LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
SpecOPD的reference固定，为什么还叫on-policy？
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
问答新增：2026-11-04 · Qwen Business Unit of Alibaba / University of Science and Technology of China
展开答案与例子
答案：固定的是外层reference上下文；每次更新在anchor后用当前draft重新采分支，教师监督的prefix含当前draft自己的历史。它不宣称完整reference响应由当前策略采样，也不要求等待顺序draft-and-verify完成整条响应。
教学例子：教学例：reference在a之后是quiet，当前draft可采出short；下一token的教师条件必须是a short，而不是a quiet。两条历史不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
为什么相同的逐token overlap，顺序不同会改变SpecOPD损失？
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
问答新增：2026-11-04 · Qwen Business Unit of Alibaba / University of Science and Technology of China
展开答案与例子
答案：E2E-TV累加从分支开头到各位置的overlap乘积。早期mismatch会压低所有后续prefix项，末尾mismatch只影响末尾项。因此它不等于逐token TV的平均，且对有历史依赖的proposal只是训练surrogate，并非serving接受长度的无偏估计。
教学例子：教学例：overlap为[0.6,1,1]时三个prefix都是0.6；[1,1,0.6]时为1、1、0.6，后者损失更小。不是任何模型实测。
依据：核心公式、结果、负控与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
只取draft top-k时，把teacher也归一化到top-k上，与完整teacher比较有何区别？
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
问答新增：2026-11-04 · Qwen Business Unit of Alibaba / University of Science and Technology of China
展开答案与例子
答案：会删除teacher在draft无法提出的token上的质量，从而改变接受overlap目标。SpecOPD保留完整teacher归一化；draft支持之外q为零，仍会贡献分布不匹配。它不是为了计算方便就可任意换成teacher top-k条件分布。
教学例子：教学例：q=[.5,.5,0]、p=[.4,.4,.2]的overlap是.8；把p前两项归一化后会假装完全一致，错把损失.2变成0。
依据：核心公式、结果、负控与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
proposal tree已经有因果mask，为什么还要单独检查prediction row？
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
问答新增：2026-11-04 · Qwen Business Unit of Alibaba / University of Science and Technology of China
展开答案与例子
答案：祖先mask防止读取未来reference和其他分支；但如果从当前采样token自身的hidden row预测该token，输入已经含答案。首token必须读anchor，后续读前驱token行，并使用语义位置而非packed offset。正确mask不能替代正确readout。
教学例子：教学例：采到short evening后，anchor行预测short，short行预测evening；拿evening自身行给evening打分仍然泄漏，即使该行只看自己的祖先。
依据：核心公式、数据协议与代码映射、结果、负控与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
MPOPD把几何混合用在采样策略上，和用它当学生蒸馏target有什么区别？
Proposing Better Rollouts for On-Policy Distillation
问答新增：2026-10-30 · University of Illinois Urbana-Champaign
展开答案与例子
答案：前者改变实际访问的prefix，由学到的proposal产生轨迹；学生仍向教师做反向KL，并处理proposal与old学生的差距。直接把混合分布当学生target改变的是训练目标，却不一定让原学生采样到教师更支持的路径。两者不能作为同一个算法。
教学例子：教学例：一条好路径在学生下几乎不被采到，给已采到的坏路径重加权并不能补出这条未采集路径；proposal改采样分布才可能访问它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
学生第j个位置的KL应乘哪个重要性权重？
Proposing Better Rollouts for On-Policy Distillation
问答新增：2026-10-30 · University of Illinois Urbana-Champaign
展开答案与例子
答案：论文Eq7使用前一位置的单步ratio w[j-1]，首个prefix权重为1；ratio由冻结old学生与old proposal在采样token上的概率形成并裁剪。它既不是当前token的ratio，也不是所有更早ratio的累积乘积；更新中的学生不能参与重新计算这份快照。
教学例子：教学例：前三个采样ratio为4、0.25、4时，三个KL权重应是[1,4,0.25]，不是[4,0.25,4]或[1,4,1]。
依据：核心公式、本地结果与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
固定eta的几何混合，是否等于概率平均或固定KL半径？
Proposing Better Rollouts for On-Policy Distillation
问答新增：2026-10-30 · University of Illinois Urbana-Champaign
展开答案与例子
答案：都不等于。几何混合相加的是加权log概率再归一化，而不是直接平均概率；不同prefix的师生分布不同，同一eta产生的位移KL也不同。局部固定半径推导可以得到prefix相关eta，作者实际用全局调节值只是计算折中。
教学例子：教学例：一个prefix师生几乎相同，eta=0.4基本不动；另一个prefix两者明显冲突，同样eta会移动更多质量，不能说每处都走了相同距离。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
为什么真实梯度通过后，还不能说完整MPOPD蒸馏已接入？
Proposing Better Rollouts for On-Policy Distillation
问答新增：2026-10-30 · University of Illinois Urbana-Champaign
展开答案与例子
答案：张量核没有采样器、LM复制或teacher调用。完整配置每轮proposal要从更新后学生重置，再向新几何target优化；学生KL和target又按同一教师top-k支持重新归一化。接口只能验证这些数值，不证明外部trajectory来源、参数初始化或长链训练真实完成。
教学例子：教学例：拿旧模型缓存prefix输入两个loss仍能正常反向传播，但不能宣称是当前proposal在线采样。CUDA小数组验证也不是16套推理benchmark的准确率。
依据：数据协议与实现边界、代码映射、高成本完整实验；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPST为什么连问题与特权线索也自生成？
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
问答新增：2026-10-27 · Google
展开答案与例子
答案：减少对人工题库依赖，同时为教师提供额外解题条件；学生只看问题并真实生成。自生成题必须经重答、保义改写和难度门过滤，不能因为生成器写了答案就认定有效。
教学例子：例如生成一道新题后要独立重解，排除题面矛盾或答案不自洽。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPST为什么只把学生全部匹配候选答案的题当作过易，全部一致但答成别的答案不能删？
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
问答新增：2026-10-27 · Google
展开答案与例子
答案：课程门要判断学生是否已掌握经过独立验证的候选答案，普通一致性只能说明回答相同。全体一致地答错仍有学习需求。教师额外线索只用于在学生前缀上评分；生成题还需独立重答与保义改写验证，不能让出题器自己的答案未经检查就成为真值。
教学例子：学生每次都给出同一个错误结果，不能因为共识很高就认定题目太容易；应先与课程已验证的候选答案对照。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
OPST的过易过滤与简单学生共识过滤有什么差别？
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
问答新增：2026-10-27 · Google
展开答案与例子
答案：只有全部学生回答匹配候选答案才判过易；全部一致地答成另一个答案仍可能有学习价值或暴露错误。把任何共识都删掉会改变难度门定义。
教学例子：例如全组都得到同一个错误数值，不能误当已经掌握而过滤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPST的EMA β是旧教师动量还是新学生权重？
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
问答新增：2026-10-27 · Google
展开答案与例子
答案：是新学生权重，每次学生优化后以一减β乘旧教师、β乘新学生更新。先逐响应归一再等权平均；已有公式歧义需明示，不能把整个目标当已无争议精确复现。
教学例子：例如β很小意味着教师缓慢吸收新学生，不是几乎完全换成新权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
GIFT为什么先分析RL与蒸馏梯度几何？
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：教师指导可能与任务奖励冲突，也可能补充正交新方向。按局部logits梯度选择词元，试图减少不必要冲突并逐步缩小监督范围，而非盲目全词元模仿。
教学例子：例如教师偏好一种格式但任务奖推动另一行为，需要先判断方向关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
GIFT为什么按logit梯度几何挑token，却不能说它会永久排除所有冲突监督？
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：配额优先选择不冲突且提供正交新方向的教师信号，但配额大于可用非冲突位置时，仍可能补入较弱冲突token。它做的是token选择，不是把教师梯度投影掉；保留项仍按全部有效token数归一。局部logit一阶性质不能保证共享参数有限步更新始终安全。
教学例子：一个子批次需要保留的token比完全不冲突的位置还多，算法可能选最弱冲突补齐；不能把配额选择称作零冲突保证。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
GIFT token选择与把教师梯度直接投影有什么区别？
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：它决定保留哪些词元的原蒸馏损失，不是把每个梯度旋转到正交方向。精确配额不足时仍可能纳入弱冲突，因此不能宣传永久无冲突或有限步安全保证。
教学例子：例如最终选中某位置，仍用它原损失，而非用一个已被几何改写的新梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
GIFT减少选中token后可以按selected数重归一吗？
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：不能，分母仍为全部有效词元，保留项强度不稀释，配额按子批有效集合与资格集合计算。无RL梯度和零教师梯度也需按规定处理，不能自动当高价值新方向。
教学例子：例如只选一半后再除以一半数量，会额外把每项强度翻倍。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
UserArena为什么不只报告下一步动作命中？
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
问答新增：2026-10-27 · Leiden University
展开答案与例子
答案：用户模拟还需保持轨迹动态、跨会话偏好和群体差异，并观察最终推荐结果是否接近真实政策差异。局部动作准确不能替代整体用户行为保真。
教学例子：例如每次点击猜得还行，但长期兴趣漂移全错，模拟推荐政策仍可能失真。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
UserArena的OPTD为什么只把抽象意图给教师，并逐token限制它带来的分布变化？
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
问答新增：2026-10-27 · Leiden University
展开答案与例子
答案：完整轨迹可能泄漏未来商品或动作，先提炼抽象偏好并只给冻结教师，可保持学生部署输入边界。含意图与无意图教师重放同一学生前缀，信任域限制额外指导强度，再结合真实响应grounding。KL约束不能证明意图提取器没有泄漏，内容过滤仍必须独立检查。
教学例子：教师可知道用户更看重耐用性，但不能直接拿到下一页商品ID和最终购买结果，再把这些未来动作暗示给学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
OPTD给教师抽象意图，与直接给学生未来轨迹有何不同？
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
问答新增：2026-10-27 · Leiden University
展开答案与例子
答案：意图只提供给冻结教师且需排除具体动作、商品身份、价格与结果；学生仍按自身前缀生成。信任域限制意图影响，但不能单靠KL证明提取器无泄漏。
教学例子：例如抽象偏好轻便可以，下一页会点击哪个商品则不应写进意图。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPTD grounding能在学生rollout前缀上直接替换gold token吗？
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
问答新增：2026-10-27 · Leiden University
展开答案与例子
答案：不能。真实响应grounding使用另一组真实前缀logits；教师两视图则评分同一学生前缀。逐词元信任域取可行下端点，方向是混合教师到无意图教师，不能改成批平均反向KL。
教学例子：例如学生已走错历史，硬塞真实下一动作不等于对真实轨迹做teacher forcing。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
AP-OPD为什么关注惩罚突增而非单纯高惩罚？
Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：持续高差异与局部突然跳升可能对应不同状态，方法比较相邻块原统计来定位后者，再整体回拉后块监督，避免局部尖峰主导更新。
教学例子：例如全篇都难与某一步后突然恶化，不应被同一个总平均混淆。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
AP-OPD为什么检测器一直读取原始块统计，回拉时又连负系数一起缩放？
Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：若用已加权前块继续检测，局部回拉会递归改变后续基准，产生原方法没有的传播。检测依赖正向惩罚的原均值，但回拉作用于后块全部有符号监督，保留正负方向而减弱强度；不重新归一化，允许权重为零，也不能把门槛当校准显著性检验。
教学例子：第二块刚发生惩罚跳升而被缩小，第三块仍应与第二块原始水平比较；不能让一次缩小自动制造新的连续跳升。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
AP-OPD回拉与把异常token逐个删掉有何区别？
Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：回拉按块统一缩放全部有符号系数，不改变符号，也不只针对正惩罚词元；逐词元删除会形成另一选择目标。检测阈值也不是校准显著性检验。
教学例子：例如同一后块里的负log-ratio也按同一比例缩放，而非原样保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
AP-OPD下一边界能用已回拉前块统计吗？
Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：不能，均值与检测始终用原始未加权数据，避免递归扭曲。权重不重归一、不设隐含下界，前块均值为零时可把后块权重置零，样本方差需足够词元。
教学例子：例如第一处缩小后再拿缩小值检测下一处，会制造额外伪突增。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
层间OPTD为什么不只对齐教师最终分布？
On-Policy Transition Distillation
问答新增：2026-10-27 · The Hong Kong Polytechnic University
展开答案与例子
答案：最终接近不代表沿深度修正预测的过程相同，方法监督浅到深读出的log概率增量，并保留最终OPD。它比较预测路径而非直接对齐隐藏向量。
教学例子：例如两模型最后都选A，但一个中层反复改主意，另一个逐步修正，路径不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPTD为什么最终学生层只选一次候选token，浅深层比较时不能各自重做top-k？
On-Policy Transition Distillation
问答新增：2026-10-27 · The Hong Kong Polytechnic University
展开答案与例子
答案：层间监督要追踪同一候选的预测如何沿深度修正，各层独立选词会把身份变化混成修正量。固定候选后比较完整词表归一化得到的log概率增量，再加最终层OPD。实际更新还有停止梯度与目的层权重，不是隐藏状态MSE，也不能随意替成精确转移KL。
教学例子：浅层偏爱词甲、深层偏爱词乙，若各自只保留最喜欢的词，就无法追踪甲的概率为何下降、乙为何上升。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
层间增量监督与每层独立top-k蒸馏有何区别？
On-Policy Transition Distillation
问答新增：2026-10-27 · The Hong Kong Polytechnic University
展开答案与例子
答案：最终学生选定候选身份后全路径保持，才能比较同一token沿深度的变化。各层独立top-k会把不同对象混在增量里，不能视为同一路径。
教学例子：例如浅层第一是A、深层第一是B，不能用两个第一名的logp相减当A的修正。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPTD的梯度流过增量哪一端，实用缩放怎样处理？
On-Policy Transition Distillation
问答新增：2026-10-27 · The Hong Kong Polytechnic University
展开答案与例子
答案：学生相邻readout两端都可微，教师、候选权重和修正系数冻结。附录实用目标是转移求和，与正文均值存在倍数差；它也不等于精确reverse transition KL。
教学例子：例如三段转移相加不能偷偷改成平均后仍报告相同学习率与目标尺度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Projected Distillation为什么先最小修正学生错误回答？
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
问答新增：2026-10-27 · University of Massachusetts
展开答案与例子
答案：完整专家答案可能远离学生分布，保留学生文本只改必要片段，使监督更接近当前行为。修正仍须独立验证，最小编辑只是可计算近似，并非最可能正确回答的精确解。
教学例子：例如学生只错一处符号，先改该处而非把整段换成完全另一套推导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Projected Distillation为什么只在编辑片段做DPO，而SFT只用学生自己答对的响应？
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
问答新增：2026-10-27 · University of Massachusetts
展开答案与例子
答案：最小修正尽量保留学生已能生成的结构，让偏好更新聚焦真正改变的位置；经修正答案与学生自正确答案来源不同，不能混成同一种全段监督。两侧仍按各自完整因果前缀评分，未改位置直接梯度为零也不意味着共享参数完全不受影响。
教学例子：学生只在最后一个运算符出错，projector改这一处并验证；偏好学习聚焦改动，而不是把教师整段表达都重新模仿。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
编辑片段DPO与对修正全文SFT有什么不同？
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
问答新增：2026-10-27 · University of Massachusetts
展开答案与例子
答案：片段DPO比较原错与已验证修正的编辑位置，未改部分不直接纳入该损失；全文SFT另用于学生自己答对的样本。把projector修正当该SFT对象会改变方法。
教学例子：例如外部改好的答案不能冒充学生本轮自主成功产生的正例。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
编辑片段概率能只喂被修改token而丢掉前文吗？
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
问答新增：2026-10-27 · University of Massachusetts
展开答案与例子
答案：不能，各自编辑token需在各自完整因果前缀上评分，片段logp未按长度平均。一侧插入或删除可为空，但一对必须有编辑；未选token零直接梯度不等于共享参数完全不受影响。
教学例子：例如改第三步后，第四步条件前缀也跟着变，不能拿另一条响应的前文混算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
GR-OPD为什么先把token反馈聚成序列分数？
GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：教师局部自信不一定说明整段推理可学，先形成折扣序列分数再同题比较，把模仿信号转成响应相对信用，降低逐词盲目跟随的风险。
教学例子：例如教师喜欢某几个格式词，不应仅据它们就认定整条错误路线更好。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
GR-OPD为什么在组中心化后还保留一部分均值压力？
GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：纯相对中心化会抹掉教师对整组回答共同的偏好，只剩组内谁更好。保留适量均值项，使整体偏离教师的压力仍存在，再将序列信用广播到动作位置。折扣、标准化和裁剪会改变实际目标，不能直接继承未处理理论估计器的梯度保证。
教学例子：同题所有回答都明显不被教师支持，但彼此差异很小；只中心化可能几乎不更新，均值项保留共同纠偏方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
保留组均值压力与纯中心化有什么区别？
GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：纯中心化只保留同题回答差异，可能抹去教师对整组的整体方向；额外均值项保留部分共同压力。其系数可设零，不同配置不能混为同一实验。
教学例子：例如全组都偏离教师时，纯相对排名仍只区分彼此，不表达整体差距。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
GR-OPD训练是全局token均值还是先每响应平均？
GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：按每条响应有效actor词元平均，再跨回答等权平均，先做反馈裁剪和折扣归一。教师、旧策略、信用固定；理论裸和性质不能直接推广到实用裁剪重复更新。
教学例子：例如长回答不能仅因词元多就在这个目标里自动获得更大总权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
SimOPD为什么能让师生隐藏维数不同？
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：它不直接相减跨模型向量，而在各自空间计算当前回答与同序历史回答的相似分布，再匹配分布关系。共享的是回答身份，不要求表示坐标相同。
教学例子：例如一个模型用百维、另一个用更高维，只需各自比较相同历史回答。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
SimOPD师生隐状态维数不同，为什么仍能做关系蒸馏，不必先投到同一坐标系？
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：两边各自在自身空间计算当前回答与配对历史回答的相似度，再匹配以相同历史身份为索引的分布，比较对象不是跨模型向量本身。历史bank和教师都冻结并同步FIFO维护；只有一个历史点时分布恒定，不能提供有效关系监督。
教学例子：两位老师使用不同坐标描述回答，但都能说它更接近历史答案甲而非乙；学生学习这种关系排序，无需坐标逐项相等。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
SimOPD关系蒸馏与hidden-state MSE有什么不同？
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：MSE要求对应向量可比较，关系蒸馏保留回答之间几何结构而不强迫坐标。它也不同于词表概率蒸馏，监督对象是历史回答的相似分布。
教学例子：例如两张地图可旋转却保留城市距离，直接坐标差大但关系仍一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
SimOPD何时入队以及为什么单元素bank不能更新？
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：优化后入队的是优化前提取的冻结成对表示，两侧FIFO同步；首批只暖启动。单元素分布恒为一点，没有关系信息，应拒绝这种更新，只当前学生表示可微。
教学例子：例如教师bank第二项与学生bank第一项错位，会把不同回答关系硬对齐。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
DrOPD为什么在高分歧处额外加forward KL？
Divergence-Routed On-Policy Distillation for Language Models
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：reverse KL梯度含学生概率，学生几乎不支持教师模式时修正会弱；forward KL在这类缺覆盖处仍能推动。所有位置保留RKL，只局部增加纠正。
教学例子：例如教师支持的关键数字被学生几乎忽略，需要额外覆盖信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
DrOPD为什么保留所有位置的reverse-KL，只在高分歧位置加forward-KL？
Divergence-Routed On-Policy Distillation for Language Models
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：reverse-KL在学生已覆盖模式上提供模仿信号，但对学生几乎不给概率的教师模式可能纠正较弱。forward-KL补这类欠覆盖，JS路由限制额外干预范围。它不是把全损失换方向，也不是仅对采样词更新；候选并集、冻结优势与PPO路径共同构成实际机制。
教学例子：教师强烈支持词甲，学生几乎只选乙；仅沿学生常见词模仿可能难以抬起甲，高分歧位置的额外纠正用于补覆盖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
DrOPD路由与整批换成forward KL有什么差别？
Divergence-Routed On-Policy Distillation for Language Models
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：路由限制额外监督位置，同时保留原RKL；整批替换会改变其他状态的集中与覆盖取舍。候选优势PPO更新也不等于直接求一个静态双KL梯度。
教学例子：例如低分歧格式位置继续原目标，高分歧推理位置才多一份纠正。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
DrOPD第K大JS门槛遇到并列时应强行只取K个吗？
Divergence-Routed On-Policy Distillation for Language Models
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：不应，按阈值全部保留，数量可超过K。K由有效位置数按规定取整，零时不加FKL；师生top-k取去重并集并重归一，教师、路由与优势冻结。
教学例子：例如边界上三位置同分，不能任意删两个以凑固定配额。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
IG-OPD为什么等检索结果回来再评价query价值？
Information-Gain Calibrated On-Policy Distillation for Deep Search Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：教师在搜索前的语言偏好可能不喜欢有效查询，检索后答案置信变化提供是否获得有用信息的线索。它用于训练信用，答案探针不进入学生生成上下文。
教学例子：例如一句生硬查询找到关键证据，价值不能只由其措辞是否像教师决定。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
IG-OPD为什么用信息增益绝对值分预算，却用有符号增益校正query方向？
Information-Gain Calibrated On-Policy Distillation for Deep Search Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：一次检索无论显著变好还是变坏都值得关注，所以预算可依变化幅度分配；动作信用则必须区分正负后果，不能把伤害也奖励。两项相加且作用范围不同，答案只供冻结训练探针，不进学生采样；长最终回答也不该仅因token多吞掉短查询预算。
教学例子：一个查询取回误导网页，使答案支持下降，仍需分配足够监督去纠正它，但不能因为变化幅度大就给予正奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
ITC与IQC分别改变信用的数量还是方向？
Information-Gain Calibrated On-Policy Distillation for Deep Search Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：ITC按信息增益绝对值分配回合预算，IQC用有符号增益校准动作关键词元。负信息增益也可能获得关注，但方向应受惩罚，不能只用绝对值强化。
教学例子：例如无用检索引起较大置信下降，值得学习但不应被当成好查询。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
IG-OPD的IQC为何在ITC因子外，λ=0又意味着什么？
Information-Gain Calibrated On-Policy Distillation for Deep Search Agents
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：动作信用总和应为预热系数乘增益，不能再被回合预算放大；λ为零是等回合预算，不是等词元。最终回答增益显式为零，但仍有基础蒸馏信用。
教学例子：例如短工具调用与长答案即便回合等权，每个token的权重也不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
State-OPD为什么不给教师旧reasoning？
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：旧推理可能含学生错误，教师只读实际执行动作与观察的状态记录，减少继承错误叙事；学生仍保留完整历史，因此师生上下文有意不同。
教学例子：例如工具实际返回失败，但旧推理声称成功，教师应依据真实状态而非该说法。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
State-OPD为什么让教师少看历史reasoning，扩采的额外action又不能真的执行？
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：旧推理可能错误但环境动作与观察已真实发生，教师基于执行状态能减少继承旧思路；学生仍保留自身完整历史。高熵状态扩采用于同一状态的监督比较，若把额外action执行，会改变环境并破坏原状态对齐。这里的熵也应来自完整词表而非单词surprisal。
教学例子：学生先前误判网页内容，教师可只看真实点击与返回结果；额外生成几个候选点击用于训练评分，不意味着同时点击所有按钮。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
高熵状态扩采与让所有额外action执行有什么差别？
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：扩采完整推理加动作增加监督选择，但额外动作不执行，环境仍沿原真实轨迹。若全执行会改变状态分布和预算，变成另一种探索协议。
教学例子：例如同一状态提出几个工具方案供评分，不表示每个方案都对环境操作一次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
State-OPD状态熵能用采样词surprisal替代吗？
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：不能，规定是全词表熵的词元均值；高熵状态选择及扩采次数有明确公式。更新保留sampled-K1双裁剪，不能用teacher分数排序的启发式冒充。
教学例子：例如一个罕见词被采到很惊讶，不等于整个下一词分布熵一定高。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPD Learning Signals为什么同时看loss和梯度？
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：残余差异大不意味着仍有强更新方向，梯度可能已经弱。联合损失、截断前梯度、参数变化与表示相似度帮助诊断停滞，而不是只凭loss判断可学空间。
教学例子：例如教师分布仍不同，但学生在当前参数化下几乎收不到有效梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPD残余损失仍很大，为什么不能据此断言继续训练一定有足够学习信号？
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：数值差异与可推动参数的有效梯度并不等同，饱和或覆盖变化可能让残差存在而梯度变弱。论文联合查看截断前梯度、两折估计、参数位移与表示变化；非正分母时相关比例应不定义。这些诊断提供线索，不证明某种因素已造成学习停滞。
教学例子：老师学生仍有分布差，但关键区域梯度几乎为零；只看loss曲线会以为还有很多可学内容，实际参数未明显移动。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
occupancy与CKA相关诊断能证明停滞的原因吗？
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：不能，它们描述采样、更新与表示变化的相关模式，不能单独证明某机制导致失败。需要控制实验或额外假设，不能把诊断曲线直接写成因果结论。
教学例子：例如两层表示很像，同时学习变慢，尚不足以证明相似本身导致变慢。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
学习信号代理遇到非正loss或两折分母非正怎么办？
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：相应比值不定义，应保留无效状态而非强补零或正常比例；CKA按prompt平均后跨prompt中心化，用规定精度。梯度要取裁剪前，避免把优化器限制混成原始信号。
教学例子：例如两折梯度内积为负，不能除后取绝对值伪造正occupancy。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Semi-OPD为什么固定初始学生生成的数据？
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
问答新增：2026-10-27 · UCLA / NVIDIA（论文注明实习）
展开答案与例子
答案：一次生成与教师评分可降低后续采集成本，训练在固定学生状态集上继续学习。它仍承认更新后当前策略会漂移，固定数据不自动保持持续on-policy。
教学例子：例如最初收集一批常见错误前缀，后续反复学习但不新增当前错误。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Semi-OPD缓存了教师评分，为什么学生概率与token优势仍要每步重算？
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
问答新增：2026-10-27 · UCLA / NVIDIA（论文注明实习）
展开答案与例子
答案：固定轨迹和冻结教师可安全复用不变的评分，但学生更新后对同一token的支持会改变，教师学生差也随之改变。缓存旧优势会把过时方向反复施加，偏离定义目标。离线学生rollout能节约生成成本，却不能因此称为每步新鲜on-policy采样。
教学例子：一个词起初被学生低估，训练后已超过教师；若仍用最初的正优势，会继续推高它，而刷新差值可改变方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
缓存teacher标签与缓存advantage为什么不同？
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
问答新增：2026-10-27 · UCLA / NVIDIA（论文注明实习）
展开答案与例子
答案：教师在固定前缀的分数可复用，优势还含当前学生logp，学生更新后必须重算。连优势一起固定会变成另一套陈旧信号，不再执行规定目标。
教学例子：例如教师仍给同样分，学生已更认可该词，差距应缩小而非永远不变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Semi-OPD的缓存需要保持哪些内容不可变？
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
问答新增：2026-10-27 · UCLA / NVIDIA（论文注明实习）
展开答案与例子
答案：提示、响应、对应教师分数及mask要对齐不可变；每步只刷新当前学生评分及冻结优势。不得用修改后的文本去搭旧分数，也不能把缓存协议通过当长期分布覆盖保证。
教学例子：例如删掉一个token后继续沿用旧位置分数，会让监督错位。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Dr. OPD为什么给不同teacher token不同权重？
Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
问答新增：2026-10-27 · Rutgers University
展开答案与例子
答案：纠正关键推理与替换同义措辞对下游回报价值不同，权重以学生更新后预期回报为目标，通过双层近似决定，而不只按师生差大就多教。
教学例子：例如相同概率差下，修复运算符可能比换连接词更影响最终结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Dr. OPD为什么按下游reward对token更新方向的JVP加权，而不只看师生分歧大小？
Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
问答新增：2026-10-27 · Rutgers University
展开答案与例子
答案：分歧大可能只是措辞不同，未必值得花监督预算；JVP估计沿该纠偏方向对下游回报的影响，把学习价值与差异结合。闭式权重再经限制和归一化后用于OPD。它依赖所用回报与局部近似，不能把较大权重解释为已证实的全局因果贡献。
教学例子：老师学生对结论运算符与礼貌词都分歧，只有前者改变任务奖励；单看分歧大小可能把预算花在无关表述上。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
reward JVP加权与只按KL分歧挑词有什么区别？
Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
问答新增：2026-10-27 · Rutgers University
展开答案与例子
答案：分歧衡量差多少，JVP描述沿相关更新方向回报可能怎样变。组合同时考虑差距与下游价值，但近似梯度不是独立正确性保证，不能免去验证。
教学例子：例如教师学生对无关措辞分歧大，收益方向仍可能很弱。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Dr. OPD权重更新与学生更新应怎样排序？
Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
问答新增：2026-10-27 · Rutgers University
展开答案与例子
答案：每轮先由固定批信号闭式求权重、裁剪并均值归一，再执行加权RKL学生更新。不能在同一步让学生通过权重反向改变选择目标，本地d乘g是明确代理记号。
教学例子：例如先定本批该学哪处，再更新学生，而不是把评价权重也一起随意下降。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
DriftOPD为什么在当前chunk蒸馏之外加入future potential？
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：动作影响后续机器人状态，当前一步接近教师不保证长期后果相近。序列reverse KL分解引入未来势，使短步策略也考虑后续影响，critic来自离线示范。
教学例子：例如当前抓取姿势看似合理，却可能导致后面放置无法完成。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
DriftOPD为什么在当前动作chunk的reverse-KL之外，还加入future potential？
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：一步动作匹配只能比较眼前分布，无法完整反映动作对后续状态的影响。future potential由离线示范学习的critic估计长期后果，使序列级目标分解保留时间信息。critic质量和示范覆盖仍是前提，本地目标分解并未运行机器人环境验证长期控制。
教学例子：两个抓取动作当下都像教师，一个却把物体推到后续够不到的位置；仅看当前chunk相似度可能分不出长期差别。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
future potential与直接加当前动作奖励有什么差别？
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：前者估计后续动作后果，是序列分解的一部分；即时奖只描述当前表现。近似critic误差会影响指导，不能把加一项value自动等同精确序列KL。
教学例子：例如把物体举起得到即时分，不代表后续路线仍能完成任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
DriftOPD本地是否执行机器人环境闭环？
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：未执行，只验证目标分解和教师停止梯度。真实升级还需离线示范训练未来critic、动作chunk与状态对齐及环境评估，不能把候选核当VLA部署。
教学例子：例如计算未来势的符号项，不等于机械臂已经按该势完成任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
FlowMap-OPD为何分开rollout分布和优化kernel？
FlowMap-OPD: Rollout-Kernel Separation for On-Policy Distillation of Few-Step Flow-Map Generators
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：采样部分负责给出具有规定边缘的状态，局部kernel负责在状态上比较师生流映射或速度。分离可澄清何处提供数据、何处求导，不能任意把采样路径也反传。
教学例子：例如先拿到一个冻结生成状态，再比较两模型在该状态的局部预测。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
FlowMap-OPD为什么冻结rollout状态，只让比较kernel向学生反传？
FlowMap-OPD: Rollout-Kernel Separation for On-Policy Distillation of Few-Step Flow-Map Generators
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：rollout负责提供符合所需边缘分布的状态，局部kernel负责在这些状态比较flow map或速度，两者承担不同职责。若沿状态生成路径也反传，就增加了未定义的轨迹梯度项，改变估计器。状态虽停止梯度，后续仍可由更新策略重新采集，并非永久固定数据。
教学例子：先由当前生成器采一批中间状态，再冻结它们做局部教师比较；不应让该次局部损失回头穿过整个状态采样过程。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
rollout-state detach与端到端穿过采样器有什么区别？
FlowMap-OPD: Rollout-Kernel Separation for On-Policy Distillation of Few-Step Flow-Map Generators
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：detach只优化局部kernel的学生参数，不沿产生状态的路径传播；端到端会引入额外状态依赖梯度。两者是不同目标近似，不能仅看同一loss数值判断等价。
教学例子：例如当前模型既影响状态又影响预测，冻结状态会有意切掉前一条通路。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
本地FlowMap核能代表真实图像flow-map生成器训练吗？
FlowMap-OPD: Rollout-Kernel Separation for On-Policy Distillation of Few-Step Flow-Map Generators
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：不能，当前只验证状态detach和局部KL路径，没有图像生成器训练。教师应冻结，rollout状态边缘条件由调用方承担，随机状态并不自动满足论文假设。
教学例子：例如给一个任意向量算KL，不能证明它来自正确的生成分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
IPD为什么插值师生采样分布？
Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
问答新增：2026-10-27 · WeChat Vision, Tencent
展开答案与例子
答案：纯学生状态与纯教师状态各有覆盖取舍，逐状态混合提供连续控制的采样政策。γ调节数据来自何种分布，不只是对两个损失做加权平均。
教学例子：例如学生偶尔走自己路线，教师也可给另一些下一词选择，比例可控。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
IPD逐token混合师生概率，为什么不等同于整条回答随机选一个教师或学生来生成？
Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
问答新增：2026-10-27 · WeChat Vision, Tencent
展开答案与例子
答案：条件分布在每个前缀处插值，后续状态随已采到的token改变；整条轨迹只选一次来源，会产生另一种序列分布。概率混合也不同于logits平均。精确采到目标混合策略需要对应采样协议，本地端点与归一化检查没有复现高吞吐speculative sampler。
教学例子：第一步可能从教师更支持的词采到，第二步仍按新前缀重新混合；并不是开头掷一次硬币后整段只听同一个模型。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
token分布混合与整条轨迹二选一混合一样吗？
Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
问答新增：2026-10-27 · WeChat Vision, Tencent
展开答案与例子
答案：不一样。逐步混合允许同条轨迹交替师生偏好，轨迹级先选一个模型则整段来自同一策略。它们的联合状态分布通常不同。
教学例子：例如第一步偏学生、第二步偏教师的路径，在整段固定选模型时未必同样可达。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
IPD本地验证的端点是否包含高吞吐投机采样器？
Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
问答新增：2026-10-27 · WeChat Vision, Tencent
展开答案与例子
答案：没有，只执行精确token mixture的端点、归一与总变差关系；γ零为学生、一为教师。原文验证感知speculative sampler与完整训练仍未复现。
教学例子：例如能算出混合向量，不表示真实模型能以论文吞吐采出它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OASIS为什么把scaffold与teacher context分开？
Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
问答新增：2026-10-27 · North South University
展开答案与例子
答案：监督位置选最短已验证轨迹，而教师上下文优先取另一条未验证尝试。何处学习与教师看到什么是两种选择，避免把两者机械绑定成同一标准解。
教学例子：例如用一条简洁成功路线定位监督，却让教师借另一尝试提供不同条件线索。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OASIS为什么用最短已验证轨迹作scaffold，却可把另一条未验证尝试放进教师上下文？
Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
问答新增：2026-10-27 · North South University
展开答案与例子
答案：scaffold决定在哪条可信学生轨迹上监督，教师上下文决定额外参考什么，两者被刻意解耦。未验证尝试可以提供可比较思路，但不能自动成为正确解；没有任何verified rollout的题不产生该训练信号。只需最终答案验证，也不代表学生能读取gold solution。
教学例子：同题一条短回答已通过验收，另一条探索较长但未确认；可在短回答前缀上评分，同时让教师参考探索中的信息。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
OASIS没有gold solution，为何仍要求最终verifier？
Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
问答新增：2026-10-27 · North South University
展开答案与例子
答案：它依赖rollout中出现可验证成功，才能选scaffold；不需完整标准步骤不表示不需正确性检查。没有任何verified轨迹时不产生训练信号，而非自封一条为正确。
教学例子：例如多个答案都未验过，不能仅因最短就称它是有效scaffold。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OASIS实现应在选scaffold前还是后按长度排序？
Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
问答新增：2026-10-27 · North South University
展开答案与例子
答案：必须先确认已验证资格，再从合格轨迹中取最短；先取最短后忽略失败会错选。teacher context与监督轨迹身份也需分别记录，不得把未来答案泄露给学生。
教学例子：例如最短回答只有一句错误结论，不应压过较长但确实通过验证的轨迹。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
RIDE外推的是输出概率还是隐藏表征残差？
The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：每层每token比较RL教师与其pre-RL基座的隐藏差，再把基座加放大残差作为学生回归目标。它借的是RL表征变化方向，不是扩大logits比率。
教学例子：例如在某层把学到的方向再延长，而不是把教师最喜欢词概率乘常数。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
RIDE把教师超过基座的hidden residual继续外推，为什么不是放大输出概率比？
The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：残差定义在逐层逐token表示中，是RL教师相对其pre-RL基座的变化方向；学生回归到基座加放大残差的目标。输出概率比没有保存这条内部表示路径，不能互换。教师和基座停止梯度，外推系数超过一也不保证超过教师能力，仍需独立任务验证。
教学例子：先比较同一模型RL前后某层表示的位移，再沿该方向延长；这与把教师更喜欢的输出词统一加大权重不是一回事。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
α大于一的表征外推能保证比教师更强吗？
The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：不能，线性方向超出教师点可能扩大有益变化，也可能离开可靠区域。它是构造目标的假设，需独立任务检验，不能仅因几何上更远就称能力递增。
教学例子：例如同一方向走过头可能破坏信息，超越坐标不等于超越表现。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
RIDE的teacher与base分支为什么都stop-gradient？
The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：目标应代表固定的RL变化，学生只回归这个目标；若两分支跟着更新，会让残差自身移动。层、token和表示维度还需对齐，不能任意跨层相减。
教学例子：例如学生误差通过教师分支反传会改变靶子，而非只改善学生。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
SIPO为什么给同一rollout两份正负特权上下文？
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：两种教师条件的logp差尝试抵消共享自信与风格偏差，形成更有区分的稠密证据；环境奖励仍提供任务方向，学生采样不读取这些特权信息。
教学例子：例如正负条件都偏好同一套口头禅时，差值可削弱这部分共同倾向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
SIPO为什么对同一学生rollout构造正负两份教师上下文，而不只给一份正确提示？
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：单份特权教师可能带有共享置信和风格偏差，正负上下文的log-prob对比尝试抵消共同部分，得到更聚焦的token证据。终局环境奖励决定主要方向，密集证据在位置间重分配；两份上下文都只用于训练评分，不能让学生原始采样读取gold。
教学例子：两种教师提示都偏爱礼貌措辞，只有涉及关键证据时支持不同；对比可减少把共同文风当作需要学习的主信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
SIPO对比教师与单份特权教师有何假设差别？
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：单份可能把所有高置信都当有益，对比希望提取与条件差异有关的部分。但正负构造不可靠时仍会误导，不是两份教师就等于独立验证。
教学例子：例如正负上下文只换无关措辞，差值不一定对应真实解题价值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
SIPO组内reward全相同时还可能有token信号吗？
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：可能，对比教师中心化证据可非零，即便outcome优势为零。必须保证标准解只在教师或评分端，不能为获得这种信号先把gold喂给学生rollout。
教学例子：例如整组都失败，教师差异仍可定位一些方向，但不能宣称学生独立答对了。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
LSPD为什么把teacher-student logp差当稳健回归残差？
An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
问答新增：2026-10-27 · University of North Carolina at Chapel Hill
展开答案与例子
答案：平方项直接压缩差距，但极端差可能产生大梯度，Huber式尾部改成线性增长。它把蒸馏重写为可优化残差并允许历史轨迹复用。
教学例子：例如一个极罕见词造成巨大log差，不应无限支配整批更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
LSPD为什么对师生log-prob残差使用平方区间加Huber尾部，而不一律平方？
An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
问答新增：2026-10-27 · University of North Carolina at Chapel Hill
展开答案与例子
答案：平方项在小残差附近直接收缩差距，但极端log概率差可能产生过强梯度。线性尾部限制异常值影响，同时保留纠偏方向；回答内先平均，再跨回答等权，避免长度改变样本权重。重放旧轨迹可以节约数据，但不能把它们说成当前策略新采样。
教学例子：多数token师生接近，仅一个词被教师赋极低概率；一律平方可能让这个异常位置主导整批，而稳健尾部控制其影响。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
LSPD稳健平方与普通reverse KL在尾部行为有什么不同？
An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
问答新增：2026-10-27 · University of North Carolina at Chapel Hill
展开答案与例子
答案：稳健回归显式限制残差尾部斜率，KL依其分布和概率权重定义；不是把KL数值裁一下就自动相同。历史回放还改变状态来源，需要单独说明。
教学例子：例如log差翻倍时，尾部线性项与未限制平方项的梯度增长不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
LSPD怎样处理教师梯度和不同响应长度？
An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
问答新增：2026-10-27 · University of North Carolina at Chapel Hill
展开答案与例子
答案：教师logp冻结，学生差可微；先各响应有效token平均，再批内等权平均，并按规定减熵项。控制器未实际执行和验证前，不能把登记名称叫Evolve已接入。
教学例子：例如长回答不因词元多就在该均值目标中自动加倍贡献。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Recursive OPSD的DCE怎样让教师跟随学生变化？
Recursive Self-Improvement via On-Policy Distillation for Reasoning
问答新增：2026-10-27 · Meta AI / University of California, Riverside
展开答案与例子
答案：同轮师生共享当前权重，教师仅额外看标准解并停止梯度；学生更新后同份权重成为下一轮两视图。不是再训练一个独立教师或始终用初始教师。
教学例子：例如学生学会一种纠错后，下一轮特权教师也用这份新能力评分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Recursive OPSD的DCE与SRCL为什么都更新同一模型，却必须给标准解划不同信息边界？
Recursive Self-Improvement via On-Policy Distillation for Reasoning
问答新增：2026-10-27 · Meta AI / University of California, Riverside
展开答案与例子
答案：DCE用当前权重的特权教师在同一学生前缀上给分，更新后两种角色进入下一轮；SRCL则让模型只看自己的回答生成更短改写，标准解仅供验收。若把标准解给改写器，就把学习自修订变成照抄教师。两条目标互补，不是独立训练第二个教师模型。
教学例子：学生先尝试解题，教师借标准解评分；随后学生自行缩写原解，只在最终验收时检查正确，缩写提示不直接展示标准解。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
SRCL精简改写与直接让教师读gold重写有什么差别？
Recursive Self-Improvement via On-Policy Distillation for Reasoning
问答新增：2026-10-27 · Meta AI / University of California, Riverside
展开答案与例子
答案：改写模型只看问题和自身回答，不看gold，标准答案只供验收。要求更短、自包含、自然结束且正确，避免把带答案生成的改写当自主精简能力。
教学例子：例如改写提示不能附标准解，然后再声称模型靠自身删繁就简。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Recursive OPSD无合格精简改写时应该怎样更新？
Recursive Self-Improvement via On-Policy Distillation for Reasoning
问答新增：2026-10-27 · Meta AI / University of California, Riverside
展开答案与例子
答案：只做DCE，不拿失败或不更短的改写强凑SFT。冻结教师对照也需明确提示角色差异，不能把本地assistant-side控制组冒称原版user-side OPSD基线。
教学例子：例如改写虽正确却更长，不满足SRCL资格，应留空而非改阈值让它通过。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Gamma-OPD为什么引入时间信用而非只看当前位置log差？
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / DiDi Voyager Labs
展开答案与例子
答案：当前选择影响后续生成，折扣回传让未来教师差异参与当前信用，再结合可验证回报约束任务方向。它强调时间依赖，不只是逐词即时模仿。
教学例子：例如前一步分叉导致后面多步偏离，局部一词差可能低估它的后果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Gamma-OPD为什么让教师信用沿时间折扣回传，还要补入可验证奖励优势？
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / DiDi Voyager Labs
展开答案与例子
答案：局部token模仿可能忽略当前选择对后续整条序列分布的影响，时间信用将后续教师信号纳入当前位置。可验证结果则约束模仿方向与任务回报相容，不能仅因教师更支持某词就断言正确。本地折扣和奖励组件诊断不代表完整语言模型训练或正式能力提升。
教学例子：前面一次选择导致后面连续偏离教师，信用不应只落在最后几个词；但最终正确性仍需独立验证信号约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
折扣教师信用与额外混一个无界结果奖励有何区别？
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / DiDi Voyager Labs
展开答案与例子
答案：折扣项承接序列蒸馏结构，有界奖励优势控制可验证信号强度；任意大权重终局奖会改变平衡。这里仅比较机制，不推断哪种方法在任务上必胜。
教学例子：例如一次极大外部奖不应不受限制压过所有时间蒸馏信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Gamma-OPD本地reference kernel覆盖什么边界？
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
问答新增：2026-10-27 · Tsinghua University / DiDi Voyager Labs
展开答案与例子
答案：当前执行折扣回传及有界奖励机制，没有论文规模语言模型训练。需保留时间顺序、终止mask与冻结教师信号，不能拿打乱token的数组测试宣称时序信用正确。
教学例子：例如把后续信用搬到另一条响应，数值仍可相加却失去原轨迹含义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
RouteOPD为什么区分source与destination token？
Distillation as Probability Transport: Routed On-Policy Distillation
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：学生高估项有多余质量，低估项缺少质量，显式运输把需要修正的部分从前者移向后者，使监督路径可解释，而非不加区别地密集匹配。
教学例子：例如从学生过度偏好的措辞项搬一部分质量到教师更支持的关键数字。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
RouteOPD把概率质量从source搬到destination，为什么不等于给所有教师高概率词加分？
Distillation as Probability Transport: Routed On-Policy Distillation
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：source由学生相对教师的高估识别，destination对应学生的欠估，运输关注需要修正的差额，而非教师概率绝对大小。这样可以明确监督从哪里移出、向哪里补入，并保持概率口径一致。路由更可解释不代表教师正确，仍要控制支持集和任务评估。
教学例子：某词老师学生都很喜欢，未必需要再强化；另一个词教师支持却被学生忽略，才可能成为从高估区域补入的目的地。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
概率运输与直接把学生分布替换成教师有何区别？
Distillation as Probability Transport: Routed On-Policy Distillation
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：运输只针对差额及选定路由，替换则覆盖全分布。需要守恒、非负与source/destination定义，不能把普通softmax再命名为路由就算实现。
教学例子：例如未涉及的候选可能保持，而整体教师替换会同时改动它们。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
RouteOPD质量搬运时该检查哪些不变量？
Distillation as Probability Transport: Routed On-Policy Distillation
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：来源不能移出超过可用质量，目标增量与来源减量应一致，最终概率非负且归一。零差距时不应制造迁移；本地机制组件不意味着完整教师模型训练通过。
教学例子：例如总共移走一份质量却只加回半份，会让分布总和错误。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPDSearch+中的搜索返回正文，也是学生要模仿生成的内容吗？
OPDSearch+: Search-Enhanced On-Policy Distillation with Reinforcement Learning
问答新增：2026-10-27 · University of Chinese Academy of Sciences
展开答案与例子
答案：不是。学生生成query、推理和答案，搜索环境返回的正文是后续决策的条件信息。教师在学生轨迹上给指导，并不把工具返回变成学生应输出的台词。先区分模型动作与环境观察，才能正确理解搜索Agent训练的数据单位。
教学例子：搜索工具返回一段网页，学生下一步可以据此生成新query或答案；训练不要求学生逐字“扮演”网页返回。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPDSearch+为什么先用冻结通用教师蒸馏，再让搜索Agent继续RL？
OPDSearch+: Search-Enhanced On-Policy Distillation with Reinforcement Learning
问答新增：2026-10-27 · University of Chinese Academy of Sciences
展开答案与例子
答案：蒸馏先在学生自己的搜索轨迹上提供较密指导，改善query、推理与答案的行为起点；后续可验证RL再按环境结果调整，不必永久受教师偏好限制。通用教师无需先训练成任务专家，但其评分仍可能有偏，本地候选信号没有重现真实搜索引擎链路。
教学例子：先学会提出可用查询，再让检索结果与最终验收纠正查询习惯；不能把教师最喜欢的query直接当作最有效搜索。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
OPDSearch+沿学生搜索轨迹蒸馏，与离线照抄教师完整示范的前缀分布有何不同？
OPDSearch+: Search-Enhanced On-Policy Distillation with Reinforcement Learning
问答新增：2026-10-27 · University of Chinese Academy of Sciences
展开答案与例子
答案：沿学生轨迹时，教师面对学生实际造成的搜索状态和生成前缀；离线示范的后续监督则基于教师走过的状态。即使教师相同，两类训练暴露给学生的错误恢复场景也不同。这里比较状态分布，不据此断言任意预算下哪种训练更强。
教学例子：学生先搜错关键词后，在线教师评估该状态的下一步；离线正确示范可能从未出现这个错误前缀。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPDSearch+本地process轴是否真实运行query、reasoning和answer token？
OPDSearch+: Search-Enhanced On-Policy Distillation with Reinforcement Learning
问答新增：2026-10-27 · University of Chinese Academy of Sciences
展开答案与例子
答案：不是，候选级过程信号代理三类生成及搜索反馈，未加载真实搜索索引和模型。实际监督mask需只覆盖学生生成内容，不能训练工具返回正文。
教学例子：例如一个候选得过程分，不等于它实际调用Wikipedia后获得证据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPDVR为什么用verifier校正教师隐式奖励符号？
OPDVR: On-Policy Distillation with Verifiable Rewards
问答新增：2026-10-27 · LeapLab, Tsinghua University
展开答案与例子
答案：师生概率比不必与对错一致，可能惩罚正确轨迹或奖励错误轨迹。按可验证结果只保留符号一致的一侧，避免教师偏好直接逆着任务正确性推动。
教学例子：例如学生答对但教师不喜欢其解法，不应因此接受负向蒸馏奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPDVR为什么对正确轨迹只保留非负教师信号，对错误轨迹只保留非正信号？
OPDVR: On-Policy Distillation with Verifiable Rewards
问答新增：2026-10-27 · LeapLab, Tsinghua University
展开答案与例子
答案：采样token的师生log比可能与整条轨迹正确性冲突，例如教师不喜欢学生的正确写法。单侧ReLU用verifier校正隐式奖励符号，而不是再简单叠加一个独立RL loss。轨迹标签仍粗，不能证明其中每个token都正确；verifier也只在训练评分边界使用。
教学例子：学生用不同但正确的解法，教师给出负模仿信号；正确性门可挡住这类负向更新，而不要求学生照搬教师表达。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
OPDVR与额外加一个RL loss有什么差别？
OPDVR: On-Policy Distillation with Verifiable Rewards
问答新增：2026-10-27 · LeapLab, Tsinghua University
展开答案与例子
答案：它直接修改原隐式奖励的允许符号，而不是并列两套损失再调权重。额外相加可能仍相互抵消，符号门控则删除不一致部分，两者目标不同。
教学例子：例如错误轨迹的正教师信号被置零，不是用另一负奖试图恰好抵消它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPDVR对正确与错误轨迹分别保留哪半轴？
OPDVR: On-Policy Distillation with Verifiable Rewards
问答新增：2026-10-27 · LeapLab, Tsinghua University
展开答案与例子
答案：正确保留非负教师log比，错误保留非正，零保持零。verifier作为训练固定信号，不能进入学生采样输入；当前候选代理未跑真实Qwen数学rollout。
教学例子：例如错误轨迹若教师log比为正，应归零而非取负号反转成额外惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
R²-OPD为什么单独估计reasoning progress？
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：教师喜欢的片段不一定推动任务完成，独立进展信号用于核对蒸馏方向。当排序冲突时屏蔽相应监督，避免把语言偏好误作推理改进。
教学例子：例如解释更流畅但离解题目标更远，教师分与进展分可能相反。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
R²-OPD为什么要求教师排序与独立推理进展排序一致，冲突时不直接信教师？
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：教师偏爱某段表达不一定意味着它推进了求解，独立进展信号用于检验两者方向。排序冲突时屏蔽对应蒸馏，减少模仿与任务目标相悖的更新。过滤只说明该信号不可靠，不证明被屏蔽段落一定错误；进展评价本身也需要独立质量检查。
教学例子：教师偏爱流畅的长解释，但进展评估显示关键约束尚未解决；此时不应仅因教师高分就强化整段表达。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
R²排序过滤与把两种reward直接加总有什么差别？
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：过滤把一致性作为是否保留教师信号的条件，加总允许一个高分抵消另一个低分。两者激励不同，排序一致也不证明两评价器都正确。
教学例子：例如教师分极高不能自动买回被进展判断为不利的蒸馏片段。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
R²-OPD的两套rank应针对什么对象对齐？
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：同一组reasoning spans及同一身份顺序，两套分数不能混来自不同轨迹。并列规则需明确，当前候选机制未执行真实大模型进展评价器。
教学例子：例如教师排序的第三段必须对应进展排序的同一段，而不是第三个列表位置。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
SR-OPSD为什么在自教师之外保留reference？
SR-OPSD: Self-Referenced On-Policy Self-Distillation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：自教师可能随反馈变得过强或偏移，reference为有效目标提供锚点。几何插值与Rényi控制描述目标和敏感度，而非完全信任一份自教师分布。
教学例子：例如教师强烈偏好新模式时，参考约束可保留原策略的一些支持。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
SR-OPSD为什么对自教师和reference做几何插值，而不是把两份概率直接平均？
SR-OPSD: Self-Referenced On-Policy Self-Distillation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：几何插值在log空间组合支持，归一化后形成有效目标，与线性概率混合对尾部和相互冲突模式的处理不同。reference提供锚点，自教师提供额外指导，再由散度控制投影敏感度。更换混合方式会改变目标，不能只因端点相同就视为同一个算法。
教学例子：两个分布各自强烈支持不同词，几何组合与各取一半的概率平均可能给出很不一样的中间目标，需明确所用形式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
几何插值与概率算术平均有什么不同？
SR-OPSD: Self-Referenced On-Policy Self-Distillation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：几何组合在log空间相加后归一，对双方低支持项的处理不同；算术混合直接分配质量。二者一般不相等，也不应把一个参数权重套进另一个公式。
教学例子：例如某项一方几乎不给概率时，几何目标可能比算术平均更受影响。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
SR-OPSD构造目标为什么要在log空间并显式归一？
SR-OPSD: Self-Referenced On-Policy Self-Distillation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：概率幂乘易下溢，log空间加权后softmax可稳定形成目标；reference与教师分布需同词表对齐。当前候选核不含论文规模语言模型训练或完整Rényi实验。
教学例子：例如只逐项相乘而不归一，得到的是未归一测度，不能直接当目标概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
DASH为什么让后续蒸馏差异影响前面位置？
DASH
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：早期决策可导致多步后果，单词元匹配看不到远期信用。局部分歧控制门，后向递推形成自适应horizon，把后续信号有条件传回而不增加教师前向。
教学例子：例如一个早期分叉后面连续出错，前面位置也需要感受这些后果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
DASH为什么由局部分歧控制向后递推的horizon，而不固定把后续所有信号都传回？
DASH
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：后续教师反馈可能有用，也可能因局部偏离而不可靠。停止梯度gate依据局部分歧调节传播强度，使不同位置看到不同有效监督范围，而无需额外教师前向。固定长horizon会一律混入远处信号，固定短horizon又可能漏掉重要后果，gate本身也不是真值判断。
教学例子：连续几步与教师一致时可累积后续帮助，某处突然严重分歧时应弱化继续回传；不是每个位置都用同一个窗口。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
DASH连续gate与固定折扣回传有什么差别？
DASH
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：固定折扣对所有状态给同一传播率，gate依据局部分歧相对统计改变horizon。它仍是代理信用，不保证每次延长都正确，也不等于新增教师续写。
教学例子：例如两处同样距离的后果，因局部分歧不同可向前传播不同程度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
DASH反向递推应怎样处理序列边界与gate梯度？
DASH
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：从末端向前聚合，末端无下一项；gate停止梯度，padding和跨响应边界不得传播。当前候选位置并非完整真实token轨迹，不能据此报告长链收益。
教学例子：例如一条回答末尾不能接上下一条回答的未来信用继续累加。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPD²为什么蒸馏教师后训练相对base的增量？
On-Policy Delta Distillation for Multilingual Math Reasoning
问答新增：2026-10-27 · NAVER AI Lab
展开答案与例子
答案：教师自身原有偏好未必来自目标训练，增量更聚焦后训练改变的方向，减少照搬基座语言或其他偏差。它仍依赖base和post-trained教师的可比较性。
教学例子：例如教师原本爱长句，这种旧风格若没因训练改变，就不应全当新能力传给学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPD²为什么蒸馏后训练教师相对其base的增量，而不复制教师全部偏好？
On-Policy Delta Distillation for Multilingual Math Reasoning
问答新增：2026-10-27 · NAVER AI Lab
展开答案与例子
答案：教师原本就有语言、风格和知识倾向，学生直接模仿会把这些与后训练新增能力一起搬走。比较教师前后log概率变化，目标更聚焦训练带来的方向。base与teacher必须是可比阶段，增量也不是已证明的纯能力信号，本地小分布诊断不能证明跨语言迁移。
教学例子：教师一直偏好某种客套开头，而RL主要改善推理结尾；前后增量可减少把原有客套风格当新增能力传给学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
delta蒸馏与直接模仿post-trained分布有什么差别？
On-Policy Delta Distillation for Multilingual Math Reasoning
问答新增：2026-10-27 · NAVER AI Lab
展开答案与例子
答案：前者显式扣除教师基座参照，后者包含所有原有知识和偏好。增量可能减去有用信息，也可能保留训练噪声，不能据此断言永远比完整蒸馏好。
教学例子：例如只学变化方向不等于把教师整个知识库完整复制。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPD²的两个教师概率能来自任意模型家族吗？
On-Policy Delta Distillation for Multilingual Math Reasoning
问答新增：2026-10-27 · NAVER AI Lab
展开答案与例子
答案：不能不加说明地替换，定义是后训练教师与对应base在同前缀的logp差，词表和条件需匹配。当前候选机制并未加载真实多语言数学检查点。
教学例子：例如拿另一架构模型当base，会把家族校准差混入所谓训练增量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
RP-OPSD为什么围绕reasoning pivot进行跨语种蒸馏？
RP-OPSD
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：不同语言表面表达差异大，但真正改变推理状态的位置更关键。比较有英文参考与无参考的匹配教师分布，定位信息引起明显变化的枢纽，集中监督。
教学例子：例如换连接词与引入关键方程，不应仅按文本差异同权处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
RP-OPSD为什么比较有无英文参考解的匹配教师视图来找pivot，而不统一强化全部译文token？
RP-OPSD
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：参考解对某位置分布造成的变化提供它是否改变推理状态的线索，而表面翻译词可能几乎不受影响。定位后集中进行特权蒸馏，并保留reference锚定。两视图应匹配其他条件，参考解仅在训练教师侧使用，不能让目标语学生直接照抄金标。
教学例子：跨语言答案里，连接词的翻译与决定运算顺序的词作用不同；加入参考解后，真正推理转折位置可能变化更明显。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
pivot定位与对所有英文参考token均匀模仿有什么区别？
RP-OPSD
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：均匀模仿可能复制风格和翻译表面，pivot用条件位移突出重要位置，仍保留reference锚点。位移不自动代表有用因果证据，教师可靠性需验证。
教学例子：例如英文措辞不同但数学状态相同，不必因此让学生每个词都改写。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
RP-OPSD两教师视图评分应保持哪些条件相同？
RP-OPSD
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：模型、问题与学生前缀应匹配，仅移除参考条件形成对照；学生采样不见参考答案。原本地使用确定性代理，不包含完整多语言teacher和真实推理语料。
教学例子：例如一份视图换题又换模型，概率差无法再归到英文参考作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
U-OPSD的privileged view为何仍可称无外部监督？
U-OPSD
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：它来自模型多次采样中的内部一致解，不用外部答案、奖励或更大教师。特权指一视图额外看到内部产物，不意味着这些产物已独立验证正确。
教学例子：例如模型自选一条简洁共识解作为参考，但它仍可能是共同错误。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
U-OPSD用最短一致解构造特权视图，没有gold时怎样避免把“共识”说成真值？
U-OPSD
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：多次采样的内部一致性用于选参照与决定何处修复，减少对外部教师和答案的依赖；它提供的是伪监督，不是独立正确性验证。全体共同犯错仍可能被强化，所以应分开报告内部一致性与外部留出任务表现，不能向学生输入隐藏金标来弥补。
教学例子：几份回答都采用同一错误公式，最短的那份仍可能错；“最短一致解”只确定内部参照，不自动成为标准解。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
最短一致解与最短任意回答为什么不能混用？
U-OPSD
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：前者先满足多数一致资格，再在相应集合选短解；最短任意项可能只是空答或离群结论。内部一致不等于真正确，纠错对象也应按伪标签定义解释。
教学例子：例如一句很短的错误拒答不能仅因省token就成为特权教师线索。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
U-OPSD实现时可以用gold检查后再挑内部参考吗？
U-OPSD
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：不可以，否则改变无外部监督设定。共识、阈值和长度选择只用允许预测，gold仅用于独立评估；本地确定性mini-suite不代表真实多轮大模型自蒸馏完成。
教学例子：例如先筛出碰巧答对的候选再做多数票，会把答案信息偷渡进流程。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
CausalOPD为什么优先定位第一处错误？
CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：后续错误可能只是前面错误的连锁后果，先修首个断点可减少重复惩罚或无效长程探索，再按证据、机制、结论组织课程。教师定位可靠性是前提。
教学例子：例如因果链第一步前提错，后面推导虽连贯仍建立在错误基础上。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
CausalOPD为什么优先定位第一个错误步骤，再用短horizon修复？
CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：因果链一旦前面出现错误，后续很多步骤可能只是沿错前提继续，逐项模仿末端结论难以修正源头。先定位首错，把短程更新集中到这一转折，再组织证据到机制到结论的课程。教师定位仍可能有误，本地候选诊断也不等于自然语言因果推理能力。
教学例子：把相关性误当因果发生在开头，后面推导虽工整仍基于错前提；应先修这一跳，而非只改最后一句。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
首错短horizon修复与全轨迹模仿有什么取舍？
CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：短窗口聚焦局部因果断点，减少无关监督；全轨迹可覆盖更多内容但也更远离学生。若教师首错定位错误，局部化也可能遗漏真正问题，不能直接当效果保证。
教学例子：例如只修机制连接可保留前面证据，但不代表整条结论从此一定正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
首错搜索没发现错误时能默认索引为零吗？
CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：不能，应显式表示无错误或无可靠判定，避免把首步误当错误。索引需对齐真实步骤，训练特权判断不进入学生推理输入；本地候选核未实现完整因果链教师。
教学例子：例如空集合取最小值需明确边界，而不是让程序返回第一步凑数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
PCSD为什么用持续信号而非单token gap？
PCSD
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：局部teacher gap可受噪声影响，整段同权又过粗。自适应窗口累计支持并衰减下降趋势，再连续门控监督，试图兼顾稳定与位置差异。
教学例子：例如孤立一次高分与连续几步教师支持，应有不同的可信程度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
PCSD为什么累积一段持续的teacher-favoring信号，而不看到单token gap就开关监督？
PCSD
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：单点师生差容易受概率噪声影响，整轮共用权重又会丢掉位置差异。窗口内指数累积与下降趋势衰减折中这两点，再通过连续gate控制OPSD与GRPO结合。持续支持仍不保证教师正确，平滑只是稳定信号，不应被当作额外独立验证。
教学例子：一个词偶然被教师高估，周围位置却不支持该方向；与连续一段都支持相比，监督强度不必相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
PCSD连续门控与硬阈值选token有什么区别？
PCSD
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：sigmoid提供平滑强度，不只保留或删除；历史累计使同样当前gap在不同趋势下权重可不同。它仍依赖教师信号，不是对正确性的新验证器。
教学例子：例如当前gap一样，但一条在持续改善、一条持续下降，门控可以区别。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
PCSD累计状态可以跨不同响应继续使用吗？
PCSD
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：不得把无关轨迹历史混入同一时序累计，需按响应重置和处理有效mask。教师或gate统计作为固定监督，本地确定性核不等于真实长推理自蒸馏。
教学例子：例如上一题末尾高支持不能变成下一题开头的置信先验。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
β-OPSD为什么把自蒸馏看成正则策略优化的特例？
β-OPSD
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：先由参考与特权教师定义几何目标，再把昂贵策略优化转为token-logit蒸馏，解释可控的指导强度。β的理论角色应按原定义，不能与任意混合系数混叫。
教学例子：例如同一教师信息可通过不同正则强度形成不同有效目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
β-OPSD为什么把reference和特权教师的插值与return-to-go放进同一推导？
β-OPSD
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：几何插值规定在基准策略与特权指导间向哪里靠近，return-to-go则决定后续蒸馏差异怎样影响更早选择，两者分别控制目标和时间信用。vanilla设置只是其中一种参数情形，不能把任意logit平均都称为同一最优解；本地位置代理也不是完整长序列。
教学例子：先决定学生要多大程度靠近教师，再考虑开头选择会不会引发后面连续偏差；目标强度与回传范围是两件事。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
return-to-go与当前token独立log差在信用范围上有何不同？
β-OPSD
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：前者累计未来折扣差异，让当前位置承接后续影响，后者只看局部。长horizon可增加方差并依赖终止处理，不能因包含未来就断言一定更准确。
教学例子：例如早期错误导致后续多步偏离，局部即时差可能看不到全部后果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
β-OPSD本地线性位置代理是否真实运行长CoT序列？
β-OPSD
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：没有，候选动作替代token分布、线性return-to-go替代真实轨迹位置。实现仍需固定参考教师和正确时间顺序，不能把代理结果当Qwen LoRA训练证据。
教学例子：例如几个候选数值求后缀和，不等于真实语言生成中相同信用行为。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Flux-OPD为什么固定context-free教师作锚？
Flux-OPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：学生会吸收固定上下文，更换上下文又可能使目标跳变。固定锚点只接收演化上下文相对修正，提供稳定参照，避免每次全盘切换教师分布。
教学例子：例如新检索背景改变局部判断，但基础语言目标不必跟着整体漂移。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Flux-OPD为什么固定context-free锚点，再对演化上下文的修正做冲突加权？
Flux-OPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：直接替换教师上下文会让目标跳变，固定锚点使每轮只注入相对差异；多个上下文教师的几何组合反映共同支持，冲突大时减弱修正。几何归一化常数承担冲突线索，不等于任意两教师的意见差；本地奖励轴代理也未执行真实上下文抽取。
教学例子：两份提示分别建议相反的推理路径，保留通用锚点并减弱冲突修正，比每轮完全追随新提示更能控制目标漂移。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
多个上下文几何教师冲突时为何减弱修正？
Flux-OPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：几何归一常数反映分布重合程度，冲突大时有效修正权重变弱，避免硬平均不相容建议。低冲突也不证明建议正确，仍需任务验收。
教学例子：例如两上下文分别强推相反答案，不能因都自信就加倍相信。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Flux本地reward axes能代表真实演化上下文抽取吗？
Flux-OPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：不能，两个奖励轴只是教师变化代理，未运行视频、医疗或真实语言上下文模型。构造目标需在log空间相对同一锚点，不能把不同基线差混在一起。
教学例子：例如给两组人工logits，不包含从真实文档抽取并更新上下文的流程。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
Relay-OPD为什么让教师短暂接管后再交回学生？
Relay-OPD
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：早期前缀失效会让后续监督陷入坏状态，短暂接力把轨迹拉回可学区域，同时预算限制避免全程由教师代写。学生仍需在交回状态继续行动。
教学例子：例如在关键转折教师写几步修复，然后学生自己完成剩下解答。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
Relay-OPD教师短暂接管后又还给学生，为什么不能把接力轨迹算作纯学生rollout？
Relay-OPD
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：接管区间的动作来自教师，后续学生又处在教师改变过的前缀中，整条轨迹是混合来源。接力预算让监督集中于关键失效位置，状态机须记录谁生成哪些片段。它能减少无效探索，但不能把外部帮助当成学生独立成功，更不能在评测时隐瞒教师调用成本。
教学例子：学生卡在第一步，老师带过两步后学生继续；最终答对并不表示学生从无帮助状态也会走到同样结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
接力轨迹与普通学生rollout的来源假设有何区别？
Relay-OPD
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：接力包含教师干预，不能全称纯学生on-policy。完整轨迹用于训练需记录接管区间与预算，教师成功也不等于学生当时自主完成。
教学例子：例如教师替学生走过难点，评估时去掉教师仍需单独测量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
Relay状态机怎样避免教师接管超出预算？
Relay-OPD
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：累积各次接力长度并检查总和不超过预算，接管、归还和终止均明确。当前教师是候选分布缓存，不是真实Qwen，更不代表八卡训练已完成。
教学例子：例如一次预算用尽后不能再偷偷开启第二轮接管。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
OPDLM为什么在扩散学生自身解码轨迹上蒸馏AR教师？
OPDLM
问答新增：2026-10-27 · Texas A&M University
展开答案与例子
答案：从因果模型改成双向去噪后可能遗忘，随机mask训练也未必覆盖confidence decoding状态。学生实际轨迹让教师指导对应推理时会访问的状态，减少分布偏移。
教学例子：例如模型逐步揭示的顺序不同于随机mask，训练应看到真实揭示状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
OPDLM为什么要沿双向学生自己的解码轨迹蒸馏，而不只用随机mask复刻AR教师？
OPDLM
问答新增：2026-10-27 · Texas A&M University
展开答案与例子
答案：随机mask训练状态与confidence decoding实际访问状态不同，直接改注意力还可能遗忘原知识。让学生按自身解码过程产生状态，再由冻结AR教师提供对应目标，可减少这类状态错配。教师仍按自己的因果条件评分，不能把不同可见信息的分布随意逐位等同。
教学例子：学生推理时先填高置信位置，训练却总随机遮词；两种顺序会形成不同上下文，蒸馏需要面对实际解码状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
AR教师与双向学生在同一位置看到的信息完全一样吗？
OPDLM
问答新增：2026-10-27 · Texas A&M University
展开答案与例子
答案：不一样，AR按因果前缀评分，学生按当前可见非mask内容去噪。蒸馏需明确各自条件和位置对应，不能把条件差当作模型本身质量差。
教学例子：例如学生可能看到右侧已揭示词，教师仍只根据该词左侧因果历史评分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
OPDLM损失应在哪些位置计算，教师是否更新？
OPDLM
问答新增：2026-10-27 · Texas A&M University
展开答案与例子
答案：针对规定mask或待监督位置，冻结AR教师，并按学生实际轨迹对齐target logits。当前本地公共mini-suite并未完整改造并训练真实双向语言模型。
教学例子：例如已确定位置与待填位置混在一起全算，会改变去噪监督定义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
GKD为什么让教师评价学生自生成前缀？
GKD
问答新增：2026-10-27 · Google DeepMind
展开答案与例子
答案：固定教师轨迹通常过于理想，学生推理会到达不同状态。让学生采样、教师同前缀给完整分布，可教会学生在自身错误附近继续改进，而非只复制标准路径。
教学例子：例如学生第二步偏离后仍能获得该前缀的教师指导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
GKD让教师给学生前缀打分，为什么比只学教师完整答案更能覆盖学生自身错误？
GKD
问答新增：2026-10-27 · Google DeepMind
展开答案与例子
答案：教师轨迹常避开学生会遇到的偏离状态，固定答案训练因此有分布错配。学生自己采样后，教师在相同前缀上给出分布，监督可以到达这些状态；混合比例再控制固定与在策略数据。覆盖改善不保证教师能从所有错误前缀恢复，也不自动决定应选哪种散度。
教学例子：学生先写错一步后才需要纠偏，而教师标准解从不经过这一步；在学生前缀评分能针对这个已发生的状态提供帮助。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
GKD的student data fraction与IPD逐token混合相同吗？
GKD
问答新增：2026-10-27 · Google DeepMind
展开答案与例子
答案：不是，GKD控制固定数据与学生轨迹的训练来源比例，IPD在每个状态混合师生采样分布。数据集层混合与一步策略混合产生的轨迹占用一般不同。
教学例子：例如一半批来自固定答案，不等于每个下一词都以一半概率选择教师。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
GKD选择KL方向时为什么要明确学生与教师谁在前？
GKD
问答新增：2026-10-27 · Google DeepMind
展开答案与例子
答案：forward、reverse及广义JSD有不同覆盖和集中偏好，参数名不能代替数学方向。教师同学生前缀且冻结；本地构造教师候选分布并非真实T5和翻译摘要实验。
教学例子：例如KL(T||S)与KL(S||T)互换会改变梯度，尽管接口都可能写KL。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
基础理解
MiniLLM为什么偏向reverse KL蒸馏？
MiniLLM
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：小学生难覆盖教师全部模式，reverse KL更集中在学生支持下可靠的教师区域，减少对低质量区域的扩散。集中也可能漏掉模式，并非所有任务都应追求更尖分布。
教学例子：例如学生先学会几种高质量表达，而不勉强平均所有教师可能续写。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
核心机制
MiniLLM的reverse-KL为什么对小学生与教师尾部概率的关系有影响？
MiniLLM
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：reverse-KL在学生采样分布下比较log学生与log教师，倾向把有限容量放在学生访问且教师支持的模式；forward-KL则更强调覆盖教师质量。方向改变期望分布与梯度，不能只交换公式参数。teacher-mixed采样等稳定化也需保留，候选分布验证不等于长文本蒸馏。
教学例子：教师能给出多种罕见表达，小学生容量有限；覆盖所有尾部与集中于若干可靠表达，会对散度方向提出不同取舍。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
方法对比
MiniLLM与普通forward KL主要在覆盖假设上有何取舍？
MiniLLM
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：forward倾向覆盖教师质量，reverse侧重学生采样的模式；teacher-mixed采样和方差缩减又影响实际训练。不能只改KL方向就声称复现整个MiniLLM。
教学例子：例如模式少但可靠与模式多但能力不足，是需要任务评估的取舍。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 轨迹蒸馏：学生、提案与前缀分布
实现细节
MiniLLM反向KL期望下的样本应主要来自谁？
MiniLLM
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：目标期望按学生分布，实际还有明确teacher-mixed采样与校正设计，不能直接拿任意固定教师文本替代。当前候选核无真实tokenizer和长生成，也无GPT评审分。
教学例子：例如仅在教师标准解上计算同一符号KL，不自动具有学生on-policy覆盖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接