LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
AOPD为什么问教师动作对学生是否可完成？
When to Follow the Teacher: Advantage-Based On-Policy Distillation
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：教师偏好的下一步不一定是当前学生能继续完成的路线，学生相对终局优势用于选择适合其能力的指导。估计复用学生已有rollout，不额外生成反事实续写。
教学例子：例如教师给很高阶证明起点，学生后面完全接不住，未必是最佳当前监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
AOPD为什么不只给KL乘一个reward，而需要采样项与全词表教师期望共用截断测度？
When to Follow the Teacher: Advantage-Based On-Policy Distillation
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：目标关心教师动作对当前学生后续奖励的优势，估计包含两项相消结构。只截断采样项、或把教师测度重新归一化，会破坏对应关系，变成另一目标。leave-one-out基线来自同题其他rollout，教师与行为概率冻结，不额外生成反事实续写来伪造优势。
教学例子：教师偏好一个学生暂时接不下去的开头，不能仅因教师概率高就强化；需结合学生真实续写结果，判断指导是否可利用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
AOPD与给KL简单乘一个reward有什么不同？
When to Follow the Teacher: Advantage-Based On-Policy Distillation
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：目标包含同一截断教师测度下的采样项与全分布项，结合独立LOO回报；简单乘奖会丢掉其估计结构。截断测度不重新归一，是关键差异。
教学例子：例如只对一个采样词乘奖励，不能代表减去全词表教师项的同一目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
AOPD能只裁sampled term或用当前学生替代rollout S吗？
When to Follow the Teacher: Advantage-Based On-Policy Distillation
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：不能，两项共享同一未归一化截断教师测度，分母来自固定采样学生S。只更新Sθ，组需多于一以形成独立LOO基线，不得跨步偷偷改行为概率。
教学例子：例如把截断后教师再softmax，会改变总质量及两项对应关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
ME-OPD为什么正确回答不走教师纠错分支？
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：正确轨迹保留任务奖励，避免教师改写已成功表达；错误轨迹才筛教师更不支持的原token做局部纠正。教师不生成新答案，而是给原回答评分。
教学例子：例如答对的另一种解法不必因教师风格不同被整段改掉。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
ME-OPD为什么正确rollout不走教师纠错分支，错误rollout也只选一部分token？
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：正确轨迹只保留任务奖励，避免教师风格压过已成功的学生行为；错误轨迹才比较教师与冻结旧学生，只纠正教师更不支持的位置。先在完整同题组计算任务优势，再拆分支，否则只剩正确组会失去相对信号。参考解和完整回答只进入训练教师视图。
教学例子：学生几何推导仅误读一个标签，教师评分可集中压低相关错误token；不能因表达不同就重训整条已正确回答。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
ME-OPD与Projected Distillation的修正产物有何不同？
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：前者teacher-force原回答并压低选中错误token，后者外部projector生成已验证修正版并做编辑片段DPO。评分原token与比较新旧文本，数据流不同。
教学例子：例如一法没有新改写答案，另一法必须把修正版与原版精确对齐。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
ME-OPD应在拆正确/错误集合之前还是之后计算组优势？
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：先用全K条奖励算优势，再拆分；只留正确再统计会全为一而丢信号。纠错mask用冻结旧学生，严格大于才选，分母是全minibatch选中纠错token数。
教学例子：例如teacher与old分数相等的位置不选，不能因当前学生改变又重新挑mask。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
CSD为什么需要共同文本事件而不直接对齐token ID？
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
问答新增：2026-10-27 · NVIDIA
展开答案与例子
答案：不同tokenizer的编号、词表和边界不同，同一文字可能拆成不同数量词元。先按字符区间核对解码等价，再比较共同事件概率，才有可比语义对象。
教学例子：例如一个模型单词一token，另一个拆成两片，编号相同毫无语义保证。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
CSD跨tokenizer蒸馏时，为什么保留REST质量而不能对共同候选重新softmax？
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
问答新增：2026-10-27 · NVIDIA
展开答案与例子
答案：不同分词的token ID没有直接对应，需按解码文本事件和完整链式概率建立共同空间。显式匹配以外的质量进入REST，保留未列出事件的影响；重新归一会把这些质量丢掉并改变散度。共同文本对齐也必须核对字符边界，不能只按位置凑齐两套token。
教学例子：一个模型把词分成两段，另一个用单token；匹配该词事件后，其余续写概率仍存在，不能假装共同事件就是整个词表。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
REST质量桶与只对共同候选重新归一相比保留什么？
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
问答新增：2026-10-27 · NVIDIA
展开答案与例子
答案：REST保留未显式匹配的概率，避免把少量交集假装成完整分布。重新softmax会隐藏未覆盖质量，且完整链式概率不能随意改成长度平均。
教学例子：例如共同候选只占很小质量，归一后看似高度一致，遗漏部分却可能很大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
CSD学生梯度是否只经过chunk末token？
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
问答新增：2026-10-27 · NVIDIA
展开答案与例子
答案：事件概率含观察前缀链乘因子、末词和REST，学生梯度需经过全部；教师冻结。非1:1权重不进入分母计数，零KD或无共同事件回退CE，比例整体detach。
教学例子：例如两token对一token时，忽略第一片的概率会错算整段文字事件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
APSD为什么正确时插值、错误时越过自教师外推？
Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：正确轨迹需要保留学生已有成功偏好，插值减小干扰；错误轨迹希望更强纠正，外推加大教师方向。它依据训练反馈改变目标，不意味着外推必然正确。
教学例子：例如学生已答对时温和调整，答错时才加强纠正，而不是统一强度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
APSD只冻结自教师，为什么不能把整个插值或外推target都detach？
Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：target同时依赖冻结教师与当前学生，正确轨迹插值、错误轨迹外推改变的还有学生依赖分支的梯度。把整体detach只留下部分模仿项，会丢掉定义性的耦合修正。数值上目标一样不代表反向一样，反馈只用于训练自教师，不能进入部署学生输入。
教学例子：两个实现算出相同target概率，但一个保留其对学生分布的导数、另一个冻结；即使loss相同，参数更新也会不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
APSD冻结自教师与冻结整个target为什么不是一回事？
Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：自教师q冻结，但PoE目标还依赖可微学生p，完整梯度有额外耦合项。整个target detach会删除定义性项，变成另一种缩放蒸馏，即使前向目标数值相同。
教学例子：例如目标中一半来自当前学生，切断这支梯度会改变优化而非只节省内存。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
APSD构造PoE时哪些张量保持梯度，默认α如何解释？
Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：学生分布及其target分支可微，自教师条件分布detach；log-space计算防下溢。正确α在零一间、错误大于一，本地RLRF默认与原RLVR配置不同需明示。
教学例子：例如正确用0.5、错误用1.5属于本地对应配置，不能写成全部原文设置。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
VAG为什么比较证据保留与退化裁剪？
Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
问答新增：2026-10-27 · Baidu Inc.
展开答案与例子
答案：特权裁剪修正可能混入语言风格，匹配两视觉条件的差提供视觉归因方向；只接纳同向修正，再有界调制verifier优势，保留任务锚点。
教学例子：例如裁剪后教师改口，需判断改动是否与画面证据差异一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
VAG为什么只接受与证据保留/退化视图对比同号的教师修正？
Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
问答新增：2026-10-27 · Baidu Inc.
展开答案与例子
答案：特权裁剪带来的修正可能来自语言风格而非视觉证据，同号门控要求它与视觉对比方向相容，再以有界项调制原verifier优势。两分支必须是同一EMA教师，仅改变视觉输入。这个控制不能用两份任意文本logits替代，当前库也未执行完整多模态链路。
教学例子：裁剪后教师更偏爱某个措辞，但遮挡关键图像时偏好不变，说明修正未必由视觉证据驱动，不应一律当作视觉指导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
VAG与纯文本教师给固定logits门控有何区别？
Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
问答新增：2026-10-27 · Baidu Inc.
展开答案与例子
答案：定义链路依赖同一EMA视觉模型在两种真实视图上的条件对照。纯文本或固定分数只能模拟公式，无法证明视觉敏感度和裁剪归因已执行。
教学例子：例如人工给正负两个分数，并没有让模型实际看过被遮挡图像。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
VAG两教师分支可以用不同模型吗，代码已执行了吗？
Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
问答新增：2026-10-27 · Baidu Inc.
展开答案与例子
答案：不可以当同一设定，两分支应同EMA教师仅改变视觉输入；当前公式是原方法说明，本库未执行该多模态训练。严格同号门控保留，verifier优势不被替换。
教学例子：例如一个大视觉教师对比一个小文本模型，会混入架构差而非只测视觉对照。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
SPOD里的一个decision是一枚词元，还是一次可能含多个词元的action？
Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：保护对象是某个状态下的完整action，包括多个词元及原生结束符；不是单枚词元，也不是整个episode。成功标签在episode级给出，保护判断却定位到其中具体decision。先分清这三个层级，才能避免把成功轨迹全部当成不再学习。
教学例子：一次工具调用包含工具名、参数和结束符，可组成一个action；同一成功episode中还可能有别的action。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
SPOD为什么按完整action原始概率保护成功选择，而不能逐token比较后屏蔽整个成功episode？
Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：保护条件针对成功episode中教师更不支持的具体decision，完整action概率包含其token共同作用。逐词开关或整段屏蔽会改变保护对象。受保护处取消蒸馏并加软概率floor，其他decision仍学习；软floor不能阻止共享参数从别处间接侵蚀该动作。
教学例子：一个成功工具调用的某些词教师更喜欢、另一些更不喜欢，逐词投票可能与整条调用概率比较给出相反结论。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
SPOD软floor与屏蔽整个成功episode有什么区别？
Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：保护粒度是完整action，其他decision仍正常蒸馏；floor只是惩罚概率低于门槛，不是硬保证。共享参数上的其他状态更新仍可影响受保护行为。
教学例子：例如一个成功episode里某步值得保留，不表示其他所有步骤都不能学习教师。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
SPOD gate比较的是温度采样概率还是原始整action概率？
Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：用温度和动作约束前原始概率，含原生结束token，逐token logp求和。gate更新前重算、微分时固定，按action、state、episode分层平均，不把长轨迹自动加权。
教学例子：例如把每词平均概率当整action概率，会改变长短动作的保护判断。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
MultiAgent-OPD为什么先训练简单Searcher–Answerer教师？
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：团队终局奖难评价搜索细节，任务训练教师先获得相关局部指导，再冻结监督层级团队的Searcher。Leader与Answerer仍用各自结果信号，不把所有角色统一打分。
教学例子：例如搜索总结是否有用，不能只靠最终答案一位对错粗略判断。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
MultiAgent-OPD为什么用简单团队训练教师，却从原基础checkpoint重新训练层级学生？
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：先训练的Searcher–Answerer提供任务相关局部指导，第二阶段重新起步可区分教师知识与层级架构学习。Leader、Searcher和Answerer虽然共享参数，仍接收各自角色信号；Searcher教师读其真实子任务与检索历史，不是把全局gold答案交给所有角色。
教学例子：团队最终答错可能因分工，也可能因检索摘要差；只把最终奖励均匀撒给所有角色，会丢掉局部学习信息。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
阶段二为何从相同base重新开始，而不直接续训阶段一模型？
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：重新初始化隔离教师训练产物与层级学生学习，避免把阶段一权重收益混成层级蒸馏收益。共享base不代表教师和学生在阶段二都继续更新。
教学例子：例如先造一个会教搜索的模型，再从原起点训练团队，而非让现成教师直接变团队。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
MultiAgent角色共享参数时，loss mask仍需分开吗？
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：需要，各角色输出对应不同优势和KL设置；Searcher局部log比不等于因果贡献，工具观察mask。搜索活动计的是有检索的环境步，不是原始调用总数。
教学例子：例如一轮并行多个搜索调用，不应无上限地堆高Leader活动奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
TreeOPSD为什么将共享前缀整理成树？
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：相同历史下不同续写揭示动作后果，叶奖励可沿行为似然回传成局部信用。共享turn只计一次，避免同一前缀因分枝多被重复放大。
教学例子：例如两条路线前三步相同，分叉后成败不同，树可保留这一局部比较。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
TreeOPSD为什么把树回传信用变成有界Bernoulli教师，而不无限重复原奖励梯度？
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：终局信用给出改善方向，却不自动告诉多次更新何时停止。冻结有界目标把方向变成有限距离，学生相对旧策略的变化达到目标后梯度消失，超过后会拉回。树中共享turn须去重，分支权重来自完整actor span行为似然，不能任意改为平均token分数。
教学例子：同一批成功轨迹训练很多轮时，有限目标可在“学够了”后停下；单一固定正优势则可能一直推高同一选择。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
有界Bernoulli教师与一直沿同一优势方向更新有什么区别？
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：冻结后验给有限目标，当前相对旧策略变化达到目标时梯度为零，超过后反向。普通固定优势重复优化可能持续推进，二者对多次更新的停止含义不同。
教学例子：例如把某动作推到足够程度后应停，而不是同一批重复训练越推越远。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
TreeOPSD的Bernoulli分布是完整下一词教师吗？
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：不是，它描述已采样turn相对旧策略的二点后验。树权重用完整actor span似然，叶奖样本标准差，观察不进分母；不能用任意clip来代替有界目标推导。
教学例子：例如两个Bernoulli类别不是词表里两个token，而是相对turn变化的抽象表示。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
CCE为什么用遮蔽有效前提的题面形成教师对照？
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：教师可能顺着学生错误前缀而忽略题目条件，匹配题面对照提取条件敏感方向，外推辅助目标。学生始终从完整题面生成，不是训练它解被破坏的问题。
教学例子：例如删除一个关键数量条件后教师分布变化，可揭示哪些token依赖该前提。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
CCE-OPD为什么两份教师视图必须保持同一学生response prefix，学生分布又不能在候选上重归一？
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：固定前缀使差异主要来自题目条件遮蔽，而非另一条推理轨迹。辅助教师目标在其候选支持上归一，但学生保持完整词表softmax，才能保留支持集之外的概率梯度。合法条件与熵门控只控制附加项，不通过时仍保留原OPD，不是整段跳过。
教学例子：只遮掉一个有效前提再看教师下一词变化；若同时重写了学生前文，就无法把变化归因于这个前提。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
CCE辅助门控关闭时会把整处OPD也删掉吗？
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：不会，原sampled PPO-OPD始终保留，只不加辅助FKL。合法条件和熵门共同限定额外指导，区别于把所有低熵位置彻底停止学习。
教学例子：例如不够高熵的格式词仍接受基础蒸馏，而非完全从loss消失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
CCE熵在哪个分布上计算，学生是否在support重归一？
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
问答新增：2026-10-27 · The Chinese University of Hong Kong, Shenzhen
展开答案与例子
答案：熵在构建top并集前的完整教师词表上算；辅助目标在support归一，学生仍保留全词表softmax，以保留外部梯度。分母是全部有效响应位置而非通过gate数。
教学例子：例如只在候选内重算学生，会隐藏候选外质量并改变辅助损失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
EliteReplay为什么给每问题建立质量–多样性档案？
EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：只提高正确率可能压缩解法覆盖，按approach和结构cell保存最短验证解，维持不同正确策略。档案不是把任意IID样本丢入普通回放池。
教学例子：例如代数法和几何法分别存格，避免只留下最常见那一路。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
EliteReplay为什么按实际实现的approach存cell，并先平衡问题再平衡cell回放？
EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：请求一种解法不代表模型真按该路线生成，按请求标签存档会伪造多样性。实际descriptor决定cell，每格只保留最短已验证解；回放先平衡问题，避免档案大的题占过多训练权重。质量多样性档案因此不同于普通IID成功样本缓存。
教学例子：要求用几何法，模型却用了代数法，应归入实际代数cell；否则同一种解法会被多个请求标签包装成多样策略。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
MAP-Elites最短cell替换与全局只留最短答案有何不同？
EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：在每个实际描述符格内选短解，保留跨策略多样性；全局最短可能删掉其他方法。请求的approach未必实际实现，必须按实际cell存档。
教学例子：例如提示要求归纳法却生成枚举法，应按枚举结构记录，而非信任请求标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
EliteReplay为什么先平衡问题再平衡occupied cells？
EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
问答新增：2026-10-27 · The Ohio State University
展开答案与例子
答案：否则档案大的题会自动占更多回放。每条响应长度平均，固定档案和GRPO按规定混合，padding在指数运算前清理，不能用测试答案建档或挑解。
教学例子：例如一道题有很多已占格，不能因此比另一题获得十倍训练抽样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
提醒OPRD为何让学生先生成无提醒轨迹？
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：部署时没有提醒，学生需在该条件下采样；失败后教师读训练提醒重评分相同前缀，把约束内化。成功轨迹另走自模仿，而非教师重写新答案。
教学例子：例如忘记测试约束的代码动作，由训练教师提醒评分，学生推理仍只读原任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OPRD的局部提醒为什么只作用于对应观察的下一轮，不能永久留在教师上下文？
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：局部提醒描述某个观察触发的短期约束，过期后继续保留会影响无关后续决策。全局提醒与局部提醒作用域不同，教师重评同一学生前缀而非另生成答案；部署学生不带提醒。成功自模仿与失败蒸馏也须分别归一，不能把两类轨迹混成一种标签。
教学例子：某次编译输出提示先修依赖，提醒针对紧接着的动作；之后依赖已解决，就不应在每轮都继续把它当未完成约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
全局提醒与观测后的局部提醒有效范围有何不同？
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：全局持续生效，局部只作用该观测后的下一轮，之后移除。永久保留局部信息会改变教师条件，也可能把后续不相关步骤误导成同一约束。
教学例子：例如一次报错的修复提示只应影响下一次尝试，不应永远挂在所有轮次上。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
提醒OPRD Top-100支持如何选，教师何时刷新？
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
问答新增：2026-10-27 · Tsinghua University
展开答案与例子
答案：以双方logp逐项最大值选同一支持并各自归一，不是分别top100。教师在训练规定进度刷新，其余冻结；每轨迹先平均，成功失败分支再分别平均。
教学例子：例如两边支持集合不同，逐坐标KL就不再比较同一事件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
SRD为何不用peer多数票挑一个正确答案？
Learning from Unverified Peers via Shared Residual Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：无验证反馈时peer可能全错，仍可包含共同有用局部信息。比较同题peer与跨题control的残差，只接收同向最小幅度，避免把整条未验答案封为正确示范。
教学例子：例如多条失败推理共享一个合理中间转换，可只吸收保守局部变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
SRD没有验证过的peer答案，为什么只接收多个peer同号的最小残差，而不多数投票选一整份解？
Learning from Unverified Peers via Shared Residual Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：整份错误答案仍可能含有可复用局部信号，同题peer相对跨题control的变化用于分离题目相关影响。只有同号部分取保守幅度，避免单个peer强推目标；学生仍只看自身前缀。共享残差不是正确性证明，也不能把target自己放回peer上下文制造自我支持。
教学例子：几份未验证推导都弱支持同一中间词，但对结论意见冲突；可以保留保守共同部分，而不宣布票最多的整份解正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
minmod保守残差与平均peer logits有什么差别？
Learning from Unverified Peers via Shared Residual Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：只有所有peer同号才保留最小幅度，否则归零，平均可让强意见覆盖冲突。它减少冒进但不证明共同信号正确，同源peer仍可能共享偏差。
教学例子：例如两人正向一人负向时，保守门控不让多数高幅度直接压过异议。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
SRD逐坐标cap为什么允许surrogate为负？
Learning from Unverified Peers via Shared Residual Distillation
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：截的是带符号单词表坐标贡献，不是总KL；负局部项可存在。中心化权重用q0而非control，target自己不可进入peer，全部教师和目标冻结。
教学例子：例如把负坐标裁成零会改变目标，而不是仅改善数值稳定。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
TF-OPD无训练融合为何仍需教师自生成数据？
Training-Free On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：闭式线性融合依赖各教师实际访问输入的二阶矩，数据提供应匹配哪些输出的统计，而不是对所有权重任意平均。无梯度训练不等于无生成与校准成本。
教学例子：例如两个专家在不同输入子空间工作，统计能反映各自常用方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
TF-OPD为什么收集每个教师自己生成答案时的输入二阶矩，而不随便用一份公共协方差？
Training-Free On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：闭式融合要匹配教师在自身实际访问输入上的输出，二阶矩定义了哪些方向的误差重要。换成任意公共统计会改变最小二乘目标；自然终止与循环过滤、token归一也影响支持。无训练指不做梯度蒸馏，并不意味着不需要生成、回读和线性求解成本。
教学例子：两个专家使用不同领域的输入方向，统一协方差可能忽略其中一个领域；各自真实轨迹统计才能反映这种支持差异。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
相同Gram时闭式融合与task vector求和有何差别？
Training-Free On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：相同统计下应退化成加权平均更新，直接求和会放大幅度。正交输入支持时又可恢复各自功能，说明融合依赖统计而非固定一种加法。
教学例子：例如两个相同专家不应合成两倍任务变化，合理退化要保持平均。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
TF-OPD的Gram应由谁生成的哪些响应估计？
Training-Free On-Policy Distillation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：各教师回读自己生成且通过终止循环筛选的响应，按token归一。求解用FP64线性方程而非显式逆，hook需清理；任意随机协方差不代表真实教师统计。
教学例子：例如拿学生生成文本测教师Gram，已经改变原本的访问分布条件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
逐token选教师为什么优于固定整段教师这一假设有吸引力？
Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：同一回答可能涉及不同专长，且强教师与学生距离也可不同，按学生实际前缀选能更有针对性。吸引力是机制动机，不保证每个路由启发式都更优。
教学例子：例如代码片段与数学解释可能需要不同专家指导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
逐token软选教师时，为什么平均教师概率与平均logits不是一回事？
Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：概率算术混合表示在教师分布之间分配权重，logits或log-prob平均再归一则形成另一种组合，尤其在意见冲突和尾部差异时不同。路由依据还需区分置信、分布距离与对齐表征；强教师并非每个前缀都合适，启发式选择没有普遍更优保证。
教学例子：数学专家和代码专家各自确信不同续写，各取部分概率质量与取两者共同支持的几何组合，会给学生不同目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
置信、Hellinger距离与隐藏距离路由各假设什么？
Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：置信偏好教师确定，分布距离偏好与学生兼容，隐藏距离要求特征空间已对齐；三者测量不同。尤其隐藏维数不同不能直接相减，低距离也不等于高正确率。
教学例子：例如一个很自信但离学生能力太远的教师，可能被不同规则赋不同权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
软路由混合概率还是平均logits，τ为零怎样处理？
Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：按教师概率算术混合，平均logits会变几何式目标；τ零明确硬argmax而不做除零。路由和目标冻结，本地是sampled-token版，未实现Top-K KL版本。
教学例子：例如两教师各支持不同模式，概率平均与logit平均会给不同质量分配。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Waypoint-OPD为什么需要同一教师RL中的中途checkpoint？
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
问答新增：2026-10-27 · Alibaba Cloud Computing
展开答案与例子
答案：初末变化无法分辨过程是否反转，waypoint提供早晚方向一致性证据，调节endpoint信用；它本身不是另一独立模仿目标。
教学例子：例如先偏向A后来又转向B，与一路稳定转向B，终点差可以相似。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Waypoint-OPD为什么用同次RL中间checkpoint作一致性门，而不把它作为另一个蒸馏目标？
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
问答新增：2026-10-27 · Alibaba Cloud Computing
展开答案与例子
答案：起点到终点的相同位移可能来自持续同向改进，也可能中途反转，waypoint用来辨认这两种历史。early与late位移在学生候选权重下中心化后比较方向，只缩放endpoint信用。中间模型不是额外要模仿的答案，低范数回退和冻结门控也属于定义。
教学例子：两个教师最终都提高同一词概率，一个一路提高，另一个先降后升；中间检查点能区分路径，但不必要求学生停在中间状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
正cosine一致性与只看endpoint幅度有何不同？
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
问答新增：2026-10-27 · Alibaba Cloud Computing
展开答案与例子
答案：幅度大可能来自反复摇摆，一致性关注中心化早晚位移是否同向。它只提供训练路径线索，不保证方向正确，也不能用不同run的任意checkpoint拼成时序证据。
教学例子：例如两段位移反向会降低gate，即使最终仍离初始很远。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Waypoint低范数时为什么gate回退为一而非零？
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
问答新增：2026-10-27 · Alibaba Cloud Computing
展开答案与例子
答案：缺少方向证据不等于存在冲突，规定范数很小时回退一；还需学生top-k权重中心化、有效前缀batch缩放。support、教师和优势冻结，候选不必被采样也可受梯度。
教学例子：例如早段几乎不变，cosine无法稳定定义，不应因此自动删除全部endpoint信用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
RSHD为何要求note诱导的新replay确实改善通过率？
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：反思文字看似合理未必能帮助行为，独立新采样把note质量落到可验证结果。只有严格高于原组才接纳，再蒸馏新续写，不把旧失败轨迹重新当示范。
教学例子：例如复盘说要检查单位，但带note重试仍全错，就不因措辞好而收录。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
RSHD为什么必须用note生成新replay并验证通过率提高，而不直接蒸馏旧失败回答？
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：note是否有用要由它实际诱导的新行为检验，严格高于原组通过率才接纳。随后均匀选择接纳replay，在同前缀比较有无note的正lift，不只挑成功例。旧失败轨迹没有因此变正确，note也不能含gold；没有有效note时附加项为零。
教学例子：复盘建议听起来合理，但新生成仍全错，就不能把它当有效教师；一次事后解释不等于真的修复了行为。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
RSHD验证后均匀抽replay与只挑成功replay有什么区别？
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：均匀抽样保留note诱导分布，挑成功会增加结果条件化选择偏差。note通过率已用于门控，不能再暗中只取最优响应，改变训练来源。
教学例子：例如一组新重试有对有错，接纳后不等于允许只复制其中正确那条。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
RSHD零lift token是否算入辅助项分母？
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：算入接纳replay的全部有效词元，零lift也计数。无接纳note时附加项严格零，teacher和lift停止梯度；训练note不能从参考答案构造。
教学例子：例如只按正lift数平均会放大稀少权重，偏离原归一协议。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
LoOPSD为什么通过重复层构造教师而不换更大权重？
LoOPSD: On-Policy Self-Distillation with Looped Teachers
问答新增：2026-10-27 · Anhui Province Key Laboratory of Digital Security
展开答案与例子
答案：相同参数执行更深的循环路径可能提供更有用预测，搜索连续重复区间形成教师，再在学生自身前缀蒸馏。额外能力来源是计算路径，不是新外部答案。
教学例子：例如同一组中层再走一遍，参数没增加，但每词执行层数增加。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
LoOPSD不新增权重而重复一段网络层，为什么仍有教师成本，也需要独立validation选路由？
LoOPSD: On-Policy Self-Distillation with Looped Teachers
问答新增：2026-10-27 · Anhui Province Key Laboratory of Digital Security
展开答案与例子
答案：重复层改变计算路径和条件分布，可形成更有用的教师，但每token要额外执行这些层，搜索还会多次评估候选。只按独立validation选择优于标准路径的路由，再在学生自身前缀蒸馏；test不能参与选择，无新参数也不代表免费或保证更强。
教学例子：同一本笔记再读关键章节可能改善理解，但耗时增加；挑哪段重复应在开发题验证，不能看最终考试答案来选。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
每轮重搜loop教师与固定初始loop路径有什么区别？
LoOPSD: On-Policy Self-Distillation with Looped Teachers
问答新增：2026-10-27 · Anhui Province Key Laboratory of Digital Security
展开答案与例子
答案：学生更新后最优重复区间可能变化，重搜让教师跟随当前模型；固定路径不具这条适应。只有独立验证优于标准路才继续，不能用测试集选路由。
教学例子：例如原先有效的中层重复在学生学会后可能不再有益。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
LoOPSD蒸馏时教师路由和权重是否一起求导？
LoOPSD: On-Policy Self-Distillation with Looped Teachers
问答新增：2026-10-27 · Anhui Province Key Laboratory of Digital Security
展开答案与例子
答案：本轮两者固定，学生标准路径接受RKL更新；训练参考答案可用于允许的路由搜索，不能进入学生蒸馏生成。每词额外执行重复区间长度，成本需计入。
教学例子：例如重复五层不是零成本教师，即使没有新参数也增加前向计算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
CAST为什么先按解码文本span对齐跨tokenizer监督？
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
问答新增：2026-10-27 · Taobao & Tmall Group of Alibaba
展开答案与例子
答案：不同词元编号和切分不可逐位比较，文本等价span提供共同内容。教师span总logp再投影到学生span，才有可用信用对应，而非直接拼两边token表。
教学例子：例如一个中文词两边分成不同片数，需先确认它们解码成同一文本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
CAST为什么先按解码文本span对齐，再把教师总log概率投到学生位置？
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
问答新增：2026-10-27 · Taobao & Tmall Group of Alibaba
展开答案与例子
答案：异构tokenizer的ID和边界不同，逐位置比较没有共同事件含义。文本span提供对应范围，教师总分再投影并按不确定性与平滑度分配，保持chunk总信用；未对齐部分由初始学生锚定。对齐失败应明确保留边界，不能把不相关token硬凑成监督。
教学例子：教师用一个token表示词，学生拆成几段，不能把教师分数只给第一段；需要先确认两边解码的是同一文本范围。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
CAST信用分配与CSD共同事件分布有何区别？
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
问答新增：2026-10-27 · Taobao & Tmall Group of Alibaba
展开答案与例子
答案：CAST把教师span分数投到学生位置再分配总credit，CSD构造包含REST的共同事件概率分布。二者对齐后的监督对象不同，不能因都跨tokenizer就互换公式。
教学例子：例如保持一段总信用，与保持完整事件概率质量，是不同守恒对象。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
CAST不确定性权重怎样保证chunk信用总量不变？
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
问答新增：2026-10-27 · Taobao & Tmall Group of Alibaba
展开答案与例子
答案：先按不确定性与局部平滑度形成归一权重，再乘chunk总优势，使各位置之和等于总credit。未对齐位置用初始学生anchor，不可默默丢弃后宣称覆盖完整文本。
教学例子：例如某位置权重大只改分配，不应让整段总优势额外增加。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Road-MOPD为什么查询未路由的其他教师？
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
问答新增：2026-10-27 · Nanjing University / JD.com
展开答案与例子
答案：目标域更新共享参数仍可能损害其他域，只用该域教师无法监测。其他教师在同一学生轨迹上提供兼容性信号和真实辅助梯度，用于守护跨域能力。
教学例子：例如数学批更新也可能影响代码行为，不能因为数据路由分开就假定互不干扰。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Road-MOPD为什么让未路由教师在当前域轨迹上提供证据，还对目标梯度设范数下限？
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
问答新增：2026-10-27 · Nanjing University / JD.com
展开答案与例子
答案：只听当前域教师可能通过共享参数损害其他域，辅助教师在同一学生状态上的兼容性提供保护线索。先调token信用再处理真实辅助梯度，冲突投影同时限制目标梯度被削弱程度。范数下限是取舍，不保证所有域同时改善，也不能用随手向量代替真实目标梯度。
教学例子：训练数学专家时，代码教师可检查同批前缀是否受到不利更新；完全删掉冲突方向又可能让数学任务几乎不再学习。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
Road信用门控与冲突梯度投影是否可互相替代？
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
问答新增：2026-10-27 · Nanjing University / JD.com
展开答案与例子
答案：前者调节逐token监督强度，后者在参数梯度层处理冲突并保留目标梯度范数下限。两层机制不同，只有一个权重公式不构成完整Road。
教学例子：例如局部分数看似兼容，共享参数梯度仍可能冲突，需要真实梯度检查。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Road投影为什么不能简单把冲突分量全部移除？
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
问答新增：2026-10-27 · Nanjing University / JD.com
展开答案与例子
答案：规定选择最大可行投影强度，同时保证投影后范数不低于原范数某比例；全投影可能越过下限。辅助梯度必须实际算得，不能由registry标签或静态分数替代。
教学例子：例如两梯度几乎反平行时，完全去平行分量会使目标更新几乎消失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
MetaOPD为什么通过虚拟学生更新学习权重？
MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation
问答新增：2026-10-27 · East China Normal University
展开答案与例子
答案：仅看teacher gap不知哪些监督真正有用，虚拟更新后用训练参考解损失评价权重效果，元梯度学习分配规则，再用新权重做真实更新。
教学例子：例如某词差距大但学它损害参考任务，元目标可降低其权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
MetaOPD为什么需要一次可微虚拟学生更新，不能只按当前loss给token调权？
MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation
问答新增：2026-10-27 · East China Normal University
展开答案与例子
答案：当前loss大可能来自难噪声，未必对下游有益。虚拟更新让权重网络观察这些权重将怎样影响训练参考解损失，再取元梯度更新权重，随后执行真实学生步。参考解只在训练外层目标，描述特征和所用优化器状态也需按定义隔离，不能偷用测试答案。
教学例子：一个高loss词只是无关文风，另一个决定解题方向；虚拟试走一步后，可比较哪种加权更能帮助训练参考任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
可微虚拟AdamW与先做一次真实更新再事后打分有什么区别？
MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation
问答新增：2026-10-27 · East China Normal University
展开答案与例子
答案：虚拟步骤保留到权重网络的计算关系用于元梯度，真实更新会修改学生状态且不自动提供该导数。优化器状态和顺序是算法定义，不是任意一步SGD都等价。
教学例子：例如需要问这次假想更新受哪些权重影响，而非只比较更新前后一个数字。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
MetaOPD的74维描述与权重变换哪些部分detach？
MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation
问答新增：2026-10-27 · East China Normal University
展开答案与例子
答案：输入描述停止梯度，权重网络通过虚拟更新受元梯度；权重先逐响应中心化、tanh限制并单位均值归一。新权重再用于真实更新，参考解只用训练允许数据。
教学例子：例如测试参考解不能用作外层目标，否则把最终评测变成选权监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
SGUID为什么看技能持续教学活动而不只语义相似？
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model–Skill Co-Evolution
问答新增：2026-10-27 · New York University
展开答案与例子
答案：相关技能可能教不会学生，方法检查早晚期是否持续提供与verifier一致的信号，从当前验证轨迹生成并筛选技能。检索频率不是有效教学次数。
教学例子：例如某技巧常被检索却一直给错方向，就不能因相关而永久保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
SGUID探测技能教学效果后，为什么恢复本轮初始权重，只用紧凑库重新训练？
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model–Skill Co-Evolution
问答新增：2026-10-27 · New York University
展开答案与例子
答案：探测阶段同时尝试大量候选，若直接继承探测后模型，就无法区分筛选库与额外训练的作用。恢复起点后用筛中技能重训，才隔离课程选择效果；下一轮再由更新模型生成新技能。语义检索次数不是有效教学次数，早晚持续信号还要与verifier方向一致。
教学例子：测试十种解题提示已让学生多练许多题，若不恢复起点，就不能说后来提升只来自最终选中的两种提示。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
SGUID探测后为何恢复本轮初始权重再正式训练？
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model–Skill Co-Evolution
问答新增：2026-10-27 · New York University
展开答案与例子
答案：筛选过程本身已更新模型，恢复可让紧凑库正式训练不额外继承探测收益，保持轮内对照清楚。下一轮再从新模型产技能，不用固定手工库冒充共同演化。
教学例子：例如探测看过所有技能后直接续训，会把被淘汰技能的影响也带入正式模型。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
SGUID负系数可直接删掉吗，既有结果怎样保留？
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model–Skill Co-Evolution
问答新增：2026-10-27 · New York University
展开答案与例子
答案：定义允许负教学信号，不可只保留正例改目标。筛选需检查早晚活动与质量条件，既有两轮执行后验证下降是负结果，不能因流程跑完称为能力提升。
教学例子：例如后期信号衰减到不合格，不能只看早期有效就继续留库。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Where-OPD为什么用合成场景的空间信息作教师条件？
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
问答新增：2026-10-27 · Valeo.ai
展开答案与例子
答案：程序场景能自动给出对象与坐标，教师获得准确结构线索，学生仍只看图像问题。目的是把空间提示内化到视觉行为，而不是让学生部署时读取答案坐标。
教学例子：例如教师知道两个物体位置，学生要从画面学会左右关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Where-OPD为什么让教师读文本化空间坐标，而学生只看图像与问题？
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
问答新增：2026-10-27 · Valeo.ai
展开答案与例子
答案：合成场景提供可精确描述的对象身份和位置，作为训练期特权信息帮助教师在学生前缀上给监督。学生部署时不依赖这些坐标，所以不能把它们混入原始学生输入。空间mask与信息边界要保留，随机logits的KL检查不证明模型学会视觉空间推理。
教学例子：教师知道球在盒子左侧的精确坐标，学生只能从图像判断；训练可借教师纠偏，测试不能直接把坐标告诉学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
空间特权文本与普通纯文本蒸馏有什么差别？
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
问答新增：2026-10-27 · Valeo.ai
展开答案与例子
答案：定义链路依赖真实场景图像与对应空间标签，单纯随机文本分布不能验证视觉落地。特权信息可帮助教师但不能证明学生真正看图，仍需独立视觉评估。
教学例子：例如同一空间描述配错图像，公式仍可运行却失去教学意义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Where-OPD本地是否已经生成合成场景并加载MLLM？
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
问答新增：2026-10-27 · Valeo.ai
展开答案与例子
答案：没有，只执行spatial mask下的教师KL参考核。mask须对齐学生实际生成位置，教师冻结，随机logits只支持公式诊断，不能报告为视觉空间提升。
教学例子：例如给定左右两个数字logit不是一场真实看图推理实验。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
AdviSD为什么只训练advisor而冻结executor？
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：目标是学会给固定强执行器有用建议，将改进归因到顾问而非同时改变执行器。多轮反思提供候选建议，但只有足够影响执行器决策的部分进入自蒸馏。
教学例子：例如工具调用模型不改权重，只改善旁边提醒它检查参数的顾问。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
AdviSD为什么固定同一条执行器回答，比较有无建议时的概率？
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：固定回答能把差异集中到建议如何改变执行器对这条回答的偏好，避免两次生成的随机差异混入效果估计。顾问只学习超过校准阈值的反思建议，执行器保持冻结。概率提升是筛选信号，不等价于任务成功，阈值也依赖所用建议分布。
教学例子：例如执行器已给出一次工具调用，分别在有建议和无建议的上下文中给这次调用打分；不另生成两次回答后直接相减。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
建议有影响与建议提高成功率是一回事吗？
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：不是，似然对照只测对同一记录响应的偏好改变，影响大小并不独立证明结果更好。donor校准筛掉弱变化，仍需任务评估检查有益性。
教学例子：例如建议令执行器更喜欢原动作，但原动作本身也可能是错的。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
AdviSD有无建议对照能分别重新生成两条回答吗？
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：不能替代固定记录响应的成对评分，否则随机生成差异混入建议效应。按同一响应有效词元均值计算，阈值来自donor绝对contrast分位，本地未调用真实executor。
教学例子：例如一边生成长代码另一边生成短代码，分数差不再仅是上下文建议作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
LEGO-OPD里的grounding likelihood可以直接当最终答案概率使用吗？
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：它在分解中承担视觉证据因子的角色，最终教师目标还要结合语言先验并归一化。不能因为它也是一个分数，就把它解释成完整语言回答的后验置信度。先分清先验、证据因子与最终分布，才能正确读取两位专家的责任。
教学例子：视觉因子支持“红色”，语言先验约束当前句子可接什么词；只有组合并归一后才是最终词元分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
LEGO-OPD为什么让语言专家给先验、视觉专家给似然，而不直接平均两个教师？
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：语言专家负责一般词语和推理的先验，视觉专家提供与画面有关的证据修正；两者按专家乘积组成蒸馏目标，避免把视觉模型的语言偏差一起照搬。角色分解仍依赖视觉似然是否可靠，本地仅验证组合目标，不能据此认定已获得真实视觉能力。
教学例子：例如识别杯子颜色时，语言专家让句子通顺，视觉专家提高画面所支持颜色的概率；这个例子解释分工，不代表实际识别成绩。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
LEGO-OPD把grounding权重α设为零，与只用视觉专家有什么区别？
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：当α为零且概率计算有效时，视觉因子不再影响归一化结果，教师退化为语言先验，而不是视觉独占。只用视觉专家则移除了语言先验，是另一种目标。α控制证据因子的影响强度，不能被读成两个完整教师的投票比例。
教学例子：将视觉项的log贡献乘零后，剩下的是语言专家分数；并不会因为“零语言占比”而变成纯视觉。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
LEGO本地是否真实加载语言与视觉专家？
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：没有，只执行因子化目标组合。实现应对候选维度对齐、在log空间相加后归一，并区分视觉似然因子与完整VLM后验，不能把随机logits称为视觉能力。
教学例子：例如两向量乘积能验公式，却没有让任何模型实际看图。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
MAESTRO为什么只在高分歧位置让教师介入？
From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：整段教师rollout昂贵，学生与教师top-k覆盖及相似度可定位更需要帮助的前缀，并偏重早期位置。介入策略是一种预算分配，不是所有分歧都等于学生错误。
教学例子：例如开头分叉可能影响长后续，比末尾标点差异更值得有限教师计算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
MAESTRO为什么把top-k覆盖与Bhattacharyya相似度同时用于教师介入判断？
From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：覆盖衡量学生候选是否包含教师支持，归一化相似度再看共同支持中的质量分配，两者不能相互替代。分歧分数与靠前位置权重帮助集中有限教师介入预算。分歧高只是需要关注的线索，不保证教师一定正确，本地PDS算子也没有生成完整教师rollout。
教学例子：两模型top-k词完全相同，却给这些词很不一样的概率；只看候选是否重叠，会误判它们没有重要分歧。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
覆盖度与Bhattacharyya相似度为何要一起看？
From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：覆盖关心教师支持是否落在学生候选中，相似度关心共同支持内的质量分配；单独一个会漏掉另一类差异。高PDS不保证教师路线一定优质。
教学例子：例如候选身份都相同却权重完全相反，仍应视为有明显分歧。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
MAESTRO本地是否真的生成教师接管rollout？
From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：没有，只计算top-k覆盖、归一化相似度和PDS。真实介入还需模型生成、状态衔接与成本统计；不能从分数核通过推断已获得论文教师调用节约。
教学例子：例如人工输入两份概率得到高分，不表示系统已执行一次教师帮助。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
PR-OPD为什么蒸馏表征而非只对最终token分布？
PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：hindsight skill让同一模型形成特权表示，逐层逐响应位置对齐投影hidden state，可传递内部结构信号，再与任务奖励结合。skill只供训练教师，推理去掉。
教学例子：例如成功后归纳的工具原则帮助教师内部表征，不直接成为部署输入。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
PR-OPD为什么对同一response做普通与hindsight skill两次forward，而不是直接模仿技能文本？
PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：skill是完成轨迹后得到的训练专属视图，目标是比较它怎样改变同一响应各层各token表示，再蒸馏到无skill学生。若改成复制技能文本或另一条教师答案，就换了监督对象。教师分支停止梯度，并与任务奖励结合，推理时移除skill和教师。
教学例子：失败复盘总结“先验证工具返回格式”，可以让教师借此重新解释旧决策；学生训练后应在没有这条提示时自己做出判断。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
PR-OPD两次forward与把skill直接拼给学生训练有什么区别？
PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：普通context学生与skill教师分开，教师stop-gradient；若学生也读skill，就改变部署条件并可能只学依赖提示。表征匹配也不等于输出答案监督。
教学例子：例如评测不再提供skill时，学生应靠参数，而非靠训练期额外文字。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
PR-OPD逐层投影hidden对齐需注意哪些mask？
PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：只对同一response有效词元和对应层处理，观察或padding不能算学生生成监督。skill来自已完成训练轨迹，不能把gold plan直接当自生成技能；本地核不代表完整Agent训练。
教学例子：例如教师多出的skill token不与学生response按原位置硬对齐。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Weakest Link为什么要求每个前缀都满足平均成本约束？
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
问答新增：2026-10-27 · Huawei Noah’s Ark Lab
展开答案与例子
答案：只看最终平均可先写坏推理，再靠后面容易词稀释。前缀约束首次违约后吸收惩罚，防止这种先破坏后补平均的策略。成本来自教师负logp。
教学例子：例如前半很不受教师支持，后半加大量常见词也不能洗掉已发生违约。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
The Weakest Link为什么前缀一旦违约就持续惩罚，不能靠后面的容易token把平均成本拉回来？
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
问答新增：2026-10-27 · Huawei Noah’s Ark Lab
展开答案与例子
答案：每个前缀都需满足教师成本约束，最终平均合格可能掩盖早期严重偏离。吸收惩罚阻止事后稀释，让关键链条受局部约束。反事实即时奖励只枚举真实访问前缀的当前动作，不能为每个候选编造不同历史；教师低概率仍不自动等于事实错误。
教学例子：先写一段极不受教师支持的错误推导，再追加很多常见词，可能降低整句平均成本；前缀约束不允许这样补票。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
吸收惩罚与普通可恢复滑动平均门控有何不同？
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
问答新增：2026-10-27 · Huawei Noah’s Ark Lab
展开答案与例子
答案：吸收标记一旦为真持续有效，不因后续平均回落恢复；滑动门控则可能重新放行。它是严格前缀约束选择，不说明教师成本与真实任务价值完全一致。
教学例子：例如下一步写一个高概率词，不能把上一前缀的违规状态清除。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
枚举反事实当前动作时能为每个动作更换历史成本吗？
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
问答新增：2026-10-27 · Huawei Noah’s Ark Lab
展开答案与例子
答案：不能，都从真实访问前缀的已发生成本出发，只改变当前候选动作。即时奖励全词表期望可精确求导，未来回报仍采样；当前接口尚无完整语言模型训练。
教学例子：例如给不喜欢的动作另造一段更坏历史，会人为改变其反事实评价。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
MAS-OPD为什么引入角色相关优势？
MAS-OPD: On-Policy Distillation for Multi-Agent Systems
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：团队结果难区分各成员责任，目标与非目标角色教师信号差提供局部协作监督。最终任务失败不应自动等量惩罚所有角色，角色归因质量仍需核验。
教学例子：例如检索成功但汇总漏信息，应区分搜索与总结责任。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
MAS-OPD为什么把角色冲突归因放进教师视图，而不是直接改所有角色的奖励？
MAS-OPD: On-Policy Distillation for Multi-Agent Systems
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：多角色协作失败时，整体奖励难以说明哪个角色应改变行为。教师借助额外冲突信息形成角色相关的优势信号，让目标角色与其他角色的贡献有所区分。额外归因属于训练期信息，本地只验证角色优势和掩码，不能当作多模型协作能力复现。
教学例子：例如规划者路线合理但执行者选错工具，教师可把冲突归到执行动作；不能因为团队失败就同样惩罚规划和执行。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
协作冲突特权信息与直接给所有角色看完整归因有什么区别？
MAS-OPD: On-Policy Distillation for Multi-Agent Systems
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：原设计只让教师读取额外冲突说明，学生仍按自身公开角色历史行动。若所有学生先知道归因，会改变实际可用信息，并掩盖是否内化协作。
教学例子：例如训练教师知道是哪位误解需求，部署成员不能预先拿到事后答案。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
MAS-OPD本地role advantage是否包含真实多模型联训？
MAS-OPD: On-Policy Distillation for Multi-Agent Systems
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：没有，只验证角色优势与特权冲突mask。需对齐角色、轨迹和有效生成位置，不能把非目标角色分数误加到目标输出，也不能把registry映射叫团队训练完成。
教学例子：例如数组里两角色交换顺序，计算可运行但信用会分给错误成员。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
OLIVE为什么让教师从学生到达的状态续写？
Learning from Teacher Continuations at Student States
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：学生错误分布与教师理想轨迹不同，在真实学生前缀上续写可提供更贴近部署状态的监督，帮助学习如何继续或修复，而非只背完整标准答案。
教学例子：例如学生已走到不常见中间式，教师从这里接着完成。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OLIVE的学生前缀参与条件输入，为什么不一起计入监督损失？
Learning from Teacher Continuations at Student States
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：学生先生成前缀，教师从这个真实学生状态继续，监督只落在教师续写的词元上。这样既保留学生容易遇到的偏离状态，又不把学生自己写错的前缀当作正确标签。教师续写质量仍是前提，掩码正确也不能替代完整语言模型实验。
教学例子：例如学生把计算写到一个可修复的中间步骤，教师接着纠正并完成；训练读取整段上下文，但只学习教师接续的部分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
教师续写CE与教师给学生原token分布评分有何不同？
Learning from Teacher Continuations at Student States
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：前者新增教师生成的后缀作为监督文本，后者仍对学生实际采样token和状态评价。两者数据对象不同，不能把重评分核当成真实教师续写已执行。
教学例子：例如教师接下来写了新步骤，与只给学生旧步骤打分，不是同一数据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
OLIVE的prefix虽然不计loss，能从输入里删除吗？
Learning from Teacher Continuations at Student States
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：不能，它仍决定教师续写和学生监督条件；只关闭prefix目标mask。需要明确拼接边界、EOS和padding，当前本地仅验证精确mask，未调用闭源教师。
教学例子：例如保留三步错误背景但不模仿这三步，才是在该学生状态继续学习。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
OPD-Aha所说语言惯性是什么？
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
问答新增：2026-10-27 · Arizona State University / University of Virginia / Stevens Institute of Technology
展开答案与例子
答案：学生错误前缀可让教师顺着原说法继续，即使画面支持另一解释。真实与空视觉分布对照尝试找回视觉贡献，减少语言上下文压过证据。
教学例子：例如前文写狗，图里却是猫，后续不能只跟随前文称呼。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OPD-Aha为何比较真实视觉输入与空视觉输入的教师分布？
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
问答新增：2026-10-27 · Arizona State University / University of Virginia / Stevens Institute of Technology
展开答案与例子
答案：错误前缀可能让教师继续顺着语言惯性推理。把真实画面与空视觉条件下的输出对比，可以提取画面带来的偏好变化，再用它构造蒸馏目标。这个差异帮助区分视觉证据与语言先验，但不保证视觉教师本身正确；本地只是目标构造诊断。
教学例子：例如前文误说图里是狗，教师在看到猫图与看不到图时的概率变化可突出猫的证据，而不是只复制带错前缀的整段回答。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
真实/空视觉对照与直接增加教师置信有何区别？
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
问答新增：2026-10-27 · Arizona State University / University of Virginia / Stevens Institute of Technology
展开答案与例子
答案：前者比较同教师在视觉条件变化下的差异，后者可能放大语言先验。对照也受空视觉构造与教师能力影响，不能保证所有改动都源于正确证据。
教学例子：例如两视图都自信说狗，单纯锐化不会制造看见猫的能力。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
OPD-Aha本地目标重建通过是否意味着运行了多模态checkpoint？
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
问答新增：2026-10-27 · Arizona State University / University of Virginia / Stevens Institute of Technology
展开答案与例子
答案：不意味着，当前只有目标公式参考核。真实路径还需匹配视觉与空视觉输入、同一学生前缀及模型评分，不能用固定分布差直接报告看图反思效果。
教学例子：例如人工设置猫概率升高，验证的是重建计算，不是模型自己发现了猫。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
NSD为什么把自生成错误作为负向教学材料？
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：失败推理可告诉模型应远离什么，而非只有正确示范才有价值。负教师描述错误分布，动态gate把排斥集中到推理关键位置，减少普通语言遗忘。
教学例子：例如一次错误推导中的关键误用，可作为不要再走的方向。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
NSD既然要远离错误推理，为什么不压低整条错误回答的所有词元？
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：错误回答仍包含正常语法和可能正确的中间步骤，整段排斥会损伤通用表达。NSD用负向教师提供应远离的分布，并通过动态门控把更新集中到推理关键位置。门控只是定位机制，不能保证每个被选位置确实有错，本地也未训练完整语言模型。
教学例子：例如算式中只有进位错误，句子里的连接词和正确数字不应全部被压低；教学例子关注选择性纠错，不声称测得收益。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
负自蒸馏与把错答token全部降概率有什么差别？
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：整段错误含正确事实、语法与有效子步，统一惩罚会误伤。选择性gate试图区分错误核心，但其定位也可能不准，不能视为步骤真值。
教学例子：例如最终算错不代表每个数字和连接词都应被遗忘。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
NSD本地负教师与reasoning gate从何种对象构成？
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：当前在候选策略上构造并执行控制流，未全参数训练真实LLM。门控需固定并对齐被罚位置，不能用评测gold先标出错误再声称无泄漏自主诊断。
教学例子：例如预置错误位置可做单测，却不是自动定位推理漏洞的能力证据。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
CompassOPD为什么需要教师自己的reference？
CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
问答新增：2026-10-27 · Institute of Information Engineering, Chinese Academy of Sciences
展开答案与例子
答案：不同家族绝对概率尺度不可直接比较，教师相对其参考的变化更能描述后训练方向。家族内中心化削弱整体偏置，再与学生锚点结合，仍非正确性证明。
教学例子：例如一个家族本来分布尖，不应仅因概率大就被视为学得更多。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
CompassOPD为什么比较教师相对自身参考模型的变化，而不直接比较师生概率？
CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
问答新增：2026-10-27 · Institute of Information Engineering, Chinese Academy of Sciences
展开答案与例子
答案：不同模型家族的概率尖锐程度和校准不同，直接对齐绝对概率会混入尺度差异。方法先看教师后训练相对其参考模型的似然变化，再作家族内中心化，提取方向性信号，并保留学生参考锚点。相对变化仍可能带有教师偏差，不自动等于正确答案。
教学例子：例如两个教师都更偏好正确步骤，但一个本来输出更尖锐；比较各自训练前后的变化，比把两者概率大小直接排序更合理。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
Compass与直接平均跨家族概率的取舍是什么？
CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
问答新增：2026-10-27 · Institute of Information Engineering, Chinese Academy of Sciences
展开答案与例子
答案：前者保留相对变化方向，后者混合绝对后验。相对方向减少刻度影响，却也丢掉部分整体信息，不能无同协议实验就宣布一定优于完整教师。
教学例子：例如同样向正确选项移动，不应被两个模型原始温度差淹没。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Compass中心化应该沿什么可比集合进行？
CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
问答新增：2026-10-27 · Institute of Information Engineering, Chinese Academy of Sciences
展开答案与例子
答案：对规定家族变化信号使用一致候选和权重，学生reference另作锚点，不能跨不同问题随意减均值。本地审计量只反映修正幅度，不代表真实跨家族训练成功。
教学例子：例如先后两模型候选顺序不同，直接相减会得到无意义方向。
依据：背景与主要改动、核心机制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
弱到强OPRD迁移的是弱模型哪部分信息？
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
问答新增：2026-10-27 · KAIST AI
展开答案与例子
答案：弱模型后训练相对base的logit变化方向，被用于增强强模型验证器梯度。它不要求弱答案比强模型正确，假设有用学习方向可能跨能力规模迁移。
教学例子：例如弱模型学到检查单位的趋势，可辅助强模型，而不用复制其计算结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OPRD为什么能借弱模型的变化方向，而不要求强模型模仿弱模型答案？
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
问答新增：2026-10-27 · KAIST AI
展开答案与例子
答案：方法从弱后训练模型与其基座的差异提取中心化、归一化方向，再增强强模型验证器梯度在该方向上的分量。迁移对象是更新方向，不是弱模型的最终回答。只有方向与强模型当前任务有用地对齐才可能帮助；本地候选方向诊断不证明通用弱到强提升。
教学例子：例如弱模型训练后更重视检查单位，强模型可增强相关梯度分量，却不必抄它可能算错的最终数值；方向有用仍需验证。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
OPRD方向增强与用弱teacher做完整蒸馏有什么差别？
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
问答新增：2026-10-27 · KAIST AI
展开答案与例子
答案：增强保留强模型原验证梯度，只放大其沿弱学习方向的分量；完整蒸馏直接拟合弱分布。若方向与强任务无关也可能无益，并非弱模型自动教强模型所有技能。
教学例子：例如强模型仍按自己的任务奖励更新，只受一个方向性调节。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
OPRD的d如何处理零变化与梯度方向？
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
问答新增：2026-10-27 · KAIST AI
展开答案与例子
答案：变化先去均值再单位化，零范数需明确无有效方向；增强为原梯度加投影项，不能把梯度全替换成d。本地按候选映回参数，不是完整真实模型梯度实验。
教学例子：例如弱模型训练前后完全相同，不能除零后产生一个随机教学方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
UC-MOPD为什么先扩大采样温度覆盖？
Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：普通采样可能很少产生值得强化的正优势位置，双温候选先增加探索，再由轨迹密度和词元可靠性筛选。扩大候选只是找材料，不等于材料都正确。
教学例子：例如多尝试另一种解法后，还要判断它是否真正提供有效步骤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
UC-MOPD的温度扩展、轨迹筛选和词元门控分别解决什么问题？
Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：温度扩展先增加候选覆盖，正优势词元密度用于挑选更有学习价值的轨迹，熵校准的概率门控再控制具体词元更新。三个步骤作用在不同层次，不能把候选更多直接等同于监督更准；置信度也不是真值，本地未加载完整的通用与领域教师。
教学例子：例如先采到几条不同解法，再选有效步骤较密的一条，最后只加强可靠的关键词元；不能把整条高置信回答无条件当标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
正优势密度筛轨迹与CLL gate筛token怎样配合？
Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：前者决定哪条轨迹值得进入，后者在入选轨迹中控制局部更新。只实现一个会缺少另一层不确定性控制，不能把高置信直接叫真值。
教学例子：例如整条路线总体有价值，也可能有些局部位置不适合强化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
UC-MOPD随机gate需要记录什么，checkpoint已加载吗？
Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：需记录门控概率、随机种子与有效位置，避免把一次抽样误作确定选择。当前未加载通用或领域教师，公式控制流通过不证明保留真实通用能力。
教学例子：例如两次不同随机mask应可追溯，而非只选得分最好的一次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Video-OPSD为什么教师只看证据帧而学生看全片？
Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：训练教师获得更集中证据，学生学习在完整视频干扰中吸收它；推理不假定知道人工定位。若学生也只看标注帧，会改变待解决的证据搜索任务。
教学例子：例如教师看拿杯子瞬间，学生仍需从整段活动中辨认相关事件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Video-OPSD的证据帧为什么只给训练教师，而学生仍要读取完整视频？
Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：教师在人工标注的证据帧上形成较聚焦的监督，再按词元对证据的依赖加权蒸馏。学生保留完整视频输入，学习在干扰中利用相关内容；若把证据定位也直接给学生，就改变了推理条件。本地无视频烟雾测试只是奖励轴代理，不能作为视觉能力证据。
教学例子：例如问题问谁先拿起杯子，教师只看相关片段，学生仍看整段活动视频；教学目标是学会找证据，不是假定已知片段位置。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
证据依赖权重与所有token等量KL有什么差别？
Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：前者更强调由视觉证据影响的位置，后者也同等模仿风格等词元。依赖性并不保证事实正确，论文训练时间比较也不能外推到本地无视频smoke。
教学例子：例如人物动作词可比通用连接词更依赖具体帧。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Video-OPSD本地smoke是否真实含视频帧？
Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：不含，用独立奖励轴模拟证据依赖。即使存在真实checkpoint路径，也不等于已完成视频模型训练；教师目标与学生前缀需对齐，标注不能进入部署输入。
教学例子：例如smoke里一个过程分不代表模型实际看过那段视频。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
弱模型前缀为什么可能帮助更强模型探索？
Boosting LLM Exploration via Weak-Model Guidance in RLVR
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：它把强模型送到自身采样不常访问的起点，增加推理路线覆盖。前缀可能错，最终任务奖励仍需独立verifier，不能把来自弱模型就等同正确示范。
教学例子：例如弱模型先想到另一种分解，强模型尝试从它继续并接受验算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
弱模型给出的推理前缀可能错误，Weak-Model Guidance为什么还要混入它？
Boosting LLM Exploration via Weak-Model Guidance in RLVR
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：弱模型前缀把目标策略带到自身采样不常遇到的状态，提供额外探索起点；熵截断限制不稳定续写，并与原生轨迹混合以保留覆盖。前缀只是引导，不能充当正确标签，最终奖励仍需独立验证器。本地冻结参考代理没有替代真实双模型训练。
教学例子：例如弱模型提出另一种分解问题的开头，强模型从此继续并接受答案检查；如果检查失败，不能因为有引导就把轨迹判为正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
前缀引导与把弱模型完整答案当SFT目标有什么区别？
Boosting LLM Exploration via Weak-Model Guidance in RLVR
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：引导只干预起点，后续由目标模型生成并用奖励学习；SFT要求模仿整段文本。原生与引导混合及熵截断控制覆盖，不等于无条件信任弱解。
教学例子：例如只给思路开头，不要求强模型连同弱模型的最后错误一起抄。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
本地冻结reference代理是否就是双checkpoint RLVR？
Boosting LLM Exploration via Weak-Model Guidance in RLVR
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：不是，当前弱引导由参考候选分布模拟，未执行真实两套模型前缀生成。混合比例、原生样本和前缀边界需记录，不能把额外提示带到独立测试输入。
教学例子：例如用数值候选分布换个起点，尚未测真实弱模型语言前缀质量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Clue-OPSD为什么把相关时间区间作为训练特权信息？
Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：长视频中的关键证据难找，冻结教师看clue可给更聚焦指导，学生仍只依赖完整视频与问题。训练目标是内化定位能力，推理去掉clue与外部教师。
教学例子：例如问题问首次开门，教师知相关时间段，学生部署时不能直接拿人工时间戳。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Clue-OPSD为什么要在学生自己的前缀上查询只看线索片段的教师？
Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：学生前缀决定训练时真正遇到的状态，线索片段则让教师聚焦与问题相关的证据；二者结合减少只在教师理想轨迹上学习的偏移。线索是训练期特权信息，推理时学生仍须处理完整视频，不应依赖片段标注、答案或教师。
教学例子：例如学生已写出一个不完整的事件顺序，教师读取相关时间段后续写纠正；部署时不能把人工圈出的时间段继续作为输入。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
Clue教师与单纯裁短学生视频有什么不同？
Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：裁短学生同时降低输入难度，无法检验完整长视频能力；特权教师只改变监督条件。两者成本和任务条件不同，不能拿裁短学生结果替代该方法。
教学例子：例如学生看到全片与只看答案片段，不是在做相同评测。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Clue-OPSD为什么在学生前缀而非教师自写前缀上计算KL？
Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
问答新增：2026-10-27 · University of Maryland, College Park
展开答案与例子
答案：这样指导学生真实访问状态，减少理想轨迹偏移；师生对齐同一词元位置但视觉条件不同。当前mini-suite无完整视频检查点实验，不能报告原文数值。
教学例子：例如学生已误认角色时，教师仍需评价这个前缀而不是换成自己的正确开头。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
SMOPD为什么先specialize再merge？
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
问答新增：2026-10-27 · Alibaba / Qwen
展开答案与例子
答案：不同奖励优先级可训练出不同专长教师，再在学生轨迹上融合稠密监督，避免从一开始把冲突目标挤成同一专家。多样教师仍可能相互干扰。
教学例子：例如一个教师重严谨，一个重格式，先分开学再决定如何教学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
SMOPD为什么先训练不同奖励侧重的专家，再在学生状态上合并？
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
问答新增：2026-10-27 · Alibaba / Qwen
展开答案与例子
答案：不同奖励优先级可塑造具有不同专长的教师，随后让它们在学生实际到达的状态提供分布监督，以加权蒸馏吸收这些能力。它不等于先把奖励平均成一个教师，也不保证所有能力无损共存；权重与教师分歧仍需验证，本地只是候选模型实验。
教学例子：例如一个教师擅长检查计算，另一个擅长格式约束，学生在自己的解题步骤上同时获得指导；并非直接把两套参数平均。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
SMOPD奖励专家与MOPD领域专家的组织依据有何差别？
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
问答新增：2026-10-27 · Alibaba / Qwen
展开答案与例子
答案：前者按奖励优先级塑造专长，后者常按任务领域独立训练教师；二者都可多教师蒸馏，但专家划分与评价维度不同，不能仅按名字混用资源预算。
教学例子：例如同一领域可有不同奖励专家，不必每专家代表一个数据领域。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
SMOPD多教师KL实现需在什么状态对齐？
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
问答新增：2026-10-27 · Alibaba / Qwen
展开答案与例子
答案：都评分学生自身同一前缀，权重和教师目标固定，不能把各教师独立生成的位置直接逐项相加。当前候选核没有完成真实专家训练与合并。
教学例子：例如一个教师第二步与另一个第四步没有共同状态，就不是相同位置的联合监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
RSTG为什么专门恢复全失败组信号？
Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：全失败时组奖励没有差异，教师可提供纠正和局部指导；全成功虽然也零方差，却不具相同失败需求。触发需同时看方差与奖励值。
教学例子：例如一组都没解出与一组都解对，不能因方差同为零就同样请教师纠错。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
RSTG为什么只对全失败的零方差组求助教师，而不把所有同分组一视同仁？
Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：组内全失败时，奖励归一化缺少可区分信号，教师可提供纠正轨迹，并在高熵或师生差距大的词元上增加监督。全成功组同样可能零方差，却没有相同的纠错需求。触发条件必须区分正负结果，教师纠正也仍需要可靠性检查。
教学例子：例如四条解法都算错时可请求教师示范；四条都答对时，不能仅因分数相同就当成失败组，再强行覆盖学生的不同解法。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
RSTG token选择与直接全段教师模仿有何区别？
Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：它将高熵或大gap位置作为更需指导的区域，并加入正确教师轨迹SFT。选择减少无关监督，但置信或gap仍不是错误定位真值。
教学例子：例如格式已稳定的词可少教，关键不确定转折得到更多指导。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
RSTG可以只实现负组gate就称完整方法吗？
Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance
问答新增：2026-10-27 · Tianjin University
展开答案与例子
答案：不可以，还要实际执行局部蒸馏与教师正确轨迹监督，并保留来源和mask。当前本地候选目标验证不含大模型教师生成及完整训练预算。
教学例子：例如布尔值标记need_teacher为真，不等于教师分支真的被运行。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
CRPO为什么把反思探索与exposure bias区分？
Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：两者都可能表现高不确定，但前者有益于修正，后者可能因错误前缀越走越偏。组内对比试图区分不同性质的位置，而不是一律奖励熵高。
教学例子：例如重新检查分支的犹豫，与错误算式后的乱续写，含义不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
CRPO为什么把高不确定位置区分为反思探索与暴露偏差，而不统一奖励高熵？
Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：高熵可能表示有价值的探索，也可能是错误前缀导致的失控。CRPO结合组内对比和特权自蒸馏来区分这些情形，分别处理有益反思位置与偏差暴露位置。熵只描述不确定程度，不能单独判定对错；本地候选诊断不等于完整推理训练。
教学例子：例如重新检查一个分支时的不确定与沿错误算式胡乱续写都可能高熵，更新方向应取决于后续可验证结果，而非熵值本身。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
CRPO对比目标与单独最小化特权教师KL有什么不同？
Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：对比以正负位置相对分数构造竞争关系，KL直接匹配一个目标分布。正负划分是否可靠是额外假设，不能因有负例就自动消除教师偏差。
教学例子：例如同样提高正位置分数，分母里有哪些负位置也会影响更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
CRPO本地候选核是否包含真实反思位置识别模型？
Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：未包含完整大模型链路，当前只验证目标与诊断。正负位置和分组应记录来源，训练特权条件不能进入学生采样，也不能用gold直接填负位置后宣传自主识别。
教学例子：例如预给mask适合单测，却不能证明真实文本中能找到exposure bias。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
VAD为什么以学生当前分布重建target？
VAD
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：只从教师整体复制会混入语言和风格偏差，方法把视觉方向上有用修正加到学生锚点，保留其其他偏好；完整特权教师仅作较弱正则。
教学例子：例如只吸收图像颜色证据，不强迫学生一起改写所有语言风格。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
VAD为什么把教师修正投影到视觉证据方向，而且只保留同向分量？
VAD
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：有无视觉证据的教师对比给出视觉方向，原教师修正只保留沿该方向的正向投影，再以当前学生分布为锚构造目标。这样限制与视觉无关或反向的整体模仿；完整教师分布只作较弱约束。本地奖励轴代理并未复现真实视觉裁剪和模型训练。
教学例子：例如教师既偏好某种措辞又看到红色物体，投影试图保留颜色证据相关的变化，而不把所有语言风格一起灌给学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
单侧投影与直接用视觉方向替换全部修正有什么差别？
VAD
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：只有教师修正与视觉方向正对齐的部分被保留，反向不硬跟；直接替换忽略原修正是否支持该方向。投影是归因约束，仍不证明教师视觉判断正确。
教学例子：例如视觉对比有变化，但原修正与它相反时，不应盲目注入。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
VAD的证据移除分支应与证据存在分支保持什么一致？
VAD
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：同一冻结教师、问题和学生前缀，仅改变证据视图；logp需中心化再投影并有稳定分母。当前过程质量轴代理不含真实裁剪、checkpoint和视觉benchmark。
教学例子：例如用另一个语言模型代替移除视图，会混入架构偏差而非纯证据差。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
Distilled RL怎样把教师分布用于RL而非单独模仿？
Distilled RL
问答新增：2026-10-27 · Nankai University
展开答案与例子
答案：教师与旧学生概率比形成词元权重，作用于已有任务优势，只对正优势启用。这样任务反馈决定该强化哪些样本，教师细化其中哪些位置更值得强化。
教学例子：例如已验证成功解法中，教师更认可关键步骤可获得更多相对权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
Distilled RL为什么只给正优势样本加教师权重，负优势样本保持原权重？
Distilled RL
问答新增：2026-10-27 · Nankai University
展开答案与例子
答案：正优势样本已有任务奖励支持，教师比率可进一步强调其中值得模仿的词元；非正优势样本维持原权重，避免教师重加权干扰其惩罚含义。比率经过裁剪和序列几何均值归一化，限制尺度及长度影响，但教师偏好仍不等于额外正确性证明。
教学例子：例如一条答对的解法可提高关键步骤权重，一条失败解法仍按原负优势更新；不应因教师喜欢某些用词就削弱失败惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
正优势门控与对正负样本都加教师权重有什么区别？
Distilled RL
问答新增：2026-10-27 · Nankai University
展开答案与例子
答案：负优势维持原权重一，避免教师偏好改变失败惩罚的相对意义；双向重权可能减弱某些负反馈。这个门不是按教师分数重新判断整条对错。
教学例子：例如失败解法里教师喜欢的措辞，也不能因此获得额外减罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
Distilled RL为何用裁剪比的序列几何均值归一？
Distilled RL
问答新增：2026-10-27 · Nankai University
展开答案与例子
答案：限制比值尺度并让整条权重相对化，求几何均值要用有效响应位置，非正优势分支仍为一。当前确定性mini-suite未完成真实词元生成和完整教师训练。
教学例子：例如padding混入均值会改变所有词元权重，即使它们本身不计loss。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
ARMOR为什么主动从reference采样？
ARMOR
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：惩罚偏离只作用已见样本，不能让当前策略已经不采的好解法重新出现。reference锚点轨迹提供实际数据覆盖，帮助保留原能力路径。
教学例子：例如学生只剩一种捷径时，旧策略仍可能采出另一条检查路线。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
ARMOR主动采样参考策略轨迹，与只在损失里加入KL惩罚有什么区别？
ARMOR
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：KL惩罚在当前采到的数据上限制策略漂移，却不保证参考策略的好解法仍出现在训练样本中。ARMOR主动混入冻结参考策略的锚点轨迹，恢复这部分数据覆盖。参考轨迹也可能差或已过时，混合比例需要控制；本地参考候选模型不能代表完整语言模型结论。
教学例子：例如新策略只会用一种捷径，锚点采样能重新提供旧策略的检查路线；仅惩罚分布差异，不一定让这条路线实际进入批次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
anchor rollout与额外加reference KL是否等价？
ARMOR
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：不等价，前者改变训练数据及访问状态，后者在现有状态约束分布。锚点也可能过时或错误，需要任务评价，不能把保留旧行为当永远有益。
教学例子：例如没进批次的旧路线，不会仅因一个被动正则就被真正重新练习。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
ARMOR本地reference是什么，样本能标成当前on-policy吗？
ARMOR
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：reference是初始化候选策略，锚点来源需独立记录，不能称学生当前采样。当前没有论文长程轨迹池，混合项可执行只说明数据路径而非完整稳定能力。
教学例子：例如旧策略采出的动作，不能拿当前策略生成日志冒充其来源。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
MOPD为什么先独立训练领域教师？
MOPD
问答新增：2026-10-27 · Xiaomi
展开答案与例子
答案：联合RL可能让领域梯度耦合，独立教师允许各域分别优化，再以学生轨迹上的密集信号整合。整合仍是共享参数学习，不保证完全无干扰。
教学例子：例如数学与代码专家先各自训练，之后共同指导一个学生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
MOPD为什么在学生轨迹上调用多个领域教师，而不直接拼接专家轨迹训练？
MOPD
问答新增：2026-10-27 · Xiaomi
展开答案与例子
答案：学生自己的前缀暴露真实学习状态，多个领域教师在相同状态提供稠密指导，可减少专家轨迹与学生分布不一致的问题。合并发生在监督信号而非简单参数平均，领域之间仍可能干扰，不能因为有多个教师就推断能力全部保留。本地只是候选级验证。
教学例子：例如学生在一道混合数学与代码的问题中写到中间步骤，两位教师围绕该状态指导；直接拼接各自完整答案未必覆盖这个状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
MOPD概率混合与参数平均分别在哪一层合并？
MOPD
问答新增：2026-10-27 · Xiaomi
展开答案与例子
答案：概率混合在同一学生状态形成监督，参数平均直接组合权重；前者需教师推理成本，后者需权重可比并可能破坏内部协调。无同协议实验证据不排优劣。
教学例子：例如两个教师同一前缀给分布，与把两套矩阵逐元素平均，是不同计算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
MOPD教师权重α与概率维度需要满足什么？
MOPD
问答新增：2026-10-27 · Xiaomi
展开答案与例子
答案：候选或词表对齐，权重按明确规则归一后构成目标，教师固定且只更新学生。当前mini-suite由确定性分布代理，不能视为各域真实教师训练完成。
教学例子：例如词表索引不同就不能直接相加概率，归一也无法修复语义错位。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
POLARIS为什么在策略故事外加入teacher-forced参考故事？
POLARIS: Guiding Small Models to Write Long Stories
问答新增：2026-10-27 · University of Maryland
展开答案与例子
答案：长故事终局评价稀疏，参考提供高质量锚点，与策略样本使用同一外部rubric。它是训练额外监督，不是把版权故事或答案提供给评测生成模型。
教学例子：例如学生自己写几篇，再学习一篇参考如何展开，但独立测试仍须自主写。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
POLARIS HRI为什么用策略样本计算均值方差，并让参考答案优势逐步加入？
POLARIS: Guiding Small Models to Write Long Stories
问答新增：2026-10-27 · University of Maryland
展开答案与例子
答案：参考故事是额外锚点，若纳入策略组的均值方差，会同时改变所有策略样本的优势尺度。方法只用策略奖励计算统计量，再逐步放大参考样本的相对优势，起始步权重为零。参考与策略使用同一评价准则；本地组件验证不代表完整故事训练已复现。
教学例子：例如五条策略故事决定组内基线，第六条参考故事只据此计算自己的优势；不能先把参考混入均值，再声称只增加一条监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
参考渐进注入与一开始等权混入有什么差别？
POLARIS: Guiding Small Models to Write Long Stories
问答新增：2026-10-27 · University of Maryland
展开答案与例子
答案：前期参考权重从零升起，避免骤然主导策略；均值方差仍只来自策略故事。等权混入既改变阶段强度，也可能改变全组baseline，两种设定不能互称。
教学例子：例如第零步参考优势必须为零，而不是已有固定大权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
POLARIS如何避免ratio溢出但仍保持原clipped目标？
POLARIS: Guiding Small Models to Write Long Stories
问答新增：2026-10-27 · University of Maryland
展开答案与例子
答案：先按优势符号在log-ratio域选精确分支，再指数化，padding与零优势先清理；不额外clamp目标。完整实验本地因成本过高未复现，小张量梯度通过不是长故事能力。
教学例子：例如本该走已封顶分支时，不必先计算一个巨大exp再取min。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
OPCD想解决的上下文经验流失是什么？
OPCD
问答新增：2026-10-27 · Microsoft Research
展开答案与例子
答案：提示、检索或历史经验只在当前上下文有效，清空后消失。方法让无上下文学生沿自己轨迹吸收带经验教师的行为，目标是把依赖额外上下文的知识内化到参数。
教学例子：例如学过一次工具使用经验后，下次没有这段提示也希望能遵循。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OPCD为什么让无经验上下文的学生生成，再让带上下文的教师评分？
OPCD
问答新增：2026-10-27 · Microsoft Research
展开答案与例子
答案：目标是把外部经验内化到参数，而不是训练学生继续依赖那段经验。学生只读任务并生成轨迹，教师读取经验后在同一学生前缀给出分布，以学生到教师方向的逆KL更新。上下文知识是否可靠仍很关键，本地条件分布诊断没有覆盖真实长系统提示。
教学例子：例如训练教师可读一条操作经验，学生只能读当前任务；学习后清空上下文再作答，才能检验经验是否进入了参数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
OPCD与推理时一直检索同一经验有什么不同？
OPCD
问答新增：2026-10-27 · Microsoft Research
展开答案与例子
答案：持续检索依赖外部上下文与读取成本，蒸馏希望减少这种依赖，但参数更新可能遗忘或过度泛化。两者也可互补，不能无对照断言内化一定更准。
教学例子：例如经验更新后检索可立即换文档，已蒸进参数的旧经验则未必自动同步。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
OPCD的逆KL方向与学生输入分别是什么？
OPCD
问答新增：2026-10-27 · Microsoft Research
展开答案与例子
答案：方向是无经验学生到带经验教师，教师评分同一学生前缀。经验只进教师，不能给学生生成时也加上；本地验证答案条件分布未覆盖长system prompt及原环境。
教学例子：例如分子换成教师就变成另一方向，不能只看接口名仍写RKL。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
基础理解
OPSD为什么同一个模型会形成更有信息的教师视图？
OPSD
问答新增：2026-10-27 · University of California, Los Angeles
展开答案与例子
答案：教师额外看已验证解题信息，学生只看问题，能力差来自信息条件而非独立大模型。它仍依赖特权解可靠，不意味着模型能自行验证所有问题。
教学例子：例如同一模型知道结论后点评，与不知道结论独立求解，条件不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
核心机制
OPSD的教师能看验证解，为什么学生生成轨迹时必须看不到它？
OPSD
问答新增：2026-10-27 · University of California, Los Angeles
展开答案与例子
答案：同一模型的两个条件视图承担不同角色：教师借验证解提供更强监督，学生仍按部署条件只看问题。教师沿学生实际前缀评分，逐词元散度裁剪避免少数风格位置主导。若学生生成时也读答案，就绕过了待学习能力；本地仅验证双视图和更新机制。
教学例子：例如教师知道一道题的标准解，可以评价学生写到一半的步骤；学生采样时不能把标准解放在提示中再声称独立解题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
方法对比
OPSD与给学生做答案条件SFT的隔离区别是什么？
OPSD
问答新增：2026-10-27 · University of California, Los Angeles
展开答案与例子
答案：学生采样时不能见标准解，教师沿学生状态给分布；把解法直接拼给学生会让其依赖部署时不存在的信息。完整分布蒸馏也不同于仅模仿一条答案文本。
教学例子：例如教师知道中间式可以，学生提示里不能藏同一式作为捷径。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 教师与纠错：额外信息何时能帮到学生
实现细节
OPSD的pointwise clipping为何不是把整个响应一个系数截断？
OPSD
问答新增：2026-10-27 · University of California, Los Angeles
展开答案与例子
答案：它控制逐词元散度贡献，避免少数风格位置主导；粒度不同于序列整体裁剪。teacher目标冻结，响应mask一致，本地双视图核不含Qwen竞赛数学训练。
教学例子：例如一个格式词异常差距不能凭自身放大整条监督。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接