LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
原始奖励已经gate了辅助分量，为什么标准化后仍可能违背主奖励优先级？
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
问答新增：2026-10-30 · Carnegie Mellon University
展开答案与例子
答案：gate只限制失败响应的原始辅助分数；每个奖励单独居中和缩放后，辅助差异可能被放大并反转主奖励排序。到顶组的主奖励又是常数，标准化为零，辅助就可能单独决定更新。CONCUR因此约束标准化后的分量，而不是只改原始gate。
教学例子：教学例：两条都正确的响应只差极少长度奖励，主优势为零而长度优势可被缩放到单位方差；这不是模型真的学会更多正确答案的证据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
为什么PAVA前要按primary再按辅助分数排序，却不能把所有相同primary都平均？
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
问答新增：2026-10-30 · Carnegie Mellon University
展开答案与例子
答案：约束只要求primary严格更高时辅助分数不能更低；相同primary且未到顶的响应之间没有并列约束。先按辅助分数排列这些响应，可让PAVA只修复真正的跨primary违例。只有启用ceiling tie时，到顶响应才必须相等。
教学例子：教学例：primary为[0.3,0.3,0.7]、辅助优势为[-1,0,1]已经可行，输出应保持不变；先把两个0.3位置平均成-0.5会加入论文没有的约束。
依据：核心公式、本地结果与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
CONCUR-A超过双标准误门槛，是否就证明辅助奖励在到顶区域可靠？
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
问答新增：2026-10-30 · Carnegie Mellon University
展开答案与例子
答案：不是。它汇总passing且primary不同的响应对的一致性，至少61条有效读数后用均值大于两倍标准误的固定规则放开并列。读数随训练分布变化，并非独立同分布；到顶响应之间也未被该统计直接比较，所以作者不赋予显著性水平或普适可靠性保证。
教学例子：教学例：前期辅助与主奖励正相关，后期反转，累计均值可能重新落回门槛内，ceiling应重新绑住，而不是第一次解锁后永久放开。
依据：核心公式、数据协议与实现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
同一batch的第一个组能否只用此前历史来决定CONCUR-A是否绑住ceiling？
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
问答新增：2026-10-30 · Carnegie Mellon University
展开答案与例子
答案：不能。Algorithm1先合并本batch所有有效读数，再让同一task/auxiliary共享本步策略，随后才逐组投影。逐组边读边更新会让数据排列改变估计器。最后白化也跨整个多任务batch，不能对各组独立归一化。
教学例子：教学例：历史有60条正一致读数，当前batch第二个组带来第61条；第一个组也必须使用合并后的本步信任状态。本地数组通过只证明该顺序，不代表LLM训练收益。
依据：核心公式、数据协议与实现边界、代码映射；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
MART-GRPO为什么在失败轨迹后半段屏蔽反馈？
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：最终失败不代表后续每个动作都造成失败，恢复尝试也可能有价值。回溯定位最后未恢复错误，把其后的负向信用屏蔽，保留此前相关信号；不是提前停止机器人。
教学例子：例如物体掉落后尝试重抓，不应仅因终局失败就把所有恢复动作同罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
MART-GRPO屏蔽最后未恢复错误之后的惩罚，为什么不重新算组优势或有效token分母？
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：它过滤的是失败反馈作用的位置，保持原始组奖励、优势和归一化才能隔离这一机制；改分母会额外放大保留前缀。轨迹先完整执行，事件模型再回溯边界，并非提前终止环境。回溯VLM也不自动满足理想停止时刻理论，必须区分经验启发与保证。
教学例子：机器人失手后做了无关停留，可屏蔽停留的负信用；但不能把剩余动作数量缩小后再把同一失败惩罚额外放大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
回溯VLM边界与理论stopping-time条件为什么不能等同？
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：VLM看过未来完整轨迹，其选择通常不是只依过去的停止时间。理论无偏条件不能自动套用，因此任意事件mask不保证无偏或必然降低方差。
教学例子：例如看完结局才决定哪一步重要，与执行到该步就能决定停止，是不同信息条件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
MART屏蔽后可以重算优势或按剩余token数归一吗？
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：不可以。原全组优势和原始有效动作词元分母保持，mask仅作用反馈；合法区间含上端点。格式错、身份错或越界要报错，不能当语义不确定fallback。
教学例子：例如删掉后半loss后再缩小分母，会额外放大剩余梯度，改变原方法。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
MGE-PO的“成功/失败”和“高熵/低熵”是同一个标签吗？
MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
问答新增：2026-10-27 · 论文未列机构（不据邮箱域名推断）
展开答案与例子
答案：不是。成功由可验证结果决定，熵描述生成策略在词元选择上的不确定程度。四种组合都可能存在，不能把低熵直接当作正确，也不能把高熵直接当作失败。先把结果与生成状态分成两轴，才能理解为何要进行四象限信用修正。
教学例子：模型可能很确定地算错，也可能犹豫后算对；两条轨迹的正确性和不确定性应分别记录。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
MGE-PO为什么使用生成时缓存的token熵，而不在更新后重算当前策略熵来分配信用？
MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
问答新增：2026-10-27 · 论文未列机构（不据邮箱域名推断）
展开答案与例子
答案：信用要描述采样该回答时的不确定性，更新后重算会把策略变化混入原轨迹评价。方法结合正确性与高低熵四象限修正优势，并另有课程和KL权重。截断响应直接修正为零，也不意味着批内重新中心化后最终优势必为零，几个步骤不能混为一项。
教学例子：同一回答更新后变得更确定，不能倒过来说它采样时就毫不犹豫；信用依据应固定在原生成分布。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
MGE-PO四象限与只奖励低熵回答有何区别？
MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
问答新增：2026-10-27 · 论文未列机构（不据邮箱域名推断）
展开答案与例子
答案：修正同时结合成功或失败与高低熵，避免把自信直接当正确。简单低熵奖励会鼓励自信错误；四象限仍依赖可验证正确性，不适用于偷看评测答案。
教学例子：例如低熵错误与低熵正确虽然都确定，奖励方向不应相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
截断响应直接修正为零，为什么最终advantage仍可能不为零？
MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
问答新增：2026-10-27 · 论文未列机构（不据邮箱域名推断）
展开答案与例子
答案：门控只令其直接增量为零，随后批内重新中心化会统一移动所有优势。课程还使用滞后题目EMA，不能依据未来生成选择当前题；生成熵需从采样策略缓存。
教学例子：例如其他回答获得正修正，批均值变化后，未修正那条也会相对均值移动。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
DIVERGE为什么一次生成整组想法而不是独立抽样后去重？
Training Reasoning Models to Generate Diverse Scientific Ideas
问答新增：2026-10-27 · New York University
展开答案与例子
答案：后续想法可看已生成内容，模型学习主动寻找不同方向，组奖励结合质量与相互差异。字符串不重复不足以说明研究创新，语义判断仍依赖评价器。
教学例子：例如第二个方案针对第一个的覆盖空缺，而非换几个同义词。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
DIVERGE训练为何按想法生成顺序计差异，不能照评测那样重排后再算？
Training Reasoning Models to Generate Diverse Scientific Ideas
问答新增：2026-10-27 · New York University
展开答案与例子
答案：训练中每个新想法看到已有前驱，最近前驱距离对应实际生成过程；事后重排会改变哪个想法先出现及其信用。评测的折扣重排指标与训练奖励是不同定义，不能互换。质量比较与语义距离还依赖独立judge，字符串不同并不证明科学创新。
教学例子：先提出方法甲，再提出甲的改写，后者应因重复少得差异信用；不能重排成一个看起来更丰富的顺序来改写训练奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
训练集合奖励与评测Creative Utility能直接互用吗？
Training Reasoning Models to Generate Diverse Scientific Ideas
问答新增：2026-10-27 · New York University
展开答案与例子
答案：训练按生成顺序计算最近前驱距离，不重排；评测允许重排并带折扣及归一化。贪心评测只是最大CU的下界，不能把它写成严格最优或训练目标。
教学例子：例如将最强想法挪到第一可改变评测值，却不是原生成顺序下的奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
DIVERGE长度惩罚应统计哪些字段？
Training Reasoning Models to Generate Diverse Scientific Ideas
问答新增：2026-10-27 · New York University
展开答案与例子
答案：只统计problem_gap、core_claim与method的token，不含inspiration或think，且需相应tokenizer。schema失败奖励为零且不调用judge，不能用字符数静默代替词元数。
教学例子：例如引用灵感写很长，不应被算入规定三字段的长度项。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
KnowGPO为什么按已知事实集合分组？
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：不同网页和query可能获得相同知识，按表面观察会拆散可比步骤。验证原子条件后用单调集合表示知识状态，让同知识起点动作比较新增事实。
教学例子：例如两条搜索路径措辞不同，但已掌握同一人物与年份，可进入同类前态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
KnowGPO为什么按动作前的知识集合分组，不能按动作后状态分组？
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：要比较从相同已知条件出发的不同动作，前态才提供共同起点；用后态分组会把动作带来的信息增益提前作为分组条件。训练verifier将事实条件单调累积，再把过程与终局优势结合，只广播到生成token，不能把隐藏条件清单交给actor。
教学例子：两次搜索从相同证据出发，一次补到关键事实、一次没有；按结果知识分组会先把它们拆开，反而无法比较动作收益。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
知识状态分组与按动作后结果分组为何不同？
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：过程信用要比较从同起点做不同动作的收益，按后状态分组会把获得不同新知识的动作拆开。原文歧义以算法前态为准，不可用后态图省事。
教学例子：例如一个动作找到新事实、另一个没找到，恰应在相同前态下比较。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
KnowGPO的answer步骤和工具观察怎样处理loss？
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：answer不进过程分组，但仍接收混合中的终局项；优势只广播到生成推理与动作token。训练verifier信息和工具观察不可作为actor标签，singleton过程优势为零。
教学例子：例如搜索返回正文是环境给的，不应被当模型生成文本计算策略梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
MRTPO为什么不把每维奖励均匀广播整条响应？
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
问答新增：2026-10-27 · University of Minnesota
展开答案与例子
答案：格式、可执行性和结果可能依赖不同位置，均摊会把信用分给无关词元。删去一块奖励信息后分布变化，可作为该奖励与各位置关联的线索。
教学例子：例如SQL语法错误和数值结果错误，可能指向不同关键token。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
MRTPO逐个删除奖励信息块重放响应，为什么比较的是全词表JS而非采样token概率差？
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
问答新增：2026-10-27 · University of Minnesota
展开答案与例子
答案：单个已采样词的变化可能漏掉其他候选之间的重分配，全词表差异更完整地表示某类奖励信息影响哪些位置。相关性权重在响应内保均值，正负信用都按相同规则分配，并限制重分配幅度。verifier信息只供训练重放，不能泄漏到学生原始采样。
教学例子：删除SQL格式反馈后，模型可能把概率从逗号转到括号，采样出的词概率恰好不变；只看该词会漏掉真实分布变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
MRTPO信息留一与直接看采样token概率差有何区别？
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
问答新增：2026-10-27 · University of Minnesota
展开答案与例子
答案：规定使用同一冻结策略的全词表JS距离，捕捉整份条件分布变化；单个采样词只是局部值。相关性仍非因果正确性证明，奖励信息不能进入学生原始采样。
教学例子：例如被采到的词概率不变，其他候选大幅重排仍可能使JS非零。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
MRTPO相关性全零时为什么回退权重一而非全零？
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
问答新增：2026-10-27 · University of Minnesota
展开答案与例子
答案：无信息或全零差异时无法定位，均匀权重保留原奖励总信用；每响应均值为一，再做二阶矩限制和batch归一。直接置零会删除该奖励，而非重分配。
教学例子：例如格式块空白时，不应因不能定位就让整项格式优势消失。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
OpCredit为什么把知识图谱搜索信用分到具体操作？
OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：轨迹成功可能绕路，失败也可能包含有用探索。分支结果信用与局部前沿进退分别评价操作，再对齐推理和执行token，而不是把工具观察当策略输出训练。
教学例子：例如一次扩展发现关键实体，即使最终答错，也可能有正向过程价值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
OpCredit比较同一操作时，为什么还要匹配访问集合、剩余预算和决策阶段？
OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：同一活动实体不等于同一可决策状态，过去访问和剩余资源会改变操作价值。BOC复用匹配上下文的分支结果并按轨迹去重，FTC另用训练专属答案邻域衡量局部前沿改善。答案信息只参与训练信用，不能进入actor输入，工具观察也不承担策略损失。
教学例子：都站在同一知识节点，一个轨迹已查过邻居、另一个还没查；再次扩展的价值不同，不能只按节点名混组比较。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
BOC分支比较与FTC答案邻域进度各依赖什么？
OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：BOC复用匹配状态下其他轨迹结果，FTC用训练专属答案邻域评价局部前沿。后者可使用训练标签计算信用，但actor采样时不可见，两者也不能当同一奖励。
教学例子：例如知道哪个邻居更接近训练答案，只用于事后信用，不放进搜索请求。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
OpCredit匹配分支为什么不能只看活动实体？
OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：还需同题、访问集合、剩余预算和阶段，才能让分支机会相近；支持集每轨迹只计一次。FTC取局部前沿最好机会，不是全图平均距离，信用及参考均停止梯度。
教学例子：例如到同一节点但已经耗尽预算，与刚到节点的后续成功机会不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
PRM4RL为什么同时提供子任务语义和进度势函数？
Progress Reward Model for Reinforcement Learning via Large Language Models
问答新增：2026-10-27 · Beihang University
展开答案与例子
答案：子任务语义增强状态，告诉低层策略当前阶段；势函数差提供稠密进度奖励，缓解只有成功终局的稀疏反馈。二者分别改变输入与奖励，规划可预先生成。
教学例子：例如机器人知道正在抓取，同时从离目标更近的状态变化获得进度信号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
PRM4RL为什么把进度奖励写成折扣势函数差，时间截断又为何不能当真实终止？
Progress Reward Model for Reinforcement Learning via Large Language Models
问答新增：2026-10-27 · Beihang University
展开答案与例子
答案：势函数差让相邻状态的进度贡献沿轨迹望远镜相消，剩下起点和终点项。真实终止需要正确吸收边界处理，才能避免终点势值额外改变目标；时间预算截断后任务可能仍继续，不能自动将势函数置零。子任务编码与奖励塑形也是两个独立接口。
教学例子：机器人接近目标时因计时结束，不能假装任务已经真正终止；若把此处势值清零，可能凭空给出错误的进度惩罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
势函数塑形与直接奖励当前进度数值有什么差别？
Progress Reward Model for Reinforcement Learning via Large Language Models
问答新增：2026-10-27 · Beihang University
展开答案与例子
答案：差分奖励看相邻状态变化，折扣和可望远镜相消；直接每步给高势值会鼓励停留。有限回合的边界条件仍关键，不能只因写了差分就自动保证策略不变。
教学例子：例如停在高进度状态不继续完成任务，直接累计分可能奖励拖延。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
PRM4RL为什么区分terminated与时间截断？
Progress Reward Model for Reinforcement Learning via Large Language Models
问答新增：2026-10-27 · Beihang University
展开答案与例子
答案：真实终止可按吸收边界置终点势为零，时间截断仍可能有后继价值，不能一律归零。未传明确终止时应按公式计算，不暗改边界；生成函数还需审阅合法性。
教学例子：例如时间预算到但任务可继续，与物理任务完成或失败，是不同终止语义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SIF为什么不把平均self-certainty直接当正确标签？
Learning to Reason with Selective Internal Feedback
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：错误信心也能升高，方法比较同题多回答的排序确定性窗口，再以两级投票形成相对奖励。它利用分布形状与相对关系，仍不获得独立正确性真值。
教学例子：例如整段都很自信的错误答案，不应只因平均值高就被宣布正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SIF为什么比较排序后的certainty窗口，而不把平均熵或高概率token当正确标签？
Learning to Reason with Selective Internal Feedback
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：平均确定性可能随错误自信一起上升，SIF使用均匀分布到策略的KL构成certainty profile，在合格同题回答间做窗口和peer两级比较。它不是token熵或采样词概率；不合格响应和同奖励组被过滤，policy与KL还必须使用同一选择mask。
教学例子：一条回答平均很自信，但只有少数位置贡献极端值；比较多个排序窗口，可与另一条分布较均匀的回答区分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
SIF的KL(U||π)与负熵为何不是同一个确定性量？
Learning to Reason with Selective Internal Feedback
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：前者平均全词表对数概率，负熵按策略概率加权，方向不同，对低概率区域敏感性也不同。用采样词概率替代同样改变指标，不能仅说都是自信分数。
教学例子：例如罕见词的概率趋零，对均匀到策略KL与策略加权熵的影响不一样。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SIF不合资格响应是否也要关闭KL项？
Learning to Reason with Selective Internal Feedback
问答新增：2026-10-27 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：需要，policy与KL共用选择mask；组归一仍保留原响应因子，不偷偷改成仅合格响应数。窗口资格、严格比较与样本标准差也需按协议实现，不能把tie算获胜。
教学例子：例如关闭策略损失却保留参考KL，仍会更新本应过滤的响应。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
TAG为什么先选可信anchor再联合多奖励训练？
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
问答新增：2026-10-27 · University of British Columbia
展开答案与例子
答案：辅助目标可能容易投机，让总分上涨却破坏主任务。anchor为联合奖励设前提，只有锚点满足时辅助信用才生效；它不是单纯把辅助系数调小。
教学例子：例如短而错误不能仅凭简洁拿到正向辅助信用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
TAG选出anchor后为什么丢弃探针并从原基线重训，辅助奖励又何时生效？
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
问答新增：2026-10-27 · University of British Columbia
展开答案与例子
答案：独立探针用于比较各奖励引起的分布漂移，选出最稳定的锚点，并非继续拿探针权重联合训练。重新从共同基线出发才能隔离选择机制；anchor不满足时辅助奖励不能单独给信用。探针轨迹须由探针自身采样，不能把KL方向悄悄换掉。
教学例子：简短回答很容易拿到辅助分，但答错时应被锚点门控挡住；不能靠越来越短，让总奖励上升却失去正确性。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TAG选漂移最小探针与人工指定正确性anchor有什么区别？
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
问答新增：2026-10-27 · University of British Columbia
展开答案与例子
答案：方法从同一基线分别探测各奖励，以探针到基线的逆KL漂移选择anchor，再丢弃探针重新训练。人工指定省去此选择过程，是不同配置，不能假称执行了探针选举。
教学例子：例如最容易刷高的奖励可能导致大漂移，选择依据不是它得分升得最快。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
TAG漂移为什么必须在探针自己的采样轨迹上估？
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
问答新增：2026-10-27 · University of British Columbia
展开答案与例子
答案：逆KL的期望分布是探针，改用基线采样会改变方向；按全部生成词元池化，不是先各响应平均。有限样本估计可负，不能为选举方便截成零。
教学例子：例如长短探针响应的词元应按规定共同计数，而非每条强行同权。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
RAP-Walk为什么保留偏好对手身份与循环结构？
When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
问答新增：2026-10-27 · 未确认（已读 arXiv HTML 未列机构）
展开答案与例子
答案：独立胜率会丢失赢了谁及偏好不一致信息，图传播利用边清晰度和循环可靠性修正信用。循环可能来自多维取舍，不能直接判视频差或删除节点。
教学例子：例如A运动好、B画质好、C遵循好，三者循环不必是无用样本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
偏好出现循环时，RAP-Walk为什么不直接删除循环或把循环节点判成坏样本？
When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
问答新增：2026-10-27 · 未确认（已读 arXiv HTML 未列机构）
展开答案与例子
答案：循环可能来自不同视频各擅长不同维度，并不自动说明质量差。方法保留对手身份、边清晰度和循环不一致，构造从输者到赢家的可靠传播，再用平稳信用修正胜率优势。方向、收敛与熵校准都属于机制，不能随意换成普通PageRank。
教学例子：甲胜乙、乙胜丙、丙又胜甲，可能分别在画面、运动和遵循提示上占优；简单删掉三者会丢失有用比较。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
可靠随机游走与普通平均胜率有什么差别？
When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
问答新增：2026-10-27 · 未确认（已读 arXiv HTML 未列机构）
展开答案与例子
答案：从输者流向赢家并结合可靠性得到平稳信用，再与胜率锚点混合；平均胜率没有这条传播结构。方法还限制最低熵，避免信用过度集中。
教学例子：例如击败不同可靠对手在图中传播不同，不只是每次胜利都加同一票。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
RAP-Walk不收敛时能自动加入PageRank teleportation吗？
When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
问答新增：2026-10-27 · 未确认（已读 arXiv HTML 未列机构）
展开答案与例子
答案：不能未声明替换。应按协议报错，转移方向用W_ji，混合后重新组标准化，偏好图与优势停止梯度。偷偷加传送会改变平稳分布及原算法。
教学例子：例如把输到赢方向写反，游走会奖励相反节点，即使矩阵仍能归一化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SOAR为什么要求答案显式声明知识来源？
SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
问答新增：2026-10-27 · Zhejiang University / Microsoft
展开答案与例子
答案：只答对无法判断证据依赖是否真实。内部回忆与外部检索分别记录，再核验所声明流能否支持答案，训练来源一致性而非事后随意编引文。
教学例子：例如答案宣称来自检索，就应能由对应检索记录支持，而不是内存碰巧知道。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SOAR为什么只用回答声明的证据stream判来源一致性，另一stream碰巧含答案也不能给奖？
SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
问答新增：2026-10-27 · Zhejiang University / Microsoft
展开答案与例子
答案：来源声明应与真正支持答案的证据对应，否则模型可答对却编造依赖。独立内部回忆与外部检索后，校验只查看声明的stream，避免另一侧泄漏替它兜底。内部回忆不能先读外部证据或旧推理，工具观察也不作为可训练的生成动作token。
教学例子：答案声称来自检索网页，但事实其实只在模型内部回忆中出现；不能因另一stream有正确事实就判引用一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
SOAR的internal recall为什么不能读旧推理和检索证据？
SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
问答新增：2026-10-27 · Zhejiang University / Microsoft
展开答案与例子
答案：要区分内部已有知识与外部获得信息，就必须先隔离诱导回忆输入。若把检索结果传进去，内部流已被污染，后续来源匹配失去意义。
教学例子：例如先看网页再回忆同一事实，不能算模型原本独立记得。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SOAR匹配奖励能借另一条stream中正确证据补分吗？
SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
问答新增：2026-10-27 · Zhejiang University / Microsoft
展开答案与例子
答案：不能，只核验声明stream。工具观察和internal recall文本也不接受actor策略loss，奖励按明示归一后再组优势；完整机制执行与外部 benchmark能力结论仍要区分。
教学例子：例如宣称内部知识却只有外部网页支持，不能因答案对就授予来源匹配奖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
UpTurn学习的是如何改写每个词，还是在哪里重开纠错？
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：主要学习段落边界的cut policy与是否纠错的gate，reasoner和编码器冻结。选中位置后保留前缀，插入固定新user turn，由冻结reasoner继续生成。
教学例子：例如在一段错误推导后发起新轮纠正，而非给每个旧token直接改概率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
UPTURN为什么学习段落边界上的cut，而不是直接微调整个reasoner？
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：冻结reasoner后，学习对象集中到何时插入纠错轮次，救援回报来自不同cut后的真实重新生成。保留前缀、结束当前轮并插固定新用户轮，再按剩余预算生成后缀，与整段重写或参数级推理训练不同。推理gate必须独立决定，不能由gold答案触发。
教学例子：推导在某段开始偏离，可在该段边界发起一次重新考虑；前文保留，后续预算减少，不能把这次救援当成无限免费重试。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
插入新turn与在同一assistant消息中补一句反思有何差别？
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：消息角色与条件边界改变，方法明确结束旧assistant并加入新user指令，再按剩余预算续写。简单字符串追加可能没有相同对话语义，不能当同一实现。
教学例子：例如新用户说重新检查，会与assistant自己继续碎碎念形成不同提示结构。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
UpTurn的suffix预算为什么不能重新给满L_max？
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：前缀已消耗响应预算，后缀只剩L_max减cut位置。无可解析答案gate为零，阈值按协议固定；既有三seed中仍有机制不通过，不能把执行完成等同稳定通过。
教学例子：例如切在很后面时仍给满预算，会让方法比对照多用大量生成成本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
Residual Advantage为什么把师生概率残差变成局部优势？
Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
问答新增：2026-10-27 · Harbin Engineering University / Tencent / Harbin Institute of Technology
展开答案与例子
答案：教师分布差提供稠密指导，扣除学生分布期望基线后得到相对当前学生的信号，再与验证器优势结合。它不是仅增加一个终局教师评分。
教学例子：例如同一前缀里教师更支持另一个词，可为当前词提供局部改进方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
Residual Advantage为什么减去学生分布下的残差期望，再做响应内中心化？
Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
问答新增：2026-10-27 · Harbin Engineering University / Tencent / Harbin Institute of Technology
展开答案与例子
答案：师生概率差的原始值依赖学生当前覆盖，减去学生期望后才得到相对学生的局部优势，响应中心化再分离位置差异。它与验证器优势相加而非取代真值信号。共同更新教师时先固定同一已评分批次，新教师只在下一轮使用，不能中途重标标签。
教学例子：教师对某词比学生更支持，但学生对许多替代词也有相近残差；需相对整体基线判断，而非看到差值为正就强化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
残差优势与直接全分布KL蒸馏的监督形式有何不同？
Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
问答新增：2026-10-27 · Harbin Engineering University / Tencent / Harbin Institute of Technology
展开答案与例子
答案：残差构造成有界局部优势并逐响应中心化，进入策略更新；KL直接约束分布差。二者梯度形式与任务奖励组合不同，不能只因都用教师概率就等同。
教学例子：例如局部修正先减学生期望与响应均值，不是原封不动复制教师logits。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
Co-RA为什么本批评分后不允许中途换教师重打标签？
Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
问答新增：2026-10-27 · Harbin Engineering University / Tencent / Harbin Institute of Technology
展开答案与例子
答案：学生与教师更新基于同一已评分批次，教师LoRA只用固定验证器优势更新，新教师下一轮才使用。中途重算会让同批目标随参数变化，破坏可追溯顺序。
教学例子：例如学生前半批读旧教师、后半批读已更新教师，不再是同一固定监督批。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
CARM为什么先对token log-ratio取绝对值？
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
问答新增：2026-10-27 · Moore Threads AI
展开答案与例子
答案：序列平均可让正负漂移抵消，看似接近旧策略却各位置已严重改变。先绝对再平均测总体偏离幅度，用响应门控识别这种相消风险。
教学例子：例如一个位置概率大升、另一个大降，平均log比可能恰好为零。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
CARM为什么先对每个token的log-ratio取绝对值，再求响应平均？
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
问答新增：2026-10-27 · Moore Threads AI
展开答案与例子
答案：一处概率上升与另一处下降可能在普通序列平均中抵消，让整条响应看似没有漂移。先取绝对值保留偏移幅度，再用响应gate筛出累积失配大的样本。它衡量的是策略变化而非回答质量；gate应冻结，不能借选择过程反向改变筛选依据。
教学例子：前半句概率显著上升，后半句等幅下降，总log-ratio接近零；绝对偏移平均仍会发现这条响应变化很大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
CARM与按序列几何比接近一筛样本有何差别？
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
问答新增：2026-10-27 · Moore Threads AI
展开答案与例子
答案：几何比保留方向相消，CARM关注不带符号的幅度；因此可拒绝总比值近一却内部变化大的响应。它不是任务质量评分，也不保证被保留回答正确。
教学例子：例如总账收支为零不表示没有大额流动，两个指标测的是不同性质。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
CARM的response gate应该进入梯度计算吗？
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
问答新增：2026-10-27 · Moore Threads AI
展开答案与例子
答案：作为冻结选择门控使用，不通过阈值判定求导。统计只覆盖有效响应词元，并按规定阈值保留；本地未训练Qwen3.5，不能把mask核通过当实际稳定收益。
教学例子：例如更新后概率变化不应在同一步通过gate支路额外推导一份梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
My FAULT为什么先验证自诊断claim再定错误成本？
My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：模型自我解释可能编造原因，只有有证据支持的类别与位置才进入在线定价。终局信用按相对错误成本分配，防止未经验证的自责直接改变训练。
教学例子：例如模型说是工具错了，需要执行记录支持，不能仅因它这么说就惩罚工具步骤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
My FAULT为什么要求自诊断claim先经证据验证，再进入error pricing？
My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：自诊断文本可能只是事后合理化，未经核对就估计错误成本会把偏见写进训练。验证后的类别与位置用于在线相对定价，再在步骤间重新分配终局信用，并保持总量守恒。它改变信用位置，不凭空创造成功奖励；本地没有联合训练完整诊断模型。
教学例子：失败后模型说“搜索错了”，但日志显示工具调用正确、最终汇总丢了事实；未经验证的归因不应指导搜索步骤受罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
守恒重分配与额外加一份错误惩罚有何区别？
My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：守恒方式保持步骤信用总和等于原终局回报，只改变分布；额外惩罚会改变总目标。两者学习激励不同，不能把任意扣分称为同一error pricing。
教学例子：例如某一步多扣的信用需在其他步骤相对补回，而不是整条总分又少一次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
My FAULT实现应检验哪条守恒不变量？
My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
问答新增：2026-10-27 · Alibaba Group
展开答案与例子
答案：逐步重分配之和应等于原回报，成本均值与步数需使用相同有效步骤集合。当前本地仅验证诊断筛选、成本及守恒核，没有共同训练策略和诊断模型。
教学例子：例如把padding也算进平均成本，会破坏有效步骤上的总信用关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
TVRL为什么用梯度敏感性分配token信用？
Token-Level Video Reinforcement Learning
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：视频终局奖励粗糙，冻结评价路径对生成位置的敏感度提供局部线索，再重分配组优势。敏感不等于该词必然正确，只表示奖励对相应变化更敏感。
教学例子：例如描述动作的词比连接词更影响视频奖励，可获得不同局部权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
视频token对冻结VLM奖励的梯度较大，为什么只能理解为敏感度而非必然正确的信用？
Token-Level Video Reinforcement Learning
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：梯度描述当前奖励模型对局部变化的敏感程度，可用于把同组优势稠密分配给生成token；按均值归一化控制总尺度。但评分模型也可能依赖捷径，敏感位置不一定是真正因果要素。本地只检验信用归一化，没有训练视频模型或证明感知质量提升。
教学例子：奖励模型可能对画面角落标记特别敏感；即使其梯度很大，也不能直接断定修改该区域就是提高视频质量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TVRL梯度信用与把相同优势均匀发给所有token有什么差别？
Token-Level Video Reinforcement Learning
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：均匀广播忽略位置贡献差异，归一化梯度范数使敏感位置权重大、其他小。它仍依赖冻结VLM评价的质量，不能由梯度大直接断言真正因果贡献大。
教学例子：例如评价器特别在意某词，也可能是其偏差，而非任务必需证据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
TVRL本地信用核是否已经训练视频扩散模型？
Token-Level Video Reinforcement Learning
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：没有，只计算梯度信用及均值归一。实际还需真实视频输入、冻结VLM梯度与策略训练路径；输入范数全零等边界须明确，不能靠随机数替代后宣传视频能力。
教学例子：例如人工给几个梯度大小，可验权重，却没有执行任何视频生成训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SHARPO为什么以成功同组轨迹作为教师上下文？
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：组内成功示范提供当前任务可用指导，在环境交互段内比较师生logp，调节该段原GRPO优势。教师信息用于训练信用，不是评测时读取标准计划。
教学例子：例如同题一条成功路线可提示学生某段行为值得加强，但不直接塞进部署提示。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SHARPO借同组成功轨迹重评segment，为什么仍用有界因子缩放原GRPO优势？
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：成功轨迹为同一学生前缀提供额外教师上下文，segment内师生log-prob差反映局部支持差异。有界缩放限制这种自蒸馏信号对原优势的放大，不把教师评分直接变成无限新奖励。成功上下文仅用于训练评分，不是给推理Agent展示gold计划。
教学例子：同一失败轨迹中的检索段可能接近成功策略，而汇总段偏差较大；按segment调信用，比整条回答统一放大更细。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
SHARPO有界乘法与直接相加教师优势有何差别？
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：二倍sigmoid位于零到二之间，缩放保留原优势符号；相加项可能翻转正负。它调整强度而非重新决定终局好坏，零优势也不会凭缩放变非零。
教学例子：例如原失败段仍为负，只是惩罚程度变化，不会因教师偏好变成正奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SHARPO的segment边界与gold plan访问有什么要求？
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
问答新增：2026-10-27 · Georgia Institute of Technology
展开答案与例子
答案：师生差按同一交互段平均后广播，不能混入工具观察或错接分段。当前本地执行段信用，未读取gold plan也未训练7B智能体，不能把固定片段核当完整能力。
教学例子：例如一轮工具调用和下一轮答复若被拼错，平均差就不再对应原段。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
T2SPO为什么用成功轨迹剩余步数估计距离？
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：距离提供比终局成败更密集的进度信号，成功历史中的状态与剩余步数可作为支持集，让冻结上下文内预测器评估新状态离成功多远。失败不能伪标为接近成功。
教学例子：例如一个成功路线中还剩三步的状态，为后续距离预测提供监督例子。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
T2SPO成功终止把后继距离置零，为什么失败终止却把步骤进展直接置零？
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：成功终止确实到达目标，距离归零表示完成；失败结束只是无法继续，若同样当作到达成功，会制造虚假正进展。距离估计来自历史成功支持集，本轮先完成评分再更新历史，避免自我泄漏。时间截断还需按所用GRPO或PPO语义分别处理。
教学例子：代理因工具耗尽而退出，并不意味着离成功只差零步；若把退出统一当作成功终点，最后一个失败动作可能被错误奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
距离改善信用与只奖励最终成功有何互补？
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：相邻距离变化可指导中间步骤，轨迹奖励仍评价最终结果；预测距离有误时需mask和缩放限制。TabPFN预测误差不是任务成功率，也不能代替真实环境评测。
教学例子：例如某动作明显接近目标却未终局完成，可得过程线索，但仍需最终验收。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
T2SPO本地optimizer=ppo是否已包含完整PPO训练器？
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
问答新增：2026-10-27 · Nanjing University
展开答案与例子
答案：没有，该开关只改变信用的截断语义，未实现critic与GAE。GRPO对截断信用置零，PPO语义用真实后继预测；支持标准化和SVD仅在历史支持集拟合。
教学例子：例如切换字符串参数不会自动产生value模型，不能报告PPO能力已接入。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
PACT为什么把token信用联系到前缀价值？
PACT: From Credit Assignment to Critic Alignment
问答新增：2026-10-27 · AllSpark Team
展开答案与例子
答案：终局奖励只有一个数，前缀条件期望帮助判断各位置尚有多少可改善空间，实际用R减V近似优势。精确信用有理论条件，学习critic只是可执行近似。
教学例子：例如同样失败，已很有把握的前缀与本来就困难的前缀可有不同优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
PACT为什么先更新actor再重算比率训练critic，soft target超过一时能直接clamp吗？
PACT: From Credit Assignment to Critic Alignment
问答新增：2026-10-27 · AllSpark Team
展开答案与例子
答案：critic应逼近更新后的策略，因此用新旧actor的token概率比校正旧轨迹回报，再拟合对应目标。逐样本的比率乘奖励可能超过一，直接截断会改变目标，不能套用只接收标准概率标签的BCE接口。更新顺序和稳定softplus表达都属于机制。
教学例子：actor已更偏向某个成功动作，critic仍只拟合旧采样分布会滞后；概率比校正用于让旧结果服务新策略价值估计。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
PACT先更新actor再训练critic，与只拟合旧策略有什么差别？
PACT: From Credit Assignment to Critic Alignment
问答新增：2026-10-27 · AllSpark Team
展开答案与例子
答案：critic应跟随更新后策略，因此用新旧actor当前词元比修正目标。该单词元近似不是未来完整续写的重要性乘积，不能据此称精确continuation校正。
教学例子：例如actor已改变接下来动作，critic仍只背旧回报会落后于当前策略。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
PACT的ρR大于一时为什么不能塞进普通概率BCE接口？
PACT: From Credit Assignment to Critic Alignment
问答新增：2026-10-27 · AllSpark Team
展开答案与例子
答案：软目标可能超一，需按softplus(z)减Yz的规定形式计算，并过滤超界比率。标准API若假定目标在零一可能拒绝或隐改语义；本地少量非零结果不证明稳定能力提升。
教学例子：例如奖励一乘略大于一的比值，目标自然超过一，并不应偷偷裁回一。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
TIAO为什么遮蔽源文档来测token依赖？
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：摘要应依赖原文，比较遮蔽前后概率可定位更受源证据影响的位置，再调整轨迹与词元信用。依赖性是关联线索，不保证该词事实正确。
教学例子：例如人名概率在删去相关句后明显变化，比固定连接词更可能依赖原文。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
TIAO遮蔽源文档后看token概率变化，为什么这比仅按回答长度分配信用更有针对性？
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：摘要中不同token对原文证据的依赖不同，遮蔽前后的概率差提供这种依赖线索，再用于轨迹与token两层信用塑形。长度只能描述多少字，不能说明哪些内容依赖来源。但遮蔽也可能引入分布变化，因此依赖估计不能直接等同事实归因正确性。
教学例子：摘要里的日期依赖原文细节，而连接词可能不依赖；同样长度下，二者不应仅因位置相近就获得完全相同的证据信用。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TIAO双尺度信用与只在整篇摘要打分有什么不同？
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：整篇分数评价总体质量，词元依赖再分配局部更新，方法同时处理轨迹层与词元层。单有高摘要分不说明每个词都得到适当监督。
教学例子：例如整篇不错但一个日期幻觉，可需要更局部的调整而非全篇同等强化。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
TIAO的有源和遮蔽评分应使用哪条响应？
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：应围绕同一待评分响应及对应前缀比较，否则生成变化会混入遮蔽效应。mask与奖励计算作为训练信号处理，本地依赖核没有训练原文7B模型。
教学例子：例如有源评摘要A、遮蔽后另生成摘要B，差异不再只来自源信息移除。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SPEAR为什么把教师推理转为符号milestone？
SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
问答新增：2026-10-27 · University of Pittsburgh
展开答案与例子
答案：结果奖稀疏，完整神经过程裁判又昂贵；领域符号骨架让学生过程可被顺序对齐，提供稠密进度线索。它依赖抽取规则能保留真正重要推理结构。
教学例子：例如把证明中的关键等式作为里程碑，而非逐字匹配教师全部措辞。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SPEAR为什么用LCS-F1对齐符号milestone，而不只检查两条推理包含相同符号？
SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
问答新增：2026-10-27 · University of Pittsburgh
展开答案与例子
答案：相同步骤集合可能顺序不同，导致推理依赖被破坏。最长公共子序列保留相对顺序，配合精确率和召回率衡量遗漏与冗余，形成比单个终局分数更密集的信号。符号抽取本身仍可能出错，本地候选轴不能冒充原文自然语言抽取器。
教学例子：先代入条件再求解与先写结论再拼条件，可能含相同标记却有不同依赖；顺序敏感对齐可以区分这种结构。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
LCS-F1与无序符号集合重合率有什么差别？
SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
问答新增：2026-10-27 · University of Pittsburgh
展开答案与例子
答案：LCS保留顺序，集合重合不管先后；F1同时考虑覆盖和冗余。若学生把关键步骤倒置，无序匹配可能高估过程正确，顺序对齐会给出不同信号。
教学例子：例如先得到结论再补前提，与按依赖推导，符号相同但顺序价值不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
本地SPEAR milestone是否实现自然语言符号抽取器？
SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
问答新增：2026-10-27 · University of Pittsburgh
展开答案与例子
答案：没有，本地用候选过程和格式轴模拟里程碑，验证LCS-F1路径。真实教师文本到领域符号仍是独立模块，不能把手工标签的通过当自动抽取能力。
教学例子：例如直接输入一串已知步骤符号，测试不了模型是否能从长证明抽出它们。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
V-Rubrics中的VF、RC、IF分别在检查回答的哪一部分？
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
问答新增：2026-10-27 · S-Lab, Nanyang Technological University
展开答案与例子
答案：VF关注陈述是否忠实于视觉证据，RC关注推理是否一致，IF关注是否遵守指令。这是三个检查维度，不是三个不同的候选答案，也不是按推理步骤先后编号。先识别错误属于哪一轴，再讨论奖励和前缀信用才有清楚含义。
教学例子：看图事实正确却没按要求列三点，主要触及IF；把图中不存在的物体写出来，则触及VF。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
V-Rubrics为什么把视觉忠实、推理一致和指令遵循分开，而不只给整条回答一个总分？
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
问答新增：2026-10-27 · S-Lab, Nanyang Technological University
展开答案与例子
答案：回答可能看图正确却推理跳步，也可能推理连贯却编造视觉细节。原子rubric区分这些来源，再把可定位的证据信用关联到前缀，减少终局标量掩盖局部幻觉。维度加权只是目标取舍，不能证明judge标签无误；本地候选轴并非真实视觉证据模型。
教学例子：回答遵守了输出格式，但把图中不存在的物体当作前提；格式分高不能替代视觉忠实度的单独检查。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
V-Rubrics的维度权重与rubric判据覆盖范围，能互相替代吗？
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
问答新增：2026-10-27 · S-Lab, Nanyang Technological University
展开答案与例子
答案：不能。权重决定已被评价的维度怎样合成奖励，判据覆盖决定哪些错误会被观察。提高VF权重也无法惩罚未被任何VF判据识别的视觉错误。权重选择是目标取舍，可靠证据与评价器则是测量问题，需分别审查。
教学例子：若判据只检查物体种类、没检查数量，把VF权重调高仍可能漏掉“两个写成三个”。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
V-Rubrics本地固定维度分数能证明真实视觉判据已运行吗？
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
问答新增：2026-10-27 · S-Lab, Nanyang Technological University
展开答案与例子
答案：不能。当前公开确定性候选或计划任务只隔离奖励组合和信用路径，没有论文视觉检查点、私有数据及完整评测，不能把固定分数代理当视觉忠实度能力。
教学例子：例如人为给VF分，再计算总奖，测试的是组合而非自动看图评分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SRPO为什么在失败后生成reflection patch？
SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
问答新增：2026-10-27 · Wuhan University
展开答案与例子
答案：终局反馈粗，patch把可修正线索转成特权上下文，使同一模型在学生实际前缀上提供稠密指导。它不是直接把整个旧错误轨迹都当作监督。
教学例子：例如工具报错后归纳应检查参数，教师据此重新评价学生当时的词元。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SRPO把失败后的reflection patch给同参数教师，为什么学生原始rollout前缀仍要保持不变？
SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
问答新增：2026-10-27 · Wuhan University
展开答案与例子
答案：patch是训练时事后得到的特权反馈，用来让教师重新评价学生实际走过的位置。若改写学生前缀或直接把patch给部署学生，就变成另一种采样或推理任务。逐token教师与旧学生log-ratio形成稠密信用，反思文本本身也不是经过独立证明的正确答案。
教学例子：学生先做错一个检索决策，任务结束后才知道遗漏约束；教师可借提醒评分这个旧决策，但不能假装学生当时已经知道。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
SRPO自反思教师与独立外部教师的区别是什么？
SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
问答新增：2026-10-27 · Wuhan University
展开答案与例子
答案：师生共享模型但条件输入不同，能力差来自额外反馈和patch，而非更大的外部参数。若反思本身错误，同源模型也可能相互强化偏差，不能视为独立验证。
教学例子：例如同一个人看过结果再点评，信息更多，但不是另一位独立专家。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SRPO教师评分是否应沿教师重新生成的理想前缀？
SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
问答新增：2026-10-27 · Wuhan University
展开答案与例子
答案：应沿学生on-policy前缀评分，patch只改变教师条件；奖励差及优势停止梯度。本地用结果过程轴构造同向信用，未真实生成patch或运行大模型工具环境。
教学例子：例如学生第三步已经偏离，教师仍需评价这个状态，而非悄悄换成正确第三步。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SA-MRPO为什么关注各奖励的饱和度？
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：已经掌握的目标继续占据梯度预算，可能妨碍尚未学会的维度。逐维标准化后按一减饱和度加权，把注意转向剩余学习空间，但依赖饱和指标合理。
教学例子：例如格式已几乎总满足，训练可多关注仍经常失败的事实检查。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SA-MRPO为什么根据奖励饱和度调权，而不一直给所有目标相同权重？
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：某些维度已被模型掌握后，继续分配同样更新预算可能挤占尚未掌握的目标。方法逐维标准化优势，再按饱和程度降低已学会目标的权重。饱和必须按明确统计口径估计，不等于高分维度从此永远无用，也不能混淆奖励量纲与真实掌握程度。
教学例子：格式目标几乎总通过，推理正确性仍不稳定；可减少格式维度的相对压力，但仍需监测它是否因训练其他目标而退化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
饱和度重权与固定多奖励权重有何不同？
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：固定权重不随学习状态变化，饱和感知根据当前批目标掌握程度调整。它不改变各维度最终重要性定义，也不保证被降权维度永远不会遗忘。
教学例子：例如某维度暂时学会后少更新，仍需后续监控，不能永久宣布完成。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SA-MRPO实现可把所有reward合并后只算一个饱和度吗？
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
问答新增：2026-10-27 · University of Florida
展开答案与例子
答案：那会丢掉逐维转移预算的定义。需分别维护每维均值、方差与饱和度，再汇总；本地候选策略只验证公式，未复刻论文检查点训练。
教学例子：例如正确性低而格式高，合成一个平均饱和度无法指出该加强哪一维。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
Rubric Dropout为什么随机隐藏部分评价条款？
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：固定条款可能被策略持续利用形成奖励投机，随机子集让它难以只依赖某个固定代理。被隐藏并不表示条款不重要，而是在训练中改变可见奖励组合。
教学例子：例如某条容易靠套话拿分，不能保证每组都靠它获得总奖。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
Rubric Dropout为什么让同一个rollout组共享丢弃的rubric子集？
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：同组响应需要在可比标准下形成相对奖励，共享子集能避免每个回答因随机评价规则不同而被误排序。跨组变化的rubric又使策略难以持续利用固定评分捷径。随机丢弃只是缓和特定reward hacking机制，不能保证余下标准可靠或主任务不会受损。
教学例子：比较两份答案时都暂时去掉“简短”标准，比一份按简短评分、另一份不按它评分，更能保持相对奖励可比。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
组内共享dropout与每条回答独立丢条款有什么差别？
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：共享子集让同题组的回答在相同标准下比较，独立子集会把评分标准差异混进相对优势。随机化需在组级处理，而非每响应各自随机。
教学例子：例如A只评格式、B只评正确性，它们分数差就难解释为回答质量差。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
Rubric Dropout的mask应该何时采样并怎样留存？
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：每个rollout group采一份条款mask并固定用于组内奖励，记录随机种子便于复核。不能按哪条回答得分更好再选mask；本地未运行真实rubric judge。
教学例子：例如先看结果再隐藏难达标条款，会把随机机制变成事后刷分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
RRC为什么更愿意从相对排序构造生成式RM奖励？
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
问答新增：2026-10-27 · Northeastern University
展开答案与例子
答案：生成式评价器擅长解释和比较，独立标量未必校准。组内排序与少量anchor提供相对位置，再构成中心化奖励供策略学习，保留其比较优势。
教学例子：例如裁判能稳定说两篇哪篇好，却不一定给所有题一致的十分制分数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
RRC为什么把生成式奖励模型的组内排名与anchor排名结合，而不要求它逐条报绝对分数？
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
问答新增：2026-10-27 · Northeastern University
展开答案与例子
答案：生成式judge可能更擅长比较哪条更好，而绝对数值尺度不稳定。组内自竞争给相对位置，少量anchor提供跨组参照，再构造中心化奖励。排名仍依赖候选集合和judge质量，不能把相对第一解释为绝对正确，也不等于已经运行原文昂贵评审系统。
教学例子：两组答案各自都有第一名，但整体质量可能不同；加入固定参照可帮助判断两组的“第一”是否处在相近水平。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
组内self-competition与anchor排序分别提供什么信息？
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
问答新增：2026-10-27 · Northeastern University
展开答案与例子
答案：组内比较区分当前候选，anchor提供跨组参照，缓解只有局部名次无法解释绝对水平的问题。两部分需明确权重，不能把名次当真实等距质量。
教学例子：例如一组全差也总有第一，anchor能提醒它虽第一仍不理想。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
RRC名次转奖时为什么要检查组大小和排名方向？
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
问答新增：2026-10-27 · Northeastern University
展开答案与例子
答案：公式含K减一，单样本组无法按同一尺度计算；高名次究竟代表好还是差必须统一。实际judge尚未本地运行，注册候选发现不等于完整能力集成。
教学例子：例如把名次一当最优却使用相反公式，会把最好回答给予最低奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
ADRS为什么不直接相信特权教师的高置信？
ADRS
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：额外技能或信息可让教师更确定，却未必提高真实回报。方法观察同一步教师分数与已实现回报的相关，再门控稠密信号，避免无效自信主导训练。
教学例子：例如教师很喜欢某工具用法，但实际任务常失败，就不应无条件强化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
ADRS为什么先检查教师置信与实际回报的相关性，再使用教师token信号？
ADRS
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：特权教师越自信不必然意味着任务越成功，直接灌入可能放大错误。ADRS在交互步内标准化教师分数，用与实际回报的正相关形成门控，再进入原奖励到优势路径。负相关不应被当正向帮助，推理时也不依赖训练专属技能或结果信息。
教学例子：某一步教师总偏爱流畅但无效的工具调用，而真实回报更低；相关性门控应限制这种自信信号进入策略更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TVA相关门控与固定蒸馏系数有何不同？
ADRS
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：固定系数始终信任教师，门控只保留与回报正相关的部分。相关性是批次统计而非因果保证，也不能在测试时借标准答案估一份最有利gate。
教学例子：例如教师分数与成功无关时，正部相关可使额外指导减弱。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
ADRS标准化是在整条轨迹还是同一交互step内？
ADRS
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：按交互step对教师分数标准化，再与跨轨迹回报计算相应相关，写入宿主reward-to-advantage路径。不能把局部z分直接视作独立终局正确标签。
教学例子：例如第二轮工具调用的教师信号，应与同轮其他轨迹比较，而非混入所有轮次。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SERPO为什么维护Good–Normal–Bad响应档案？
SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：档案为当前问题的rubric和策略更新提供多质量参照，评估标准与actor共同演化，而非只永久保留最高分文本。分类仍取决于评价机制可靠性。
教学例子：例如中等回答可暴露差距，坏回答帮助标准指出需要避免的模式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SERPO同时更新响应档案、rubric和actor，为什么必须区分这三者的作用？
SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：Good–Normal–Bad档案提供经验比较，题目特定rubric决定当轮评价标准，actor才负责生成行为。三方闭环允许标准随策略改变，但也可能互相强化偏差。更新档案不等于训练模型，生成新rubric也不证明质量提高；需要独立留出评估避免自评自证。
教学例子：旧档案只收录短答案，rubric逐渐偏爱简短，actor随之缩短；三者彼此一致仍可能同时忽略任务事实正确性。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
SERPO与固定rubric下反复RL有什么不同？
SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：固定标准可能随着策略进步失去区分力，SERPO同时更新查询相关rubric和档案。更多可变环节也带来漂移与自强化风险，不能仅看自评分上升证明能力。
教学例子：例如策略学会旧条款后，新标准应区分新的难负例，而非永远重复基础检查。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SERPO的三方状态需要怎样按轮次追踪？
SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
问答新增：2026-10-27 · Authors did not disclose affiliation
展开答案与例子
答案：应记录生成响应、形成档案、更新rubric和actor的先后及版本，防止用后来标准倒填旧奖励。本地候选闭环未包含真实开放生成和模型judge的完整流程。
教学例子：例如本轮评分用哪个rubric版本必须可复核，否则无法解释策略更新来源。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
CoRT为什么对同一回答做有无criteria的重放？
CoRT
问答新增：2026-10-27 · ByteDance internship
展开答案与例子
答案：保持响应不变，条件差使词元似然变化反映rubric信息与位置关联，再重分配响应级优势。它尝试回答奖励应作用在哪，而不只是再给整篇加分。
教学例子：例如格式条款影响括号位置的预测，可让该位置获得不同信用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
CoRT为什么在有无rubric的上下文中重放同一响应，而不是各自重新生成后比较？
CoRT
问答新增：2026-10-27 · ByteDance internship
展开答案与例子
答案：重放同一前缀和token能把似然差更多归于rubric条件变化；重新生成会同时改变轨迹，难以定位哪些位置受标准影响。差异用于重分配原响应级优势，而非把评分文本直接输入部署学生。反事实上下文也可能产生偏差，不能把权重等同真实因果贡献。
教学例子：同一句答案在加入“需引用来源”后，引用位置概率变化较大；若另一边重新生成整段，差异就不只来自评价条件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
CoRT反事实重放与直接按attention大小分配有什么差别？
CoRT
问答新增：2026-10-27 · ByteDance internship
展开答案与例子
答案：重放比较评价条件改变后的概率，attention只是一次前向的信息权重；二者不等价，也都不直接证明因果正确性。不能用随意注意力图替代规定的似然对照。
教学例子：例如某词注意力大，却在移除criteria后概率不变，两种信号会不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
CoRT两次评分为什么必须对齐同一token与前缀？
CoRT
问答新增：2026-10-27 · ByteDance internship
展开答案与例子
答案：否则差异会混入生成内容变化，无法归因于criteria移除。归一后的权重用于固定优势，原学生采样不应见特权rubric；本地候选特征不等于真实逐词元重放。
教学例子：例如带条款评A句、不带条款评B句，差值已经不是局部条件对照。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
DynamicRubric为什么看当前候选集合生成标准？
Co-Evolving LLM Evaluators and Policies via DynamicRubric
问答新增：2026-10-27 · WeChat / Tencent
展开答案与例子
答案：策略进步后旧标准可能全满足，新的hard negatives需要更细区分。动态维度与权重利用当前差异，anchor限制评价器漂移，不意味着评价标准可以任意事后改变。
教学例子：例如旧格式条款人人通过后，应寻找仍能分开好坏回答的证据维度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
DynamicRubric为什么既要求区分当前hard negatives，又用anchor限制评估器漂移？
Co-Evolving LLM Evaluators and Policies via DynamicRubric
问答新增：2026-10-27 · WeChat / Tencent
展开答案与例子
答案：固定标准可能随着策略进步失去区分力，动态维度和权重帮助识别新难例；若只追求可区分，评估器也可能学到任意风格捷径。anchor提供相对稳定的参照，约束评价标准改变。共同进化不等于客观真值同步改善，仍需独立任务验证。
教学例子：所有回答都已格式正确，旧格式rubric难再区分；新增标准若只偏爱更长措辞，也需被锚点评价约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
discriminability目标与anchor目标会怎样拉扯？
Co-Evolving LLM Evaluators and Policies via DynamicRubric
问答新增：2026-10-27 · WeChat / Tencent
展开答案与例子
答案：区分目标推动评价器对当前难样本敏感，anchor保留原参考标准避免随策略共谋。只追区分可能奖励无关差异，只追anchor又可能停留旧尺度，需要明确权衡。
教学例子：例如区分回答长短很容易，但若偏离真实质量，anchor应起限制作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
DynamicRubric权重为什么要绑定prompt和候选版本？
Co-Evolving LLM Evaluators and Policies via DynamicRubric
问答新增：2026-10-27 · WeChat / Tencent
展开答案与例子
答案：评分函数依赖两者，换候选可能产生新标准。训练记录需保存所用rubric及anchor版本，不能给不同组套用未声明的新权重后继续比较原奖励。
教学例子：例如同题两轮候选难点不同，得分变化可能来自标准变化而非策略本身。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
TCR为什么把过程分数减去outcome的EMA？
TCR
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：过程与结果评分可能重复奖励同一成功，残差试图突出尚未由结果解释的思考增益，再与原结果合并。EMA反映训练状态，不是逐题真值。
教学例子：例如答对本来已得分，不能把同一个成功又包装成许多过程分重复强化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
TCR为什么从过程奖励里减去outcome的滑动基线，而不直接把两项相加？
TCR
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：过程分与最终正确性常高度相关，直接相加可能把同一个成功信号重复奖励。残差项试图保留结果尚未解释的思考增益，并随训练状态更新参照。它依赖checklist质量和基线口径，不意味着过程残差必是真实推理质量，本地候选验证也不能外推完整模型。
教学例子：答对的回答几乎总获得高过程分，简单求和会重复计分；关注超出通常结果水平的过程改善，才有额外信息。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TCR残差与简单把过程奖加到结果奖有什么不同？
TCR
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：直接相加持续累积两个来源，残差扣去动态结果基线，降低重复贡献。它不是精确统计去相关证明，也不保证过程裁判没有独立偏差。
教学例子：例如结果整体已提升，基线升高会减少同等过程分的额外信用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
TCR本地是否会调用模型生成样本级checklist？
TCR
问答新增：2026-10-27 · 论文未列机构
展开答案与例子
答案：不会，当前候选策略只验证残差过程奖励计算，未包含真实checklist生成与自由文本训练。EMA需按训练顺序更新，不能由测试整体成绩反向设置。
教学例子：例如给定一张手工清单并算奖，不能说明自动清单质量已验证。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
TACO为什么认为正确回答也可能含不该强化的token？
TACO
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：终局正确只验证结论，过程里仍可有偶然或不合理词元。统一正优势会一起提升它们，tail risk用于平滑减弱这些位置的正信用，避免正向污染。
教学例子：例如最终算对但中间夹了错误理由，不应把整段都无差别当范文。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
TACO为什么只降低高tail-risk token的正信用，而不把负信用一起减弱？
TACO
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：正确整句可能夹有不合理的低概率步骤，统一正优势会把它们也强化。TACO平滑削弱这类位置的正信用，同时保留负信用，避免对坏轨迹的抑制也被一并取消。tail risk依赖局部上下文，不是凡低概率就错误，本地也未复现真实token风险预测器。
教学例子：答案碰巧正确，但中间有一次无根据猜测；可减少对猜测的奖励，而当整体失败时，不应顺便免除它的负向反馈。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
TACO对正负优势采取相同缩放吗？
TACO
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：不相同。只降低高风险词元的正信用，非正优势保持，让失败学习信号不因tail风险被削弱。与双向都乘权重的方法有不同目标语义。
教学例子：例如错误回答中的稀有词仍保留原惩罚，不能因风险高反而替它减罚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
本地TACO是否复现了真实上下文tail-risk predictor？
TACO
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：没有，候选动作只验证信用校准方向；逐词元长CoT预测器不在当前实现。权重应在零与一之间且平滑，不可直接把所有低概率位置一刀切删除。
教学例子：例如人工给风险标签能验证分支，但没有证明模型自动识别不合理token。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
INTUITOR不使用外部verifier时，奖励从哪里来？
INTUITOR
问答新增：2026-10-27 · University of California, Berkeley
展开答案与例子
答案：从每个生成前缀的完整下一词分布计算自确定性，再沿回答平均。它是内部学习信号而非正确标签，高置信仍可能稳定地错，需要独立任务评估。
教学例子：例如模型分布很尖但算术结论错，内部奖高不代表验算通过。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
INTUITOR的self-certainty能直接换成负熵吗，KL方向为什么重要？
INTUITOR
问答新增：2026-10-27 · University of California, Berkeley
展开答案与例子
答案：原文self-certainty使用均匀分布到下一词分布的KL，即KL(U||p)，与KL(p||U)或负熵不同，对全词表低概率区域的敏感性也不同。本地采样候选log-ratio是另一种诊断，不能当成原文token级实现。内部置信提供学习线索，不意味着答案已经正确。
教学例子：两个分布最高概率相近，但一个给其他词极小概率；不同KL方向会以不同方式放大这种尾部差异，不能随意互换。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
INTUITOR的内在KL与训练reference KL能合并成一项吗？
INTUITOR
问答新增：2026-10-27 · University of California, Berkeley
展开答案与例子
答案：不能。内在KL从均匀分布到当前下一词分布衡量确定性，reference KL约束策略漂移，参照和作用都不同。把内在奖直接当正则会改变训练目标。
教学例子：例如一项鼓励形成明确分布，另一项限制偏离旧模型，可能方向并不一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
当前intuitor源码是否实现了原文全词表self-certainty？
INTUITOR
问答新增：2026-10-27 · University of California, Berkeley
展开答案与例子
答案：没有。采样候选logp加logN作为奖励，诊断还是相反方向KL(p||U)，缺少逐词元全词表KL(U||p)。历史指标应保留诊断身份，不能因README公式已修就宣称源码升级。
教学例子：例如改正文档方向不会自动改变训练分支，测试候选奖励仍是另一对象。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
SCAR为什么考虑文本span组合的边际贡献？
SCAR: Shapley Credit Assignment for More Efficient RLHF
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：一个片段的价值依赖其他片段是否存在，Shapley对不同组合的增益加权，尝试分配终局奖励。贡献可以为负，不能把所有出现过的片段都视为有益。
教学例子：例如一段解释只有与前提一起出现才有价值，单独评分可能误判其作用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
SCAR为什么保留负Shapley贡献，并只把span信用放在该段末token？
SCAR: Shapley Credit Assignment for More Efficient RLHF
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：某段文字可能降低冻结奖励模型对整体的评分，负贡献是合作价值分解的一部分，截零会破坏总量关系。span末token是其信用落点，与原顺序coalition构造共同定义奖励散布。总奖励等价还有折扣条件，局部精确枚举不能冒充大规模Owen近似或完整RLHF。
教学例子：一个多余段落引入矛盾，加入它使整体价值下降；若把这段负贡献清零，其他段落的信用总和就不再对应原奖励。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
精确Shapley组件与论文SHAP/Owen大流程有什么边界？
SCAR: Shapley Credit Assignment for More Efficient RLHF
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：完整枚举成本指数增长，本地只接受小规模完整值表；原方法还有自适应分段和近似层次结构，不能把小枚举通过当成这些模块已实现。
教学例子：例如三个span可枚举全部组合，长回答几十段就不是同一计算规模。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
SCAR为什么把span credit放在末token，且保留空位顺序？
SCAR: Shapley Credit Assignment for More Efficient RLHF
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：外部RM按原顺序评分，未入选位置填空格；信用按规定落到span末位置。负值不截断，空集合价值为零，总奖守恒只承诺相应γ为一的条件，不能随意推广。
教学例子：例如删掉中间段后把两端拼成新句，会改变原先定义的coalition文本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
Math-Shepherd怎样无需人工逐步标注得到step信号？
Math-Shepherd
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：从某中间步骤多次续写，用最终答案正确的比例估计该状态的可达成功率，再训练过程验证器。标签来自采样和终局校验，不等同人工判断每句话逻辑是否正确。
教学例子：例如一个步骤之后多数续写能解对，可为该前缀提供较高成功估计。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
Math-Shepherd从中间步骤续写成功率造标签，为什么它不是对该步骤正确性的直接人工判定？
Math-Shepherd
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：续写衡量在给定策略和预算下从该前缀继续成功的可能性，受到后续求解能力影响。正确前缀也可能因续写差而得低分，错误前缀还可能被后续纠正。因此自动步骤标签是一种可达性信号，需要与人工正确性区分；金标只属于训练标注或独立评分侧。
教学例子：前两步都正确，模型却总在最后算错；从第二步续写的成功率低，并不能单凭这一点判第二步本身错误。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
续写成功率与步骤本身的绝对正确性有什么差别？
Math-Shepherd
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：后续模型可能修复错误，也可能从正确步骤继续犯错，因此估计混合了当前状态与续写策略能力。它是过程监督线索，不能直接作逻辑证明。
教学例子：例如某步写错但后续常能纠正，较高续写成功不说明该错步应被原样模仿。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
构造Math-Shepherd训练标签时gold能给生成模型看吗？
Math-Shepherd
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：标准答案只供终局校验，不进入续写策略输入；续写从对应前缀真实采样，不能用已知答案直接构造路径。当前本地机制没有完整大模型数据生成与PRM训练规模。
教学例子：例如评分器知道结果为某数，不代表续写提示也能附上这个数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
基础理解
过程监督为什么需要逐步标签而非仅最终结果？
Let's Verify Step by Step
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：终局失败不能定位哪个推理步骤出错，过程标签提供更局部的学习与筛选信号。它需要额外标注或可靠过程评价，不能由最终对错机械复制到所有步骤。
教学例子：例如前两步正确、第三步错，整题失败不应把前两步都标错误。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
核心机制
Process Supervision为什么优先标注不确定步骤，而不只标最终答案是否正确？
Let's Verify Step by Step
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：终局对错无法定位最先出现的错误，逐步标签能给奖励模型更细的监督。主动选择高不确定步骤把标注预算用在当前难分的位置，但不确定性并非错误概率的万能替身。还需控制候选与评测预算，本地机制夹具不代表已重建完整过程标注数据集。
教学例子：一份推导末尾错了，复核重点可放在模型最犹豫的关键变换，而不是重复标注已经非常明确的格式步骤。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
方法对比
主动选择高不确定步骤与随机标注有什么取舍？
Let's Verify Step by Step
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：主动方式希望把预算放到模型最难判断的位置，随机抽样更接近原分布。高不确定不必代表最重要，采样偏差及标签质量仍需考虑，不能单凭熵保证效率。
教学例子：例如一个含糊格式步骤熵高，也未必比关键数学转折更值得人工审查。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
LLM 后训练 / 奖励与信用：正确结果该奖励哪些步骤
实现细节
本地PRM目标里的标签与模型预测概率应怎样隔离？
Let's Verify Step by Step
问答新增：2026-10-27 · OpenAI
展开答案与例子
答案：步骤真标签作为固定监督，PRM概率可微，熵用于允许的选样阶段；不能用测试步骤金标选择训练样本。本地统一候选预算仅验证机制，未复刻完整原数据。
教学例子：例如先看测试哪里标错再重点训练，会把评测答案用于学习。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接