奖励从哪里来，信用才该分到哪里¶
LLM 后训练 · 更新 2026-10-30 · 37 篇主题资料 / 7 篇重点对照
过程标签、最终结果、模型自置信与回溯归因是不同证据。逐步PRM、MRTPO、TACO和MART-GRPO分别做标签获取、奖励定位、正信用降权和失败后缀过滤；INTUITOR则改用内在分布信号，不能把它当外部正确性验证器。 CONCUR另处理奖励维度之间的优先级，把门控辅助优势投影到主奖励保序锥；这不是沿时间轴分配token信用。
机制对照 · 取舍分析 · 跨论文问答 · 更新记录 · 本主题逐篇问答
怎么读这张卡片
重点比较下表代表论文；完整主题目录保留在文末。机制与假设的对照不等于统一 benchmark 的性能排名；教学例子不是论文实测。
机制对照¶
比较维度：证据来源：人工步骤、正确续写比例、verifier、内在分布 · 信用粒度：步骤、token、奖励维度、动作chunk · 修改方式：增加监督、重分配、降权、屏蔽 · 可见时间：生成时信息与事后回看
| 论文与来源 | 机制定位 | 得到了什么，付出什么 |
|---|---|---|
| Let's Verify Step by Step · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
训练逐步PRM并优先标注不确定步骤，直接获得过程质量监督。 | 依赖步骤标注与覆盖；本地候选机制实验不代表原文大规模过程评测。 |
| Math-Shepherd · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
从中间步骤采样续写，以最终答案正确比例构造自动step label。 | 减少人工逐步标签，但标签依赖续写策略与采样预算；本地未复刻原文训练规模。 |
| Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL · 原始来源 章节：背景与主要改动、核心公式、结果、代码映射与边界 |
固定采样策略，在全verifier上下文与留一信息块下重放，用全词表JSD定位各奖励相关token。 | 守住奖励总信用但依赖信息块构造；完整SQL/工具实验成本过高未复现，当前为L1梯度诊断。 |
| TACO · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
按局部tail risk只降低高风险token的正优势，负优势完整保留。 | 防止答对轨迹把局部错误一并强化；本地surprisal代理未复刻原文上下文风险预测器。 |
| When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning · 原始来源 章节：背景与主要改动、核心公式、高成本完整实验 |
事后事件VLM定位最后未恢复错误，过滤失败边界之后的信用，保留原组优势和原分母。 | 回溯边界不自动满足理想stopping-time条件；完整机器人/VLM训练成本过高未复现，A100证据仅验收L1组件。 |
| INTUITOR · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
以逐token全词表KL(U∥policy)的长度平均作为self-certainty内在奖励。 | 不需外部verifier但置信不保证正确；本地仍是相反KL方向的候选诊断，尚未实现定义性奖励。 |
| CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning · 原始来源 章节：背景与主要改动、核心公式、高成本完整实验 |
组内先标准化，再把门控辅助分数作最近保序投影；到顶约束按T/A策略处理，最后整batch白化。 | 主奖励以下的并列不强行相等，投影后不重新标准化；未门控分量仍可能反转排序。完整32GPU训练不复现，本地仅优势估计器。 |
取舍分析¶
自动过程标签不是无条件的步骤真理¶
人工过程监督直接询问某一步是否合理；Math-Shepherd估计的是从这一步继续采样后答对的比例。后者还混入当前续写器能否恢复、能否完成后续推理的信息。INTUITOR更进一步只读模型分布，连最终答案正确性都不是其原生证据；三者的标签含义应先分清，再比较成本。
对照来源：process-supervision · math-shepherd · intuitor
同叫信用过滤，作用对象和守恒量却不同¶
TACO只衰减正优势，避免正确整句污染局部低质量token；MART-GRPO在失败episode中遮去事后错误边界后的信用，原分母不变；MRTPO依据不同奖励信息块重分配正负信用，并控制总量与重分配幅度。它们不能都实现成“删掉可疑token后对剩余token求均值”。
奖励维度优先级与token信用是两种坐标系¶
TACO在同一响应的正优势内部，按token风险降低局部信用，负优势不变。CONCUR则比较同一prompt组中不同响应的主奖励与辅助奖励，修正辅助标准化分数的排序和到顶差异；它不定位哪一个token造成错误。把两者都写成“奖励乘一个小系数”会丢掉CONCUR的最近投影与TACO的正负分流。辅助到顶并列也不是终止梯度训练，而是让该辅助在此组不再单独排序。
跨论文问答¶
先想自己的答案，再展开；每个问题至少联系两篇论文。
Math-Shepherd某一步续写成功率低，等同于人工PRM判定这一步逻辑错误吗？¶
展开答案与例子
答案： 不等同。续写成功率还受后续采样能力和预算影响，正确中间步骤也可能因后续难而低分；人工过程标签则直接评价该步。两种证据可以互补，却不能把自动标签无条件称为逻辑真值，评估时也要隔离训练用标准答案与受测模型输入。
教学例子： 教学例子：前面列式正确，但模型不擅长后面的计算，多次续写都失败；这不能单独证明列式本身错。
对照来源：process-supervision · math-shepherd
TACO与MART-GRPO都想少罚无辜步骤，为什么不能统一成删token后重新平均？¶
展开答案与例子
答案： TACO保留负信用，只降低高风险正信用；MART-GRPO才针对失败后缀置零，并明确保留原有效action-token分母。删后重新平均会放大剩余项，改变目标。MRTPO又要求按奖励相关性保留信用总量，因此统一的“先删再均分”会抹掉三者定义。
教学例子： 教学例子：原轨迹十个token中遮掉后四个，按六而非十归一，会使剩余负项更强；这不是MART原公式。
INTUITOR分布越尖锐，与Math-Shepherd更常续写答对，能视作同一种奖励增加吗？¶
展开答案与例子
答案： 不能。INTUITOR读取KL(U∥policy)，反映全词表分布形状；Math-Shepherd读取最终正确性频率。模型可以自信地错，且把KL方向反过来会得到另一种量。本地INTUITOR尚未实现原方向和逐词全词表计算，不能用其候选指标给两方法排能力名次。
教学例子： 教学例子：模型每次都坚定输出同一个错误数值，分布可很尖锐，但对照标准答案的续写成功率仍为零。
对照来源：intuitor · math-shepherd
CONCUR为何不能直接复用TACO的风险权重，或只把长度奖励权重调小？¶
展开答案与例子
答案： TACO按token风险衰减正信用，解决整条成功回答对局部错误的强化；CONCUR要求主奖励更高的响应不能得到更低的门控辅助分数，并在需要时合并到顶分数。统一缩放辅助仍保留原来可能反转的次序，也不等于最小距离保序投影。
教学例子： 教学示意：两条响应正确性为0.6与0.9，长度标准化分数却为1与-1；都乘0.1不会修复辅助本身的反序，逐token风险又回答不了这两个响应的主次关系。
更新记录¶
新论文带来新路线、改变取舍，或补充现有路线时，都在这里说明。
2026-10-30 · 精读CONCUR的辅助优势保序投影、到顶并列和整batch信任更新，与TACO的token正信用校准分轴比较；记录L1估计器而非32GPU训练能力。
2026-10-27 · 首版：比较人工/自动过程标签、MRTPO奖励定位、TACO正信用、MART失败后缀过滤与INTUITOR内在奖励；已阅36篇摘要，精读6篇。
覆盖 36 篇主题资料；目录见下。
本主题全部 37 篇资料
目录归类覆盖本主题全部资料；重点对照范围以上表为准。
- When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
- MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
- Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
- Learning to Reason with Selective Internal Feedback
- Progress Reward Model for Reinforcement Learning via Large Language Models
- OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
- Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
- KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
- Training Reasoning Models to Generate Diverse Scientific Ideas
- When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
- Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
- SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
- Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
- Token-Level Video Reinforcement Learning
- My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
- CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
- T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
- SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
- PACT: From Credit Assignment to Critic Alignment
- TIAO: Token Importance-Aware Policy Optimization for Text Summarization
- SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
- V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
- SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
- Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
- Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
- RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
- ADRS
- SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
- CoRT
- TCR
- Co-Evolving LLM Evaluators and Policies via DynamicRubric
- TACO
- SCAR: Shapley Credit Assignment for More Efficient RLHF
- INTUITOR
- Math-Shepherd
- Let's Verify Step by Step
- CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning