LLM 后训练：按机构/公司/学校¶

按论文一作的第一署名单位聚合；单位内按首次公开日期倒序排列。每篇论文同时显示一作姓名，并附一至两句中文方法简介。联合工作不会重复归入所有合作单位。

AMAP, Alibaba Group¶

2026-08-24 · 一作：Xianlei Zhou · Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization（erpo）：传统 Policy-KL 直接压回答分布，稳定训练的同时消耗探索预算。ERPO 观察到 RL 过程中模型诱导的问题分布也会漂移，于是把正则放到输入侧：用冻结 reference 的问题似然给 query 静态加权，再以 Query-KL 控制环境分布漂移，不直接对 response score function 施压。

Affiliation not listed in the paper¶

2026-08-27 · 一作：Ivan Kruzhilov · Disentangling Optimization Scale from Preference Scale in DPO（normalized-dpo）：标准 DPO 的 \(\beta\) 同时改变偏好噪声尺度与梯度幅度，导致有效学习率被隐式重缩放。论文用除以 \(\beta\) 的 centered-softplus 保持相同 argmin，同时让梯度尺度在 \(\beta\to0\) 时不消失。

Alibaba / Qwen¶

2026-08-04 · 一作：Wen Wang · SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation（smopd）：先用 reward-priority 分别训练专长教师，再在学生自身轨迹上合并多个教师能力。

Alibaba Cloud Computing¶

2026-10-15 · 一作：Bingxi Hou · Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation（waypoint-opd）：仅 initial/final 的 log-probability 位移不能区分“前后两段同向”与“中途反转”。同一 RL run 的 waypoint 只提供一致性证据，不是新的模仿目标。

Alibaba DAMO Academy¶

2023-04-11 · 一作：Zheng Yuan · RRHF（rrhf）：PPO-RLHF 需要 policy、old policy、reward 和 value 等多模型协同，训练和调参复杂。RRHF 从多个模型或人工答案中采样响应，以 reward 给出完整排序，让模型自身的平均 log-likelihood 顺序与 reward 顺序一致，并对最高质量响应继续做 SFT。

Alibaba Group¶

2026-10-16 · 一作：Yuhan Sun · MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation（multiagent-opd）：层级团队的最终答案能监督Leader，却难以判断Searcher的检索、总结是否真正有效。MultiAgent-OPD先在较简单的Searcher–Answerer流程训练教师，再从相同的基础checkpoint重新开始训练共享参数的Leader–Searcher–Answerer团队。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
2026-10-09 · 一作：Zhentao Zhang · State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents（state-opd）：多轮OPD把旧reasoning和实际环境记录混在教师上下文中，可能继承错误推理。State-OPD只给教师已执行action/observation状态，学生仍保留完整history；在高完整词表熵状态扩采整段reasoning+action，额外action不执行。
2026-10-08 · 一作：Fei Ding · When KL Regularization Misfires in Group Policy Optimization（zcpo）：独立 KL 惩罚可能在奖励相同或奖励梯度取消时继续更新策略。ZCPO 用响应平均的条件 KL 相对漂移，校准组内奖励系数；再将该系数放进原策略 surrogate，不另加独立 KL loss。
2026-10-01 · 一作：Yihua Zhu · My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning（my-fault）：自诊断器提出错误类别与位置，只有经证据验证的 claim 才进入在线 error pricing；学得的相对成本把终局 credit 守恒地重分配到步骤。
2026-09-15 · 一作：Zishuo Zhao · Turn-level Multiscale Density Ratio Estimation for LLM Agents（tlm-dre）：按 turn 分配多尺度权重，并对正负 token 密度比采用非对称更新。
2025-08-15 · 一作：Wenhao Zhang · CHORD（chord）：将 SFT 与 RL 串成两个独立阶段会造成 expert data 的过拟合或过早遗忘。CHORD 把专家 SFT 作为 on-policy RL 中动态退火的辅助目标，并以 token 级不确定性权重平滑从模仿过渡到探索。
2025-08-11 · 一作：Zhenpeng Su · GPPO（gppo）：普通 PPO 在正优势高 ratio、负优势低 ratio 的越界象限直接令梯度为零，可能同时压制探索和从负样本学习。GPPO 保持 PPO 的前向 clipped objective，但通过 stop-gradient 边界权重恢复这些越界位置的反向信号。

Alibaba Qwen Team¶

2025-12-01 · 一作：Chujie Zheng · Stabilizing RL with LLMs（minirl）：分解训推差异与 policy staleness，on-policy 使用 importance correction，off-policy 结合 clipping 与 MoE Routing Replay。
2025-07-24 · 一作：Chujie Zheng · GSPO（gspo）：GRPO/PPO 常逐 token 裁剪 ratio，但 reward 在完整序列级给出；长序列中单个异常 token 会造成大量裁剪，MoE routing 变化还会放大不稳定。GSPO 对每条 response 取平均 log-ratio，再指数化为单一 sequence ratio，整条序列共享 clip 权重。

AllSpark Team¶

2026-09-22 · 一作：Jiayan Fu · PACT: From Credit Assignment to Critic Alignment（pact）：终局奖励只有一个标量，但 actor 要更新每个生成 token。论文在完整性、前缀一致性和中性三个条件下，刻画 token 的理论信用为相邻前缀的条件期望之差。

AllSpark Team（原文以团队署名，未列机构）¶

2026-09-28 · 一作：AllSpark Team · ROSS: Relearning from Self-Generated Rollouts through Selective Supervision（ross）：保留历史 self-rollout 的完整上下文，但只对筛选出的模型 continuation 计算损失，避免模仿其中错误或冗余步骤。

Amazon / Duke University¶

2026-09-03 · 一作：Zhishuai Liu · Extremely Sparse Supervision Incentivizes Reasoning Ability（sparse-opd）：常规 on-policy distillation 对生成轨迹的每个 token 使用教师分布。论文发现只挑一到两个关键位置、约占全部 token 的 0.05%，也能达到或超过全 token 训练。

Anhui Province Key Laboratory of Digital Security¶

2026-10-13 · 一作：Wei Fan · LoOPSD: On-Policy Self-Distillation with Looped Teachers（loopsd）：在线自蒸馏需要比学生更有用的教师，但更大外部模型或额外答案上下文并非唯一来源。LoOPSD在不改权重时搜索重复层区间来构造教师，用学生自产前缀进行蒸馏，再从更新后的学生重新搜索下一轮教师。 成本过高，暂不复现；待验收，未注册可执行入口。

Ant Group¶

2025-12-16 · 一作：Jian Hu · Online IcePop（online-icepop）：普通 IcePop 同时面对训练/rollout 引擎差异和一次 rollout 被多次更新造成的策略陈旧。Online IcePop 强制每个 rollout batch 只更新一次，使 stale-policy ratio 恒为 1，从目标中移除 PPO ratio 与 clip；训练侧仍用 IcePop 双侧 mask 和区间内原始 ratio 校正引擎失配。
2025-10-21 · 一作：Ling Team · IcePop（icepop）：MoE router 会放大训练引擎与 rollout 引擎的微小数值差异，单侧 TIS 仍可能保留严重偏小的失配 ratio。IcePop 对训练侧与 rollout 引擎的 token 概率比设置固定双侧区间；区间内保留原始校正权重，区间外 token 的本次策略梯度直接归零。

Anthropic¶

2022-12-15 · 一作：Yuntao Bai · Constitutional AI（constitutional-ai）：人工逐条标注有害回答成本高，而且价值规范不透明。论文把人类监督压缩成一组自然语言原则：第一阶段让模型依据原则批评并重写自己的回答，再对修订回答做 SFT；第二阶段让 AI 比较回答、训练 preference model，并以该奖励执行 RLAIF。

Apple¶

2025-06-30 · 一作：Bo Liu · SPIRAL（spiral）：同一模型扮演出题者和解题者，在可自动判定的零和多轮语言游戏中形成逐步变难的课程。

Arizona State University / University of Virginia / Stevens Institute of Technology¶

2026-09-15 · 一作：Chenhao Qiu · OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation（opd-aha）：用真实视觉与空视觉教师分布之差重建视觉偏好目标，抑制错误语言前缀的惯性。

Authors did not disclose affiliation¶

2026-08-19 · 一作：Chen Yang · Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress（r2-opd）：分别按教师奖励和独立进展奖励排序 reasoning spans，冲突时屏蔽蒸馏信号。
2026-08-04 · 一作：Jian Zhang · CausalOPD: First-Wrong-Step Supervision for Distilling Causal Chain Reasoning（causal-opd）：教师定位 on-policy 因果链第一个错误步骤，以短 horizon RL 修复，并按证据→机制→结论推进课程。
2026-07-30 · 一作：Xingjian Wu · Contrastive Reinforced Policy Optimization via Privileged Self-Distillation（crpo）：按预测熵区分反思探索正位置和 exposure-bias 负位置，对 privileged self-distillation 做组内对比。
2026-07-29 · 一作：Jianze Wang · SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning（serpo）：让 Good–Normal–Bad 响应档案、query-specific rubrics 和 actor 策略形成三方闭环自进化。

Baidu Inc.¶

2026-10-19 · 一作：Shiao Xie · Reinforcement Learning with Visually Attributable On-Policy Self-Distillation（visually-attributable-opd）：特权图像裁剪带来的 teacher 修正，可能混有语言先验或风格变化。VAG 让同一 EMA 教师对证据保留裁剪和随机遮挡裁剪重放相同学生前缀，只接纳与视觉对比方向一致的修正，再以有界项调制 verifier 的组归一化 advantage。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

Beihang University¶

2026-10-15 · 一作：Xiuhui Zhang · Progress Reward Model for Reinforcement Learning via Large Language Models（progress-reward）：稀疏成功信号难以指导长程机器人控制。PRM4RL 让 LLM 给出子任务、当前子任务判定函数 \(\Psi\) 与进度势函数 \(\Phi\)；将子任务语义作为状态先验，将相邻状态进度差作为低层 RL 的密集 reward。

Beijing Institute of Technology¶

2026-05-13 · 一作：Feng Zhang · ConSPO（conspo）：将同组序列的优劣关系写成长度归一化 InfoNCE，避免 token 求和造成长度和组内尺度偏差。

ByteDance Seed¶

2025-04-07 · 一作：Yu Yue · VAPO（vapo）：长 CoT 的 value-based PPO 易受 critic bias、异质 response 长度和稀疏奖励影响。VAPO 预训练 value model，并依 response 长度调节 actor 的 GAE/更新策略，以更稳定地进行 value-based 推理 RL。
2025-03-18 · 一作：Qiying Yu · DAPO（dapo）：长 CoT 的在线 RL 容易被标准对称 clip 限制探索，且全对/全错的组没有学习信号。DAPO 用 Clip-Higher 放宽概率上升、Dynamic Sampling 丢弃零方差组、token-level loss 公平处理不同长度，并对过长回答分段惩罚。

ByteDance internship¶

2026-07-28 · 一作：Bo-Wen Zhang · CoRT（cort）：对同一响应分别在带 rubric 和去 criteria 的上下文中重放，用 token 似然差重分配 GRPO 的响应级 advantage。

Carnegie Mellon University¶

2026-10-27 · 一作：Jixuan Leng · CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning（concur）：多奖励RL常让主奖励决定辅助奖励是否生效，但逐分量标准化会破坏原先优先级：辅助分量可能反转主奖励的排序；所有响应都已正确时，微小长度差异也可能独自决定更新。CONCUR不重写奖励或调低全局权重，而是在每个prompt组内把门控辅助优势投影到与主奖励相容的最近分数。
2026-04-17 · 一作：Jixuan Leng · GroupDPO: Memory-Efficient Group-Wise Direct Preference Optimization（group-dpo）：GroupDPO 先无梯度计算所有响应在当前参数点的全组导数，再固定这些系数逐响应微批次反传，保留完整组目标的一阶梯度。它支持一条提示的多个正负响应，避免为计算组目标而同时保留整组模型激活；不保证替身损失值或二阶导数等价。

Chongqing University¶

2026-09-10 · 一作：Bincheng Gu · Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning（tasco）：冻结主模型，优化轻量 prefix；除置信度外还惩罚邻域扰动下的不稳定，从而避免自信但错误的轨迹。

City University of Hong Kong¶

2026-10-22 · 一作：Xuyang Zhong · MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback（moer）：既有混合策略训练直接加入完整专家解法，可能削弱探索；专家前缀引导虽允许学生续写，却可能把错误续写继续作为监督。MOER 逐步缩短专家 CoT 前缀：成功则保留前缀加续写，失败则回滚到已有的完整、已验证专家轨迹。

Cohere For AI¶

2024-02-22 · 一作：Arash Ahmadian · RLOO（rloo）：PPO 为一般长时域 RL 设计，价值网络、GAE 和多轮 clipping 给 LLM RLHF 带来较大显存与调参开销。RLOO 把一整段 response 视作一个 action；同一 prompt 采样多个 response，用其余样本的平均 reward 作为当前样本 baseline。

Contextual AI¶

2024-02-02 · 一作：Kawin Ethayarajh · KTO（kto）：DPO 需要成对偏好，而生产反馈常只有点赞、点踩或是否接受。KTO 将单样本反馈映射为 desirable / undesirable utility，并用 policy 与 reference 的 KL 期望作为“参照点”；两类样本可独立采集，也允许类别不平衡。

Cornell University¶

2026-10-16 · 一作：Wen-Zhi Li · Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay（tar-adaptive-replay）：有限on-policy采样可能逐步压低同样正确但较少出现的推理模式；仅在当前rollout上重加权，难以恢复已经采不到的模式。TAR先从基础策略大量生成，过滤正确回答，再保留分散的原型轨迹。
2026-10-15 · 一作：Zhengxin Zhang · Does On-Policy Distillation Need to Complete Every Rollout?（stopd）：每条响应在生成之前独立采样 anchor，向上取整到 block 末尾，学生只生成到该 cutoff 或自然 EOS。保留的每个 token 都接收教师监督，并按其精确 inclusion probability 加权；自然 EOS 也是普通有效 token。

Dalian Maritime University¶

2026-10-09 · 一作：Ronghan Li · A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO（grpo-difficulty-curriculum）：difficulty随当前policy变化，样本可能反复进出难度带。论文比较静态easy-to-hard、在线fixed-medium和B1→B5课程，进一步升到B5会退化。

Dalian University of Technology / Kuaishou¶

2026-09-29 · 一作：Youling Huang · Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL（gats）：用教师训练尾部成功率作为固定参考，以学生滞后一拍的移动平均估计能力差距；OPD 权重随差距线性下降，学生达到教师参考后永久关闭教师分支，继续只做 GRPO。

DeepSeek-AI¶

2024-02-05 · 一作：Zhihong Shao · DeepSeekMath / GRPO（grpo）：PPO 的 value model 与 policy 同规模，数学推理 RL 训练显存昂贵。GRPO 对同一问题采样一组 response，以组内 reward 均值和标准差构造 advantage，删除 critic；策略部分仍使用 old policy ratio、clipping 与 reference KL。

East China Normal University¶

2026-10-08 · 一作：Zipeng Wang · MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation（meta-opd）：轻量权重网络根据师生预测学习 token 监督权重。它通过一次可微虚拟学生更新后的参考解损失获得元梯度，再使用新权重执行真实学生更新。

Eastern Institute of Technology, Ningbo / The Hong Kong Polytechnic University¶

2026-10-08 · 一作：Anhao Zhao · DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation（dial-opd）：用概率的对数均值调节教师—学生对数差异，降低两者都不认可的低概率 token 的监督优先级。按每条响应选取高分位置，未选位置仍保留为上下文。

FAIR at Meta / Inria¶

2026-07-28 · 一作：Pierre Chambon · Reinforcement Learning for Code Optimization（code-optimization-rl）：代码正确不等于运行快；直接加入耗时奖励会被小测试、共享worker负载和稀疏优势淹没。作者构造DMC-Optim，用独立服务校准时长，再组合正确性、优化测试和人类参考百分位。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

Fudan University¶

2026-08-27 · 一作：Siye Wu · Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms（rlvr-fusion）：论文统一比较三种复用产物不同的跨域能力融合：Merge 合并专家 task vector，Mix RL 合并训练数据，MOPD 同时复用专家和数据。平均差距不超过 1.4 points，但单项可达 8.6 points，因此选择取决于专家、数据和成本条件。

Georgia Institute of Technology¶

2026-09-30 · 一作：Xinchen Du · SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning（sharpo）：用同组成功轨迹作为自蒸馏 teacher context，在环境交互 segment 内计算 teacher-student log-prob gap，并有界缩放 GRPO advantage。
2026-09-29 · 一作：Zhiqi Li · FlowMap-OPD: Rollout-Kernel Separation for On-Policy Distillation of Few-Step Flow-Map Generators（flowmap-opd）：把生成状态的 rollout 分布与 teacher/student 比较 kernel 解耦：rollout 只负责提供具有正确边缘分布的状态，优化 kernel 在这些冻结状态上比较 flow map、诱导速度或瞬时速度。

Google¶

2026-10-23 · 一作：Leon Sick · On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models（opst）：通常的 on-policy self-distillation 仍需要人工问题集。OPST 按主题自生成问题和特权解题线索，经独立重答、改写与学生难度门过滤，再由额外看到线索的 EMA 教师在学生实际生成的前缀上提供分布监督，而不是要求学生直接模仿生成器表述。
2026-02-24 · 一作：Sanket Badhe · Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning（prompt-level-distillation）：PLD 不微调学生参数，而把教师推理抽象为可审查的系统指令：先用带标签训练样本提取微规则，经语义向量 DBSCAN 去掉噪声、合成规则，再根据训练错误修订冲突。学生最终使用整理后的规则，不读取每个测试样本的答案。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
2025-09-30 · 一作：Zhuohang Li · Judging with Confidence: Calibrating Autoraters to Preference Distributions（probabilistic-autorater）：Sec.3 Eq.1–2 piecewise奖励和实验用epsilon=.001可精确实现。解析成功必须在[0,1]；失败Brier=0、Log=log(epsilon)。
2025-09-30 · 一作：Wenda Xu · When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation（benchmark-self-bias）：Sec.2 Eq.1使用[segment,target,benchmark-role]的逐segment排名，先按segment平均，再diag−leave-self-out peers。原始分数方向必须明确，MetricX-QE越低越好。

Google DeepMind¶

2023-10-18 · 一作：Mohammad Gheshlaghi Azar · IPO（ipo）：论文指出 RLHF 与 DPO 都依赖将成对偏好转成标量 reward 的假设，并提出直接在偏好概率上优化的 \(\Psi\)PO 框架。取恒等映射得到 IPO：拟合一个有限的目标间隔，而不是像 logistic loss 一样在训练集可分时持续放大 chosen/rejected 间隔。
2023-06-23 · 一作：Rishabh Agarwal · GKD（gkd）：固定教师轨迹会让学生训练时看到的前缀与推理时自身生成的前缀不一致。GKD 让学生生成当前策略轨迹，再让教师在这些学生实际访问的状态给出完整分布；同时用 student data fraction 在固定数据和 on-policy 数据之间插值，并允许 forward KL、reverse KL 或广义 JSD。
2023-05-17 · 一作：Yao Zhao · SLiC-HF（slic-hf）：PPO-RLHF 需要策略、reward 和 value 等多套模型。SLiC-HF 直接要求偏好回答的序列 log-likelihood 高于拒绝回答，并用监督目标限制策略漂移；也能消费为其他模型采集的 off-policy 偏好数据。

Google Research¶

2026-03-17 · 一作：Lucas Bandarkar · Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts（cross-script-knowledge-transfer）：Sec.4–6与Appendix A/H：观察性回归、训练专用entity提示干预和真实LoRA是定义性路径。不能把正则音译、手工插提示或小分类器当成其LLM知识检索机制。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
2023-09-01 · 一作：Harrison Lee · RLAIF（rlaif）：AI labeler 对候选做顺序交换评判，去除位置偏差后训练 preference policy；本地落实双顺序标签与成对更新。

Google Research / Courant Institute of Mathematical Sciences¶

2026-04-30 · 一作：Mehryar Mohri · Mind the Gap: Structure-Aware Consistency in Preference Learning（sa-dpo）：对语义几乎相同的回答强求固定偏好间隔，会制造难以满足的约束。SA-DPO 将间隔改为回答距离的函数，保留相对参考策略的隐式奖励差；同时研究 margin、模型容量与 surrogate 尾部的一致性关系，而非单纯调整 DPO 的学习率。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

HKUST¶

2023-04-13 · 一作：Hanze Dong · RAFT（raft）：PPO 的在线更新不稳定，而在固定 SFT 数据上训练又无法持续利用变好的策略。RAFT 每轮从当前模型生成多个响应，用 reward model 排序并丢弃低质量样本，只对选中的高质量响应执行普通 maximum-likelihood fine-tuning，然后用新策略进入下一轮。

Harbin Engineering University / Tencent / Harbin Institute of Technology¶

2026-10-08 · 一作：Xiaobing Chen · Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards（residual-advantage）：把全词表师生概率残差变成相对学生的有界局部优势，再逐响应中心化，与验证器优势相加。Co-RA 在同一已评分学生批次上更新教师 LoRA，下一轮才使用新教师。

Harbin Institute of Technology (Shenzhen)¶

2026-10-08 · 一作：Hexuan Deng · GRPODropout: Less is More for Online Reinforcement Learning Rollouts（grpo-dropout）：从同一 prompt 的 GRPO 响应组中筛除部分高概率、正优势响应，并用旧策略概率重新中心化保留响应的优势。不是随机 dropout，也不改变生成预算。

Huawei Noah’s Ark Lab¶

2026-09-29 · 一作：Matthieu Zimmer · The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning（weakest-link）：把教师对学生采样 token 的负对数概率当作成本，约束每个生成前缀的平均成本。一旦某个前缀越界，后续进入吸收惩罚状态，防止“先生成坏推理、再靠容易 token 拉低平均成本”；同时把即时奖励的全词表期望精确求导，降低只采样当前动作的方差。

ILLC, University of Amsterdam¶

2026-07-27 · 一作：Ivo Verhoeven · What do Reward Models Memorize?（rm-memorization-protocol）：Sec.3 Eq.1–2：对每个真实run的reward差先sigmoid，再分别对训练内20次和留出5次求均值，CM=TM−TG。必须按用户划分，不能同用户不同偏好对跨train/test。

Independent Researcher¶

2026-08-10 · 一作：Zhuo Sun · SR-OPSD: Self-Referenced On-Policy Self-Distillation（sr-opsd）：把自教师与 reference 做几何插值得到有效目标，再用 Rényi divergence 控制投影几何和密度比敏感度。

Independent researchers¶

2025-01-04 · 一作：Jian Hu · REINFORCE++（reinforce-plus）：GRPO/RLOO 的 prompt-local 标准差会让不同难度组被随机方差重新加权。REINFORCE++ 保留组内中心化，但使用跨 batch 的全局优势尺度归一化，从而在不引入 critic 的前提下降低方差与局部偏置。

Institute of Automation, Chinese Academy of Sciences¶

2026-10-15 · 一作：Xun Lu · Learning to Reason with Selective Internal Feedback（sif）：平均 self-certainty 可以随错误置信一起增长。SIF 不把它当正确性标签，而是比较同一 prompt 内响应的排序 certainty profile：先按窗口比较投票，再按击败 peer 的比例给二元 reward，过滤不具资格的响应和同 reward 组。

Institute of Automation, Chinese Academy of Sciences / Tencent¶

2026-09-12 · 一作：Gengsheng Li · Data-free On-policy Distillation（df-opd）：由教师在自身策略空间生成问题，减少对外部后训练语料的依赖。本地实现保留决定性状态转换，并输出统一预算下可审计的中间量。

Institute of Information Engineering, Chinese Academy of Sciences¶

2026-09-09 · 一作：Naibin Gu · CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts（compass-opd）：异构教师与学生的绝对概率刻度不可直接比较。CompassOPD 用教师相对其 reference 的后训练变化作“指南针”，并在模型族内中心化，保留方向而消除不同模型族的整体偏置。

Johns Hopkins University¶

2026-07-08 · 一作：Xiuyi Lou · TACO（taco）：整条回答正确时，统一的正 advantage 会把内部不合理的低概率 token 一起强化，形成 positive-credit contamination。TACO 依据局部上下文计算 tail risk，并仅平滑降低高 risk token 的正信用，负信用仍完整保留。

KAIST¶

2026-10-09 · 一作：Jiwon Jeon · Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction（upturn）：冻结reasoner和小causal encoder，只学习paragraph boundary处的MLP cut policy。真实失败rollout在不同cut被冻结reasoner重新生成，给rescue奖励。
2026-09-29 · 一作：Youngjun Jun · DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies（drift-opd）：把序列级 reverse-KL 拆成当前 chunk 的一步 reverse-KL 与刻画长期动作后果的 future potential；critic 从离线 demonstrations 学习。
2026-09-29 · 一作：Doohyuk Jang · Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR（graft）：当 receiver 的 rollout group 全错、peer 在同题同时有成功和失败轨迹时，GRAFT 用完整 peer group 替换无信号组并保留 peer 内部 advantage。跨 tokenizer 的策略错配通过序列平均 log-likelihood compatibility 加权，再用 token importance ratio clipping 限制更新。
2026-09-29 · 一作：Jaeyun Shin · LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation（lego-opd）：把语言专家作为 token prior，把 grounding 专家只作为视觉 likelihood，以乘积专家形式组成 OPD teacher，避免连同 VLM 语言偏差一起蒸馏。
2024-03-12 · 一作：Jiwoo Hong · ORPO（orpo）：常见对齐流程先 SFT、再用 reference-relative 偏好目标训练。ORPO 把 chosen response 的 NLL 与 chosen/rejected 的 odds-ratio penalty 合成一个目标；概率接近 0 或 1 时，odds 会提供比普通概率差更敏感的对比信号。

KAIST AI¶

2026-09-08 · 一作：Youngrok Park · Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation（oprd）：OPRD 不直接模仿弱教师答案，而是先测量弱教师经过后训练后的 logit 变化方向，再沿这个方向增强强模型的可验证奖励梯度；核心假设是“学习方向”比弱模型最终能力更容易迁移。

KAIST AI / LG AI Research¶

2026-10-09 · 一作：Woosung Koh · Continually Post-training Small Models via Synthetic Self-distillation（synthself）：小模型self-rewrite可能失真，直接SFT又可能偏离base分布。SynthSelf用更大的同家族aligner把train demonstration贪心离线改写，通过答案拒绝采样后SFT。

Korea University¶

2026-10-19 · 一作：Suwan Yoon · Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization（apsd）：反馈条件自教师可能破坏正确rollout里学生已经成功的偏好，却又对错误rollout纠正不足。APSD依据正确性调整蒸馏target：正确时在学生和自教师之间插值，错误时越过自教师外推。
2026-08-12 · 一作：Byungoh Ko · Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization（c2-dpo）：普通 DPO 即使输入相关图像上下文，也可能主要依赖语言先验。论文先定义 CPG，度量加入上下文后 chosen/rejected preference margin 增加多少；C²-DPO 直接扩大该增益，同时保留原偏好顺序。

LeapLab, Tsinghua University¶

2026-08-25 · 一作：Wenze Lin · OPDVR: On-Policy Distillation with Verifiable Rewards（opdvr）：Sampled-token OPD 的隐式奖励由教师/学生概率比决定，可能给正确轨迹负奖励、给错误轨迹正奖励。OPDVR 不再额外混合一个 RL loss，而是直接用 verifier correctness 对该隐式奖励做单侧 ReLU：正确轨迹只保留非负教师信号，错误轨迹只保留非正信号。

Leiden University¶

2026-10-22 · 一作：Jujia Zhao · UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents（userarena-optd）：逐步动作命中率不能说明用户模拟器能否保持跨会话偏好，更不能说明模拟出来的推荐政策差异是否接近真实生产A/B。UserArena把细粒度页面、动作和跨会话记录统一成13种动作环境，分Replay与Rollout评估五层保真度：可执行性、局部行为、轨迹动态、个体群体差异和最终结果。

Ling / Ring Team¶

2026-06-13 · 一作：Ang Li · KPop（kpop）：异步 rollout 中的 serving 概率与训练侧概率失配，固定 ratio mask 会误删正常探索或保留错误梯度。KPop 将当前 token 与“其余词表”压缩为二元分布，只有正反两个方向的 binary KL 都低于阈值时才保留该 token 的更新。

LinkedIn¶

2026-05-12 · 一作：Hejian Sang · Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training（sparse-to-dense-reward-principle）：Sec.2–3四阶段工作流和等标签预算经验对照是本论文核心；FKL在teacher occupancy、OPD在student occupancy，教师冻结且需共享tokenizer。库中已有GRPO/OPD/KL算子不等于本文完整流程；不重复包装通用KL或把四个状态标签称为复现。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

MIT HAN Lab¶

2026-04-14 · 一作：Yecheng Wu · Lightning OPD（lightning-opd）：传统在线蒸馏在每一步训练都调用教师，吞吐和成本受教师推理限制。Lightning OPD 先让学生在 SFT 数据上产生 on-policy rollout，再由同一个教师一次性计算 token 分布并缓存。

Massachusetts Institute of Technology¶

2025-07-22 · 一作：Mehul Damani · Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty（rlcr）：普通 binary reward 只奖励答对，容易鼓励模型无差别地自信。RLCR 让模型同时输出预测与置信度，并把 bounded proper scoring rule 加入奖励，使诚实概率具有最优激励。

McGill University¶

2025-05-26 · 一作：Meng Cao · SCAR: Shapley Credit Assignment for More Efficient RLHF（scar-shapley-credit）：原文Sec.3.2–3.4 Eq.3–6：外部冻结RM对原顺序、未入选位置填空格的文本coalition评分，v(empty)=0；Shapley必须保留负贡献，span credit只给该span末token。完整论文用自适应分段和SHAP/Owen近似。

Meituan¶

2026-02-05 · 一作：Fanfan Liu · LUSPO（luspo）：论文从目标函数分解解释不同 RLVR 算法为何产生不同的响应长度轨迹，并指出 GSPO 的 sequence ratio 仍含长度偏置。LUSPO 对 sequence log-probability 作长度无偏归一化，避免训练中的长度坍塌。

Meta AI¶

2026-07-21 · 一作：Priyank Agrawal · Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information（off-context-grpo）：困难题上 vanilla GRPO 常因整组 rollout 都失败而没有有效优势信号。Off-Context GRPO 只在采样时向 behavior policy 提供解题草稿或提示等 privileged information，提高成功轨迹出现率；优化目标仍是原始无提示 policy，并用 importance ratio 校正两种采样分布的偏差，因此推理时不需要特权上下文。
2024-01-18 · 一作：Weizhe Yuan · Self-Rewarding LM（self-rewarding）：每轮由当前模型生成候选并以 LLM-as-a-Judge 打分，形成新的偏好对继续 DPO，构成自举闭环。

Meta AI / University of California, Riverside¶

2026-09-25 · 一作：Shangjian Yin · Recursive Self-Improvement via On-Policy Distillation for Reasoning（recursive-opsd）：传统 OPSD 让学生只看题目、冻结的特权教师额外看标准解，在学生自己的输出前缀上做逐 token 蒸馏。教师停留在初始权重时，后续学生学到的回看和纠错行为无法反哺教师。

Meta Superintelligence Labs¶

2026-10-21 · 一作：Wen Ye · Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning（minimal-edit-opd）：ME-OPD 用训练专属描述与参考解法，让教师为错误的学生回答打分，只纠正教师不支持的 token；正确回答只走任务奖励，避免整段模仿。它针对小型视觉语言模型误读斜边、标签或几何关系的问题，保留原回答中无需修改的推导与措辞。
2026-09-12 · 一作：Sourabh Kulkarni · MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning（mad-rl）：逐条最大化正确性奖励可能令输出类别坍缩；MaD-RL为输出的类别频率拟合指定分布，而非仅提高token熵。它将组内频率与目标类别分布构造的L2、forward-KL、reverse-KL或JSD奖励，与任务正确性结合后用于GRPO。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

Meta Superintelligence Labs / University of Wisconsin–Madison¶

2026-10-01 · 一作：Changdae Oh · Sharpening Tax in Post-Training（sharpening-tax）：比较 base 与后训练策略在固定采样预算下的任务覆盖；再用 posterior-tempered group sampling 按估计难度调温，兼顾 pass@1 与覆盖率。

Microsoft Research¶

2026-02-12 · 一作：Tianzhu Ye · OPCD（opcd）：提示词、检索文档和历史经验在上下文清空后会消失。OPCD 让无上下文学生生成轨迹，再由带经验或系统提示的教师沿同一轨迹打分，以 reverse KL 把高概率行为内化到学生参数中。

MiniMax¶

2025-06-16 · 一作：MiniMax · CISPO / MiniMax-M1（cispo）：固定 rollout policy 采样，token 级计算 importance ratio，只裁剪比率以保留优势方向和有效梯度。

Moore Threads AI¶

2026-10-01 · 一作：Yafei Zhang · CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning（carm）：对每个 token 的 current/rollout log-ratio 先取绝对值再平均，避免正负漂移在序列级几何均值中抵消。

NAVER AI Lab¶

2026-08-06 · 一作：Byeongho Heo · On-Policy Delta Distillation for Multilingual Math Reasoning（opd2）：以 post-trained teacher 相对其 base model 的概率增量作为蒸馏信号，减少复制教师原有偏差。

NVIDIA¶

2026-10-20 · 一作：Mingyu Yang · CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer（csd）：师生词表大小、token ID 与分词边界不一致，不能直接逐坐标 KL。CSD 先按原文字符区间对齐 chunk，再通过 解码文本等价 构造共同事件。
2023-10-09 · 一作：Yi Dong · SteerLM（steerlm）：传统 RLHF 把多维偏好压成一个 reward，用户推理时也不能改变目标。SteerLM 先用 attribute prediction model 为回答标注 helpfulness、quality 等属性，再把属性和值拼入条件做普通 SFT，推理时由用户指定目标属性。

Nanjing University¶

2026-10-20 · 一作：Guangyu Liu · Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation（ap-opd）：同样高的 OPD 惩罚可能是持续稳定的，也可能刚刚突增。AP-OPD 用相邻 token 块定位后一种情况，再把突增后整块监督按一个比率回拉；不增加教师 forward，不改变 token 系数的正负。
2026-10-15 · 一作：Yucheng Li · OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering（opcredit）：整条轨迹失败不代表每一步都无用，成功轨迹也可能绕路。OpCredit 的 BOC 从普通 rollout 中复用分支结果：同题、同活动实体，再匹配访问集合、剩余预算和决策阶段；FTC 则衡量该操作局部前沿相对答案邻域的进退。
2026-09-30 · 一作：Bo-Wen Zhang · T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning（t2spo）：用历史成功轨迹中的剩余步数训练上下文内距离估计器，预测每个状态距离成功还多远；把相邻状态的距离改善转为步骤优势，与轨迹级奖励共同优化。冻结 TabPFN 避免额外训练 critic，失败轨迹不被误标成接近成功的正样本。
2026-08-06 · 一作：Zhiyan Hou · DASH（dash）：普通 OPSD 对每个 token 独立匹配 privileged teacher，难把后续可靠推理对前面决策的信用传回去。DASH 由局部 teacher/student divergence 产生停止梯度 gate，再从后向前递推聚合权重；不增加 teacher forward pass，却获得自适应 distillation horizon。
2026-08-06 · 一作：Xinye Wang · RP-OPSD（rp-opsd）：跨语言迁移中，表面措辞与真正改变推理状态的 pivot 不应同权。RP-OPSD 比较带英文参考解与去掉参考解的匹配教师视图，用分布位移定位 pivot，再在这些位置强化 privileged distillation 并保留 reference anchor。

Nanjing University / JD.com¶

2026-10-09 · 一作：Shi-Yu Tian · Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation（road-mopd）：多域只路由各自教师，不能防止共享参数更新损害其他能力。Road 用未路由教师在当前目标域的同一学生轨迹上给出兼容性证据，调节 token credit，再求真实辅助梯度，投影目标梯度但保留其范数下限。

Nankai University¶

2026-07-19 · 一作：Chen Wang · Distilled RL（distilled-rl）：传统 RL 只有序列级奖励，OPD 又会无条件模仿教师。Distilled RL 把教师/学生反向概率比作为 token 级奖励重权重，只在正优势样本上启用教师，并以序列几何均值消除长度尺度偏差。

Nanyang Technological University¶

2026-09-29 · 一作：Yuhao Wang · From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation（maestro-opd）：MAESTRO 用教师 top-k 覆盖度和 Bhattacharyya 相似度构造逐 token Policy Disagreement Score，并对靠近响应起点的位置加权；教师只在高分歧位置介入，减少整段 teacher rollout 的固定开销。
2026-09-08 · 一作：Jiacheng Xu · Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation（probe-erpo）：论文用不依赖最终答案的 probe consistency ratio（PCR）估计当前题目的可信度：高一致样本可强化，低一致样本对排名靠后的候选施加负向约束，同时用熵项控制探索。
2026-08-27 · 一作：Ziyue Wang · Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models（video-opsd）：学生读取完整视频，训练期自教师只读取人工标注的证据帧；再按 token 对证据的依赖度加权蒸馏。论文称效果接近 GRPO，而训练时间减少约 60%。

National University of Defense Technology¶

2026-09-15 · 一作：Qixiu Li · TIAO: Token Importance-Aware Policy Optimization for Text Summarization（tiao）：通过遮蔽源文档前后的 token 概率变化估计依赖性，同时重塑轨迹优势并聚焦重要 token 更新。

National University of Science and Technology POLITEHNICA Bucharest¶

2026-10-01 · 一作：Andreea Dutulescu · GAW-PO: Preference Optimization with Gradient-Aligned Token Weights（gaw-po）：用拒绝 token 梯度与 preferred update direction 的对齐度调节负权重；越支持优选行为的 token 越少受罚。

National University of Singapore¶

2026-10-01 · 一作：Shiu-Hong Kao · RLCPR: Rethinking Probability-Based Reinforcement Learning From Posterior Concentration（rlcpr）：概率奖励在同组推理后验接近时难以区分冗长推理；RLCPR 只对“全组都长、答案后验又集中”的组施加相对长度惩罚。另用直接作答时的 token 平均熵把数据分层，让保留分布偏向低不确定样本。
2026-09-16 · 一作：Yihao Ai · Trajectory Learnability for Offline On-Policy Distillation（trajectory-learnability）：用成功轨迹训练参考模型，以参考与当前策略逐 token 对数似然变化衡量可学性，并据此重加权离线 OPD 轨迹。

National University of Singapore / Nanjing University¶

2026-10-09 · 一作：Suorong Yang · Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training（progressive-contraction）：正确teacher CoT也可能经过多种正确/错误后续的reasoning fork。论文对真实prefix做Monte Carlo continuation，按branch不确定性先收缩teacher pool，再经真实student probing epoch按当前NLL选top-M并重路由。

New York University¶

2026-10-15 · 一作：Manya Wadhwa · Training Reasoning Models to Generate Diverse Scientific Ideas（diverge-ideation）：独立采样多个高分想法可能反复得到同一个方向。论文让模型在一次生成中写出整组想法，每个新想法都能看到前面写过的内容，再按整组质量和相互差异训练。
2026-10-08 · 一作：Yuhan Liu · Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model–Skill Co-Evolution（sguid）：语义相关不代表技能真正能够教会模型。SGUID 先从当前模型的已验证训练轨迹生成候选技能，再观察技能在蒸馏早期、晚期是否持续提供与验证器一致的信号。

North South University¶

2026-09-29 · 一作：Md. Ismail Hossain · Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning（oasis-opsd）：OASIS 把“在哪里监督”和“teacher 看什么 context”解耦：从同一题的 on-policy rollouts 中选最短的已验证轨迹作为 scaffold；teacher context 优先使用另一条未验证尝试；没有 verified rollout 的题不产生训练信号。这样只需要最终答案 verifier，而不需要 gold solution。

Northeastern University¶

2026-08-06 · 一作：Chenglong Wang · RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction（rrc）：主题：生成式奖励模型。 生成式 RM 擅长相对比较，却被传统 RL 强制压成独立标量。

OpenAI¶

2023-05-31 · 一作：Hunter Lightman · Let's Verify Step by Step（process-supervision）：逐步奖励模型判断每个推理步骤，并优先标注不确定步骤；本地与 outcome-only 奖励使用同一候选和预算。
2022-03-04 · 一作：Long Ouyang · InstructGPT / PPO-RLHF（ppo-rlhf）：只扩大语言模型不能保证更符合用户意图。InstructGPT 建立了经典三阶段流程：先用标注员示范做 SFT，再用成对排序训练 reward model，最后用 PPO 优化策略，同时以 KL 惩罚限制策略偏离 SFT/reference model。

PRIME-RL author team¶

2025-04-22 · 一作：Yuxin Zuo · TTRL（ttrl）：同一测试题多次采样，以多数一致答案作为伪标签并即时更新模型，不访问 gold label。

Peking University¶

2026-10-14 · 一作：Tiantian Peng · Divergence-Routed On-Policy Distillation for Language Models（divergence-routed-opd）：DrOPD 在学生自己生成的轨迹上比较师生分布，以 JS 散度识别教师支持而学生严重欠覆盖的位置。它在所有位置保留 reverse-KL，并仅向高分歧位置增加 forward-KL 的纠正信号，通过候选级优势执行 PPO clipped 更新。
2026-08-27 · 一作：Xingyu Shen · Boosting LLM Exploration via Weak-Model Guidance in RLVR（weak-guide-rlvr）：RLVR 容易熵坍缩。论文用更小弱模型生成部分推理前缀，迫使目标模型进入陌生轨迹，再以 entropy 截断和原生/前缀样本混训保持覆盖率。
2026-08-27 · 一作：Ziyuan Liu · Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD（uc-mopd）：普通 MOPD 很少采到强正优势 token，也无法判断更新方向是否可靠。方法扩大温度覆盖，按轨迹正优势密度挑样本，再用熵校准 CLL 概率门控 token 更新。
2026-08-26 · 一作：Lam So · GRIP: Granular Reward-Guided Parameter Interpolation for Efficient Reasoning（grip）：在 thinking 与 instruct 权重间，不使用单一全局系数，而由细粒度 reward 学习分层/参数插值，使模型保留推理准确率同时缩短输出。
2026-07-30 · 一作：Yuran Wang · Flux-OPD（flux-opd）：固定上下文很快被学生吸收，直接更换上下文 teacher 又会让目标跳变。Flux-OPD 固定 context-free teacher 为锚，只注入多个演化上下文 teacher 相对锚点的 log-probability 差，并用几何均值归一化常数表示冲突、冲突越大修正越弱。
2023-12-14 · 一作：Peiyi Wang · Math-Shepherd（math-shepherd）：从中间步骤采样多条 continuation，以最终答案正确率构造自动 step label，再训练 verifier 和重排器。

Ping An Technology / University of Science and Technology of China¶

2026-10-08 · 一作：Heng Li · PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation（pivot）：垂直领域的小模型既需要教师传授知识，也需要任务奖励改善最终判断；所有样本同时从蒸馏切换到 RL，可能使困难样本过早失去教师监督。PIVOT 在学生自己的响应上计算教师困惑度，先把低困惑度问题切换到 GRPO，高困惑度问题继续 OPD。

Princeton University¶

2026-10-15 · 一作：Stanley Wei · Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation（token-teacher-selection）：一个教师未必适合学生整段推理：数学推导和代码生成可能需要不同专家，强教师与学生的分布差距也可能太大。论文把 OPD 的教师选择细化到每个学生实际访问的前缀。
2024-05-23 · 一作：Yu Meng · SimPO（simpo）：DPO 训练需要常驻 reference model，而且 sequence 概率天然偏向短响应。SimPO 用平均 token log-probability 作为隐式 reward，去掉 reference model，并在 Bradley–Terry 目标中加入固定 margin。

Qwen Business Unit of Alibaba / University of Science and Technology of China¶

2026-11-02 · 一作：Tianyu Liu · SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding（specopd）：普通 OPD 要逐轮 draft-and-verify 才能继续收集上下文。SpecOPD 在已有 reference 的多个 anchor 上重新采当前 draft 的私有续写，合并成共享 trunk 的 proposal tree，再并行给教师打分。

Reichman University¶

2026-08-12 · 一作：Lior Baruch · Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations（pto）：逐轮偏好只判断当前回答，难以优化目标导向对话的长期结果。PTO 让 agent 和虚拟用户展开候选对话树，oracle 评价当前回答及未来延续，以偏好对迭代执行 DPO；更深 look-ahead 带来更稳定的长期策略。

Renmin University of China¶

2026-07-06 · 一作：Yu Li · Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment（sis）：异步 rollout、样本复用和 stale policy 会让 LLM 强化学习变成 off-policy 更新。标准 importance sampling（IS）在长序列上连乘后方差很大，直接 clipping 又会丢失有效梯度。

Rensselaer Polytechnic Institute¶

2026-09-28 · 一作：Jonathan Light · Shockingly Simple Self-retrospection Improves Agentic Models Without RL（roft）：ROFT 不直接用环境奖励更新动作策略，而是让模型在完整轨迹与反馈之后生成一段自我回顾，再只监督回顾 token。回顾成为后续行为可复用的训练信号，同时避免把环境文本或历史动作误当监督标签。

Rutgers University¶

2026-09-29 · 一作：Zhenyu Wang · Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models（dr-opd）：普通 OPD 对每个 teacher token 信号等权，但改正关键推理错误与替换同义措辞的下游价值不同。Dr. OPD 用双层优化定义“更新学生后预期 reward 最大”的 token 权重，并在每轮先闭式更新权重，再执行一次加权 OPD。

S-Lab, Nanyang Technological University¶

2026-08-26 · 一作：Shulin Tian · V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning（v-rubrics）：把参考回答拆成视觉忠实度（VF）、推理一致性（RC）和指令遵循（IF）原子 rubric，并把可定位证据的信用分配到前缀，避免终局标量奖励掩盖局部幻觉。

SAIL 研究团队¶

2025-03-26 · 一作：Zichen Liu · Dr. GRPO（dr-grpo）：原始 GRPO 的 response 内长度平均和组内标准差会引入长度与题目难度偏置。Dr. GRPO 移除这两个归一化项，保留中心化的组相对奖励，让每条轨迹以原始尺度参与更新。

Scale AI¶

2026-08-12 · 一作：Minglai Yang · Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL（rubric-dropout）：每个 rollout group 共享随机丢弃的 rubric 子集，使策略无法持续利用固定 judge proxy。

Seoul National University¶

2026-08-03 · 一作：Wonseok Lee · Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models（erils）：约束外部策略 rollout 长度，并对 on-policy/external 来源分别处理奖励以防联合归一化崩溃。
2026-07-29 · 一作：Junoh Park · ReCo（reco-grpo）：GRPO 容易重复采到高概率回答，并继续放大已经占优的 token，导致大 \(k\) 下推理路径覆盖率下降。ReCo 同时修正 response 和 token：按 rollout 组中的期望出现次数抑制高频回答，再用 Bernoulli 方差比把更新集中到尚未饱和的决策点。

Shanghai AI Laboratory¶

2026-08-12 · 一作：Kai Yang · GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs（gcpo）：GRPO 等 on-policy rollout RL 会偶发进入预训练权重的主奇异子空间，论文观察到这些 spike 常先于验证性能下降。GCPO 固定预训练矩阵两侧的 top-k 奇异空间，只允许低秩更新存在于输入、输出两侧的正交补中；这是硬可行域，不是依赖系数的软 penalty。

Shanghai Artificial Intelligence Laboratory¶

2026-10-09 · 一作：Jiaming Su · BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation（boundary-evo）：长推理监督的价值随学生能力变化。BoundaryEvo 先不按 correctness 过滤地蒸馏少量教师行为做 capability priming，然后每轮用当前学生、固定 expert 和 analyzer 重估边界，保留仍未掌握的 replay 并补充新问题；选好问题后再生成并验证 fresh teacher trajectories。

Shanghai Jiao Tong University¶

2026-10-22 · 一作：Shijie Li · GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL（gift）：终局正确性驱动的 RL 梯度与教师模仿梯度可能相冲突。GIFT 在原始词表 logits 空间分解两者：先最少纳入冲突 token，再优先保留提供正交新方向的教师监督；训练逐步缩减被蒸馏的 token 数量，保留项的强度不稀释。
2026-10-16 · 一作：Yushu Wang · GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation（gr-opd）：教师在每个 token 上更自信，不一定意味着整段推理更值得复制；教师与学生的推理模式不同还可能造成训练崩溃。GR-OPD 在学生轨迹上重放教师，把 log-prob 差聚合为序列分数，在同题回答之间分配相对信用；保留一部分组均值压力，以免纯中心化抹掉教师总体偏好，然后使用 clipped PPO 更新。
2026-10-15 · 一作：Feiyang Chen · Learning from Unverified Peers via Shared Residual Distillation（shared-residual-distillation）：没有标准答案或可验证 reward 时，整段错误解答也可能包含有用步骤。SRD 不投票选“正确答案”，而比较同题 peers 相对跨题 control 对 token 分布的改变，只接收多位 peer 共同支持的保守残差。
2026-07-30 · 一作：Kangning Zhang · VAD（vad）：多模态 OPD 直接匹配 privileged-view teacher 时，教师修正同时混入视觉证据、语言先验和教师自身偏差。VAD 对同一冻结教师分别输入“相关视觉证据存在/移除”两种视图，以 centered log-probability 差构造带符号的视觉方向，再把原教师修正单侧投影到该方向，重建以学生当前分布为锚的 target；完整 privileged teacher 只保留为弱正则。

Stanford University¶

2026-05-18 · 一作：Muhammad Umer · GPRL（gprl）：单一标量 reward 容易掩盖 helpfulness、格式、推理和简洁度之间的冲突。GPRL 先在每个偏好维度内部计算 group-relative advantage，再根据上下文聚合；漂移控制器检测某个维度是否主导训练并调整权重。
2023-05-29 · 一作：Rafael Rafailov · DPO（dpo）：传统 RLHF 先拟合 reward model，再用 PPO 优化策略，链路复杂且不稳定。DPO 从 KL-regularized RLHF 的最优策略形式出发，把隐式 reward 写成 policy 与 reference log-ratio，最终只需在偏好对上做二分类。

Taobao & Tmall Group of Alibaba¶

2026-10-09 · 一作：Jingru Yang · CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation（cast-opd）：异构 tokenizer 的同一文本有不同分段，直接比较 token ID 无意义。CAST 先匹配实际解码文本，将教师 span 的总 log probability 均匀投影到学生 span，再按不确定性×局部平滑度分配 credit；未对齐位置通过初始学生 KL 限制漂移。

Tencent¶

2026-09-08 · 一作：Tianle Xia · Distillation as Probability Transport: Routed On-Policy Distillation（route-opd）：普通 OPD 对整个教师分布做密集匹配。RouteOPD 先识别学生高估的 source token 和低估的 destination token，再只搬运需要修正的概率质量，使监督更聚焦且可解释。

Texas A&M University¶

2026-06-04 · 一作：Xingyu Su · OPDLM（opd-lm）：ARLM 改成双向注意力后既会遗忘原知识，也有随机 mask 训练与 confidence decoding 推理之间的偏移。OPDLM 让双向学生在自身推理轨迹上生成，冻结 AR 教师在同一轨迹给 target logits。

The Chinese University of Hong Kong¶

2026-10-21 · 一作：Wenhao Yu · CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents（cord）：任务奖励和教师指导提供不同信号，直接相加会让相反的梯度互相抵消。CORD 不替换 GRPO 或 OPD 的目标，而是明确选择一个 protected objective，最小修改另一个梯度。

The Chinese University of Hong Kong, Shenzhen¶

2026-10-15 · 一作：Wenxuan Luo · Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models（cce-opd）：教师可能跟随学生错误 reasoning prefix，而忽略题目条件。CCE 在完全相同的学生 response prefix上，让同一冻结教师分别读取完整题目与遮蔽一个有效前提的题目，以 clipped log-prob contrast 调整辅助 target。
2026-10-14 · 一作：Chenxi Li · Information-Gain Calibrated On-Policy Distillation for Deep Search Agents（ig-opd）：普通 OPD 在检索前按教师偏好评分 query，却不知道检索结果是否有用；又按 token 数量分配预算，容易让很长的最终回答压过短而关键的搜索调用。IG-OPD 用检索后的答案置信变化校正两点：ITC 重新分配回合预算，IQC 用有符号增益修正动作关键 token 的方向。

The Hong Kong Polytechnic University¶

2026-10-20 · 一作：Runyang You · On-Policy Transition Distillation（optd）：最终层分布接近教师，不一定代表模型沿深度修正预测的方式接近教师。OPTD 保留最终层 OPD，再对选定浅到深 readout 的 log 概率增量施加监督。

The Ohio State University¶

2026-10-15 · 一作：Hanane Nour Moussa · EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search（elite-replay）：单纯提高正确率的 RL 可能压缩正确解法的覆盖范围。EliteReplay 先用冻结基模和 MAP-Elites 收集不同正确策略，训练时持续回放固定档案。
2026-10-01 · 一作：Qijia He · Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis（gmc-grpo）：异步 rollout 的重要性比在 group 级统一缩放，使总质量受帽约束；在共同二阶矩保证下减少 trajectory-wise clipping 的持续偏差。

The University of Hong Kong¶

2026-10-23 · 一作：Zongyao Zhao · When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning（mart-grpo）：一次机器人最终失败，不等于每个动作都导致失败；全轨迹负优势还会惩罚有价值的重抓和恢复尝试。MART-GRPO 用冻结事件 VLM 回看完整失败轨迹，定位最后一次未恢复错误，只保留截止该边界的失败反馈；成功轨迹、原组优势和原始 token 分母不变。

The University of Texas at Austin¶

2026-07-21 · 一作：Hanqing Zhu · ISO: An RLVR-Native Optimization Stack（iso-rlvr）：固定预训练权重奇异值，仅优化输入/输出 singular frames；同时提供无数据 specialist merger。

Tianjin University¶

2026-08-01 · 一作：Zhuowen Han · Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance（rstg）：只对负向零方差 group 启用教师，并在高熵或大 teacher-student gap token 上蒸馏，同时注入教师正确轨迹 SFT。
2026-05-12 · 一作：Zhong Guan · Missing Old Logits（missing-old-logits）：指出异步 RL 丢失历史训练侧 logits 后，训推校正与策略陈旧校正发生语义混叠；给出快照、old-logit model、中断同步和 PPO-EWMA 修复。

Together AI / University of Illinois Urbana-Champaign¶

2026-10-14 · 一作：Yifan Yu · On-Policy Residual Learning for Diffusion Language Models（orl-diffusion）：将上一步预测分布作为残差上下文不是简单后处理：训练时必须看到模型自己诱导的残差轨迹。ORL联合在线采集、状态传输、精确重放及熵收缩，减少训练与推理残差状态分布差异。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

Trent AI Limited¶

2026-10-02 · 一作：Joery A. de Vries · Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT（follow-the-winners）：在有状态工具环境里，为同一提示重复生成一组等价 rollout 往往很贵；而 PPO 的 critic 又占用额外模型资源。FTW 不计算 value，也不要求 GRPO 式同题多轨迹。

Tsinghua University¶

2026-10-16 · 一作：Heming Zou · Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning（treeopsd）：长轨迹仅有终局奖励时，同一轨迹的好坏动作容易一起获奖或受罚；同一批轨迹又会经历多次更新，旧信用不能告诉优化器何时停止。TreeOPSD 将续写分支整理成共享前缀树，把叶奖励按行为策略似然向上回传，再把每个 turn 的信用映射为一个冻结且有界的 Bernoulli 教师。
2026-10-15 · 一作：Yuechen Luo · OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents（oprd-reminder）：编码 Agent 的最终通过/失败不能指出哪一轮忽略了已有约束。OPRD 在学生自己生成的无提醒轨迹上训练：成功轨迹自模仿；失败轨迹由教师读取训练专用提醒，重新评分同一学生前缀，不是教师另生成一条答案。
2026-07-11 · 一作：Zhicheng Cai · RIPO（ripo）：固定 PPO ratio 区间在低概率区域过于保守、在高概率区域又可能过大。RIPO 以 Fisher–Rao 几何定义策略距离，并按旧策略概率设置等距 clip 半径，使不同概率区域获得更均衡的局部 KL 预算。
2026-06-17 · 一作：Haipeng Luo · STARE（stare）：按 batch surprisal 分位数识别 entropy-critical token，重加权其 advantage，并以目标 entropy 闭环 gate 调节方向。
2025-05-06 · 一作：Andrew Zhao · Absolute Zero（absolute-zero）：proposer 自己生成可验证任务，solver 求解，程序 verifier 提供奖励；按当前能力边界组织课程。
2023-06-14 · 一作：Yuxian Gu · MiniLLM（minillm）：标准 forward KL 倾向覆盖教师所有概率质量，小学生可能因此高估教师的低概率区域。MiniLLM 改用 mode-seeking 的 reverse KL，在学生自身生成分布上优化，并通过 teacher-mixed sampling、单步分解、长度归一化和 reward baseline 稳定策略梯度。

Tsinghua University / DiDi Voyager Labs¶

2026-09-15 · 一作：Shiqi Liu · Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation（gamma-opd）：以折扣时间信用逼近序列级 reverse-KL，再用有界奖励优势补入可验证结果。

Tsinghua University / SenseTime Research¶

2026-10-09 · 一作：Dongyang Chen · Branching On-Policy Distillation（branch-opd）：普通 OPD 每个前缀只看到一次后续。BranchOPD 用学生不确定性和师生分歧定位 fork，从同一冻结学生策略独立采样 suffix，前缀只计入一次；并用协议事件监督结束行为。

Tsinghua University AIR¶

2026-10-09 · 一作：Zhicheng Cai · Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence（gppo-framework）：GPPO把近端优化拆成f-divergence几何和估计拓扑。MC、atomic、binary对采样动作概率/补集的处理不同，诱导实际不同信任域。
2026-10-09 · 一作：Zhicheng Cai · Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL（tapo-trajectory）：autoregressive轨迹的前序policy变化累积state distribution gap。TAPO对token前缀likelihood ratio取几何均值、按长度收紧clipping，并stop-gradient避免前序token反传进当前动作。

UCLA / NVIDIA（论文注明实习）¶

2026-10-08 · 一作：Siyan Zhao · When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better（semi-opd）：初始学生先一次性生成响应，教师评分缓存后固定复用。每次优化仍重新计算当前学生概率和 token 优势，不能把旧优势也一起缓存。

University of British Columbia¶

2026-10-15 · 一作：Yushu Li · Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense（tag-reward-gating）：正确性和简短、低时延等奖励相加时，容易获取的辅助奖励可能主导 GRPO：总奖励上涨，主要任务却变差。TAG 不是简单降低辅助权重，而是先从同一基线分别优化每个奖励，观察哪个探针对基线的分布漂移最小，再将该奖励选为 anchor。

University of California, Berkeley¶

2026-09-16 · 一作：Peter Chen · A Zeroth-Order Paradigm for LLM Preference Alignment（compo）：不求偏好目标梯度，只比较正负参数扰动的结果得到一比特方向，再以逐坐标阈值抑制噪声。
2025-05-26 · 一作：Xuandong Zhao · INTUITOR（intuitor）：以每个生成前缀下的全词表 next-token 分布计算 \(D_{KL}(U\Vert\pi_\theta)\)，再沿回答长度平均，作为 intrinsic self-certainty reward。方向是均匀分布到策略分布，并非策略的负熵；高置信度也不等于答案一定正确。

University of California, Los Angeles¶

2026-01-26 · 一作：Siyan Zhao · OPSD（opsd）：普通 OPD 仍需独立教师。OPSD 让同一个模型形成两个条件分布：学生只看问题，教师额外看到验证过的解题过程或答案。
2024-01-02 · 一作：Zixiang Chen · SPIN（spin）：额外偏好标注昂贵。SPIN 从 SFT 模型出发，用上一轮模型为训练 prompt 生成回答，把人类示范视作正例、自生成回答视作负例，通过自博弈判别目标得到下一轮模型，循环提升而不引入新的人工偏好数据。

University of California, Merced¶

2026-08-26 · 一作：Zhibo Hou · From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection（grin）：纯 on-policy RL 在新知识尚未掌握时几乎采不到正确答案。GRIN 在失败组注入 golden response，再以 mixed-policy importance correction 训练；能力提高后自动回到 on-policy 探索。

University of California, San Diego¶

2026-10-14 · 一作：Sheldon Yu · Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight（rshd）：一组 GRPO rollout 全部失败时，组内 advantage 全为0。RSHD 不把参考答案告诉模型，而让同一策略根据失败响应写纠错 note，再用 note 生成新的 replay。
2026-08-06 · 一作：Yijiang Li · U-OPSD（u-opsd）：U-OPSD 不使用答案、环境奖励或更大教师。模型多次采样后做多数投票，以最短一致解作为 privileged view，定点修复最长且高置信错误轨迹，是真正依赖内部一致性的自蒸馏。
2025-08-05 · 一作：Feng Yao · TIS（tis）：混合训练框架由 rollout 引擎采样、训练引擎重算 log-prob；即使权重相同，数值精度和 kernel 差异也会让行为分布与训练分布偏离。TIS 将训练侧与 rollout 引擎概率比乘入策略梯度，并只对过大的校正权重做单侧上截断，保留小权重样本而控制重尾方差。

University of Chinese Academy of Sciences¶

2026-08-25 · 一作：Qinglin Ye · OPDSearch+: Search-Enhanced On-Policy Distillation with Reinforcement Learning（opd-search-plus）：搜索 Agent 的多轮 SFT 数据昂贵，任务专用教师又需先训练。OPDSearch+ 直接冻结通用 instruct teacher，在学生自己的在线搜索轨迹上用 forward-KL 蒸馏 query、推理和答案 token；随后 RL 从更好的行为分布继续优化，突破教师与纯 RL 的局部最优。

University of Florida¶

2026-09-29 · 一作：Muyang Li · PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning（pr-opd）：GRPO warm start 后，策略为每条已完成轨迹写一条 hindsight skill，并对同一 response 做普通 context 与 skill context 两次 forward。后者是 stop-gradient teacher；PR-OPD 在每层、每个 response token 对齐投影 hidden state，再与 reward objective 组合。
2026-08-17 · 一作：Yixuan Wang · Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization（sa-mrpo）：逐 reward 维度标准化优势，并依据 batch 饱和度动态把梯度预算转移到尚未掌握的目标。

University of Illinois Urbana-Champaign¶

2026-11-02 · 一作：Ziyi Chen · RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs（rlid）：文本策略会把一次动作的优势赋给推理、格式和命令 token。RLiD 将观测、过去反馈形成的记忆和合法菜单编译成输入，单次前向仅在标签之间选动作，再做决策级 RL。
2026-10-27 · 一作：Sirui Chen · Proposing Better Rollouts for On-Policy Distillation（mpopd）：普通OPD从学生采样，教师却可能很少走到这些前缀，师生可达区域差距会被后续学生更新放大。MPOPD把采样策略本身作为优化对象：理想提案是学生与教师概率的几何混合，实际训练一个独立proposal近似它，从而生成时只运行proposal。
2026-10-20 · 一作：Jiashuo Sun · Ask to Distill: Learning to Synthesize Data for On-Policy Distillation（ask-to-distill）：问题决定学生会走到哪些前缀，因而决定教师能提供什么监督。A2D 冻结评分用的师生，训练独立的问题合成器；奖励同时要求“有差异”和“教师偏好的候选仍落在学生可达支持集”，然后筛选问题库，再从原始学生初始化执行 OPD。
2026-10-15 · 一作：Bangji Yang · Training-Free On-Policy Distillation（tf-opd）：共同初始化的专家模型，其线性层融合可以写成匹配各教师输出的最小二乘。关键不是任意协方差，而是每个教师在自己生成的、经过终止和循环筛选的答案上实际遇到的输入二阶矩；统计按 token 数归一，不能让长答案自然压倒其他领域。
2026-10-14 · 一作：Xuanchang Zhang · Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards（ggpo）：behavior policy 负责产生样本，reference policy 负责 KL anchor，两者不是同一角色。组内 adjusted reward 全相同时，策略满足该 reference 的 Gibbs 目标。
2026-10-01 · 一作：Ziyi Chen · Dependency-Aware Reward Shaping for Agentic Reinforcement Learning（dars）：把任务进度表示为带先决条件的 predicate 图；验证、失效和修复事件更新图状态，最近破损依赖按图距离衰减已完成工作的 credit，独立分支不受牵连。
2026-09-29 · 一作：Zhenrui Yue · SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation（sipo）：RLVR 的轨迹 reward 稀疏，普通 OPSD 又会受自教师过度自信和长序列惩罚影响。SIPO 对同一 rollout 构造正/负两份特权上下文：两者 teacher log-prob 的差值抵消共享偏差，形成逐 token 信用；环境 reward 决定主方向，dense evidence 负责在 token 间重新分配。
2026-09-28 · 一作：Haojin Wang · Learning from Teacher Continuations at Student States（olive）：由当前 student 生成前缀，再让 teacher 从该 student state 续写；student 只在 teacher continuation token 上计算交叉熵。

University of Luxembourg¶

2026-09-29 · 一作：Hongyang Li · Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training（rfpo）：冻结已校准 critic，把前缀成功概率同时作为 rollout reward、GAE baseline 和未完成轨迹预报，并在去长度偏置后二值化，降低策略利用 critic 偏差的风险。

University of Maryland¶

2026-06-02 · 一作：Rishanth Rajendhran · POLARIS: Guiding Small Models to Write Long Stories（polaris-hri）：核固定v2 Section3.2 Eq5和作者fixed verl core：policy-only mean/sample-std，Aref=0.4 min(1,t/15)(rref−μ)/(σ+1e-6)，step0为0；K5+1，clip0.2、KL关闭，token-mean。相同external rubric给policy和ref评分。

University of Maryland, College Park¶

2026-08-26 · 一作：Kaishen Wang · Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding（clue-opsd）：学生仍看完整长视频，冻结教师在训练时只看问题相关 clue interval；学生自己的 rollout 上做 on-policy self-distillation，推理时不需要 clue、标签或外部教师。
2026-07-30 · 一作：Jiawei Xu · β-OPSD（beta-opsd）：论文指出 vanilla OPSD 是 β=1 的 KL 正则策略优化特例。先推导 reference policy 与 privileged teacher 之间的最优几何插值，再把昂贵高方差的 RL 解转成 token-logit 蒸馏目标，并以 return-to-go 做长推理信用分配。

University of Massachusetts¶

2026-10-20 · 一作：Shripad V. Deshmukh · Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets（projected-distillation）：困难问题的学生 rollout 可能全错，RL 得不到成功奖励；直接拟合外部完整答案又过于 off-policy。论文用 projector 最小改写学生的错误响应，经 verifier 接受后，只在变化片段做 DPO；学生自己答对的响应单独做 SFT，每轮重新采样和纠错。

University of Minnesota¶

2026-10-15 · 一作：Skylar Zhai · Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL（mrtpo）：GDPO 虽然分别归一化多种奖励，但仍把每种奖励均摊到整条响应。SQL 可执行性、格式、执行结果可能只分别依赖少数 token。

University of North Carolina at Chapel Hill¶

2026-09-28 · 一作：Shangzhe Li · An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning（lspd）：LSPD 把教师与学生的 token log-prob 差视作可优化残差，以 least-square 形式直接收缩分布差距，并用 Huber 式尾部限制异常差值的梯度；同时允许复用历史 query-response 轨迹，提高样本效率。

University of Notre Dame / Amazon¶

2026-08-05 · 一作：Zheyuan Zhang · Optimizing What Policies Learn From: Recoverability-Aware Rollout Intervention Learning（rail）：主题：rollout 预算分配。 均匀 rollout 浪费预算，静态启发式又跟不上策略变化。

University of Pennsylvania¶

2026-10-22 · 一作：Mahdi Sabbaghi · When to Follow the Teacher: Advantage-Based On-Policy Distillation（aopd）：普通 OPD 在学生实际访问的状态上模仿教师，但教师偏好的动作不一定能被当前学生继续完成。AOPD 用该动作对学生最终奖励的优势加权教师监督，通过学生原有 rollout、终局奖励及教师重要性比率估计，不额外生成反事实续写。
2026-10-08 · 一作：Lei Zhao · Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals（opd-learning-signals）：OPD 的残余差异可能仍大，但梯度提供的学习信号已变弱。论文同时记录损失、截断前梯度、两折 occupancy 估计、参数位移和逐层表征 CKA；这些是相关性诊断，不是因果证明。
2026-10-02 · 一作：Lyuxin David Zhang · LESSER: Post-Training Data Selection with Output-Layer Gradients（lesser）：现有面向目标任务的数据选择常计算每个候选样本和少量目标任务 query 的全参数梯度，再按相似性选取训练子集；对大模型逐样本反传代价很高。LESSER 只替换特征：从一次前向得到的最后隐藏状态和词表概率解析地计算输出层梯度。

University of Pittsburgh¶

2026-08-27 · 一作：Zhuochun Li · SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning（spear）：结果奖励过稀，神经 PRM 又昂贵。SPEAR 把教师推理投影为领域符号 milestone，用 LCS-F1 给学生轨迹提供顺序敏感的稠密奖励。

University of Science and Technology of China¶

2026-09-28 · 一作：Qiyong Zhong · MAS-OPD: On-Policy Distillation for Multi-Agent Systems（mas-opd）：以目标角色与非目标角色 teacher 信号差构造 role advantage，并把协作冲突归因只提供给 teacher 形成 privileged coordination supervision。
2026-08-04 · 一作：Ranxu Zhang · ADRS（adrs）：privileged teacher 的高置信并不必然与真实任务回报一致。ADRS 在每个交互 step 内标准化教师分数，以教师置信与 realized return 的相关性形成 TVA gate，再把 gated token signal 写入原生 reward-to-advantage 路径，推理时无需技能。
2026-07-11 · 一作：Kexin Huang · ARMOR（armor）：单纯 reverse-KL 只能被动惩罚偏离，无法保证 reference 中已有有效解法仍被覆盖。ARMOR 从冻结 reference 主动采样 anchor trajectories，与当前策略 rollout 混合优化，用数据而不是辅助 KL 项稳定长程 RL。

University of Science and Technology of China / Ant Group¶

2026-09-13 · 一作：Zhiyu Gui · Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation（stride-opd）：teacher 累积置信度越界时早停，并从最弱正确 turn 的缓存前缀重新开始。

University of Southern California¶

2026-10-18 · 一作：Jike Zhong · Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation（spod）：多轮Agent蒸馏中，学生可能先超过教师，再随着持续模仿而退步。作者区分两个过程：教师修复学生的弱决策，同时也会侵蚀学生已经成功、但与教师偏好不同的行为。
2026-09-29 · 一作：Rishabh Agrawal · AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation（advisd）：冻结 executor，只训练 advisor；反思先提出修正，再对同一已记录 executor 响应分别计算有建议与无建议的平均 log-likelihood，只有影响幅度超过 donor-advice 校准阈值的决定才进入自蒸馏。
2026-01-19 · 一作：Duygu Nur Yaldiz · Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning（calibration-aware-rl）：论文指出 RLVR 虽能提高决策正确率，却可能让 decision token 极度过度自信；其方法直接调整决策 token 的概率，在保留准确率的同时降低 ECE。本仓库对应地把 accuracy 与 Brier/ECE 同时纳入报告，并只用 validation 拟合温度，禁止用 test 调参。

University of Virginia¶

2026-09-10 · 一作：Rongcan Pei · Negative Self-Distillation: Learning to Reason by Avoiding Flaws（nsd）：让学生远离自身生成的错误推理分布，并用动态 gate 只更新推理关键位置，避免把普通语言 token 一并遗忘。

University of Washington¶

2026-10-08 · 一作：Ximing Lu · MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis（magicbeanstalk）：RLVR有效性取决于problem、当前policy、rollout预算。MBS从verified hard seed提炼reasoning蓝图，自顶向下分解并实测child worked examples是否提高parent正确率，再合成更难新leaf、自底向上按原依赖组合。 成本过高，暂不复现；待验收，未注册可执行入口。
2026-09-10 · 一作：Dongfang Zhao · LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation（locus）：学习任务相关低秩后训练子空间，只在紧凑方向上更新以缩短回答，同时保留任务能力。
2025-04-21 · 一作：Jianhao Yan · LUFFY（luffy）：把离线高质量推理与在线 rollout 放进同一 support，通过正则化 importance ratio 保留 on-policy 行为。

VNU University of Engineering and Technology / Viettel AI¶

2026-08-05 · 一作：Nhat Minh Pham · SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts（specroll）：主题：RL rollout 加速。 RL 中 target policy 持续变化，静态 drafter 很快过时。

Valeo.ai¶

2026-10-01 · 一作：Sophia Sirko-Galouchenko · Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes（where-opd）：程序化合成场景自动给出对象身份和空间坐标；teacher 接收文本化空间特权信息，student 只看图像与问题，在自己的 on-policy token 上蒸馏 teacher。

Waseda University¶

2026-09-15 · 一作：Takayuki Yamamoto · Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data（sd-dpo）：识别事实正确但风格不同的 rejected response，反转其偏好方向并按组比例加权以抵消风格梯度。

WeChat / Tencent¶

2026-07-22 · 一作：Beining Wang · Co-Evolving LLM Evaluators and Policies via DynamicRubric（dynamic-rubric）：固定 judge 或固定 rubric 会在策略模型进步后失去区分力。DynamicRubric 根据当前 prompt 和一组候选回答动态生成评估维度与权重，用 discriminability 目标寻找能区分当代 hard negatives 的标准，用 anchor 目标限制评估器漂移，再让 evaluator 和 policy 多轮协同进化。

WeChat AI, Tencent / Peking University¶

2026-09-15 · 一作：Minghua He · GrowMTP: Can RL Grow Its Own Draft Head?（growmtp）：在 RL rollout 内按被接受的草稿深度训练 MTP head，并与主干梯度解耦。

WeChat Vision, Tencent¶

2026-09-29 · 一作：Youxu Shi · Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation（ipd）：在每个 token 状态把 student 与 teacher 分布按 \(m_\gamma=(1-\gamma)\pi_S+\gamma\pi_T\) 插值，从纯 on-policy 连续过渡到 off-policy teacher；论文再用验证感知的 speculative sampler 精确采样该目标策略。

Wuhan University¶

2026-08-24 · 一作：Jialong Liu · SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning（srpo）：长轨迹只给终局 reward 时，很难知道具体哪个 token/动作导致失败。SRPO 让当前模型先根据完整轨迹和环境结果写出简短 reflection patch，再把 patch 拼回原问题；同一个模型在这个特权上下文中充当教师，对学生的 on-policy rollout 给出逐 token 分数。

Xiaohongshu¶

2026-09-10 · 一作：Suwan Wu · A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients（adaptive-opd-gate）：把熵、不确定性、reference 偏移和教师—学生差距组合成逐 token gate，在 FKL/RKL 蒸馏方向间自适应分配。

Xiaomi¶

2026-06-29 · 一作：Wenhan Ma · MOPD（mopd）：多能力联合 RL 会产生域间耦合，参数合并和离策略微调又容易丢能力。MOPD 先独立训练各域 RL teacher，再只在 student 自己的 rollout 上组合教师密集信号，使各域可并行演进。

Yonsei University¶

2026-10-01 · 一作：Ryunyi Lee · Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals（range-grpo）：用 conformal reward interval 代替单点 judge 分数；组内只对可确定排序的区间产生方向信号，区间重叠时不制造虚假偏好。

Zhejiang University¶

2026-10-16 · 一作：Kai Tang · SimOPD: Relational Knowledge Transfer for On-Policy Distillation（simopd）：概率蒸馏只利用输出分布，直接匹配隐状态又要求学生迁就教师的坐标和维数。SimOPD 改为比较回答之间的关系：两模型分别编码同一批学生回答，在自己的空间里计算“当前回答与历史回答有多像”，再匹配这两个相似度分布。
2026-10-15 · 一作：Licheng Pan · CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF（clean-rm）：不同偏好样本的标注噪声不一定相同。CleanRM 用少量干净反馈校准两个方向的样本级噪声率；以语义与恢复偏好的联合分布作最优传输，而不是只匹配偏好直方图。
2026-10-15 · 一作：Siqi Chen · KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents（knowgpo）：不同搜索轨迹即使读到了相同事实，也可能使用完全不同的 query、网页和表述，按表面观察匹配会把可比较的步骤拆散。KnowGPO 将问题所需事实拆为原子条件，训练 verifier 检查每步获得了哪些条件。
2026-09-17 · 一作：ZJU-REAL team · RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning（retire-opd）：给不同技能配置解耦教师；学生同时执行 RL 与 on-policy distillation，当成功率接近教师且分布差距不再收缩时自动退休教师。
2026-08-27 · 一作：Aozhe Wang · TTPO: Test-Time Policy Optimization（ttpo）：多数票伪标签可能错误，但与多数票分歧的 rollout 通常仍是错的。TTPO 因而对同意分支做 OPSD，对分歧分支做 grouped RL，并分别过滤已收敛 token 与高置信错误。
2026-07-28 · 一作：Haolei Xu · Relay-OPD（relay-opd）：检测学生前缀失效后让教师短暂接管，再把轨迹交还学生；有限接力预算把监督集中到关键早期位置。
2026-06-21 · 一作：Pengxiang Cai · CoBA-RL（coba-rl）：普通 RLVR 可能只重新分配 base model 已有轨迹的概率，提升 pass@1 却不扩展高采样 pass@k 所反映的能力边界。该方法先用多次采样估计边界，在边界附近/之外注入教师推理，再用 RL 巩固。

Zhejiang University / Microsoft¶

2026-10-09 · 一作：Shengze Huang · SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents（soar）：只按答案奖训练的search agent可能答对却伪造证据依赖。SOAR独立记录atomic query的internal recall和external retrieval，再要求显式声明source。

Zhongguancun Academy / Tencent / University of Science and Technology of China¶

2026-10-08 · 一作：Houcheng Jiang · ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery（recal）：先剪枝再蒸馏并不保证可恢复：损坏的学生轨迹会限制 OPD 教师信号。ReCal 先用剪枝 probe 测量教师轨迹上损伤，再用损伤重加权原始未剪枝模型的校准统计，重新选择通道；目标宽度和恢复流程保持一致。

原文未列机构¶

2026-09-29 · 一作：Hao Li · The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation（ride-opd）：RIDE 不在输出概率空间放大 teacher/student ratio，而是在每层每个 token 计算 RL teacher 相对其 pre-RL checkpoint 的 hidden residual：\(r=h_T-h_B\)；学生回归到 \(h_B+\alpha r\)，其中 \(\alpha>1\) 把方向延伸到 teacher 之外。teacher/base 均 stop-gradient，避免目标分支被学生更新。

原文首页未列第一作者机构¶

2026-10-01 · 一作：Yifan Wang · Token-Level Video Reinforcement Learning（tvrl）：冻结 VLM 的视频输入梯度定位对 reward 最敏感的生成 token，再把同组 advantage 稠密重分配到 token。

未确认（已读 arXiv HTML 未列机构）¶

2026-10-14 · 一作：Xinrui Lin · When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO（rap-walk）：RAP-Walk 不把成对视频偏好压成相互独立的胜率，而保留对手身份、循环关系和边清晰度。它在从输者到赢家的可靠随机游走中计算平稳偏好信用，经最低熵校准后修正原始胜率优势，最后仍交给同一 GRPO 更新。

论文未列机构¶

2026-08-03 · 一作：Chunji Lv · PCSD（pcsd）：单 token teacher gap 容易受噪声影响，整步共享权重又会抹掉位置差异。PCSD 在自适应窗口内指数累积 teacher-favoring signal，并对下降趋势衰减，最后用连续 sigmoid gate 与 GRPO 联合训练。
2026-07-22 · 一作：Xubo Liu · TCR（tcr）：只奖励最终答案会遗漏推理质量，直接叠加过程奖励又可能重复计算 outcome。TCR 为每个样本构造 thinking checklist，并从过程得分中减去 outcome 的指数滑动基线，把更新集中到“结果奖励尚未解释的思考增益”。

论文未列机构（不据邮箱域名推断）¶

2026-10-16 · 一作：Jihao Huang · MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning（mge-po）：GRPO会给同题、同正确性的回答相同 advantage，忽略生成的不确定性。MGE-PO 用生成时缓存的 token 熵区分回答，在成功／失败与高熵／低熵四象限上调整信用；再用在线题目熵统计安排课程，并以熵加权参考KL约束优化。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。

香港中文大学（深圳）/ 深圳市大数据研究院¶

2023-10-16 · 一作：Ziniu Li · ReMax（remax）：ReMax 利用 LLM RLHF 的三项特征：模拟快、token 转移确定、reward 通常只在轨迹末端给出。它删除 PPO 的 value model，以当前策略 greedy decoding 的 reward 作 prompt-dependent baseline，降低 REINFORCE 方差。