LLM 后训练¶
先分清反馈来自哪里，再看策略更新、步骤信用、教师监督，以及数据和算力如何分配。
选择一个子主题，从具体论文问题开始。新论文和新增问题会继续加入对应问题库。
偏好与对齐：先看反馈长什么样
只有“更喜欢哪个回答”或单条点赞时，怎样把反馈变成可学习目标？
策略优化：谁在采样，谁在被更新
在线采样、旧策略概率与当前策略更新之间，哪些量必须分开？
奖励与信用：正确结果该奖励哪些步骤
一个最终分数，怎样转成不会奖励错误步骤的训练信号？
轨迹蒸馏：学生、提案与前缀分布
学生总在自己的错误前缀上继续生成，为什么只模仿教师完整答案可能教不到那里？
教师与纠错：额外信息何时能帮到学生
教师看到了答案、图像证据或专长提示，怎样把帮助传给没有这些信息的学生？
数据与预算：下一份算力花在哪里
预算有限时，应该多生成问题、多做rollout，还是把监督集中在更有价值的位置？