Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data¶

复现级别：L1 核心机制诊断。 本地执行偏好反转和组平衡损失；事实分数由 fixture 提供，不冒充 judge LLM。

论文信息¶

字段	内容
论文链接	Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data
公司/机构	Waseda University（按第一作者署名单位）
首次公开日期	2026-09-15（arXiv v1）
原文开源代码	否：截至 2026-09-16 未找到原作者公开仓库
Adapter / 方法	`sd-dpo`
本地复现代码	`src/auto_research/post_training/latest_20260916_followup.py`

识别事实正确但风格不同的 rejected response，反转其偏好方向并按组比例加权以抵消风格梯度。

flowchart LR
  I[公开输入与当前状态] --> M[sd-dpo 核心机制]
  M --> A[可审计中间量]
  A --> O[输出或状态更新]

原论文 Figure 1（关键图）：展示原论文方法的总体设计和关键组成。图片来自原论文，版权归原作者所有；点击图片可查看来源。

本地 reference kernel 保留决定性的排序、门控、偏好方向、信用权重或状态转换，并输出可审计统计。三种子 fixture 用来验证不变量和边界，不把随机 mini-suite 分数解释成论文能力。

论文中的准确率、速度、训练损失或 benchmark 结论只作为原文结果；本地结果不与其直接横比，也不外推线上收益。

三种子结果见 metrics/mechanism-seeds42-44.json。统一 receipt 标记 diagnostic_only=true，不能进入正式能力排名。

本地执行偏好反转和组平衡损失；事实分数由 fixture 提供，不冒充 judge LLM。