跳转至

ARGUS:十亿参数推荐 Transformer 的反馈—物品分解

Fidelity: 核心机制复现。matched Transformer 中实际执行 feedback-first、next-item-second 分解;未复刻十亿参数规模与私有音乐反馈。

论文信息

项目 内容
论文链接 arXiv 2507.15994
公司/机构 Yandex
首次公开日期 2025-07-21(arXiv v1)
原文开源代码 否:论文未提供官方/作者代码(核查日期:2026-08-09)
Adapter argus
本地复现代码 src/auto_research/reproductions/argus/

原始论文总结

背景与主要改动

直接 next-item 预测把“用户会怎样反馈”和“会消费哪个 item”纠缠。ARGUS 先预测 feedback token,再以其条件化 next-item,使多种反馈共享序列主干并获得更好的 scaling。

flowchart LR
 A["long music history"] --> B["Transformer"] --> C["feedback distribution"]
 C --> D["feedback-conditioned state"] --> E["next-item prediction"]

原论文关键图

ARGUS:十亿参数推荐 Transformer 的反馈—物品分解 原论文 Figure 1

原论文 Figure 1(关键图):展示原论文提出的核心架构、主要模块及其连接关系。图片来自原论文,版权归原作者所有;点击图片可查看来源。

核心公式

\(p(i_{t+1},f_{t+1}|h_t)=p(f_{t+1}|h_t)p(i_{t+1}|h_t,f_{t+1})\),训练 \(L=L_{item}+\lambda L_{feedback}\)

论文离线与线上效果

模型扩展至 1B 参数,feedback/next-item NE 分别下降约 18%/22%;Yandex Music 总收听时长 +2.26%、like likelihood +6.37%

本地复现

本地对照口径:统一跨模型基线是 DIN,ARGUS NDCG@10 相对 DIN -4.12%;内部 next-item-only 基线加入 feedback decomposition 后 -20.95%。两种口径均未验证收益。 统一为 180 users/280 items 后,DIN(100 steps)Hit/NDCG 为 0.0481/0.02167;ARGUS 为 0.0407/0.02077,NDCG 相对 DIN -4.12%。内部消融也从 next-item-only 0.02628 降到 0.02077(-20.95%),且 Hit 下降;该公开数据复现未验证收益。指标见 metrics/movielens-100k-seeds42-44.json