跳转至

PLE:共享与任务专属信息的渐进抽取

复现级别:核心机制复现。实际训练共享/任务专属 experts、CGC gates 和独立 heads;腾讯视频生产规模未复刻。

论文信息

项目 内容
论文链接 RecSys 2020 paper
公司/机构 Tencent
首次公开日期 2020-09-22(ACM RecSys 2020)
原文开源代码 否:论文未提供官方/作者代码(核查日期:2026-08-09)
Adapter ple
本地复现代码 src/auto_research/reproductions/ple/

原始论文总结

背景与主要改动

MMoE 仍让所有 experts 在所有任务间共享,任务冲突强时难以同时保留共性与个性。

PLE 将 experts 分成共享组和任务专属组,通过 CGC 门控逐层提取共享与特定信息,减少跷跷板现象。

flowchart LR
  X["共享输入"] --> S["shared experts"]
  X --> T1["task-1 experts"]
  X --> T2["task-2 experts"]
  S --> G1["task-1 CGC gate"]
  T1 --> G1
  S --> G2["task-2 CGC gate"]
  T2 --> G2

原论文关键图

PLE:共享与任务专属信息的渐进抽取 原论文 Figure 1

原论文 Figure 1(关键图):展示原论文方法的总体设计和关键组成。图片来自原论文,版权归原作者所有;点击图片可查看来源。

核心公式

\[ f^k(x)=\sum_{i\in E_k\cup E_s}g_i^k(x)f_i(x). \]

论文离线与线上效果

原文在公开任务和腾讯视频推荐任务上优于 MMoE 等基线,并描述生产部署;本条按用户批准作为经典例外。

本地复现

本地对照口径:基线为 MMoE,实验组为共享与任务专属 experts 的 CGC/PLE;平均任务 AUC 相对 +1.34%,见 metrics/movielens-100k-seeds42-44.json

  • 数据:MovieLens-100K 两任务 entire-space 构造。
  • 基线:同预算的 MMoE。
  • 方法:两组任务专属 experts 加共享 experts,各任务只门控自己的专属组与共享组。
  • 运行:auto-research reproduce --paper ple --dataset-dir data

三 seed 下 CTR AUC 为 0.56882→0.57982,conversion AUC 为 0.56009→0.56418,两个任务均提升。