目录

• 概览
  • 观点3

SIGIR2017 满分论文：IRGAN | 每周一起读

IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

在现代信息检索领域一直是两大学派之争的局面。一方面，经典思维流派是假设在文档和信息需求（由查询可知）之间存在着一个独立的随机生成过程。另一方面，现代思维流派则充分利用机器学习的优势，将文档和搜索词联合考虑为特征，并从大量训练数据中预测其相关性或排序顺序标签。

本篇SIGIR2017的满分论文则首次提出将两方面流派的数据模型通过一种对抗训练的方式统一在一起，使得两方面的模型能够相互提高，最终使得检索到的文档更加精准。文章的实验分别在搜索、推荐系统以及问答系统三个应用场景中实现并验证了结果的有效性。

概览

IR 系统，从数据库中检索相似的信息，应对的是离散的数据，而GAN一般在连续情况下容易work。常用的SGD在这里并不 work，作者采用RL的policy gradient作为替代。 IRGAN将generative retrieval model和discriminative retrieval model分别作为GAN的 generator和discriminator（文章里对生成模型和判别模型的提法跟我们通常所说的刚好相反）。所以，IRGAN训练的结果是两个IR系统：一个是生成模型，一个是判别模型。作者开源了代码，做了一些实验实验：web search，item recommendation，question answering，实验结果表明，IRGAN打败了多种strong baselines，带来显著的性能提升。作者认为，这种性能提升得益于GAN的对抗训练机制。两类IR模型统一到GAN框架下，虽然它们的性能不同，但是跟没有采用对抗训练的模型相比，它们之中至少有一个能够得到显著的性能提升。

学习一下：https://www.cnblogs.com/liaohuiqiang/p/9694277.html

1. 判别模型：挖掘标注与非标注的数据中的信息，用于指导训练拟合文档内在相关性分布生成模型；
2. 生成模型：生成判别模型难以判别的例子；
3. 经典相关性模型着重于，如何从查询生成(相关)文档；独立模型，每个token是独立从相关文档档中生成；统计语言模型一般是从文档中生成查询元素；在词嵌模型中，词从其上下文中生成；在推荐系统中，也有类似的方法，从 item 的上下文中生成 item；
4. 模型扩展到 pointwise, pairwise, listwise, 其中 pointwise 基于人的判断来衡量相关性，pairwise 主要是在所有文档对中找出最相关的文档对，listwise 着重于返回最合理的相关性排序；
5. 观察到的正例和未观察到的正例之间会存在内在联系，生成器需要基于判别器的信息来快速推动这些未观察到的正例；
6. 与 conditional GAN 有些相似；
7. 生成模型提供了一种新的负采样方式；
8. 使用 IR 的奖励机制，是在传统模型中不可获取的；

观点3

1. 不像传统的 GAN，用噪声信号作为输入做生成，然后判别，而是将 Query 做输入，直接利用 Generative 和 Discriminative IR Models 做 GAN；
2. 将 RL 的 Policy Gradient 引入针对离散的输入变量；以上两个步骤使得 GAN 更具推广意义。