目录

参考：微信公众号”机器之心”文章

参考：知乎专栏:令人拍案叫绝的Wasserstein GAN

参考顾险峰老师的文章：看穿机器学习（W-GAN模型）的黑箱

相关数学知识：

最优传输理论（一）

最优传输理论（二）

最优传输理论（三）

最优传输理论（四）

最优传输理论应用：色彩变换算法

主要效果如下：

+　彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 +　基本解决了collapse mode的问题，确保了生成样本的多样性 +　训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表生成器产生的图像质量越高(如下图所示)

+　以上一切好处不需要精心设计的网络架构，最简单的多层全连接网络就可以做到

主要改进有以下四点：

• 判别器最后一层去掉sigmoid(原始GAN的判别器做的是true/false二分类任务，所以最后一层是sigmoid，但是现在WGAN中的判别器做的是近似拟合Wasserstein距离，属于回归任务，所以要把最后一层的sigmoid拿掉。)
• 生成器和判别器的loss不取log
• 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c
• 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行