目录

• 11.1的文章
• 7.9的文章
  • DC-ASGD算法：补偿异步通信中梯度的延迟
  • Ensemble-Compression算法：改进非凸模型的聚合方法
  • 随机重排下算法的收敛性分析：改进分布式深度学习理论

11.1的文章

参考学界 | 深度神经网络的分布式训练概述：常用方法和技巧全面总结

7.9的文章

参考分布式深度学习新进展：让“分布式”和“深度学习”真正深度融合

DC-ASGD算法：补偿异步通信中梯度的延迟

Asynchronous Stochastic Gradient Descent with Delay Compensation, ICML2017

其实这个在tensorRS里提到了呢

https://daiwk.github.io/posts/platform-tensorflow-optimizations.html#%E6%A2%AF%E5%BA%A6%E8%A1%A5%E5%81%BF

Ensemble-Compression算法：改进非凸模型的聚合方法

Ensemble-Compression: A New Method for Parallel Training of Deep Neural Networks, ECML 2017

随机重排下算法的收敛性分析：改进分布式深度学习理论

Convergence Analysis of Distributed Stochastic Gradient Descent with Shuffling

https://arxiv.org/abs/1709.10432