SGD有多种改进的形式，为什么大多数论文中仍然用SGD？

因为SGD(with Momentum)依然常常是实践效果更好的那个方法。

在理论上和实践上，Adam家族里那些用了自适应学习率的优化器都不善于寻找flat minima。而flat minima对于generalization是很重要的。所以Adam训练得到的training loss可能会更低，但test performance常常却更差。这是很多任务里避免用自适应学习率的最主要的原因。

同时，我们对SGD的理论算是比较了解，而以Adam代表的自适应优化器是一种很heuristic、理论机制也很不清晰的方法。

问题描述里不太准确的一点是：在计算机视觉领域，SGD时至今日还是统治级的优化器。但是在自然语言处理（特别是用Transformer-based models）领域，Adam已经是最流行的优化器了。

所以为什么SGD和Adam会各有所长呢？

如果你在计算机视觉里用Adam之类的自适应优化器，得到的结果很有可能会离SGD的baseline差好几个点。主要原因是，自适应优化器容易找到sharp minima，泛化表现常常比SGD显著地差。

如果你训练Transformer一类的模型，Adam优化得更快且更好。主要原因是，NLP任务的loss landscape有很多“悬崖峭壁”，自适应学习率更能处理这种极端情况，避免梯度爆炸。基于同样的原因，计算机视觉很少用的gradient clipping在NLP任务里几乎必不可少。(可参考这篇ICLR2020 "Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity".)https://arxiv.org/abs/1905.11881

也有一些例外。虽然生成对抗网络（GAN）一般是视觉任务，但是Adam还是成为了最流行的优化器。主要原因还是在于GAN的训练是不太稳定的，它的loss landscape和正常的视觉任务很不同。大家对训练GAN的追求是能稳定就足够好了，flat minima对GAN的意义还不是很明确。

对于比较极端的loss landscape，Adam可能会比较有优势。虽然Adam不擅长找到flat minima，但Adam能比SGD（有理论上保障地）更快地逃离鞍点。

最后，很多人误以为Adam存在两个优点，但实际上并不存在。这也在一定程度上阻碍了Adam流行。

误解一，使用Adam不需要调节初始学习率。

尽管Adam默认的学习率0.001被广泛使用，但是在Adam比SGD表现好的那些领域，恰好都是重新调Adam的学习率的。比如训练GAN时大家一般用学习率0.0002，而不是0.001；而训练Transformer会需要比0.001更大的初始学习率，默认设置是学习率0.2+NOAM Scheduler。调节学习率对结果影响很大，可以说是优化器最重要的超参数。

（Adam在一般的视觉任务常常是不用调学习率的。但是这些任务里无论调不调都无法匹敌SGD。）

误解二，Adam不需要learning rate decay。

太多人有这个误解了。我甚至遇到一些工作几年的工程师、一些PhD对这个问题也有很深的误解。答案是，自适应优化器和需要不需要LR scheduler几乎是的没有关系的，他们经常需要同时（叠加）工作。

SGD和Adam的收敛性证明也都是要求learning rate最后会降到足够低的。但自适应优化器的学习率不会在训练中自动降到很低。

实际上你随便用CIFAR或者ImageNet跑一跑常见的模型就知道：训练的最后阶段，如果不主动把learning rate降下去，loss根本就不会自己收敛到一个比较小的值。你需要learning rate decay，从理论到实践上都太需要了。