最优化方法总是是机器学习中非常重要的部分，都是学过程的核心算法。而adam自14年提议以来就造成应用广泛关注，目前该论文的直接引用量早都没有达到了10047。但自去年以来，很多研究者发现adam优化算法的收敛性不能得到能保证，iclr2017的最佳的方文也重点关注它的收敛性。在本文中，依附的sylvaingugger、jeremyhoward发现大多数深度学习库的adam实现方法都有吧一些问题，并在fastai库中实现方法了一种新型adamw算法。依据一些实验，作者来表示该算法是目前训练神经网络最多的。
adam过山车
adam优化软件器之旅的确是过山车（roller-coaster）式的。该优化软件器于2014年所推出，本质上是两个是因为直觉的很简单想法：既然如此我们必须明确地知道某些参数必须移动手机得快的、更远，这样为什么不每个参数还要不违背相同的学习率？毕竟最近梯度的平方帮帮我们每一个权重可以不我得到多少信号，所以才我们可以乘以2这个，以切实保障就算是是最反应慢的权重也有机会发光。adam接受了这个想法，在过程中加入到了标准方法，就产生了adam优化系统器（再勤加变动以以免早期批次会出现偏差）！
首次公开发表之时，深度学习社区都为不知从何而来原论文的一些图表（如下图）兴奋不已：
adam和其他系统优化器的对比
训练速度想提高200%！「整体而言，我们突然发现adam太鲁棒，并且越来越广泛可以参照于机器学习领域的各种非凸优化问题」论文结尾那样大致意思。那是三年前，深度学习的黄金时期。但这，事情并没有什么明确的我们希望的方向发展。使用adam训练模型的研究文章其实并不多，新的研究结束肯定地抑制了它的应用，并在几个实验中说，sgdmomentum可能比奇怪的adam表现更好。2018课程开班之际，可恶的adam被从早期课程中删掉。
但是到了2017年末，adam倒是又获得了重生。ilyaloshchilov和frankhutter在他们的论文《fixingweightdecayregularizationinadam》中提道，每个库在adam上率先实施的权重能量损失很显然也是出现了错误的，并提议了一种简单的方法（他们称之为adamw）来再修复它。哪怕结果略为相同，但他们确实是能提供了一些的的下图的积极的结果的图表：
adam和adamw差别不大
我们如果能人们恢复对adam的热情，而且该360优化器的一些早期结果似乎这个可以再现历史。但事与愿违。只不过，应用它的仅有一个深度学习框架是使用sylvain编码的fastai。导致普遍缺乏可用的越来越广泛框架，日常注意实践者就只有稳守又旧又当然不好用的adam。
但这不是同样的问题。前面有很多阻碍。两篇论文一针见血地指出了adam在收敛性证明方面的确实问题，事实上其中一篇提出来了名为amsgrad的关于修改〈专利法〉的决定（并在享有声誉的iclr大会上赢来了「最佳的位置论文」奖）。不过，如果不是说我们从这种最戏剧化的生活（至少按照系统优化器的标准来说是戏剧化的）简史中学到了什么，如果不是，没有什么是它表面看上去的样子。确实是，博士生jeremybernstein提道，所谓的的收敛问题反正只是中,选择方法错误的超参数的迹象，也许amsgrad也可以解决不了问题。另一名博士生filipkorzeniowski可以展示了一些早期成果，似乎意见了amsgrad这种令人沮丧的观点。
启动时过山车
那就我们这些只我希望飞速训练计算精确模型的人该干些什么呢？我们选择用数百年来能解决科学辩论的——科学实验——来能解决这一争议！稍后将呈所有细节，但首先让我们来看看看确切结果：
适度调参之后，adam确实是可以用！我们在以下几个任务中换取了训练时间方面的2011版结果：
在含有测试出来时间减少的仅18个epoch或30个epoch上训练什么cifar10，等到其准确率达到94%，如dawnbench竞赛；
对resnet50通过调参，直至其在斯坦福汽车数据集上的准确率都没有达到90%，到时训练训练60个epoch（之前提升同一的准确率不需要600个epoch）；
从零开始训练另一个awdlstm有.qrnn，历经世间90个epoch（或在一个gpu上特训1个半小时），其困惑度在wikitext-2上都没有达到当前最优水平（之前的lstm必须750个epoch，qrnn需要500个epoch）。
这意味着我们也看见在用adam的超收敛！超收敛是特训学习率高的神经网络时直接出现的一种现象，它它表示省掉了一半训练过程。在adamw之前，练习cifar10至94%的准确率需要一共100个epoch。
与之前的工作相比较，我们发现自己只要你根据情况方法对头，adam在我们试图过的每一个cnn图像问题上都也可以获得与sgdmomentum一样的好的准确率，不过全都总是慢点。
关于amsgrad是两个糟糕的「解决的办法方案」的建议是对的的。我们一直在发现自己，amsgrad在准确率（或其他去相关指标）上就没完成任务比特殊adam/adamw更高的增益。
当你听着人们说adam的泛化性能不如我sgdmomentum时，你基本都总会突然发现他们为自己的模型所选择类型的超参数不怎么地。常见adam必须的正则化比sgd多，但在从sgd转过头adam时，以保证调整正则化超参数。
文章结构：
理解adamw
实现adamw
adamw实验和adamw-ish
再理解amsgrad
实现程序amsgrad
amsgrad实验的结果
3.完整而图表
adamw
明白adanw：权重衰减作用与l2正则化
l2正则化是减少过拟合的很经典方法，它会向损失函数先添加由模型所有权重的平方和分成的惩罚项，并乘上某一特定的超参数以操纵惩罚力度。以下本文所有的方程式全是用python、numpy和pytorch风格的表达
final_losslosswd*all_weights.pow(2).len()/2
其中wd为我们设置的超参数，用以完全控制惩罚力度。这也可以不一般称权重能量损失，因为在这一瞬间发挥原版sgd时，它都互逆于可以使用追加方程式更新完权重：
ww-lr*-lr*wd*w
其中lr可以表示去学习率、来表示损失函数对w的导数，而后面的wd*w则意思是严厉惩罚项对w的求导结果。在这个等式中，我们会见到每当自动更新都会乘以一小部分权重，这也就是「衰减」的来源。
查看过的所有库都在用第一种形式。在实践中，简直是是从向梯度wd*w而实现方法算法，而又不是完全地决定损失函数。毕竟我们当然不如果能提升额外的计算量来抵消损失，尤其是还有其它简单方法的时候。
呢既然它们是同一种表达，那就我们为什么需要怎么分辨这两种概念呢？原因本质它们只是对原版sgd是等价的，而当我们添加动量或可以使用如adam这样复杂的最优化方法，l2正则化（第一个方程）和权重能量损失（第二个方程）可能会存在很小的不同。在本文其余的部分中，我们讨论权重脉冲前沿指的全是第三个方程式，而再讨论l2正则化大都讨论另一个经典。
:在加快量的sgd中，l2正则化与权重衰减作用是不真包含的。l2正则化会将wd*w添加到梯度中，但现在权重并不是真接减去梯度。是需要我们需要计算移动均值：
moving_avgalpha*moving_avg(1-alpha)*(wd*w)
然后权重才能实际乘以3乘上了学习率的移动均值而换取可以更新。所以我w更新完中牵涉到到的正则化为lr*(1-alpha)*wd*w再加已经在moving_avg中前面权重的组合。
并且，权重能量损失的更新可以意思是为：
moving_avgalpha*moving_avg(1-alpha)*
ww-lr*moving_avg-lr*wd*w
我们是可以仔细观察到，从w中乘以3无关正则化的部分在两种方法中是差别的。当我们不使用adam360优化器时，权重衰减时间的部分可能会相差无几更大。是因为adam中的l2正则化必须再添加wd*w到梯度中，并共有可以计算梯度非盈利组织会计平方的移动均值，然后再能更新权重。但权重能量损失方法只是因为简单地没更新权重，并有时候从权重中乘以点。
看样子这是两种有所不同的方法，在参与了实验后，ilyaloshchilov和frankhutter个人建议我们估计在adam算法中建议使用权重衰减时间方法，而不是像超经典深度学习库中实现的l2正则化。
利用adamw
那你我们要如何才能实现程序adamw算法呢？要是你们在建议使用fastai的库，那就在可以使用active函数时直接添加参数use_wd_schedtrue就能简单点地实现方法：
(lr,1,wds1e-4,use_wd_schedtrue)
如果不是你更喜欢新的训练api，你就能在每一个训练阶段中建议使用参数wd_lossfalse：
phases[trainingphase(1,,lr,wds1-e4,wd_lossfalse)]
_opt_sched(phases)
以下以此为例地概述了fastai是该如何实现方法adamw的。在优化软件器中的阶梯函数，我们只是需要使用梯度修正参数，根本不会不建议使用参数本身的值（之外权重衰减时间，我们将在外部处理它）。接着我们是可以在最优化器之前通简单实现程序权重脉冲前沿，但这仍不需要在计算梯度后才能完成，不然的话它都会影响不大梯度的值。因此在训练循环中，我们要判断计算权重衰减作用的位置。
()
#'theweightsheerhere!
()
当然了，最系统优化器应该是修改wd0，要不然它可能会做一些l2正则化，这都是我们不只希望看见了的。现在在权重脉冲前沿的位置中，我们可以在所有参数上写一个循环语句，并排列采用权重能量损失的更新。而我们的参数应该是储存在360优化器的字典param_groups中，所以才这个循环应该要意思是为万分感谢语句：
()
forgroupof_groups():
forparamofgroup[params]:
(-wd*group[lr],)
()
adamw实验的结果：它真有没问题吗?
我们首先在计算机视觉问题上并且测试，效果的很好。具体来说，adam和l2正则化在30个epoch中额外的换算下来准确率为93.96%，在两次中有四次达到94%。我们选择30个epoch是因为策略和sgd可以不我得到94%准确率。当我们使用adam与权重脉冲前沿方法，我们缓慢我得到94%到94.25%的准确率。这一点，我们发现使用1cycle策略时的选择最优beta2值为0.99。我们将beta1参数更视sgd中的动量，这不它去学习率的增长由0.95会降低到0.85，然后随学率的降低而又提升到0.95。
l2正则化或权重衰减作用准确率
更令人印象深刻的是，不使用测试3时间提高（即在测试集的一个图像和它四个减少数据的版本上取预测的平均值），我们可以在单单18个epoch内至少94%的准确率（平均93.98%）！是从最简单adam和l2正则化，每数次20次就会又出现三次将近94%的情况。
在这些比较中需要确定的一点是，变动正则化会变化权重衰减作用或学习率的适宜值。在我们参与的测试3中，l2代价函数的最佳的位置学习率为1e-6（最大学习率为1e-3），而权重衰减作用的适宜值为0.3（学习率为3e-3）。在我们的所有测试出来中，数量级的差异也是相当完全不同的，主要是因为l2正则化被梯度的总平均范数（也是非常低）最有效地再划分，但是adam的学习率也是非常小（所以权重脉冲前沿的更新不需要更为强大的系数）。
这样，权重衰减时间时总比adam的l2正则化更好？我们还就没发现到的确更糟的情况，但无论是无监督学习问题（或者斯坦福汽车数据集上resnet50的微调）那就rnns，它都也没具体更好的结果。
amsgrad
理解amsgrad
amsgrad是由sashankj.reddi、satyenkale和sanjivkumar在近期的一篇文章中推荐的。结论adam360优化器收敛的证明，他们在更新规则中发现了一个错误，该错误可能倒致算法收敛到次优点。他们怎么设计了理论实验，展示adam失败的话的情形，并提出来了一个简单的解决方案。机器之心也曾从适应性去学习率算法向北出发分析过这一篇最佳的位置论文：beyondadam。
替更好地解释错误和解决方案，让我们来看再看看adam的更新规则：
avg_gradsbeta1*avg_grads(1-beta1)*
avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)
ww-lr*avg_grads/sqrt(avg_squared)
我们刚才进不了了偏差正镜（对训练的开始很用处），把重心放在旁边了通常点上。作者发现到adam收敛其他证明中的错误之处本质：
lr/sqrt(avg_squared)
这是我们朝那平均梯度方向迈出的三步，在训练中逐渐地降低。由于学率常常觉得是恒定或趋于零的，作者给出的解决方案是通过添加一个变量来跟踪它们的大值，从而最终迫使avg_square量增强。
基于amsgrad
历史文章在iclr2018中完成了一项大奖并非常受欢迎，但它也在两个主要的深度学习库——pytorch和keras中实现程序。因为，我们到时传入参数amsgradtrue去掉。
avg_gradsbeta1*avg_grads(1-beta1)*
avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)
obj_squaredair(avg_squared,max_squared)
ww-lr*avg_grads/sqrt(max2_squared)
amsgrad实验结果：大量噪音是没用的
amsgrad的结果令人的很吃惊。在所有实验中，我们都才发现它没有半点帮助。除非amsgrad才发现的最小值偶尔会比adam都没有达到的最小值稍低（在死伤方面），其心胸气量（准确率、f_1分数…）到最后老是更糟（详情请见引言中的表格）。
adam优化器在深度学习中隐敛的证明（而且它针对凸问题）和他们在其中发现到的错误对此与现实就是现实问题无关的怎么合实验很重要。实际测什么是因为，当这些avg_square梯度想减小时，如此做能我得到建议的结果。
这因为，除非把重点放在理论上可促进血液循环额外一些新想法，也没有什么可以取代实验（不过很多实验！）以必须保证这些想法实际上有助从业人员训练更好的模型。
附录：所有结果
从零做起训练cifar10（模型是wide-resnet-22，以下为五个模型的来算结果）：
在用fastai库化入的标准头对斯坦福汽车数据集上的resnet50并且微调（解冻以后前对头训练20个epoch，并用完全不同的学习率练习40个epoch）：
建议使用来自github（）的超参数训练awdlstm（结果总是显示在有或没有缓存指针（cachepointer）情况下验证验证/测什么集的困惑度）：
可以使用来自githubrepo的超参数训练qrnn（结果会显示在有或没有缓存指针情况下验正/测什么集的困惑度）：
因为这一具体任务，我们需要了1cycle策略的修改版本，更快了学习速度，之后长时间保持较高的恒定学习速度，然后再往会下降。
adam和其它优化器之间的差不多
所有咨询超参数的值和用于出现这些结果的代码地址万分感谢：
本文所演示的的可视化方法
散点图（scatterplot)
直方图(histogram）
小提琴图（violinplot)
特征两两综合比图（pairplot）
安德鲁斯曲线(andrewscurves)
核密度图(kerneldensityestimationplot)
垂直于坐标图（parallelcoordinates）
radviz（弯矩图？）
热力图(heatmap)
气泡图(bubbleplot)
这里通常可以使用python一个流行的作图工具:seabornlibrary，同样的pandas和bubbly辅助。我想知道为什么seaborn比较比较好？
而且大部分事情数据分析，建模前，都要擦洗数据，刷洗后数据的结果总要有个格式，我明白了的最容易建议使用，最方便些再输入模型,建议作图的格式叫暗
.jpg)
