百度网络公司电话

在了解这一方法是如何工作之前，我们首先需要理解损失平面（loss surface）和泛化的解（generalizable solution）。
权重空间内的解
个不得不提到的是，经过训练的网络是高值空间中的一个点。对给定的架构而言，每个不同的网络权值组合都代表了一个不同的模型。任何给定架构都有无穷的权重组合，因而有无穷多的解。训练神经网络的目标是找到一个特定的解（权值空间中的点），使得训练数据集和测试数据集上的损失函数的值都比较低。
在训练期间，训练算法通过改变权值来改变网络并在权值空间中漫游。梯度下降算法在一个损失平面上漫游，该平面的海拔为损失函数的值。
窄较值和宽较值
坦白的讲，可视化并理解高值空间的几何特性非常困难，但我们又不得不去了解它。因为随机梯度下降的本质是，在训练时穿过这一高维空间中的损失平面，试图找到一个良好的解——损失平面上的一个损失值较低的「点」。不过后来我们发现，这一平面有很多局部较值。但这些局部较值并不都有一样好的性质。
Geoffery Hinton：「为了处理一个 14 维空间中的**平面，可视化了一个 3 维空间，并对自己大声说『十四』。每个人都是这样做的。」

SWA 的直觉来自以下由经验得到的观察：每个学习率周期得到的局部较小值倾向于堆积在损失平面的低损失值区域的边缘（上图左侧的图形中，褐域误差较低，点W1、W2、3分别表示3个独立训练的网络，位于褐域的边缘）。对这些点取平均值，可能得到一个宽阔的泛化解，其损失更低（上图左侧图形中的 WSWA）。

6、文章发布：有时候我们可能做不到每天都加链接，但是文章是我们认为可以控制的，对于新站而言，我们一天可以多更新几篇，做到每天都要有新闻，但是不要盲目的添加新闻，现在比较火的就是软文推广，这对我们的文采有一些要求，当然不是每个人都能做到的，所以我们就要抓其技巧，文章标题一定要又意义，让人想读，内容有关键词，可以加粗、锚链，但是不要刻意的添加过多的关键词，这是百度打击的对象；

宽的较值和窄的较值。宽的局部较小值在训练和测试过程中产生类似的损失；但对于窄的局部较小值而言，训练和测试中产生的损失就会有很大区别。这意味着，宽的较值比窄的较值有更好的泛化性。
平坦度可以用来衡量一个解的优劣。其中的原理是，训练数据集和测试数据产生相似但不尽相同的损失平面。你可以将其想象为测试平面相对训练平面而言平移了一点。对窄的解来说，一个在测试的时候损失较低的点可能因为这一平移产生变为损失较高的点。这意味着窄的（尖锐的）解的泛化性不好——训练损失低，测试损失高。另一方面，对于宽的（平坦的）解而言，这一平移造成的训练损失和测试损失间的差异较小。
我解释了两种解决方案之间的区别，是因为这篇论文的提出的方法、也是我这篇文章重点介绍的方法，就能带来讨人喜欢的、宽的（平坦的）解。