郑州有经验的网络公司地址 郑州聚商网络科技有限公司

在了解这一方法是如何工作之前，我们首先需要理解损失平面（loss surface）和泛化的解（generalizable solution）。
权重空间内的解
个不得不提到的是，经过训练的网络是高值空间中的一个点。对给定的架构而言，每个不同的网络权值组合都代表了一个不同的模型。任何给定架构都有无穷的权重组合，因而有无穷多的解。训练网络的目标是找到一个特定的解（权值空间中的点），使得训练数据集和测试数据集上的损失函数的值都比较低。
在训练期间，训练算法通过改变权值来改变网络并在权值空间中漫游。梯度下降算法在一个损失平面上漫游，该平面的海拔为损失函数的值。
窄较值和宽较值
坦白的讲，可视化并理解高值空间的几何特性非常困难，但我们又不得不去了解它。因为随机梯度下降的本质是，在训练时穿过这一高维空间中的损失平面，试图找到一个良好的解——损失平面上的一个损失值较低的「点」。不过后来我们发现，这一平面有很多局部较值。但这些局部较值并不都有一样好的性质。
Geoffery Hinton：「为了处理一个 14 维空间中的**平面，可视化了一个 3 维空间，并对自己大声说『十四』。每个人都是这样做的。」

下面是 SWA 的工作原理。它只保存两个模型，而不是许多模型的集成：
个模型保存模型权值的平均值（WSWA）。在训练结束后，它将是用于预测的终模型。
*二个模型（W）将穿过权值空间，基于周期性学习率规划探索权重空间。
SWA权重更新公式

SWA 的直觉来自以下由经验得到的观察：每个学习率周期得到的局部较小值倾向于堆积在损失平面的低损失值区域的边缘（上图左侧的图形中，褐域误差较低，点W1、W2、3分别表示3个立训练的网络，位于褐域的边缘）。对这些点取平均值，可能得到一个宽阔的泛化解，其损失更低（上图左侧图形中的 WSWA）。

在每个学习率周期的末尾，*二个模型的当前权重将用来更新个模型的权重（公式如上）。因此，在训练阶段，只需训练一个模型，并在内存中储存两个模型。预测时只需要平均模型，基于其进行预测将比之前描述的集成快很多，因为在那种集成中，你需要使用多个模型进行预测，后再进行平均。
http://juwang009.cn.b2b168.com
欢迎来到郑州聚商网络科技有限公司网站， 具体地址是河南省郑州金水区经三路66号金城国际6号楼东单元1306室，联系人是张。 主要经营网络推广公司郑州聚商网络营销专注于网站推广,网络推广外包,网络推广方案,网络营销推广,seo和网站优化等网络推广服务,在郑州网络推广公司中,推广经验丰富,时间短,见效快,效果好,快速提升企业效益,欢迎咨询。。 单位注册资金单位注册资金人民币 100 - 250 万元。 你有什么需要？我们都可以帮你一一解决！我们公司主要的特色服务是：郑州网络推广,郑州网站推广,郑州网络营销,郑州网站优化,郑州seo,郑州seo优化,郑州百度优化,郑州网络公司,郑州网络推广公司等，“诚信”是我们立足之本，“创新”是我们生存之源，“便捷”是我们努力的方向，用户的满意是我们较大的收益、用户的信赖是我们较大的成果。