1.如何评价斯坦福大学提出SGD动量自调节器YellowFin？
2.PyTorch 源码解读之 torch.optim：优化算法接口详解
3.SWA (Stochastic Weight Average)
4.scikit-learn学习笔记（6）--神经网络

如何评价斯坦福大学提出SGD动量自调节器YellowFin？

       Ranger优化器将两个非常新的开发（radam+lookahead）合并到一个单独的优化器中。为了证明它的有效性，我们的团队最近使用Ranger optimizer在fastai全球排名中获得了个排名记录。

       Lookahead是Ranger优化器的一半。它是由著名深度学习研究员杰弗里·辛顿（Geoffrey Hinton）在年7月的一篇新论文《前瞻优化：K步进，1步后退》中介绍的黑马发现源码。Lookahead受最近神经网络损失面研究的启发，提出了一种新的方法来稳定深度学习的训练和收敛速度。基于radam（corrected Adam）在深度学习方差管理方面的突破，发现将radam+lookahead组合在一起（Ranger）可以产生一个梦想团队，并且可以得到比单个radam更好的优化器。

       Ranger optimizer是一个易于使用和高效的单一代码库（在一个循环中加载/保存和更新所有参数）。它被集成到fastai中。Ranger源代码可以直接使用：/lessw/Ranger-Deep-Learning-Optimizer。

       Adam、SGD和前瞻+Adam/SGD在LSTM上的比较

       为什么radam和lookahead是互补的

       可以说，RADAM为优化器开始训练提供了最好的基础。雷达采用动态整流器根据变化调整Adam的自适应动量。对于当前的数据集，它有效地提供了自动热身，以确保坚实的训练开始。

       最近对神经网络的深入探索和深入了解，为今后神经网络的深入研究提供了一个灵感。

       “快速调整”以减少“团队在实现快速收敛时所需的大量计算开销。”。web聊天系统源码

       因此，两者都在深度学习优化的不同方面提供了突破，两者的结合具有很高的协同性，可以为您的深度学习效果提供两种改进的最佳效果。因此，寻求更稳定和更稳健的优化方法将继续下去。通过结合两个最新突破（radam+lookahead），Ranger集成有望为深度学习提供另一个进步。

       Hinton等人。-“我们通过实验证明，即使在Imagenet、cifar-/、神经机器翻译和Penn treebank上设置了默认的超参数设置，lookahead也可以显著提高SGD和Adam的性能。”

       因为lookahead具有双向探测设置，所以lookahead可以优化到比SGD更接近最小值的位置。

       因此，本文在介绍雷达的基础上，阐述了什么是超前雷达，以及如何将雷达和超前雷达组合成一个单一的优化测距仪，以达到新的高精度。在我测试的前个时代，我获得了一个新的高准确率，比目前的无尽弹窗口源码fastai排名高出1%。

       我们可以摆脱SGD和Adam，以及新的深度学习优化器Ranger:radam+lookahead

       流浪者的第一次测试是%

       法塔伊，个时代，%

       更重要的是，任何人都可以使用Ranger，看看它是否提高了你的深度学习结果的稳定性和准确性！

       因此，让我们仔细看看驱动Ranger的两个组件：radam和lookahead

       1什么是拉丹（亚当纠正）

       小结：开发radam的研究人员调查了为什么自适应动量优化器（Adam、rmsprop等）都需要预热，否则在训练开始前它们会陷入一个糟糕/可疑的局部最优状态。

       我们可以摆脱SGD和Adam，以及新的深度学习优化器Ranger:radam+lookahead

       原因是当优化器在训练开始时没有看到足够的数据来做出准确的自适应动量决策，那么数据的方差将非常大。因此，热身可以在训练开始时减小方差，但即使要确定热身的程度，也需要根据数据集的变化进行手动调整。

       因此，修正后的Adam通过使用一个修正函数来确定一个“启发式预热”，该函数基于实际遇到的方差。整流器动态地关闭和打开自适应动量，以便在数据方差稳定之前不会全速跳跃。

       这样，就避免了手动热身的个人分享系统源码需要，训练也自动稳定下来。

       一旦方差稳定下来，拉丹就变成了亚当，甚至是新元。因此，拉丹的贡献是在训练的开始。

       读者注意到

PyTorch 源码解读之 torch.optim：优化算法接口详解

       本文深入解读了 PyTorch 中的优化算法接口 torch.optim，主要包括优化器 Optimizer、学习率调整策略 LRScheduler 及 SWA 相关优化策略。以下为详细内容：

       Optimizer 是所有优化器的基类，提供了初始化、更新参数、设置初始学习率等基本方法。在初始化优化器时，需要传入模型的可学习参数和超参数。Optimizer 的核心方法包括：

       1. 初始化函数：创建优化器时，需指定模型的可学习参数和超参数，如学习率、动量等。

       2. add_param_group：允许为模型的不同可学习参数组设置不同的超参数，以适应不同的学习需求。

       3. step：执行一次模型参数更新，需要闭包提供损失函数的梯度信息。

       4. zero_grad：在更新参数前，钉钉源码恶意清空参数的梯度信息。

       5. state_dict 和 load_state_dict：用于序列化和反序列化优化器的状态，便于保存和加载模型的训练状态。

       Optimizer 包括常见的优化器如 SGD、Adagrad、RMSprop 和 Adam，各有特点，适用于不同的应用场景。例如，SGD 适用于简单场景，而 Adam 则在处理大数据集时表现更优。

       学习率调节器 lr_scheduler 则负责在训练过程中调整学习率，以适应模型的收敛过程。PyTorch 提供了多种学习率调整策略，如 StepLR、MultiStepLR、ExponentialLR 等，每种策略都有其特点和应用场景，如 StepLR 用于周期性调整学习率，以加速收敛。

       SWA（随机权重平均）是一种优化算法，通过在训练过程中计算模型参数的平均值，可以得到更稳定的模型，提高泛化性能。SWA 涉及 AveragedModel 类，用于更新模型的平均参数，以及 update_bn 函数，用于在训练过程中更新批量归一化参数。

       总结，torch.optim 提供了丰富的优化算法接口，可以根据模型训练的需求灵活选择和配置，以达到最佳的训练效果和泛化性能。通过深入理解这些优化器和学习率调整策略，开发者可以更有效地训练深度学习模型。

SWA (Stochastic Weight Average)

       SWA（Stochastic Weight Averaging），一种调参技巧，其实质是通过连续更新后的权重计算平均值，而非保存历史权重。PyTorch.contrib提供了相应的源码实现，让我们通过一个简单的测试代码来了解如何使用：

       代码中前两个参数的作用在于设置更新的规则，例如，s和f分别代表滑动窗口大小和步长。内部机制是(optimizer的state字典)为每个权重维护一个字典，记录swa_buff（用于计算均值的tensor）和相关计数。

       举个例子，当s=3，f=3时，只有在第1、2、3步之后，权重才会被包含在均值计算中。下面进行实验，以CIFAR-为例，首先不使用SWA，记录训练过程:

       加入SWA后，模型性能显著提升，如无BN更新，提升%；当加入BN更新，性能进一步提升至%。这表明尽管在某些情况下BN更新可能带来影响，但SWA确能有效提升性能。

       那么，为何平均权重就能产生效果呢？可以直观地通过以下图形解释：图形展示了SWA和SGD解的差异。SWA解位于loss曲线的平坦区域，使得模型在训练过程中损失变化平稳，有利于泛化性能的提高。

       图形的绘制方法虽然未在文中详细说明，但推测是将SWA和SGD解表示为x1和x2，通过变量w进行加权平均，当w=0时代表SWA，w=时代表SGD。这展示了SWA的稳定性在对抗训练扰动和优化泛化方面的重要性。

scikit-learn学习笔记（6）--神经网络

       神经网络（neural_network）模块中的重要类包括MLPClassifier（用于分类）和MLPRegressor（用于回归）。多层感知器（MLP）是一种监督学习算法，属于前馈人工神经网络模型，本质上是一个全连接神经网络（让我回想起看西瓜书时用Java实现全连接网络......不堪回首）。

       MLPClassifier类和MLPRegressor类都使用参数alpha作为正则化（L2正则化）系数。

       二、数据集

       分类：鸢尾花数据集

       回归：自己构造的曲线，exp函数，x范围为[-3.0, 3.0]，间隔为0.1

       三、函数详细介绍

       多分类同样不用讨论，并且允许同时拟合多条线。

       这章的详细介绍将从源码、参数、属性、结果截图和画图截图展开。

       1、MLPClassifier类，多层感知机分类

       原理及公式：一系列的公式和具体原理可以见西瓜书，这里不再赘述。

       代码：略

       结果图示：略

       note：

       1、各属性值含义在源码中已经说明。

       2、参数：

       1）、hidden_layer_sizes=()：元组，同时指定隐藏层层数+每层单元数。比如（,）两层，第一层个隐藏单元，第二层个单元；

       2）、activation="relu"：隐藏层的激活函数，可选为{ 'identity', 'logistic', 'tanh', 'relu'}，分别对应：{ f(x) = x ，f(x) = 1 / (1 + exp(-x))，f(x) = tanh(x)，f(x) = max(0, x)}

       3）、solver='adam'：参数的优化算法，可选为{ 'lbfgs', 'sgd', 'adam'}，分别对应{ 拟牛顿法，随机梯度下降，基于随机梯度下降的自适应}的具体实现算法

       4）、alpha=0.：L2正则化参数

       5）、batch_size='auto'：对于随机优化器来说是可选的，批大小，设为auto时为min(，n_SAMPLES)

       6）、learning_rate="constant"：参数更新时的学习率，只在solver='sgd'时有效，可选为{ 'constant', 'invscaling', 'adaptive'}，分别对应{ 常数即=初始学习率，逐渐降低，自适应}

       7）、learning_rate_init=0.：初始学习率，只在solver='sgd' 或'adam'起作用

       8）、power_t=0.5：影响learning_rate=" invscaling "时的学习率降低（有个计算公式effective_learning_rate = learning_rate_init / pow(t, power_t)，t表示时间步）

       9）、max_iter=：最大迭代轮数

       ）、tol=1e-4：损失值容忍阈值，小于该值时停止训练

       2、MLPRegressor类，多层感知机回归

       原理及公式：本来输出的就是连续值，用来做分类要加上softmax层，这里只是去掉该层

       代码：略

       结果图示：略

       note：

       1、参数同分类，无新参数需要说明

       2、各属性值含义亦同。