1.NAS 学习笔记（十三）- NASP

NAS 学习笔记（十三）- NASP

       NASP：神经架构搜索算法的革新探索

       在探索神经架构搜索(NAS)的无限可能时，我们来到了一篇引人入胜的论文[1]——《通过近端迭代优化的高效神经架构搜索》。本文将聚焦于其中的创新算法NASP，这个在年AAAI会议上发表的杰出之作，旨在解决DARTS[2]的一些关键问题。让我们一同深入理解这个算法如何以独特的易企秀 源码方式改进了搜索效率和模型性能。

       挑战与突破：DARTS的缺陷与NASP的应对

       DARTS在搜索过程中面临的主要挑战在于其效率问题。首先，由于使用softmax，网络中所有操作都需要进行前向传播和反向传播，这导致计算成本高昂，且涉及复杂的二阶导数计算。其次，源码盈利架构性能上，softmax产生的概率分布可能导致操作之间的相关性模糊，难以确定性能差异。此外，DARTS在模型复杂度控制上也显得力不从心。

       NASP正是源码转化针对这些问题，提出了一种创新的解决方案。它引入了近端梯度算法(Proximal Algorithm，PA)，并通过PA的变种——懒惰近端步骤，巧妙地解决了搜索空间的离散化限制。

       NASP的温柔源码核心技术

       2.1 Proximal Algorithm (PA)：NASP作为首个在NAS领域应用PA的尝试，其关键步骤包括迭代优化。通过PA，NASP能够有效地处理离散限制，使其在保持搜索空间可微分的同时，训练模型时保持架构的离散性。

       2.2 Search Objective：NASP的点券源码独特之处在于它在搜索时保持搜索空间连续，但在训练阶段将架构转换为离散，通过argmax选取每个边上的最优操作。通过正则化项，NASP可以有效控制模型的复杂度，确保搜索到的架构更小、更精简。

       加速搜索过程：NASP算法的创新

       NASP算法的核心在于其搜索算法的革新。传统的PA方法仍然面临计算二阶梯度的挑战，而NASP通过发现离散架构的稳定性，巧妙地跳过了这一过程。作者提出的伪代码展示了这一创新，使得搜索过程更为高效，甚至比最先进的方法快倍以上。

       总结与启示

       阅读NASP，我们不仅看到了离散与连续架构转换的巧妙应用，还领略了PA算法在NAS领域的独特创新。尽管作者开源的源码中大部分基于DARTS，但NASP的实现无疑是对基础框架的一次拓展。它不仅提升了搜索效率，还在模型性能和复杂度控制上实现了显著改进。NASP的故事提醒我们，创新总是在解决现有问题的过程中诞生。

       参考文献：

       Q. Yao, X. Chen, J. T. Kwok, Y. Li, and C.-J. Hsieh. "Efficient Neural Interaction Function Search for Collaborative Filtering." In Proceedings of The Web Conference , , pp. -.

       Q. Yao, J. Xu, W.-W. Tu, and Z. Zhu. "Efficient Neural Architecture Search via Proximal Iterations." .