一窥对抗攻击下神经架构的韧性：密集连接与防御策略

在深度学习领域，对抗性攻击的研究近年来取得了显著进展，这揭示了现代深度神经网络在面对精心设计的恶意输入时所表现出的内在脆弱性。为了解决这一问题，研究人员开始探索增强深度网络鲁棒性的新方法，包括开发专门的学习算法和优化损失函数。 本论文《神经架构搜索鲁棒性》（NN_frame - CVPR 2020 - 港中文大学 - MIT CSAIL）主要关注的是从架构层面入手，寻找对抗攻击具有抵抗力的网络结构。作者们采用了一种名为"一Shot神经架构搜索"的方法，首先训练一个大型网络，然后通过对该网络子结构进行微调，获得了大量的候选模型。这种方法提供了丰富的网络样本库，为深入研究提供了坚实的基础。 研究的核心发现包括： 1) 密集连接模式的优越性：论文指出，密集连接的网络架构能够提高网络对对抗性攻击的抵抗力。这种结构通过连续的特征融合，使得模型能够更好地处理输入的扰动，从而减少攻击的效果。 2) 计算资源有限下的策略：在保证性能的前提下，论文发现，在直接连接边添加卷积层可以有效地提升网络的鲁棒性。这是因为卷积层能够引入局部感受野，帮助模型学习到更丰富的特征表示，从而抵御针对特定区域的攻击。 3) 模型优化与选择：通过对不同架构的性能进行评估，研究者能够挑选出在对抗攻击下表现优异的模型。这强调了在设计网络时，不仅要考虑标准的精度，还要兼顾对鲁棒性的考量。 4) 鲁棒性与计算效率的权衡：论文还探讨了在有限的计算资源下如何在提高网络性能和保持鲁棒性之间找到平衡。这涉及到对模型复杂度、层数和参数数量的选择，以及可能的剪枝和量化技术来降低成本。 这项工作提供了一个全新的视角，即通过神经架构搜索来挖掘对抗攻击下更具韧性的小众网络结构，这对于构建更安全、鲁棒的深度学习模型具有重要的理论和实践意义。未来的研究可能会进一步细化这些发现，并将其应用到实际的安全场景中，以提高AI系统的整体安全性。