DARTS-架构搜索：提升性能与稳定性研究

资源摘要信息:"DARTS-是在ICLR'21会议上提出的，一种在没有指标的情况下退出性能崩溃的自适应超参数优化方法。该方法由楚湘香、王晓星、张波、陆顺、魏小林和严俊池六位研究人员共同发表。DARTS-是基于DARTS（Differentiable Architecture Search）的一种改进方法，旨在解决原始DARTS在搜索过程中会遇到的性能崩溃问题。DARTS是一种神经网络架构搜索（NAS）的方法，通过可微分的方式来进行网络结构的搜索，从而避免了传统NAS方法中需要大量计算资源和时间的问题。DARTS-的核心思想是引入了一种基于梯度的算法，可以在没有性能指标的情况下进行超参数优化，从而在保持搜索效率的同时，提高搜索过程的稳定性和最终模型的性能。" 在DARTS-的研究中，作者提供了在CIFAR-10和CIFAR-100数据集上的实验验证，说明了DARTS-在不同的搜索空间（S0-S4）中能够有效地搜索到性能更优的网络结构。具体而言，通过脚本文件scripts/run_darts_minus.sh可以在S0-S4的搜索空间中进行模型的搜索，其中S0对应于代码中的S5。此外，作者还提供了scripts/run_darts_minus_fulltrain.sh脚本用于在所有搜索空间中评估CIFAR-100模型，以及在S4中评估CIFAR-10模型的性能。对于剩余的CIFAR-10模型，可以通过执行script/eval SGAS代码来进行评估。 在体系结构搜索的过程中，一个重要的环节是黑森特征值的计算，这是评估模型损失景观的一个重要指标。在DARTS-中，默认情况下会关闭计算黑森特征值（--compute_hessian）的选项。搜索完成后，可以独立于已保存的检查点来计算Hessian特征值，这有助于进一步分析和理解模型在搜索空间中的表现和特性。相关脚本start_calc_hessian.sh可用于启动黑森特征值的计算。 DARTS-的研究成果被整理和封装在了名为"DARTS--main"的压缩包子文件中，该文件包含了相关代码以及脚本，研究人员和工程师可以下载并利用这些资源来复现实验结果或是进一步开发和优化DARTS-方法。文件标签为"Python"，说明该代码和脚本可能是使用Python语言编写的，这在深度学习和机器学习领域非常常见，因为Python有着丰富的库和框架支持，比如TensorFlow、PyTorch等，这些都为深度学习模型的开发提供了极大的便利。