基于HyperNet的一次性神经网络架构搜索在3D医学图像分割中的应用

207410HyperSegNAS：使用HyperNet将一次性神经网络架构搜索与3D医学图像分割相结合0Cheng Peng 1 Andriy Myronenko 2 Ali Hatamizadeh 2 Vishwesh Nath 20Md Mahfuzur Rahman Siddiquee 3 Yufan He 2 Daguang Xu 2 Rama Chellappa 1 Dong Yang 201约翰霍普金斯大学2 NVIDIA 3亚利桑那州立大学0摘要0由于对象（如器官或肿瘤）的形状和模式的高度可变性，对3D医学图像进行语义分割是一项具有挑战性的任务。鉴于深度学习在医学图像分割中的最新成功，神经网络架构搜索（NAS）已被引入以找到高性能的3D分割网络架构。然而，由于3D数据的大量计算需求和架构搜索的离散优化性质，以前的NAS方法需要很长的搜索时间或必要的连续松弛，并且通常导致次优的网络架构。虽然一次性NAS可以潜在地解决这些缺点，但其在分割领域的应用尚未得到广泛研究，尤其是在广阔的多尺度多路径搜索空间中。为了实现医学图像分割的一次性NAS，我们的方法名为HyperSegNAS，引入了一个HyperNet来辅助超级网络训练，以融入架构拓扑信息。这样的HyperNet在超级网络训练完成后可以被移除，并且在架构搜索过程中不会引入额外开销。我们展示了HyperSegNAS相对于先前的最先进（SOTA）分割网络具有更好的性能和更直观的架构；此外，它可以在不同的计算约束下快速准确地找到良好的架构候选。我们的方法在来自医学分割十项全能赛（MSD）挑战的公共数据集上进行评估，并取得了SOTA的性能。01. 引言0尽管深度学习方法取得了进展，但由于目标对象的大变异性，数据样本的数量有限，以及高维和高分辨率的特性，医学图像分割仍然具有挑战性。0（a）DiNTS [16]搜索到的架构，5,067 MB0（b）HyperSegNAS搜索到的架构，5,358 MB0（c）1a和1b的五折交叉验证0图1. 基于MSD [1]中的胰腺数据集，从DiNTS[16]（1a）和我们提出的HyperSegNAS（1b）中找到的架构。在相似的计算成本下，HyperSegNAS的架构使用更多的跳跃连接，并确保多尺度特征传播用于预测。我们的架构在性能上明显优于DiNTS，如1c所示。03D图像，研究人员在各种计算环境下设计高效的神经网络架构上付出了很大的努力[9, 10, 27, 28,32]。神经网络架构搜索（NAS）应运而生，以响应手工设计方法，并通过自动化算法寻找性能良好的架构。虽然最初专注于分类[5, 26, 39, 43,48]，但近年来NAS也被引入到分割领域[16, 21, 25, 37, 38,40, 44, 47]。分割networks usually preserve features from multiple scales andaggregate them together to accurately segment objects withdifferent sizes. Accordingly, the search space for multi-scale, multi-path architectures can be very complex, as thefeasible network configurations increase exponentially withscale. C2FNAS [44] needs close to one GPU year to searchfor a single 3D segmentation architecture based on the Evo-lutionary Algorithm (EA), despite building on a U-shapenetwork architecture. On the other hand, DiNTS [16] re-laxes the architecture search problem from a discrete formu-lation to a continuous and differentiable one, thus it greatlyspeeds up the searching process. Such a relaxation, how-ever, may lead to (1) an optimization gap when the contin-uous architecture/edge weights are discretized for deploy-ment [8,35] and (2) possibly infeasible architectures, whichrequire ad-hoc logic to be handled.Beyond finding the best performing architecture, balanc-ing other computing constraints to the search process is an-other important aspect of NAS and has led to popularity inmethods like one-shot NAS [2, 3, 5–7, 12, 18, 22, 30, 33, 41,43], where all sub-nets are trained with shared parametersunder a large super-net. This aspect is especially importantfor medical imaging segmentation task for which memoryusage is a major challenge when searching for the optimalarchitecture across various devices and resource constraints.Once training is completed, the shared parameters can beused to evaluate the possible sub-nets and select the bestperformers given the specified constraints. So far, one-shotapproaches have not been applied to the 3D segmentation’ssearch space yet. As there are no clear training strategies,such as the unilateral augmented (UA) principle [34] used inprogressive shrinking [5] and the Sandwich Rule [42,43], ina multi-scale, multi-path search space [25], we find that theone-shot training scheme with randomly sampled architec-ture topology frequently leads to sub-optimal performance.We propose HyperSegNAS, which follows the one-shotNAS approach and seeks to address its issues in the segmen-tation space. Within HyperSegNAS, we propose a novelMeta-Assistant Network (MAN) to improve super-net train-ing. Specifically, both the sampled architecture and the in-put image are fed to MAN. MAN then dynamically mod-ifies the shared weights during the training process basedon deploying architectures. We show that such an architec-ture topology-aware training method significantly improvessub-net performances. When training is completed, an an-nealing process is used to gradually remove MAN from themain network. Even after removing MAN, the sub-net per-formances remain high and can be efficiently evaluated.Benefiting from the one-shot paradigm, HyperSegNAShas many advantages. Firstly, HyperSegNAS is much moreefficient at evaluating over many architectures under differ-ent computing constraints, as the shared parameters onlyneed to be trained once.In comparison, approaches in207420[16,44]需要从头开始搜索以获得每个单独的架构。其次，HyperSegNAS在离散架构上进行评估，消除了可微分NAS中出现的离散化差距和不可行的配置。最后，由于训练和搜索之间的解耦，HyperSegNAS可以准确地适应给定的约束条件。正如图1a和1b所示，我们的搜索算法得到了一个与DiNTS相比非常不同的架构，但在类似的计算约束下。我们的架构不仅性能显著更好，如图1c所示，而且还遵循传统的直觉，在传播多尺度特征时使用跳跃连接。最后，HyperSegNAS在医学分割十项全能赛（MSD）挑战中使用与DiNTS相似的计算预算实现了新的SOTA性能。总之，我们的主要贡献如下：0•我们提出了HyperSegNAS，一种一次性NAS方法，用于寻找最优的3D分割架构。HyperSegNAS可以搜索适应不同计算约束的高效架构。0• 我们提出了一种名为Meta-AssistantNetwork（MAN）的超网络结构，通过将相关元信息纳入NAS中来解决分割网络的大搜索空间问题；MAN在训练后可以被移除，并且不会增加搜索和重新训练的计算开销。0•与DiNTS相比，在低计算和高计算架构上取得了更好的结果，并在MSD的多个任务中实现了新的SOTA性能。02. 相关工作02.1. 医学图像分割0医学图像分割在许多医学成像应用中已经研究和发展了几十年。特别是，基于深度学习的算法在最近几年的分割应用中被广泛采用。在深度神经网络模型中，U-Net [9, 32]是这个领域的一个开创性工作，因为它在处理多尺度图像特征方面具有高效性和结构简单性。随后引入了各种改进措施[19, 23, 28,46]，包括添加残差块或稠密块等组件以及结合2D和3DU-Net。另一方面，nn-UNet [19]从多个现有的2D/3DU-Net模型中集成预测，并专注于找到正确的配置/超参数以提高性能。还有其他没有U形结构的现有架构，例如AH-Net [27]，HDenseNet [24]，HyperDenseNet[10]等。这些架构之间有一个共同的主题。3.2. HyperSegNASarg minaLval(a, ω∗a), ∀a ∈ A | Cost(a) < C,(1)arg minω� Ltrain(a, ωa)|A|, ∀a ∈ A.(2)arg minaLval(a, ωa), ∀a ∈ A | Cost(a) < C.(3)207430为了保持可管理的计算成本，需要保留各种维度和分辨率的特征，因此，深度学习模块（例如卷积，跳跃连接）的使用一直是手动设计架构的一个主要探索领域。02.2. 神经架构搜索（NAS）0手动设计架构在视觉任务中取得了稳定的性能改进；然而，它们迭代逐渐，并且成本高昂。NAS提出以性能为驱动的方式自动化架构设计，并受到了广泛关注。NAS经常应用于图像识别任务[5, 26, 39, 43,48]。从高层次上看，进化算法（EA）[31]和强化学习（RL）[48]用于进行离散搜索/优化，可微松弛[26]的连接和操作允许搜索算法利用梯度下降优化。最后，训练一个架构性能估计器，例如一次性NAS[2, 3, 5-7, 12, 18, 22, 30, 33, 41,43]，这是另一种流行的方法，因为它将训练和搜索过程解耦。虽然之前的方法[3,45]使用HyperNets直接估计子网络性能，但HyperSegNAS专注于通过助手HyperNet加速特征学习，这不会在搜索过程中引入开销。最近，NAS在医学图像分割中得到了探索[16, 38,40]。由于3D分割架构需要处理和保留多分辨率特征，因此它们比2D分类架构更具计算强度。早期的尝试[21, 37, 44,47]基于U-Net的先前架构，在保持整体U形结构的同时修改边缘操作和连接。为了超越基于U-Net的结构，同时保持计算可行性，DiNTS [16]在Auto-DeepLab[25]首次提出的分割搜索空间上应用了类似于[26,39]的可微分NAS公式。由于可微分NAS引入的效率，DiNTS[16]可以可行地搜索适应不同计算预算的架构，并且是MSD[1]挑战中目前表现最好的方法。03. 方法03.1. 网络搜索空间0拓扑结构。我们遵循之前的工作[16,25]，定义了3D分割架构的搜索空间。如图2所示，我们将输入图像I下采样生成多尺度I ↓r，其中r表示下采样因子。总体而言，搜索空间具有L =12层，并且在每一层都包含| r | = 4个尺度的特征，表示为Fl ↓ r，其中l ∈ {1, 2, ..., L}。层之间有E =10个可能的边缘；每个边缘包含一个基本操作-0操作和上采样/下采样/恒等操作取决于输出特征尺度。当多个边缘指向相同的特征尺度时，它们的输出被求和并归一化。如[16,25]所示，这个搜索空间在拓扑结构上非常通用，包含许多主要的分割架构（如U形网络）。边缘操作。对于搜索空间中的每个边缘，从预定义的操作集中选择一个基本操作。由于拓扑结构已经很复杂，我们在选择基本操作集时采取了极简主义的方法，其中包括跳跃连接和3×3×3的3D卷积。与[16]相比，我们省略了三个伪3D操作符（P3D）。这样的设计选择(1)降低了搜索空间的复杂性，使网络拓扑更清晰，(2)仍然包含了大多数流行的医学分割架构，如3DU-Net及其变体。0背景。NAS的目标是在给定的计算约束C下，从搜索空间A中找到性能最佳的子网络a，例如训练时的峰值GPU内存，由最小验证损失定义。0其中ω �a是a经过训练后的最优权重。由于从完整的训练过程中获得ω �a通常非常昂贵，一次性NAS定义了一个带有权重ω的超级网络，它覆盖了整个搜索空间。训练完ω后，它被用作基于子集权重ω a ∈ω的性能估计器，评估所有子网络。训练目标被制定为0显然，枚举所有架构进行推理并平均它们的梯度是不可行的；在实践中，每个训练步骤会对一个或多个架构进行采样以进行局部平均。训练完成后，通过评估选择最佳架构a�。0一次性的公式通过权重共享降低了获取ω �a的复杂性（在公式1中），并且可以直接评估离散的架构；然而，它也有局限性。当搜索空间A很大时，优化公式2与优化单个子网络非常不同。我们的分割搜索空间中的多尺度、多路径架构也给超级网络的训练带来了挑战。与[5, 42,43]等搜索维度（如内核大小和通道大小）不同，多路径架构拓扑arg minω,θ� Ltrain(a, ωa,IHθ(l, e, c) ∗ ωa(l, e, c))|A|.(4)arg minω,θ� Ltrain(a, (λωfixed + (1 − λ)ωa,IHθ) ∗ ωa))|A|,(5)207440(a) HyperSegNet的训练流程。所选边缘的详细信息（红色虚线箭头）在图2b中展开。0(b) 2a的详细视图0图2. HyperSegNet在分割搜索空间之上引入了一个额外的HyperNetH。在训练超级网络时，H引入了额外的通道权重，这些权重取决于输入图像和采样的架构。图2a中的圈起来的块在图2b中展开，以详细展示特征重新加权的过程。引入了一个退火过程，逐渐用ω fixed替换ω a,I Hθ，并将H从推理过程中移除。通过这样的方式，实现了效率和更好的性能估计。0没有明显的顺序，也无法以渐进的方式进行训练。我们发现，从随机采样的拓扑开始训练超网会导致子网络的性能评估不佳。因此，我们假设由于缺乏良好的训练策略和庞大的搜索空间，这些超网特征往往具有高度冗余并且准确性较低。0元助手网络。为了解决上述问题，我们提出了一个元助手网络（MAN），它是架构拓扑感知的。MAN通过提供额外的自由度在  ω  上改进训练，即根据问题的元信息改变  ω。具体而言，我们关注两个元信息：架构  a  和输入图像  I。如图2所示，MAN由一个架构采样器、一个图像编码器M  和一个Hy- perNet  H θ 组成，其中  θ  表示  H的参数。我们将采样的架构  a  ∈  N L × E × O表示为矩阵，其中 O  = 2表示边操作的基数。各层中的所有激活边和单元操作标记为1，否则为0。0HyperNet的传统实现[3,13]直接基于相关信息输出网络权重  ω 。然而，参数的总数 | ω |非常庞大且生成成本高昂。相反，MAN生成通道权重，如图2b所示。更准确地说，我们将超网中的每个卷积核表示为 ω ( l, e, c )  ∈  R k × k ，其中  k  是卷积核大小。分别，l  ∈ { 1 ,  2 , ..., L } ，  e  ∈ { 1 ,  2 , ..., E } ， c是层、边和通道索引。对于每个训练迭代，采样一个架构  a 和一个训练图像  I 。我们从  M ( I )  获得一个图像向量  limage ，并通过展平架构矩阵表示获得一个架构向量  larch 。然后将这些向量连接起来作为0输入到  H  中以获得  ω a,I H θ =  H θ ( l arch  ⊕  l image) 。最后，通道权重  ω a,I H θ与超网中的卷积核相乘，并将Eq.  2  的训练转化为：0在这种形式下，根据给定的图像，各个子网络获得了额外的优化自身配置的能力。我们观察到，这种设置显著提高了性能。HyperNet退火。虽然MAN改进了子网络的学习，但也可能导致由于引入了新的网络组件和整体增加的表示能力而导致的潜在有偏差的评估。这可能会影响到子网络从共享权重中估计的性能与部署中的真实性能之间的相关性，特别是对于较小的架构。为了获得与MAN无关的共享权重并确保搜索的公平性，HyperSegNAS包括第二阶段来去除MAN进行评估。具体而言，我们引入一个恒定的通道标量权重  ωfixed  = 0 . 5  和一个渐进替换  ω a,I H θ  为  ω fixed的过程。这个过程可以表示为：0其中  λ是从0逐渐增加到1的退火温度。我们发现线性退火时间表效果很好，并且在去除MAN后，使得 ω能够保持合理的性能，从而仅基于 ω实现估计性能的整体改进。架构搜索。在 ω训练完毕后，我们评估不同的架构并选择最佳性能-207450满足所需计算约束的候选项。虽然HyperSegNAS在估计子网络性能方面取得了明显的改进，但这些估计仍然稍逊于从头开始训练架构的 ω � a ，这在一次性文献中通常观察到[4,5]。通过在  ω上应用一些特定于架构的微调步骤，可以获得更具竞争力的性能。由于在所有架构上都这样做非常昂贵，我们采用了一种由粗到精的搜索算法，可以分为三个部分描述。01.我们采样足够数量的候选架构，即适应给定计算约束σ的架构，形成有效的搜索空间Aσ。02.我们基于超网和公式3评估Aσ中的所有候选架构，并选择前N个表现最好的架构。03.我们对N个架构进行微调几次，评估它们的微调性能，并选择表现最好的架构作为最终架构。0虽然任何形式的计算约束，例如延迟，都适用于HyperSegNAS，但我们遵循[16]中使用训练时间GPU内存成本作为计算约束。由于在公式2和公式3中训练和搜索的解耦，HyperSegNAS可以精确计算评估模型的计算预算。具体而言，在我们的搜索算法的采样阶段，HyperSegNAS可以通过进行几次训练直接测量训练内存成本。这是HyperSegNAS与可微分NAS方法（如DiNTS[16]）的一个明显优势，因为由于运行时的各种低级优化和开销，训练内存成本很难进行分析和预测[11]。事实上，将DiNTS[16]中的内存使用的可微分分析公式纳入其中，不仅会导致不准确的成本估计，还可能导致有偏差的架构，例如图1所示，由于离散化间隙。04. 实验0数据集。我们遵循[16,44]中的设置。具体而言，我们的搜索算法在MSD胰腺数据集上进行，该数据集已被先前的工作证明可以得到通常性能良好的架构。我们将提供的281个扫描重新采样为1.0×1.0×1.0mm³的体素分辨率，使用225个扫描进行训练，56个扫描进行验证。实现细节。我们在与[16]相同的拓扑搜索空间上进行架构搜索。有关详细信息，尺度为r={1, 2, 3,4}的特征的通道大小c为{32, 64, 128,256}；总共，在搜索空间中有c tot = 27,648个通道。0图3.根据训练内存成本对表1中的25个评估架构进行排序的平均Dice-Sørensen（DSC）分数的可视化。0方法 胰腺 肿瘤 平均推理速度0Vanilla One-Shot 71.93 33.96 52.92 44.60秒0HyperSegNAS lI ωa,IH 75.64 37.42 56.53 67.91秒0HyperSegNAS ωa,IH 75.90 44.36 60.13 69.41秒0HyperSegNAS noanneal 32.15 28.17 30.16 46.89秒0HyperSegNAS 76.31 41.99 59.15 47.27秒0表1. 对Hy-perSegNAS的不同实现进行消融研究。随机采样并在胰腺数据集上评估25个架构。报告各个标签的Dice-Sørensen（DSC）分数和每个3D体积的分割推理速度（以秒为单位）。0训练过程中，采样大小为96×96×96的补丁，并通过旋转和翻转进行增强。图像编码器M由六个3D卷积层组成，使用实例归一化[36]和ReLU激活函数，并输出256维的图像l。HyperNetH由五个全连接层组成，其中间使用ReLU激活函数，最后使用Sigmoid激活函数；它输出ωa,IHθ∈Rctot。对于每个采样的架构a，将ωa,IHθ的非激活部分屏蔽，防止反向传播。我们使用Dice和交叉熵损失的组合作为训练目标函数Ltrain。为了加速搜索阶段的评估，我们以最大尺寸为192×192×192mm³采样前景区域，并对其进行补丁化评估。架构采样算法使用多个启发式方法来消除不理想的配置。我们确保每一层至少采样一个可行的边缘，以确保架构始终具有L层。这样可以防止过早终止和过多数量的非常小的架构。可行的边缘和操作以均匀的概率进行采样。超网训练在8个NVIDIAV100GPU上进行，批量大小为8，迭代次数为160,000次；然后对HyperNet进行20,000次退火迭代。207460由于HyperSegNAS可以适应准确的成本约束，我们将搜索到的架构约束为与[16]中找到的三个架构具有相似的训练内存成本。具体而言，我们采样了两千个成本在DiNTS的相应架构内的300MB范围内的架构，形成Aσ，并选择前10个架构进行快速微调，迭代次数为5000次。训练内存直接通过监测NVIDIA系统管理接口（nvidia-smi命令）来测量。总体而言，HyperSegNAS需要32个GPU天来训练超网，以及一个计算约束下的4个GPU天来进行搜索。这比C2FNAS[44]要快得多，后者需要333个GPU天来搜索一个架构。与DiNTS[16]相比，后者需要5.8个GPU天来搜索一个架构，我们的方法在超网训练方面具有前期成本，但一旦获得超网权重，就能更快地适应不同的计算约束。更多算法/实现细节请参考补充材料。0图4.基于微调权重的架构排序改进。微调超网权重的估计与完全训练性能之间的Kendall-Tau相关性为τ =0.55，使用非微调超网权重的相关性为τ =0.22。Spearman等级相关性分别为rs = 0.7和rs = 0.4。04.1. 消融研究0我们通过与其他实现进行比较来评估HyperSegNAS的有效性。具体而言，我们使用相同的训练超参数比较了所提出的流程与以下实现：0A) Vanilla one-shot:大多数一次性方法中使用的训练方案，例如[5,43]，其中架构是随机选择并使用共享权重进行训练。0B) HyperSegNAS l I ω I H θ: 一种HyperSegNAS实现0其中图像向量l image是H的唯一输入，且H未被移除。0C) HyperSegNAS ω a,I H: 使用l image和larch作为输入的HyperSegNAS实现；H未被移除。0D) HyperSegNAS noanneal:一种HyperSegNAS实现，其中H被移除而没有退火。0如图3和表1所示，传统的一次性训练方案在我们的分割搜索空间中导致了次优的性能。共享权重需要隐式地适应所有随机选择的架构；由于特征通常适用于随机架构，它们的容量是有限的。相比之下，添加H有助于改善采样架构的性能。具体而言，虽然HyperSegNAS l I ω a,IH显示出一些性能改进0改进方面，我们观察到在HyperSegNAS ω a,IH中应用图像和架构向量会显著改善性能，这证明了每个元信息在加速学习中的实用性。虽然退火H会导致一些性能下降，因为ω现在不再是架构或输入特定的，但HyperSegNAS仍然远远优于Vanillaone-shot。如果不应用退火并且在推理中简单地移除H，性能将严重降低。04.2. 方法分析0搜索相关性。由于HyperSegNAS基于共享微调权重明确评估不同架构的性能，我们可以测量这些性能估计与从头训练的这些架构的性能之间的Kendall-Tau相关性[20]。如图4所示，当使用共享权重进行估计时，我们观察到适度的相关性，而使用微调权重时，相关性更强。搜索到的架构。除了图1中显示的低成本架构外，我们在图5中展示了其他两个使用与[16]相当的训练内存的搜索到的架构。基于五折交叉验证的训练内存成本和性能见表2。0(a) 搜索到的架构，7,168 MB0(b) 搜索到的架构，9,173 MB0图5. HyperSegNAS搜索到的具有不同计算约束的架构。0我们得出几个观察结果。首先，在有限的计算资源下，例如在约5GB的GPU训练内存范围内，网络架构起着重要作用。DiNTS [16]5,06777.9448.0763.007,23980.2052.2566.238,80280.0652.5366.29HyperSegNAS5,35879.9252.4466.187,16880.1053.4766.799,17379.9854.8867.43(b) ∆ωIHθ(ai, aj)∆ωaHθ(I) = ∥ωa,IHθ − ωaHθ∥2(6)∆ωIHθ(ai, aj) = ∥ωai,IHθ − ωaj,IHθ ∥2,(7)207470对最终性能的影响是合理的，因为在相同的搜索空间中，高计算架构趋向于同质性，即超网络，而低计算架构具有更多的变化。因此，我们可以更清楚地展示搜索算法在较低的计算资源下的有效性。0方法 成本（MB） 胰腺 肿瘤 平均0表2.基于胰腺数据集的五折交叉验证，对不同计算约束下找到的架构进行性能比较。0DiNTS [ 16 ]提供了一种低成本的架构，将所有特征下采样到最低分辨率。这种架构与传统设计不同，传统设计希望多尺度特征用于分割不同大小的对象；因此，这种架构的性能比HyperSegNAS的低成本架构差。我们将DiNTS的反直觉结果归因于可微分NAS的公式。在DiNTS中，一个边缘可以具有接近零的重要性（[ 16 ]中的 η i j）和估计的内存成本，同时仍然将其特征向前传播，导致搜索和部署之间存在显著差异。相比之下，HyperSegNAS在离散表示上进行评估，并更贴近其在部署中的性能。实际上，我们最小的架构的性能仅比表2中DiNTS的最大架构稍差一些，这表明HyperSegNAS能够真正适应不同的计算约束。其次，我们的架构广泛使用跳跃连接。这表明尽可能占据搜索空间的优势，因为这些连接使原始特征在网络的其他部分更易获取，代价很小。这种观察结果与ResNet [ 15]和DenseNet [ 17]等之前的工作一致，其中特征通过跳跃连接进行洗牌，以实现更少的信息损失和改进的表示。特别地，我们发现并行跳跃连接非常高效，它们引入的计算开销很小，并且在基于超网络的评估中始终改善架构性能。这与U-Net [ 32]的设计一致，其中也广泛使用并行跳跃连接。HyperNet分析。我们提供了一些关于HyperNet H及其输出 ω a,I H θ行为的见解。虽然很难逐个解释通道权重，0(a)  ∆ ω a H θ ( I )  和标签0图6. 根据不同的图像或架构输入可视化改变的 ω a,I H θ。我们在6b中使用我们的5GB和7GB架构作为 a i 和 a j。结果基于滑动窗口平均化，步长为16。0我们可以观察到 ω a,I H θ在不同输入下的变化。为此，我们固定架构向量 l arch，并提供由不同补丁生成的 l image 给 H 。同样地，我们可以固定l image 并改变 l arch来观察基于架构的差异。我们观察到大多数补丁产生非常相似的 ωa,I H θ，而少数补丁具有非常不同的权重。为了量化，我们定义了两个度量：0其中∆ωaHθ（I）表示来自特定补丁I的ωa,IH与给定体积中所有补丁的平均权重ωaH之间的L2距离；∆ωIHθ(ai,aj)表示在相同补丁上由架构ai和aj生成的权重之间的差异。我们在图6中将这两个指标与分割标签一起对样本CT体积进行了可视化。对于与标签无关的补丁，H生成非常相似的ωa,IHθ；另一方面，包含标签的补丁产生明显不同的权重。此外，∆ωIHθ(ai,aj)在前景补丁上也很显著，并且在背景补丁上最小。这表明M和H隐含地将潜在的前景区域划分开来，这是类似于nnU-Net[19]等方法中使用的前景过采样的策略。虽然我们的方法没有使用显式的前景过采样，但HyperNet设计似乎自动化了这种策略。有关ωa,IHθ的可视化的更多细节，请参阅补充材料。04.3. MSD上的定量评估0我们在MSD挑战中对最大的架构进行了五个任务的测试 -胰腺和肿瘤，肺肿瘤，肝血管和肿瘤，脑肿瘤，海马数据集。我们选择这些任务作为MSD的简化和代表性集合，以使实验更加高效，因为这些任务涵盖了MSD中80％的所有数据，并包括多个器官和成像模态。从MSD领导板报告了DSC和标准化表面距离（NSD）分数，并在表3中列出。HyperSegNAS的架构207480胰腺和肿瘤 肺肿瘤 肝血管和肿瘤0方法 DSC1 DSC2 平均 NSD1 NSD2 平均 DSC1 NSD1 DSC1 DSC2 平均 NSD1 NSD2 平均0Kim等人[21] 80.61 51.75 66.18 95.83 73.09 84.46 63.10 62.51 62.34 68.63 65.49 83.22 78.43 80.83 nnUNet[19] 81.64 52.78 67.21 96.14 71.47 83.81 73.97 76.02 66.46 71.78 69.12 84.43 80.72 82.580C2FNAS [44] 80.76 54.41 67.59 96.16 75.58 85.87 70.44 72.22 64.30 71.00 67.65 83.78 80.66 82.22 DiNTS[16] 81.02 55.35 68.19 96.26 75.90 86.08 74.75 77.02 64.50 71.76 68.13 83.98 81.03 82.51 HyperSegNAS80.99 56.16 68.58 96.30 77.68 86.99 76.72 79.67 64.35 72.10 68.23 84.08 81.14 82.610脑肿瘤 海马0方法 DSC1 DSC2 DSC3 平均 NSD1 NSD2 NSD3 平均 DSC1 DSC2 平均 NSD1 NSD2 平均0Kim等人[21] 67.40 45.75 68.26 60.47 86.65 72.03 90.28 82.99 90.11 88.72 89.42 97.77 97.73 97.750nnUNet [19] 68.04 46.81 68.46 61.10 87.51 72.47 90.78 83.59 90.23 88.69 89.46 97.79 97.53 97.66C2FNAS [44] 67.62 48.60 69.72 61.98 87.61 72.87 91.16 83.88 89.37 87.96 88.67 97.27 97.35 97.31 DiNTS[16] 69.28 48.65 69.75 62.56 89.33 73.16 91.69 84.73 89.91 88.41 89.16 97.76 97.56 97.66 HyperSegNAS69.32 49.11 70.01 62.81 89.76 72.58 91.74 84.69 90.21 88.47 89.34 98.11 97.7 97.910表3.来自MSD的脑肿瘤（MRI），海马（MRI），肺肿瘤（CT），胰腺和肿瘤（CT），肝血管和肿瘤（CT）数据集的Dice-Sørensen分数（DSC）和标准化表面距离（NSD）性能。所有分数均来自当前的MSD领导板。最佳和次佳性能用粗体和下划线表示。0相对于以前的基于NAS的方法，我们的架构在胰腺数据集上显示出整体改进，特别是在胰腺肿瘤（DSC2）上，这是更具挑战性和临床相关性的标签。对于相同CT模态的任务，我们的架构在肺肿瘤分割方面显著优于所有基线，并且在DSC方面比DiNTS的先前SOTA好2％。我们的架构在其他方法上也可以找到MRI分割任务的普遍改进，显示出我们架构的普遍性。我们注意到，尽管nnU-Net[24]在肝血管和海马中的某些指标上优于HyperSegNAS，但它通过（1）手动搜索最佳超参数和（2）在不同变体的U-Net上执行集成来实现。具体而言，为了生成单个任务的结果，nnU-Net训练了四个架构配置，每个配置进行五折交叉验证，从而得到了20个模型的集成。HyperSegNAS仅对来自交叉验证的五个模型进行集成，不使用特定于任务的超参数调整，并且与nnU-Net相比，整体上获得了类似甚至更好的性能。04.4. 限制和未来方向0这项工作主要关注获取通用的分割架构。问题特定的因素，如超参数选择和数据增强方