基于深度学习的Vox2Cortex快速重建皮层表面的MRI扫描

207730Vox2Cortex：基于几何深度神经网络从3DMRI扫描中快速显式重建皮层表面0Fabian Bongratz 1†�，Anne-Marie Rickmann 1，2�，Sebastian Pölsterl 2，Christian Wachinger 1，201. 慕尼黑工业大学，2. 慕尼黑路德维希-马克西米利安大学0摘要0从脑磁共振成像（MRI）扫描中重建皮层表面对于皮层厚度和沟回形态的定量分析至关重要。尽管存在传统的和基于深度学习的算法流程用于此目的，但它们有两个主要缺点：传统方法运行时间长，需要多个小时；基于深度学习的方法需要复杂的后处理，如网格提取和拓扑修正。在这项工作中，我们解决了这两个问题，并提出了Vox2Cortex，一种基于深度学习的算法，直接生成皮层边界的拓扑正确的三维网格。Vox2Cortex利用卷积和图卷积神经网络将初始模板变形到由输入MRI扫描表示的皮层的密集折叠几何形状。我们在三个脑MRI数据集上进行了大量实验证明，我们的网格与该领域最先进的方法重建的网格一样准确，而无需耗时和资源密集的后处理。为了准确重建紧密折叠的皮层，我们在测试时使用包含约168,000个顶点的网格，将深度显式重建方法推向了一个新的水平。01. 引言0近年来，全卷积神经网络（F-CNNs）已被引入用于MRI扫描的自动全脑分割。架构选择范围从多视角2D F-CNNs [17, 43]和基于块的3DF-CNNs [18]到全尺寸3D F-CNNs[41]。与耗时的传统脑部分析方法相比，这些网络可以在几秒钟内完成分割。得到的基于体素的分割可以足够用于整个脑部或亚皮质结构的体积测量。然而，大脑皮层是大脑的一层薄而高度折叠的神经组织，而基于体素的分割无法很好地捕捉到它，因为它只有几个体素的厚度。相反，皮层表面已被重建为三角形网格[9]，以捕捉其固有的二维结构，从而实现准确的测量，如厚度、体积和脑沟回。这种体内测量不仅对于研究意识、思维、情感、推理、语言和记忆等高级过程非常重要[39,44]，而且对于检测阿尔茨海默病[27]和精神分裂症[25]等多种脑部疾病的皮层萎缩也非常重要。0�：相等贡献，†：通讯作者（fabi.bongratz@tum.de）0图1.脑部MRI扫描的冠状切片，覆盖了基于网格和基于体素的分割，并显示了相应的脑皮层和白质（WM）表面的3D渲染。顶行显示了我们方法生成的网格，底行显示了在体素分割上应用marchingcubes生成的网格。marching cubes网格明显显示了阶梯状伪影。0基于体素的分割无法很好地捕捉到大脑皮层，因为它只有几个体素的厚度。相反，皮层表面已被重建为三角形网格[9]，以捕捉其固有的二维结构，从而实现准确的测量，如厚度、体积和脑沟回。这种体内测量不仅对于研究意识、思维、情感、推理、语言和记忆等高级过程非常重要[39,44]，而且对于检测阿尔茨海默病[27]和精神分裂症[25]等多种脑部疾病的皮层萎缩也非常重要。0目前皮层表面重建的标准是FreeSufer [5,9]，它能产生平滑、准确和拓扑正确的表面网格，但每次扫描需要几个小时。另一方面，基于体素的分割算法快速且可以使用其输出来获取基于网格的表面表示，如marchingcubes算法[28,29]。然而，提取的网格存在典型的阶梯状伪影，并且其分辨率受到分割的分辨率或初始MRI扫描的分辨率的限制，参见图-207740图1。此外，预测的分割可能存在拓扑缺陷，需要在MarchingCubes网格提取之前或之后应用拓扑修正算法，参见图2。这种需要后处理步骤不仅麻烦；虽然拓扑修正算法可以生成具有所需拓扑的网格，但并不总是产生解剖学上正确的网格[9]，参见附图4。最近，在单视图或多视图重建领域的开创性研究[50,52]引入了可以通过使用图卷积将模板网格（例如，球体）进行变换来从2D图像中生成显式表面表示的网络架构。这些方法对于我们的任务是有希望的，因为它们可以强制执行模板网格的所需拓扑，并直接输出网格而不需要后处理。到目前为止，这些方法尚未应用于重建具有复杂折叠模式的大脑皮层。在这项工作中，我们介绍了Vox2Cortex，这是一种基于深度学习的算法，可以直接从脑MRI中重建出皮层表面的显式网格。Vox2Cortex同时预测两个半球的白质和脑表面，输出四个网格。Vox2Cortex通过施加球形拓扑来防止网格中出现孔洞或把手等情况，因此不需要像[4]那样进行后处理。我们每个网格使用多达168,000个顶点来高精度地捕捉皮层的高度复杂的折叠模式。这个数量比以前的单视图重建工作中通常使用的每个表面少于10,000个顶点要多得多。我们的主要贡献是：0•Vox2Cortex是第一个专门设计用于从MRI扫描中提取显式表面表示的网络，它结合了卷积神经网络和图神经网络的方法。0•通过学习将具有固定拓扑和任意分辨率的模板网格进行变形，我们确保了生成网格的球形拓扑。0•Vox2Cortex通过交换信息来建模白质和脑表面之间的相互依赖关系。0•我们为训练显式重建方法提出了一种新的损失函数，利用局部曲率对Chamfer距离进行加权。事实证明，这个损失对于学习重建人脑皮层的紧密折叠表面是至关重要的。0•我们在多个脑数据集上展示了Vox2Cortex在准确性和一致性方面与现有的隐式和基于体素的重建方法相当或更好，同时在推断时间上快了25倍。0图2。从MRI进行皮层表面重建的现有基于深度学习的方法通常依赖于隐式或体素表示的皮层。这些方法需要复杂的后处理步骤，包括拓扑修正和Marching Cubes [28,29]来生成表面网格。然而，这些网格对于皮层厚度等下游应用非常重要。相比之下，我们的模型直接生成白质和脑表面的高度准确的网格。0我们的工作的主要目标是开发一种快速且高度准确的皮层重建方法，具有很高的临床价值。然而，我们对于预测多个紧密折叠的网格的贡献是通用的，也可以应用于其他应用。我们的代码公开可用，网址为https://github.com/ai-med/Vox2Cortex。02. 相关工作0传统的脑MRI处理流程[6, 10,47]包括许多步骤，包括配准、分割和皮层表面提取。这些流程计算密集，因此在扫描获取后延迟了皮层测量结果的可用性。当前用于皮层表面重建的深度学习方法主要集中在基于体素或隐式表面重建方法上。相反，我们提出了一种基于网格的方法。我们在图2中概述了不同的方法，并在下文中回顾了相关工作。基于体素的表面重建：FastSurfer[17]是一种深度学习方法，可以加速FreeSurfer流程，但侧重于基于体素的分割，并需要使用MarchingCubes进行表面生成和拓扑修正。SegRecon[13]提出了一种用于联合分割和表面重建的3DCNN，它学习了一个3D有符号距离函数（SDF），因此仍然需要MarchingCubes和拓扑修正。深度隐式表示：深度隐式表示f′i =11 +(i)W0fi + b0 +j(i)(W1fj + b1),207750近年来，3D计算机视觉中的表示学习已成为一个热门研究领域[33, 38, 45,54]。其背后的思想是学习一个将3D坐标映射到连续的隐式形状表示（通常是SDF）的函数。DeepCSR[4]专门用于皮层表面重建。由于其形状表示是连续的，可以获得任意所需分辨率的网格。DeepCSR在距离度量方面取得了最先进的结果，但仍需要进行MarchingCubes和拓扑修正。基于网格的表面重建：网格变形网络[23, 24, 50, 52,53]是学习可变形网格模型的方法，它以模板网格或球体初始化和图像作为输入，并通过学习顶点的变形场来迭代地变形网格。Voxel2Mesh [53]和MeshDeformNet [23,24]已应用于医学数据，并显示出有希望的结果，尽管主要应用于类似海马体、肝脏或心脏等相对简单的形状。由于皮层是一个更加复杂的形状，目前还需要评估这种方法在皮层重建上是否能够良好工作。PialNN[30]通过一系列图卷积学习将初始的白质表面变形为皮质表面，但需要使用FreeSurfer创建白质表面。03. 方法0在本节中，我们详细介绍了Vox2Cortex，一种基于几何深度学习的快速皮层表面重建方法，它以3D磁共振（MR）图像和网格模板作为输入。03.1. Vox2Cortex架构0Vox2Cortex接收3D脑部MRI扫描和网格模板作为输入，同时计算出四个皮层表面，即每个半球的白质和皮质表面。作为副产品，网络预测了基于体素的脑部分割（即灰质和灰质包围的组织）。受到之前相关方法[23, 24, 49,53]的启发，我们的架构由两个神经子网络组成，一个卷积神经网络（CNN）用于处理体素，一个图神经网络（GNN）负责网格变形。两个网络通过特征采样模块连接，将CNN提取的特征映射到网格的顶点位置。图3详细描述了整个架构以及示例的输入和输出。接下来，我们详细介绍各个构建模块：图像编码器、图像解码器、网格变形网络和信息交换。0图像编码和解码（CNN）我们使用残差UNet架构[3, 22, 42,56]进行图像特征提取。这个编码器-解码器F-CNN仅接收3D0以脑部扫描作为输入，并将其分割为脑部和背景体素。UNet由多个残差卷积块组成，其中包含批归一化层[20]和ReLU激活函数[36]。我们使用（转置）卷积层进行特征图的上采样和下采样，步长为2。此外，我们添加了深度监督分支[55]，将分割损失直接传播到较低的解码器层。图3详细说明了网络。0网格变形（GNN）我们架构的第二个主要组成部分是一个GNN，它以模板网格作为输入[23, 24, 49,53]。我们的消融研究验证了它在MLP [51,14]之前的优先性（参见表1）。GNN通过四个网格变形步骤对模板进行变形，如图3所示。每个变形步骤预测相对于前一步产生的网格的每个顶点的位移向量。类似于图像处理CNN，我们的GNN子架构由多个残差块组成，可以进行有效的残差学习[16,24]。每个图残差块由三个图卷积和后续的批归一化和ReLU操作组成。在最后一个ReLU操作之前添加输入残差，并可能使用最近邻插值进行重塑。根据[24]，初始图残差块与后续块相比具有更多的通道数，以便在特征向量长度方面对提取的顶点特征进行加权，类似于基于图像的特征。最终，单个图卷积层用于输出当前变形阶段每个顶点的位移向量。我们利用无频谱图卷积，以消息传递操作的方式[2]，并选择[40]中提供的实现。形式上，每个图卷积层通过聚合前一层的特征f_i ∈ R^d和顶点v_i ∈ V来转换特征。0�0(1) 其中 W 0 ，W 1 ∈ R d out × d in ，b 0 ，b 1 ∈ R dout 表示线性变换，N ( i ) 是 v i的邻居集合。除了网格输出层外，我们的网络中还包括图卷积层、批量归一化层和ReLU层。0图像特征虽然CNN和GNN是已经建立的网络架构，但迄今为止只有少数几个尝试将它们结合起来[49, 53, 24,23]，关于它们之间最佳信息交换方式的问题尚未得到解答。我们将UNet编码器和UNet解码器的特征图在多个分辨率上进行组合。这使得网络能够识别207760CNN0瓶颈0深度监督0GNN0× 3 × 3 × 3 × 30cat0f10f20f30f40f50f60f70f80f90cat0NNs，ID0cat0NNs，ID0cat0NNs，ID0cat0NNs，ID0f70f60f50f40f70f80f30f40f80f90f20f30f80f90f10f20特征交换0模板0Pial0WM03D输入MRI0分割0第1步0第2步0第3步0第4步：最终输出0表面网格0Pial0WM0Conv 3x3x3，步长1 BatchNorm3d + ReLU0Conv 2x2x2，步长2 Conv 1x1x1，步长10上采样三线性ConvTranspose 2x2x2，步长20图卷积 BatchNorm1d + ReLU0在顶点处进行三线性插值0图3.Vox2Cortex流程。该架构以3D脑部扫描和网格模板作为输入，预测像素级分割图和皮层表面网格。主要的构建模块是CNN和GNN。GNN根据图像和形状描述特征对初始模板进行四个变形步骤，得到预测的输出网格。我们使用[21]创建了这个图。0在训练过程中获取相关信息，这是通过狭窄的特征图预选无法实现的。为了在连续的3D空间中获得特征，我们对离散的体素进行三线性插值。0网格间邻居据我们所知，迄今为止，深度显式重建方法只用于重建孤立的对象。然而，我们处理的是多个表面，其中内外脑表面始终对齐。为了提高重建质量，我们通过在每个网格变形块之前将五个最近的外部顶点的坐标和表面标识符与每个内部顶点的特征进行拼接（反之亦然）来建模网格之间的相互依赖关系。传统方法如FreeSurfer[6]也通过基于内部表面提取外部表面来建模这种相互依赖关系（而不是像我们同时进行）。0网格模板现有的显式重建方法通常从简单的网格模板（如球体或椭球体）开始。为了提高皮层重建的质量，我们提出使用更具应用特定性的模板。0我们通过选择一个随机的FreeSurfer网格并应用Laplacian平滑[48]来创建了四个属于0类的模板，直到表面不再改变。图3说明了模板作为网络的输入。重要的是，我们观察到在训练过程中可以使用比测试更少的顶点数的模板，从而增加训练模型的表面精度。换句话说，我们可以独立于训练过程中使用的模板选择所需的网格分辨率。在我们的实验中，我们在训练过程中每个表面使用约42,000个顶点，而在测试过程中将这个数字增加到约168,000个(!)。在所有四个表面上，这总共产生了超过672,000个顶点。03.2. 损失函数0在本节中，我们描述了用于训练Vox2Cortex网络的损失函数，特别强调了我们的新型曲率加权Chamfer损失。其他损失函数的定义在补充材料中。令 y p = {{M p s, ∆ p s, B p l}| s = 1, . . . , S; l = 1, . . . , L} 为我们模型的预测，其中 M ps = (V p s, F p s, E p s) 是在 S个不同变形阶段的预测网格，∆ p s是预测的位移向量堆叠成一个张量，而 B p l ∈ [0, 1] HWD 是基于体素的二值分割图（CNN的最终预测和 L −1个深度监督输出）。L(y , y ) = Lvox(y , y ) + Lmesh(y , y ).(2)Lvox(yp, ygt) =L�l=1LBCE(Bpl , Bgt).(3)mesh(yp, ygt) =mesh, cons(yp, ygt) +mesh, reg(yp).Lmesh, cons(yp, ygt) =SCλ1,c LC(Mps,c, Mgtc )(5)Lmesh, reg(yp) =S�s=1C�c=1�λ3,c LLap, rel(Mps,c, ∆ps,c)+ λ4,c Ln, intra(Mps,c)+ λ5,c Ledge(Mps,c)�.(6)LC(Mps,c, Mgtc ) =1|Pgtc |�u∈Pgtcκ(u) minv∈Pps,c∥u − v∥2+1|Pps,c|�v∈Pps,cκ(˜u) minu∈Pgtc∥v − u∥2,(7)κ(p) = min{1 + ¯κ(p), κmax},(8)207770深度监督输出）。一般来说，每个网格 M p s 再次由 C个不同的表面组成，即 M p s = {M p s,c | c = 1, . . . ,C}。在我们的情况下，C 等于四（每个半球的 WM 和 pial表面）。由于我们以监督方式训练我们的模型，我们假设每个样本在训练集中都有相应的地面真实网格和分割地图 y gt= (M gt, B gt)。0总损失 Vox2Cortex的损失函数由体素 L vox 和网格 Lmesh 两部分组成0体素损失 令 L BCE ( B p l , B gt ) 为预测分割图 B p l ∈ [0,  1] HW D 和标签 B gt ∈ { 0 ,  1 } HW D之间的二值交叉熵损失。考虑到我们有 L个分割输出（CNN的最终分割以及 L − 1个深度监督输出），我们计算体素损失如下：0网格损失相对于体素损失，更具挑战性的是在两个网格之间定义一个合适的损失函数。这部分是由于预测的网格和标签之间缺乏点对应关系，使得定义一个强制“好”的皮层表面网格的损失函数变得复杂。受先前的显式重建方法[24, 49,53]的启发，我们使用几何一致性和正则化损失的组合0(4) 对于几何一致性损失，我们将一个新的曲率加权Chamfer损失 L C和网格间法线一致性（也称为法线距离[12]）L n , inter 相加0+  λ 2 ,c  L n , inter ( M p s,c , M gt c ) .0正则化损失由位移场的Laplacian平滑 L Lap , rel ，网格内法线一致性 L n , intra 和边长 Ledge 组成0图4.我们的曲率加权Chamfer损失（绿色）通常比标准Chamfer距离（蓝色）更准确地模拟皮层褶皱。FreeSurfer地面真实值（白色）。0有关损失超参数的更多细节，请参阅补充材料。0曲率加权的Chamfer损失Chamfer距离已经成为学习表面可变形模型的基本构建块[8,49]，但需要与正则化项结合使用，否则可能导致边缘交叉[15]。在具有高曲率的区域中，通常在皮层的密集折叠几何中找到，正则化项的平滑效果可能导致较低的几何精度。因此，我们提出了一种曲率加权的Chamfer损失函数，强调高曲率区域，并改善密集折叠区域的重建，参见图4。在补充材料中，我们证明了这种损失“推动”高曲率区域的预测点更接近于它们的正确位置，相对于低曲率区域的点，在温和的假设下。请注意，我们只使用来自地面真实点的曲率权重，因为预测中的潜在错误曲率可能会误导。假设我们有一个将曲率分配给点 p 的曲率函数 κ ( p ) ∈ R ≥ 0，那么我们将曲率加权的Chamfer损失定义为0其中 ˜ u = arg min r ∈P gt c ∥ v  −  r ∥ 2。实践中，我们发现0其中 ¯ κ ( p ) 是离散平均曲率 [34,37]，是一个很好的选择（在我们的实验中，κ max =5）。在训练过程中，每个 P gt c | c =1 ,...,C包含与训练集中最小的地面真实表面相同数量的顶点。另一方面，我们从预测的网格表面 [12, 46]中以可微分的方式采样点云 P p c | c =1 ,...,C207780使它们包含与参考网格相同数量的点。04. 结果0接下来，我们将在多个数据集上将Vox2Cortex与相关方法进行比较。此外，我们还通过广泛的消融研究揭示了Vox2Cortex的主要构建模块的个体贡献。04.1. 数据集0预处理本研究中使用的所有数据都使用FreeSurfer v5.3[9]进行处理。我们使用orig.mgz文件和由FreeSurfer生成的WM和pial表面。我们按照[4]的预处理流程对DeepCSR进行实验。我们使用刚性和后续仿射配准将MRI扫描注册到MNI152空间。当用作监督训练标签时，FreeSurfer网格使用四次边缘折叠简化到每个表面约40,000个顶点[11]。我们首先将所有输入图像填充为 192 × 208 × 192的形状，然后将其调整为 128 × 144 × 128的体素。强度值进行最小-最大归一化，范围为 [0,1]。ADNI Alzheimer's Disease Neuroimaging Initiative(ADNI)（http://adni.loni.usc.edu）为患有阿尔茨海默病、轻度认知障碍和健康受试者提供MRIT1扫描。在去除具有处理伪影的数据后，我们根据诊断、年龄和性别将数据分为训练、验证和测试集，并进行平衡。由于ADNI是一项纵向研究，我们只使用每个受试者的初始（基线）扫描。在我们的实验中，我们使用ADNI数据的两个不同划分。ADNI small包含299个受试者用于训练，60个受试者用于验证和测试。我们将其用于进行架构消融研究的实验。第二个更大的划分ADNI large包含1,155个受试者用于训练，169个受试者用于验证，323个受试者用于测试。ADNI large将用于将我们的模型与最先进的方法进行比较。OASISOASIS-1数据集[32]包含416个受试者的MRIT1扫描。其中100个受试者被诊断为轻度至中度阿尔茨海默病。我们根据诊断、年龄和性别进行平衡划分，结果为292个、44个和80个受试者用于训练、验证和测试。我们使用OASIS的一个小子集，即MALC数据集[26]，用于超参数调整，如补充材料中所述。测试-重测测试-重测数据集（TRT）[31]包含3个受试者的120个MRIT1扫描，每个受试者在20天内进行了两次扫描。04.2. 剔除研究0我们评估了Vox2Cortex中的各个设计选择，并关注显式基于图像的表面特征的特点0重建方法。特别是CNN和GNN的组合引发了一个问题，即如何以特征的形式将信息从一个子网络传递到另一个子网络（在我们的情况下是从CNN到GNN）。例如，对于编码器-解码器CNN，可以使用来自编码器[23]、解码器[53]或两者的提取特征图。这些和其他几个选择的影响很难从现有文献中评估，并且尚未得到广泛研究。我们在ADNI小子集上的剔除研究中解决了这个问题。更具体地说，我们将Vox2Cortex与以下修改进行比较，并在表1中以平均对称表面距离（ASSD）和90百分位Hausdorff距离（HD）的量化指标进行展示。0Voxel2Mesh：我们用Voxel2Mesh网络[53]替换了我们的网络架构。在每个网格变形步骤中，我们从相应的体素解码器阶段采样CNN特征。为了公平比较，我们将每个阶段的体素解码器通道数量与我们的模型相比增加了一倍，因为这些是传递给Voxel2Mesh中的GNN的唯一通道。在这里，我们还使用了学习的邻域采样（LNS），而不是在顶点位置上使用三线性插值，就像[53]中一样。编码器特征：我们只从相应的体素编码器阶段采样CNN特征，例如[23,24]。经典Chamfer：我们使用经典的Chamfer损失训练我们的架构，这等于在方程（7）中设置κ（∙）≡1。无inter-meshNNs：省略了白色和灰质表面之间最近邻顶点位置的交换。椭球模板：从椭球模板开始变形，而不是我们的平滑皮层模板。无体素解码器：完全省略体素解码器，并在相应阶段从编码器中采样CNN特征，类似于[49]。Lap. on abs.coord.：在绝对顶点坐标上计算Laplacian损失，而不是相对位移，即对网格进行平滑，而不是位移场。MLPdeform：用线性层替换GNN的每一层。0表1显示，Vox2Cortex中的设计选择组合提供了最佳性能。曲率加权的Chamfer损失是最重要的因素，因为当它被标准Chamfer损失替代时，重建精度会显著下降。值得注意的是，从编码器还是解码器中采样图像特征对整体性能几乎没有影响。这可能是为什么过去的两种方法都取得了成功的可能解释[23,53]。此外，甚至可以完全省略体素解码器而不会丧失分割精度。这对于从业者来说可能是有趣的，可以减少内存需求，特别是在训练过程中。207790左WM表面 右WM表面 左Pial表面 右Pial表面0ASSD HD ASSD HD ASSD HD ASSD HD0Vox2Cortex 0.401 ±0.065 0.894 ±0.177 0.403 ±0.057 0.896 ±0.142 0.375 ±0.055 0.965 ±0.210 0.378 ±0.060 1.012 ±0.248 Vox2Cortex* 0.455±0.063 1.057 ±0.195 0.457 ±0.056 1.055 ±0.145 0.467 ±0.057 1.316 ±0.278 0.470 ±0.0611 1.371 ±0.2810Voxel2Mesh* [ 53 ] 0.528 ±0.222 1.209 ±0.732 0.528 ±0.197 1.186 ±0.625 0.486 ±0.114 1.457 ±0.398 0.476 ±0.108 1.440 ±0.384 编码器特征0.453 ±0.072 0.984 ±0.177 0.456 ±0.054 1.007 ±0.144 0.432 ±0.067 1.057 ±0.211 0.430 ±0.059 1.040 ±0.174 经典Chamfer 0.852 ±0.081 2.175±0.340 0.985 ±0.074 2.282 ±0.313 0.716 ±0.063 1.906 ±0.282 0.913 ±0.056 2.391 ±0.160 无inter-mesh NNs 0.444 ±0.063 0.960 ±0.174 0.438±0.052 0.958 ±0.142 0.390 ±0.051 0.892 ±0.146 0.396 ±0.049 0.946 ±0.168 椭球模板 0.459 ±0.065 0.970 ±0.145 0.452 ±0.071 0.954 ±0.1400.407 ±0.044 0.948 ±0.145 0.412 ±0.053 0.983 ±0.201 无体素解码器 0.413 ±0.069 0.914 ±0.168 0.424 ±0.065 0.928 ±0.150 0.392 ±0.057 0.916±0.147 0.400 ±0.059 0.942 ±0.180 Lap. on abs. coord. 0.467 ±0.075 0.958 ±0.150 0.444 ±0.065 0.952 ±0.140 0.414 ±0.050 1.102 ±0.182 0.425±0.050 1.057 ±0.178 MLP deform 0.538 ±0.062 1.237 ±0.195 0.542 ±0.057 1.228 ±0.181 0.533 ±0.057 1.472 ±0.227 0.566 ±0.055 1.447 ±0.2180表1.平均对称表面距离（ASSD）和90百分位Hausdorff距离（HD）的消融研究结果。星号（*）表示在测试过程中使用了顶点较少的模板（≈42,000而不是≈168,000）。最佳值已突出显示。有关各个变化的详细描述，请参见第4.2小节。所有值均以毫米为单位。0左WM表面 右WM表面 左Pial表面 右Pial表面0数据 方法 ASSD HD ASSD HD ASSD HD ASSD HD0ADNI大型数据集0Vox2Cortex 0.345 ±0.056 0.720 ±0.125 0.347 ±0.046 0.720 ±0.087 0.327 ±0.031 0.755 ±0.102 0.318 ±0.029 0.781 ±0.102 DeepCSR [4]0.422 ±0.058 0.852 ±0.134 0.420 ±0.058 0.880 ±0.156 0.454 ±0.059 0.927 ±0.243 0.422 ±0.053 0.890 ±0.197 nnUNet [22] 1.176 ±0.3451.801 ±2.835 1.159 ±0.242 1.739 ±1.880 1.310 ±0.292 3.152 ±2.374 1.317 ±0.312 3.295 ±2.3870OASIS Vox2Cortex 0.315 ±0.039 0.680 ±0.137 0.318 ±0.048 0.682 ±0.151 0.362 ±0.036 0.894 ±0.141 0.373 ±0.041 0.916 ±0.137 DeepCSR [4]0.360 ±0.042 0.731 ±0.104 0.335 ±0.050 0.670 ±0.195 0.458 ±0.056 1.044 ±0.290 0.442 ±0.058 1.037 ±0.2940表2. Vox2Cortex与DeepCSR和nnUNet在ADNI大型数据集和OASIS数据集上的比较结果。所有值均以毫米为单位。04.3. 与相关工作的比较0我们将Vox2Cortex与DeepCSR[4]在ADNI大型数据集和OASIS数据集上进行比较。对于DeepCSR，我们采样距离为0.5mm的点以获得高分辨率的预测。我们选择3D nnUNet[22]进行与基于体素的分割方法的比较，因为它是一种最先进的分割模型，已经在多个分割任务上得到证明。我们按照[4]中的后处理进行拓扑校正，并使用Marching Cubes[28]提取网格。表2显示，nnUNet在预测方面的准确性较低，这是预期的，因为该方法仅基于体素，生成的网格分辨率取决于图像分辨率。Vox2Cortex在两个数据集上几乎所有指标上都优于DeepCSR。在补充材料中，我们展示了DeepCSR和Vox2Cortex的网格拓扑和顶点数量的更多结果。04.4. 一致性0我们分析了Vox2Cortex、DeepCSR（都在ADNI大型数据集上训练）和FreeSurfer在TRT数据集[31]上的一致性。为此，我们计算同一天同一受试者的大脑扫描的皮层表面，并进行比较。0将它们与ASSD和HD进行比较。由于大脑的形态在同一天的两次连续扫描中不会改变，所以重建结果应该是相同的，只是由于成像过程产生的一些变化而有所不同。在比较之前，我们按照[4]的方法使用迭代最近点算法（ICP）对图像对进行对齐。表3的结果表明，Vox2Cortex的重复性比DeepCSR和FreeSurfer更好。此外，我们比较了这些方法的推理时间，发现Vox2Cortex比DeepCSR快大约25倍。04.5. 皮层厚度0表面重建使得可以计算皮层厚度，这是评估神经退行性疾病中皮层萎缩的重要生物标志物。在这个实验中，我们从Vox2Cortex表面计算皮层厚度测量，并将其与FreeSurfer的厚度测量进行比较。厚度是通过WM和pial表面之间的最近点对应来计算的[35]。与最接近的FreeSurfer顶点相比，OASIS测试集上每个顶点的中位数皮层厚度误差为0.305mm[下四分位数：0.140mm，上四分位数：0.564mm]。为了比较，我们还比较了不同方法的萎缩情况。207800方法 ASSD（mm） HD（mm） > 1 mm > 2 mm 推理时间0Vox2Cortex（我们的方法） 0.228 ± 0.048 0.478 ± 0.101 0.80% 0.06% 18.0sVox2Cortex*（我们的方法） 0.225 ± 0.049 0.471 ± 0.103 0.77% 0.06% 2.1sDeepCSR 0.357 ± 0.284 0.739 ± 0.595 5.82% 2.23% 445.7s FreeSurfer 0.291 ±0.133 0.605 ± 0.279 2.87% 0.67% > 4h0表3.在TRT数据集上以ASSD和HD为指标的重建一致性比较。此外，我们提供了每个3D扫描的相应方法的推理时间。星号（*）表示较小的模板（每个表面约42,000个顶点，而不是约168,000个顶点）。0图5.在ADNI大型测试集上，阿尔茨海默病患者和健康对照组之间左半球皮层萎缩的群组比较。0受阿尔茨海默病影响的脑区通常在一毫米或更多的范围内[27]。在补充材料中，我们还展示了OASIS数据集中一个受试者的相应测量结果。在ADNI大型测试集上，我们通过测试个体顶点在诊断为阿尔茨海默病（n =50）的受试者和健康对照组（n =124）之间的厚度是否显著降低来进行群组分析。为此，我们利用FreeSurferFsAverage模板，使所有厚度测量处于相同的域中，并对每个顶点进行统计检验。我们还使用最接近点对应而不是使用默认厚度测量在FreeSurfer网格上计算皮层厚度，以进行公平比较。图5可视化了左半球的p值（t检验，单侧）。由于Vox2Cortex和FreeSurfer创建的显著性图之间存在很高的相似性，我们得出结论，Vox2Cortex非常适合用于皮层厚度的群组分析。05. 限制和潜在的负面影响0所有呈现的结果都是使用我们模型的未修改输出创建的。然而，我们想提到的是，我们不能保证预测的网格没有自相交。这个属性对于某些任务可能是必要的，例如体积测量。然而，所有的自相交都可以通过像MeshFix[1]这样的算法轻松去除（对于一个具有168,000个顶点的表面，运行时间约为16秒），保持剩余的网格不变。由于我们的方法没有手动生成的地面真实表面，因此不存在。0为了训练数据，我们使用了FreeSurfer表面作为伪地面真实，就像[4,30]中一样。尽管我们从训练集中识别并删除了一些错误的标签，但仍可能存在一些噪声标签。我们的方法有潜力帮助放射科医生可视化脑表面并快速计算皮层厚度等测量。然而，预测结果不应用于临床决策。我们的模型仅在本研究中讨论的数据上进行了测试，无法保证其在来自不同领域的未知数据上的表现。此外，本研究分析的数据仅包括健康受试者和患有痴呆症的受试者。如果脑部存在其他形态学变化（例如肿瘤），训练模型可能会提供错误的预测。我们已经根据患者的年龄和性别平衡了数据分割，以避免偏见，但我们的模型可能仍然缺乏公平性，并可能对给定数据集中代表性不足的人群进行歧视。06. 结论0在这项工作中，我们提出了一种从脑部MR图像中同时重建白质和脑膜表面的新方法。我们首次从一个通用的脑模板开始，并利用深度卷积和图卷积神经网络在多次迭代中对其进行变形。为了在密集折叠区域实现高重建精度，我们成功地利用了地面真实曲率，提出了一种新的曲率加权Chamfer损失函数。我们相信，这种损失在其他医学和非医学领域中出现复杂的3D几何形状时也会有帮助。我们的实验表明，所提出的损失函数的组合直接产生了最先进的皮层表面，作为端到端可训练架构的输出，同时速度快了几个数量级。最后，我们证明了可以通过准确的皮层厚度图来研究阿尔茨海默病的萎缩。0致谢这项研究得到了巴伐利亚州科学和艺术部的部分支持，并由bidt协调，并得到了BMBF（DeepMentia，031L0200A）的支持。我们衷心感谢Leibniz超级计算中心（www.lrz.de）提供的计算资源。1, 2, 6207810参考文献0[1] MarcoAttene。修复数字化多边形网格的轻量级方法。可视化计算机，26（11）：1393-1406，2010年11月。80[2] Michael M. Bronstein，Joan Bruna，Taco Cohen和PetarVelickovic。几何深度学习：网格，群组，图形，测地线和规格。0[3]  ¨ Ozg¨un C¸ ic¸ek，Ahmed Abdulkadir，Soeren S.Lienkamp，Thomas Brox和Olaf Ronneberger。3DU-Net：从稀疏注释中学习密集体积分割。在SebastienOurselin，Leo Joskowicz，Mert R. Sabuncu，GozdeUnal和William Wells编辑，医学图像计算和计算机辅助干预-MICCAI2016，第424-432页，2016年，Cham。斯普林格国际出版社。30[4] Rodrigo Santa Cruz，L´eo Lebrat，P. Bourgeat，C.Fookes，J. Fripp和O.Salvado。Deepcsr：用于皮层表面重建的3D深度学习方法。2021年IEEE冬季计算机视觉应用会议（WACV），第806-815页，2021年。2，3，6，7，80[5] A. Dale，B. Fischl和M.Sereno。基于皮层表面的分析i.分割和表面重建。神经影像，9：179-194，1999年。10[6] Anders M Dale，Bruce Fischl和Mart