基于生物约束图的全局连通组重构

1基于生物约束图的全局连通组重构Brian Matejek1，Daniel Haehn1，Haidong Zhu2，Donglai Wei1，Toufiq Parag3，and HanspeterPfister11哈佛大学2清华大学3康卡斯特研究摘要大多数当前最先进的连接体重建流程有两个主要步骤：利用亲和预测和分水岭变换进行基于像素的初始分割，以及通过合并过度分割区域进行精细分割。这些方法仅依赖于局部环境，并且通常对潜在的生物学不可知。由于一些合并错误可能导致几个不正确的合并神经元过程，这些算法目前被调整为过度分割，产生昂贵的校对负担我们提出了第三步的connectomicsrecruitment pipelines细化过度分割使用本地和全球的背景下，强调坚持的基础生物学。我们首先从输入分割中提取一个图，其中节点对应于分割标签，边缘表示过分割中的潜在分割错误。为了增加吞吐量并允许大规模重建，我们采用基于神经元形态的生物启发的几何约束来减少节点和边缘的数量。接下来，两个神经网络学习这些神经元形状，以进一步帮助图形构建过程。最后，我们将区域合并问题转化为图分割问题，以利用全局上下文。我们在四个真实世界的连接组数据集上展示了我们的方法的性能，信息改善的平均变化为21.3%。1. 介绍通过研究为此，神经科学家用电子显微镜制作脑组织的高分辨率图像，其中每个突触，突触和细胞边界都是可见的[19]。由于这些数据集的大小现在超过了PB通讯作者，bmatejek@seas.harvard.edu的神经元是不可行的，需要自动分割技术。当前最先进的自动3D重建方法通常使用基于像素的卷积神经网络（CNN）和分水岭变换来生成初始过分割[24，37，42]，然后是区域合并步骤[11，21，25，30，35]。泛洪填充网络通过从种子体素逐渐扩展片段将这两个步骤合并为一个步骤[18]。然而，所有上述策略都只使用本地背景进行决策，而不考虑对个体合并的全球影响因此，少量的复合合并误差可以创建具有被标记为一个神经元的若干神经元过程的欠分割。由于校正这样的合并误差在计算上是具有挑战性的，因此当前方法通常倾向于过度分割，其中神经元过程被分割成多个标签。不幸的是，校对这些分裂的错误，虽然容易，但仍然繁重[33]。我们提出了连接组学重建工作流程的第三步，以改进这些过度分割，并缩小自动和手动分割之间的差距。我们重新制定的区域合并问题，作为一个图分割一个利用全球背景下的聚集过程。到目前为止，与全局优化策略相关的计算负担仍然是其最大的缺点，尽管对并行计算进行了一些研究[2]。在前聚集技术之后执行图分区步骤允许我们在做出决策时捕获更大的形状上下文。此外，由于输入方法正确地分割了大量的超体素，因此计算量显著降低。剩余的分裂误差通常发生在神经元过程变得相当薄的地方或对应的图像数据噪声很难仅使用来自图像和亲和力的局部上下文来重建的位置。在构建我们的图时，我们采用由底层生物形态引导的几何由于它们的生物学性质，过度分割的区域应该是连续的，20892090图1.大多数当前最先进的分割流水线包括具有分水岭变换和区域合并的亲和生成（左）。我们遵循这些现有的方法，通过执行受基础生物学启发的几何约束和学习典型的神经元形态（中心）来构建从其分割中导出的图。我们的图形公式允许我们使用全局优化策略对图形进行分区，以产生改进的分割（右）。与特定的几何和拓扑性质相关联。例如，在其他生物学考虑中，L形连接和箭头形连接在神经元结构中是罕见的。我们可以使用和学习这些形状先验，以产生更准确的区域合并策略。我们的区域合并框架由几个步骤组成，首先从输入分割中构建一个图，然后使用全局优化策略对图进行分区（图1）。1）。我们首先根据我们对神经过程跨度的了解来识别明显过度分割的片段，并使用经过训练的CNN将这些片段与附近较大的片段剩下的部分在我们的图中接收一个节点。然后，我们为每个片段生成骨架，以生成给定片段的基础形状的简单而富有表现力的表示（图11）。1，center-ter）。从这些骨架中，我们识别出要合并的潜在片段，这些片段又会在图中接收相应的边另一个CNN分类器学习神经元的局部结构形状，并产生两个片段属于同一个神经元的概率。最后，我们采用图优化算法将图划分为改进的重建（图1）。1，右）。我们的图形公式- tion创建一个正式的问题描述，使各种优化策略在未来。这项工作作出了三个主要贡献：首先，一种使用手工设计的几何约束和机器学习的神经元形态从输入分割提取生物启发图的方法;第二，自上而下的框架，用于校正输入分割中的分割错误;最后，最新技术投入的信息变化减少了21。3%，四个数据集。2. 相关工作初始基于像素的分割方法。有两种主要的方法来分割电子显微镜im-年龄在voxel级别。在第一种方法中，训练2D或3D卷积神经网络以产生中间表示，例如边界[7，16，21，37]或亲和图[24，39]。建筑设计的进步（例如，3D U-Net [6]）、模型平均技术[40]、特定于分段的损失函数（例如，MALIS [4]）和数据增强策略[25]极大地改善了这些中间表示的结果。然后，聚类技术，如分水岭[8，10，42]或图分区[1]将这些中间表示转换为分割。在第二种方法中，神经网络[18，28]被递归地训练以增长二进制分割掩码的当前估计，其被进一步扩展以处理多个神经元[29]。尽管分割精度令人印象深刻，但这种方法的计算负担仍然是一个限制，因为网络需要单独推断每个片段。聚集战略。凝聚方法的参数之间的相邻段和合并策略的相似性度量。对于相似性度量，Leeet al. [25]和Funkeet al. [11]仅依赖于预测的相似度，并将度量定义为段之间的平均相似度。基于分类的方法生成从手工制作的[17，21，30，34，42]或学习的特征[3]合并两个片段的概率。 Niko等人[23]使用关于突触后和突触前连接的信息来改进多切割算法并防止轴突和树突合并。对于合并策略，大多数方法使用分层聚合的变体[21，30，34，35，42]来一次对一对区域进行分层合并。其他方法将凝聚表示为强化学习[17]和超像素分割问题[2]。最近，洪水填充网络[18]使用不同的播种策略，2091图2.上面的神经元过程被错误地分割成几个标签。其中五个片段非常小，表明它们必须与附近的较大片段合并。通常，这些小片段是在过程变得相当薄的位置周围的噪声亲和力的伪影。初始分割步骤以聚集区域。纠错方法。虽然上述方法的显著进步产生了令人印象深刻的结果，但在分割中仍然存在误差。这些错误可以通过人工校对[14，22]或自动纠正[43]。由于纠正错误是一项计算成本很高的任务，因此各种研究探索如何使用机器学习来提高人类效率[13]，自动检测错误区域[36，43]，或通过简化来减少搜索空间[9]。然而，这些方法仅依赖于决策的局部背景，并且不对它们的校正实施生物学约束。3. 生物约束图大多数当前基于图形的方法将节点分配给体积中的每个唯一标签，其中具有至少一个相邻体素对的片段之间的边缘。然而，随着图像体积的大小增长，在这种方法下的边缘的数量急剧增加我们采用手工制作的几何约束的基础上，underlying生物学，以减少节点和边缘的数量。此外，我们用两个神经网络学习神经元形态，以帮助图形生成过程。3.1. 代码生成仅基于亲和度预测聚集区域的当前流水线产生大量微小片段（例如，在代表性数据集上，由WA-TERZ算法产生的86.8%的段包含少于9，600个体素，对应于大约0的情况。01µm3）。由于这些策略只使用平均仿射-两个超体素之间的相似性，相似性生成中的噪声过程产生这些小的工件。特别是，这些片段经常出现在神经元过程变得非常薄的区域，导致体素之间的亲和力较低（图1）。2）。我们可以利用有关基础生物学的其他信息来识别和纠正这些片段：也就是说，神经元相当大，图3.两个网络都将三个通道作为输入，对应于特定体素是否属于段一、段二或任一段。这个特定的例子被输入到边缘CNN，以确定两个片段是否属于同一个神经元过程。在分割时不包含很少的体素。图2示出了示例神经元过程，其被过度分割成六个不同的组件，其中五个相对较小。这些片段中的每一个与其相邻片段具有足够低的平均亲和力。我们确定这些小的部分，并将它们合并，以减少节点（和边缘）的数量我们将体积小于tvol立方微米的任何片段标记为小，并创建附近的大片段列表作为潜在的吸收这些片段的最简单方法是将它们与具有最高平均亲和力的然而，这些片段是由于亲和力的不准确而出现的。我们采用两种方法来合并这些节点的基础上的小部分本身的几何形状。一些聚集策略产生完全包含在一个图像切片内的若干我们将这些单例在几个切片上连接在一起，通过考虑叠加两个相邻切片时的交集。其次，我们训练一个神经网络来学习两个片段，一个小的，另一个大的，是否属于同一个神经元。查看两个片段周围的局部形状可以提供仅原始图像数据或亲和力的重要附加信息分裂误差经常出现在图像伪影或噪声亲和力的区域;然而，片段形状提供了附加信息。我们提取一个小立方体直径d节点纳米周围的每个我们训练一个前馈3D CNN来学习神经元形态并预测哪些对属于同一个神经元。 CNN将三个通道作为输入，这三个通道对应于体素是否属于小片段、大片段或任何一个片段（图1）。（3）第三章。我们的网络包含三个VGG风格的卷积块[5]和两个完全连接的层，然后进行最终的sigmoid激活。网络参数在第二节中进一步讨论。4.2.每个小段都与附近的一个大段合并，以防止合并2092图4.连接组学分割中分裂错误的两个典型实例在上图中，神经元突起在其最薄的一些位置被分裂在底部，多个棘从树突分裂。将两个不同的神经元完全连接起来的错误。3.2. 边生成体积中的每个剩余段具有大量的相邻邻居（在三个千兆像素数据集上平均每个段28个）。 我们使用的分裂误差的几何先验，以减少考虑的错误的数量大大。大多数分裂错误遵循以下两种模式之一：一个神经元过程在其主要方向上分为两个或多个部分（图11）。4 ， 顶 部 ） 或几 个 刺 是 broken 了 树 突 （ 图。 4 ， 底部）。我们为每个段生成骨架，以创建体积的基本形状的简单而富有表现力的表示例如，这种方法使我们能够快速识别具有最小计算量的片段中的所有树突棘（图2）。（五）。一些先前的研究集中在生物医学和连接组学领域中骨架的开发和使用，以进行更快的分析[38，41]和纠错[9]。拓扑细化和中轴变换在计算机图形学和体处理领域受到了极大的关注[26，32]。在生成骨架之前，我们首先使用最大池化过程将每个片段下采样到（Xres，Yres，Zres）该过程不会导致显著的细节损失，因为神经元的最精细形态特征在100nm的量级[36]。事实上，所产生的骨架更紧密地遵循基础几何结构，因为这些段的边界是相当嘈杂的。我们使用连续拓扑细化算法-图5.由拓扑细化算法产生的两个示例骨架[31]。较大的球体表示端点，从它们突出的矢量显示端点终止时的电子束方向。当为我们的图生成边时，我们利用了上述分裂误差模态，这些模态来自神经元的底层生物结构为了识别这些潜在的分裂错误位置，我们使用每个骨架端点处的方向对于给定段Se中的每个端点ve，我们考虑t边缘纳米的定义半径内的所有体素vn如果该体素属于与Se局部相邻的另一段Sn，并且ve和vn之间的向量在离开骨架端点的方向向量的θmax度内，则节点Se和Sn接收图中的边。θmax设置为约18。该值来自于端点矢量生成策略的不精确性。3.3. 边权重为了生成两个分段之间的合并概率，我们使用了类似于第3.1节中讨论的CNN。我们在边缘生成步骤中发现的每个潜在合并位置周围提取直径d边缘纳米的小立方体同样，我们训练了一个新的前馈3D CNN，它有三个通道，编码体素是否属于每个片段或其中之一（图2）。（3）第三章。该网络遵循相同的通用架构，具有三个VGG风格的卷积层，然后是两个完全连接的层和最后的sigmoid激活。接下来，我们使用以下加权方案将这些概率转换为边权重[20]：rithm [31]逐渐侵蚀每个边界体素pe1−βw=log+log（一）分割，直到只剩下骨架。图5显示了两个示例片段及其对应的骨架。骨架中较大的球体对应于端点。我们在每个端点处生成一个向量，以指示在端点终止之前骨架的方向。e1−peβ其中pe是对应的合并概率，β是一个可调参数，它鼓励过度分割或欠分割。注意，高概率转换为正权重。这源于我们的优化策略2093表1.我们展示了四个测试数据集的结果，两个来自PNI卷，一个来自Kasthuri卷，一个来自SNEMI3D挑战数据集。我们使用四个PNI卷进行训练，三个用于验证。我们进一步根据Kasthuri和SNEMI3D卷的单独训练数据微调我们的神经网络。数据集大脑区域样本分辨率尺寸分割PNI初级视皮层3 .第三章。6×3。6× 40 nm32048× 2048× 256Zwatershed和平均Agg [25]卡斯图里躯体感觉皮层6× 6× 30 nm31335× 1809× 338沃特兹[11]SNEMI3D躯体感觉皮层3× 3× 30 nm31024× 1024× 100沃特兹[11]（下面讨论），其最小化目标函数，并且因此应该折叠所有正加权边。3.4. 图形优化我们的图形配方使我们能够应用各种各样的基于图形的全局优化策略。在这里，我们将划分问题重新表述为多割问题。这种最小化策略有两个主要的好处：第一，最终的段数取决于输入，而不是预先确定的;第二，解决方案是全局一致的（即，只有当两个相应的节点属于不同的段时才保留边界）[20]。我们使用贪婪加性边收缩方法来产生多割问题的可行解[20]。在他们的例子之后，我们使用更一般的提升多切割公式，其中所有非相邻的节点对接收“提升”边缘和相应的边缘权重，指示两个理想情况下，通过考虑图中节点之间的所有可能路径，这些权重完美地反映了两个节点属于同一个神经元的概率。不幸的是，这样的计算是昂贵的，所以我们通过在负对数似然图上找到最短路径来创建概率的较低估计（即，每个原始边权重we现在是−logwe），并将概率设置为等于e提升到距离[20]。4. 实验我们讨论了用于评估的数据集和上一节中的各种参数。4.1. 数据集我们使用具有不同分辨率、采集技术和输入分割策略的四个数据集来评估我们的方法PNI卷由[43]的作者提供给我们，包含9个由连续截面透射电子显微镜（ssTEM）成像的独立卷。我们使用其中四个卷来训练我们的网络和调整参数，三个用于验证，最后两个用于测试。这些图像体积具有由3D U-Net的变体产生的初始分割，然后是zwatershed和平均聚集[25]。Kasthuri数据集可在线免费获取1和复制-1https://neurodata.io/data/kasthuri15/显示了通过扫描电子显微镜（SEM）成像的新皮层区域我们将本卷分为训练块和测试块。我们最初使用3DU-Net来产生亲和力，并使用waterz算法[11]进行聚集。虽然我们提出的方法主要是为大规模的连接组学数据集设计的 2我们的初始分割策略对于SNEMI3D和Kasthuri数据集是相同的。4.2. 参数配置在这里，我们提供了第3节中讨论的参数和CNN架构。补充材料提供了额外的实验，进一步详细探索这些参数和网络架构。节点生成。 为了确定一个合适的值tvol-阈值接收一个节点在图中，我们考虑的边缘生成步骤，需要表达的trone-吨。通过逐渐边界侵蚀[31]生成的轮廓趋于将小片段减少到奇异点，从而去除所有相关形状信息。 在四个训练数据集上探索了各种阈值后，我们设置tvol=0。010 36µm3.去乙酰化方法为了评估各种骨架生成方法，我们创建并发布了一个骨架基准数据集。3我们在这个基准数据集上评估了具有不同参数的三种不同的遗传算法[26，31，38]。在每个维度上将数据下采样到80纳米，然后进行拓扑细化算法[31]产生最佳结果。边缘生成。在边缘生成期间，我们希望最小化边缘的总数，同时保持与分裂错误对应的边缘上的高召回率。在考虑各种阈值后，我们发现tedge=500 nm保证了这两个属性。 当将概率转换为边权重时，我们使用β = 0。95，以进一步减少错误合并的数量CNN训练在九个PNI数据集中，我们使用四个用于训练，三个用于验证。我们尝试了各种网络架构和输入立方体大小。我们的节点网络接收一个d节点=800 nm的立方体，然后将其采样到大小为（60，60，20）的体素网格中。我们的边缘2http://brainiac2.mit.edu/SNEMI3D/home3http://rhoana.org/skeletonbenchmark2094表2.我们提出的方法减少了20的信息的总变化。9%，28. 百分之七，十五。6%，19。在四个测试数据集上的8%。信息分裂的变化显著减小，最大减少45。第二个PNI测试数据集的5%数据集六.共计VI斯普利特VI合并图6.在这里，我们展示了我们提出的方法的三个成功（左）和两个失败（右）的情况。在左边，我们看到两个树突，每个都有八个棘正确地合并。纠正这些类型的分裂错误对于提取接线图特别重要，因为突触连接发生在棘上。在这些例子之间，我们展示了一个典型的神经元过程最初在许多薄的位置分裂。右上方圈出的是一个不正确地合并到树突的棘。我们正确地连接了五个脊椎，但我们意外地将两个脊椎合并到同一位置下面是一个输入分段中的合并错误导致错误的示例网络接收具有d边缘=1200 nm的立方体，其类似地被采样到大小为（52，52，18）的体素网格中我们在PNI数据上训练每个网络2,000个epoch。每个时期有20，000个示例，其中应该合并和不应该合并的示例相等。我们采用广泛的数据扩增随机旋转输入周围的z轴和反映在xy平面。对于Kasthuri和SNEMI 3D数据，我们微调了500个epoch的预训练网络。4.3. 误差度量我们使用信息的分裂变差（VI）[27]来评估不同方法的性能。信息分数的分裂和合并变化使用条件熵分别量化过分割和欠分割。两个熵的和给出了信息的总变差。对于我们的CNN，真阳性表示已纠正的分裂错误，假阳性表示合并错误引入。5. 结果我们提供定量和定性分析我们的方法和消融研究比较每个组件的有效性5.1. 基准比较表2显示了我们的方法在四个测试数据集上的输入分割的信息改进的总变化 我们将两个PNI，Kasthuri和SNEMI3D数据集上的信息的总变化减少了20。9%，28.7%，15。6%，19。8%。 我们的六分下降34。5%，45。5%，23. 8%，23。3%，四个数据集。我们提出的方法只合并片段-没有将任何元素分成多个部分，因此我们的VI合并分数只会增加。然而，我们的输入分割非常过度分割，并且在开始时具有小的VI合并分数我们的算法增加了VI合并（即，它做出了一些错误的合并决策），但VI分裂的总体减少克服了轻微的合并决策。基线提出减少基线提出基线提出PNI测试一0.4910.388-20.9%0.4180.2730.0730.115PNI测试二0.4160.297-28.7%0.3680.2000.0490.097Kasturi测试0.9650.815-15.6%0.8940.6810.0710.134SNEMI 3D0.8070.647-19.8%0.5710.4380.2360.2092095图7.我们提出的生物约束边缘生成策略的一个成功（左）和一个失败（右）。在左侧实例中，断开的脊椎有一个骨架端点，其向量指向主进程。在右侧示例中，两个脊从树突中分离，但在输入分割中合并在一起骨架在断开位置附近遍历，而不产生端点。VI中的折痕合并。在SNEMI 3D数据集上，我们通过改变waterz算法中的合并阈值来生成多个与最佳校正分割相比，我们显示了图6显示了我们提出的方法的五个示例，三个正确（左）和两个失败（右）。在这里，我们看到两个例子树突有八个刺每个正确地重新连接到神经元的过程。修复这些类型的分裂错误对于从大脑中提取接线图至关重要：来自相邻细胞的电信号通过位于这些棘上的突触后致密物向前传播。在这两个树突之间，我们显示了一个典型的神经元过程分裂成多个部分的位置，该过程变得相当薄。我们的边缘生成步骤快速地将这些位置识别为潜在的分裂错误，并且我们的CNN预测神经元过程正在继续而不是终止。在右上角，我们展示了一个正确合并五个棘的树突示例。然而，在一个位置（圆圈），我们意外地合并了一个额外的脊椎，导致合并错误。下面，我们展示了一个由输入分割中的合并错误引起的错误。紫色的神经元突起在一个位置被错误地合并为垂直穿越过程（圆圈）。我们用垂直突合并其他节段，导致VI合并增加。5.2. 经验性消融研究在这里，我们详细说明了我们的方法的每个组成部分在三个数据集上的有效性，并与相关基线进行比较。节点生成。表3总结了我们的节点生成策略的成功之处，即正确地将同一进程中的小段合并为较大的段我们将我们的结果与以下简单的基线进行比较：如果有多少小标签与相邻的大片段（与其共享最高平均亲和力）接收相同的标签，则有多少小标签被正确合并。我们的方法显着优于形式的PNI数据集的基线。基线表现不佳，因为输入分割ag-表3.我们提出的节点生成策略，合并到附近较大的小段优于基线策略。在我们最好的例子中，我们正确地合并了444个小段，而只有75个不正确的合并。数据集基线提出PNI测试一305 / 521（36.9%）686 / 169（80.2%）PNI测试二185 / 281（39.7%）444 / 75（85.5%）Kasturi测试4 514/4 090（52.5%）6 623/2 020（76.6%）合并战略最初选择不合并这些小部分的基础上的亲和力。在每种情况下，我们正确地合并了76%到85%的小段。waterz聚集策略比平均聚集方法产生更多的小段。有趣的是，该策略的基线要高得多，这表明基于阈值亲和力合并小片段的简单后处理方法可能是合理的。边缘生成。边生成有两个主要组成部分：潜在拆分错误的位置和位置。我们创建了一个用于连接分割的骨架基准数据集，并标记了500个地面真值片段的端点。所采用的归一化方法的精度为94. 7%，召回率为86。7%，总体F评分为90。5%的基准数据集。图7显示了我们的方法成功（左）和失败（右）的一些定性示例。只要其中一个神经元过程在错误（左）附近具有骨架端点和方向向量，我们的方法就能正确地建立边缘。在该特定示例中，断裂的脊具有直接指向对应树突的端点向量在右边，我们看到两个脊相互连接导致双链在断裂处没有端点的故障表4提供了我们的边缘生成方法的定量结果。简单的基线策略是使用来自分割的邻接图。也就是说，如果对应的片段具有一对相邻的体素，则两个节点接收边缘我们注意到，邻接图在神经元过程之间创建了大量不应该合并的边缘。相比之下，我们提出的方法在每个节点上将图的大小减少了大约60%2096表4.我们的边生成策略在三个数据集中的每一个上都将图中的边数量令人印象深刻的80%的真正分裂错误后，边缘修剪操作。图8.三个测试数据集的学习边缘特征的受试者工作特征（ROC）曲线。表5.使用全局图优化策略可以防止分段在传统贪婪方法上错误合并。我们的VI合并比基线平均减少15.1%，最大减少23.6%。数据集基线拟定减少PNI测试一0.127 0.115-9.4%PNI测试二0.127 0.097-23.6%Kasthuri测试0.153 0.134-12.4%三个数据集。同样，我们对每个数据集上的真实分割错误的召回率我们在图8中提供了边缘CNN的结果。总体而言，我们的网络在每个数据集上都表现良好，在PNI和Kasthuri数据集上的准确率分别为96.4%，97.2%和93.4%。图分割。最后，我们量化的好处，使用一个全球性的图形分区策略，在一个标准的聚集技术。作为基线，我们仅使用CNN分类器的局部上下文将区域合并到一起为了与我们提出的方法进行公平的比较，我们合并了预测合并分数超过95%的所有片段（选择β值的必然结果）。表5示出了相对于贪婪聚集方法的信息合并的变化的改进。当使用全局优化策略时，VI合并得分平均下降15.1%5.3. 计算性能所有 性能 实验 都在 Intel Core i7- 6800K CPU 3.40GHz和Titan X Pascal GPU上运行。所有代码都是用Python编写的，并且可以免费获得。我们将Keras深度学习库用于我们的神经网络-使用Theano后端和CUDA 8.0的cuDNN 7加速。表6显示了每个在PNI Test Two数据集（2048×2048×256）上，我们提出的方法的步骤。我们的方法实现了吞吐量1.66每秒百万像素表6.gigavoxel数据集上的运行时间步骤运行时间节点特征提取73秒节点CNN 208秒骨架生成34秒边缘特征提取208秒边缘CNN 109秒提升多切割13秒总计10.75分钟6. 结论我们提出了连接组学重建工作流程的第三步，以改进由典型的最先进的重建管道产生的过分割我们的方法使用局部和全局上下文，以改善使用全局图优化策略的输入段。对于局部上下文，我们采用基于底层生物学的几何约束在初始分割后执行图形优化使我们能够在做出决策时捕获更大的形状上下文。我们在四个不同的数据集上改进了最先进的分割方法，平均减少了21.3%的信息变化我们的图形配方提供了一个正式的描述的问题，并使广泛的优化策略，在未来。我们当前的实现使用了提升的多割公式。然而，我们的方法可以很容易地扩展到广泛的其他图形parti- tioning策略。例如，随着神经元类型的自动识别（例如，激励的或抑制的），我们可以向全局优化器引入附加的约束以防止不同类型的合并。鸣谢。我们感谢来自普林斯顿神经科学研究所的乔纳森·宗（Jonathan Zung）和塞巴斯蒂安·宋（Se- bastianSeung）与我们分享他们的结果和数据。我们还要感谢K a'lm a'nPala'gyi为我们提供了拓扑细化代码。本研究部分得到了NSF 资助IIS-1447344和IIS-1607800以及IARPA合同D16 PC 00002的支持。4http://rhoana.org/biologicalgraphs数据集基线提出边召回PNI测试一528 /25，619417 /10，07479.0% /39.3%PNI测试二460 /30 388370 /11，86980.4% /39.1%2097引用[1] B. Andres，T. Kroeger，K. L. Briggman，W. Denk，N.科罗-上帝，G。诺特U Koethe和F. A.汉普雷希特连通组学的全局最优闭曲面分割。欧洲计算机视觉会议，第778-791页。Springer，2012.[2] T.贝尔角Pape，N. Rahaman，T. Prange，S. Berg、D. D.Bock ， A.Cardona ， G.W. Knott ， S.M. 普 拉 亚 湖 K.Scheffer等人，Multicut使自动神经突分割更接近人类的表现。Nature methods，14（2）：101，2017.[3] J. A.博戈维奇湾B. Huang和V.贾恩。学习与手工设计的三维聚集特征表示。arXiv预印本arXiv：1312.6159，2013年。[4] K. Briggman，W. Denk，S. Seung，M. N. Helmstaedter和S. C.图拉加图像分割的极大极小仿射学习。神经信息处理系统的进展，第1865-1873页，2009年[5] K. Chatfield，K. Simonyan、A. Vedaldi和A.齐瑟曼。魔鬼的回归细节：深入研究卷积网。arXiv预印本arXiv：1405.3531，2014。[6] 哦。 Ci cek ，A. Abdulkadi r，S. S. Lienkamp，T. 布洛克斯，还有O.朗尼伯格3D U-网络：从稀疏注释学习密集体积分割。在医学图像计算和计算机辅助干预国际会议上，第424-432页。施普林格，2016年。[7] D. Ciresan、A.朱斯蒂湖M. Gambardella和J. 施密特胡伯。深度神经网络在电子显微镜图像中分割神经元膜。神经信息处理系统的进展，第2843-2851页，2012年[8] J. Cousty，G.贝特朗湖Najman和M. Couprie分水岭切割：最小跨度森林和水滴原理。Transactions on PatternAnalysis and Machine Intelligence，2009.[9] K. Dmitriev，T.帕拉格湾Matejek，A.Kaufman和H.菲斯特 。 EM 连 通 组 的 有 效 修 正 . 英 国 机 器 视 觉 会 议（BMVC），2018年。[10] P. F. Felzenszwalb和D. P. Huttenlocher。高效的基于图的图像分割。国际计算机视觉杂志，2004年。[11] J. Funke ， F. D. Tschopp ， W. Grisaitis 角 辛 格 ， S 。Saalfeld和S. C.图拉加一种深度结构化学习方法，用于从三维电子显微照片自动重建连接体。arXiv预印本arXiv：1709.02974，2017。[12] D. Haehn，J. Hoffer，B. Matejek，A. Suissa-Peleg，A.K.阿瓦米湖Kamentsky，F. Gonda，E.孟，W.张先生，R. Schalek等人可扩展的交互式可视化连接。《信息学》第4卷第29页。Multidisci-plinary Digital PublishingInstitute，2017。[13] D. Haehn，V.Kaynig，J.Tompkin，J.W. 利希特曼，H.菲斯特连接组学自动分割的引导校对在IEEE计算机视觉和模式识别会议上，2018年6月。[14] D. 海恩， S. 诺尔斯-巴利， M. 罗伯茨 J. 拜尔N. Kasturi，J.W. Lichtman和H.菲斯特连接组学交互式校对工具的设计与评价IEEE Transactions on Visualization and Computer Graph-ics，20（12）：2466 -2475，2014.[15] M.海姆施泰特机器学习与神经科学的相互启发。Neuron，86（1）：25[16]诉 杰恩B. 博尔曼，M. 理查德森D. 伯杰M. Helmst aüdter，K. Briggman，W. Denk，J. 博登，J. Mendenhall，W.亚伯拉罕，K。Harris，N.卡斯图里湾海沃思河。Schalek，J. Tapia，J. Lichtman和S.胜拓扑约束优化的边界学习。 在proc IEEE CVPR 2010，第2488-2495页，2010年。[17] V. Jain，S. C.图拉加湾Briggman，M. N. 海姆施泰特，W. Denk和H. S.胜学习凝聚超像素层次。神经信息处理系统的进展，第648-656页，2011年[18]M. Januszewski，J. Kornfeld，P. H. Li，长穗条锈菌A.Pope，T. 布莱克利，L. Lindsey，J. Maitin-Shepard，M. Tyka，W. Denk，以及V. Jain 用 洪 泛 网 络 高 精 度 自 动 重 建 中 子 Naturemethods，15（8）：605，2018.[19] N.卡斯图里湾J. Hayworth，D. R.伯格河L. 沙莱克J. A. Conchello ， S.Kn o wles-Barle ey， D. Lee ， A.Va'zquez-Reina，V.Kaynig，T.R. jones等人新皮层的饱和Cell，162（3）：648[20] M. Ker，E. L e vin kov，N. Bonneel ，G. 我来吧，T。Brox和B.安德烈斯提升多重割的图像和网格图的有效分解IEEE国际计算机视觉会议论文集，第1751-1759页，2015年[21] S. Knowles-Barley，V. Kaynig，T. R. 琼斯，A. 威尔逊J. Morgan，D. Lee，D.北伯杰Kasturi，J. W. Lichtman和H.菲斯特Rhoananet管道：密集自动神经注释。arXiv预印本arXiv：1611.06973，2016年。[22] S. Knowles-Barley ， M.Roberts ， N.Kasthuri ， D.Lee ，H.Pfis- ter和J. W.利希特曼Mojo 2.0：Connectome注释工具。Frontiers in Neuroinformatics，（60），2013.[23] N. Kras o wski、T. Beie r，G. 诺特U K oïthe ，F. A.Ham-precht和A.克雷舒克具有高级生物先验的神经元分割。IEEE transactions on medical imaging，37（4）：829[24] K. Lee，A.兹拉特斯基河谷Ashwin和H. S.胜用于神经元边界预测的2d-3d卷积网络的递归训练。神经信息处理系统的进展，第3573-3581页，2015年[25] K. Lee，J. Zung，P. Li，V. Jain，and H. S.胜在斯奈米3D连接组学挑战中的超人般的准确性arXiv预印本arXiv：1706.00120，2017。[26] T.- C.利河，巴西-地L. Kashyap和C.- N.楚 用三维中轴细化算法建立骨骼模型。CVGIP：Graphical Models andImage Processing，56（6）：462[27] M.梅拉根据信息量的变化进行聚类比较。Colt，第3卷，173-187页。施普林格，2003年。[28] Y. Meirovitch，A. Matveev，H. Saribekyan，D. 布登D. Rolnick，G.气味，S。Knowles-Barley，T.R. Jones，H.Pfis- ter，J. W. Lichtman等人大规模连接组学的多通道2098方法。arXiv预印本arXiv：1612.02120，2016。2099[29] Y.梅罗维奇湖Mi，H. Saribekyan，A. Matveev，D. Rol-nick和N.沙维特交叉分类聚类：连通组学中用于三维实例分割的有效多目标跟踪技术。2019年6月[30] J. Nunez-Iglesias，R. Kennedy，T. Parag，J. Shi，and D.B.契克洛夫斯基利用机器学习阶层式丛集分割二维与三维影像。PloS one，8（8）：e71715，2013.[31] K. Pala'gyi. 一种基于地峡的三维曲线顺序细化算法在International Symposium on Visual Computing ， 第 406-415页。Springer，2014.[32] K. Pala'gyi，E. Balogh，A. 库巴角哈尔迈湾我的天啊，E. Sorantin和K.豪斯格一种连续三维细化算法及其医学应用。在医学成像信息处理两年一次的国际会议上，第409-415页。Springer，2001.[33] T. Parag.电子显微镜分割算法需要什么特性。arXiv预印本arXiv：1503.05430，2015年。[34] T. Parag，A.查克拉博蒂，S。Plaza和L.谢弗一种用于电子显微镜分割的上下文感知延迟聚集框架。PLOSONE，10（5）：1-19，05 2015.[35] T. Parag，F. Tschopp，W. Grisaitis，S. C.图拉加角张先生，B.马泰杰克湖Kamentsky，J. W. Lichtman和H.菲斯特基于3d仿射学习和凝聚的各向异性电磁波分割arXiv预印本arXiv：1707.08935，2017。[36] D. Rolnick，Y.Meirovitch，T.