没有合适的资源?快使用搜索试试~ 我知道了~
Yaron Meirovitch1,2∗, Lu Mi1∗, Hayk Saribekyan1, Alexander Matveev3, David Rolnick1, Nir Shavit1,4432184250交叉分类聚类:连接组学中三维实例分割的高效多目标跟踪技术01 麻省理工学院,2 哈佛大学,3 Neural Magic公司,4 特拉维夫大学0摘要0像素精确跟踪是许多计算机视觉应用中的关键要素,通常通过迭代的单个目标跟踪或实例分割后的目标匹配来解决。在这里,我们引入了交叉分类聚类(3C)技术,它可以同时跟踪图像堆栈中的复杂、相互关联的对象。交叉分类的关键思想是通过在每个图像上运行对数数量的独立分类,将聚类问题高效地转化为分类问题,让这些分类的交叉标签唯一地将每个像素分类到对象标签。我们将3C机制应用于连接组学中,以实现最先进的连接组学准确性,即从电子显微镜体积中进行神经组织的纳米级映射。我们的重建系统比现有的单目标跟踪方法(如泛洪填充网络)提高了一个数量级的可扩展性。这种可扩展性对于连接组学流程的部署非常重要,因为目前最好的性能技术需要超出大多数实验室的计算基础设施的范围。我们的算法可能在其他需要像素精确跟踪多个对象的领域,如视频和医学图像分割中,带来好处。01. 引言0目标跟踪是许多计算机视觉应用中的一个重要且广泛研究的组成部分[1, 13, 14, 16, 23, 54, 57,59]。它既发生在视频分割中,也发生在基于2D图像的三维物体重建中。相对于通过单目标跟踪的重复使用来跟踪多个对象以消除冗余的多目标同时跟踪的高效算法[14],人们对此问题关注较少。这个问题与医学成像[10, 11, 22, 29, 30,38]以及视频[12, 43, 55, 58]相关。0� 这些作者对本文的贡献相同 { yaronm,lumi }@mit.edu0图1. (a) 使用泛洪填充网络进行单目标跟踪 [21],(b)使用我们的交叉分类聚类(3C)算法进行多目标跟踪,(c)通过3C对实例分割进行组合编码。使用三个图像,每个图像有4个目标类别,对包含10个目标的分割图像进行编码。0age stacks), the desired accuracy and speed (terabytes perhour [33]), and the complexity of the neurons’ morphology,present a daunting computational task. By analogy to tradi-tional object tracking, imagine that instead of tracking a sin-gle sheep through multiple video frames, one must track anentire flock of sheep that intermingle as they move, changeshape, disappear and reappear, and obscure each other [32].As a consequence of this complexity, several highly suc-cessful tracking approaches from other domains, such as the“detect and track” approach [14], are less immediately ap-plicable to connectomics.Certain salient aspects are unique to the connectomicsdomain: a) All objects are of the same type (biologicalcells); sub-categorizing them is difficult and has little rel-evance to the segmentation problem. b) Most of the imageis foreground, with tens to hundreds of objects in a singlemegapixel image. c) Objects have intricate, finely branchedshapes and no two are the same. d) Stitching and align-ment of images can be imperfect, and the distance betweenimages (z-resolution) is often greater than between pixelsof the same image (xy-resolution), sometimes breaking theobjects’ continuity. e) Some 3-D objects are laid out par-allel to the image stack, spanning few images in the z di-rection and going back and forth in that limited space withextremely large extensions in some image planes.In this work, we introduce 3C, a technique that achievesvolumetric instance segmentation by transferring segmenta-tion knowledge from one image to another, simultaneouslyclassifying the pixels of the target image(s) with the labelsof the matching objects from the source image(s).Thisalgorithm is optimized for the setting of connectomics, inwhich objects frequently branch and come together, but issuitable for a wide range of video-segmentation and medi-cal imaging applications.The main advantage of our solution is its ability, unlikeprior single-object tracking methods for connectomics [21,37], to simultaneously and jointly segment neighboring, in-84260图2. SNEMI3D基准测试中的原始输入电子显微镜(EM)完整图像堆栈和我们的3C-LSTM-UNET结果。0为了避免冗余计算,我们的检测器不是扩展单个掩码,而是通过考虑所有可见对象的信息进行聚类。我们在四个连接组学数据集上展示了3C的效率和准确性:公共的SNEMI3D基准数据集(如图2所示),广泛研究的小鼠体感皮层数据集[24](S1),大鼠大脑V1区域的Lichtman实验室数据集(ECS),以及新对齐的小鼠外周神经系统数据集(PNS),在可能的情况下与连接组学领域的其他竞争结果进行比较。01.1. 相关工作0过去十年中,有各种技术致力于从电子显微镜体积中分割神经元。越来越多的工作致力于根据前景对象实例(神经和支持细胞)对体积中的所有像素进行密集分割,这被称为饱和重建。需要注意的是,与日常图像不同,典型的百万像素电子显微镜图像可能包含数百个对象实例,背景很少(<10%)。下面,我们简要介绍了我们认为最有影响力且与本文采用的方法相关的饱和重建流程。在连接组学数据的饱和重建算法中,当它们结合了许多不同的机器学习技术时,其准确性最高[6,31]。其中许多技术使用了Andres等人的分层方法[2],该方法采用了众所周知的分层图像分割框架[3, 15, 39,47]。这仍然是连接组学分割流程中最常见的方法:首先在2D/3D中检测对象边界,然后逐渐聚合信息以形成最终的对象[6, 9, 20, 27, 31, 34, 35,52]。从边界检测器获得的高程图被视为真实边界概率的估计器[9],用于定义图像的过分割,即背景画布上的前景连通分量。假设每个连通分量最多跨越一个真实对象。因此,它可能需要与其他连通分量聚合(根据启发式方法[17, 18,26]或基于手工特征的学习权重[2, 27, 40,41]),但不应被分解为更小的片段。许多3D重建系统遵循这种自下而上的设计[6, 7, 27, 31, 35, 40, 41,44]。Hierarchicalsegmentation的一个高度工程化的实现[31]仍然是2013年(仍然活跃的)经典SNEMI3D连接组学竞赛中的领先条目[5],以统一实例分割正确性指标(标准化Rand-Error[53]和信息变异[36])进行评估。最近采用了一种有希望的新方法。84270Januszewski等人引入了泛洪填充网络(FFN;[21]),与MaskExtend[37]同时并行独立地引入。如图1(a)所示,这些算法采用定义源图像上对象预测的掩码,然后使用完全卷积网络(FCN)对目标图像中属于源图像中单个掩码对象的像素进行分类。这个过程在不同方向上在图像堆栈中重复进行,每次分割和跟踪一个单独的对象,同时逐渐填充复杂对象的三维形状。与以前的分层分割算法(例如[6])相比,这提供了在几个基准测试中的准确性改进,并且可能在更长的距离上跟踪对象[21]。然而,这些单个对象的跟踪器在大规模应用中不容易部署,特别是当对象紧密堆叠并相互交织在一起时,因为这样个体跟踪变得高度冗余,迫使算法多次访问相关图像上下文的像素1。此外,连接组学中现有的单个对象检测器[21,37]以及其他生物医学领域(例如[4, 8, 19,48])中的检测器没有利用多对象场景来更好地理解不同三维对象之间的空间相关性。这里采用的方法将连接组学中的单个对象方法推广到实现整个体积的更简单和更有效的实例分割。01.2. 贡献0我们提供了一个可扩展的三维实例分割和多目标跟踪应用的框架,具有以下贡献:•我们提出了一种简单的FCN方法,解决了将实例分割映射到两个相关图像之间的较少研究的问题。我们的算法同时预测了输入中部分观察到的多个对象的形状。•我们提出了一种新颖的技术,通过在具有N个对象的图像的像素上运行对数个独立的分类来将聚类问题转化为分类问题(对于可能很大的N,仅受像素数量限制)。•我们通过实验证明,我们的算法的同时跟踪能力比独立跟踪所有对象更高效。•我们对四个连接组学数据集进行了广泛的实验,使用不同的评估标准和性能分析,展示了我们的技术在神经重建问题上的有效性和效率。01.这样的方法因此需要与对象数量和像素数量成线性关系的时间,具有一个依赖于对象密度的大常数。0图3. 我们三维实例分割流程的高级视图。02. 方法论0我们提出了交叉分类聚类(以下简称3C),这是一种扩展单个对象分类方法的技术,可以同时且高效地对给定图像中的所有对象进行分类,基于一个上下文相关图像的提出实例分割。可以将上下文相关图像及其分割看作是一组标记的掩膜,同时将它们一起重新映射到新的目标图像中,如图1(b)所示。这种同时设置的直接困难是这种泛化是一个聚类问题:与FFNs和MaskExtend(如图1(a)所示)不同,它们产生二进制输出(对于扩展对象为“YES”,否则为“NO”),在任何体积中,我们真的不知道我们可能需要多少分类标签来捕捉所有对象,或者更重要的是如何以可用于监督学习的方式表示这些实例。克服这个困难是3C的一个重要贡献。交叉分类聚类:我们首先解释3C背后的主要思想,并将其与FFNs等单个对象方法进行区分。然后我们提供了我们的流程的自上而下的草图,并描述了如何将其适应其他领域。我们的目标是将一个图像的单个对象分类扩展到下一个图像,以便同时对一个先验未知的对象标签集合的像素进行分类。更正式地说,假设我们有图像Xprev和Xnext,其中Xprev已经被分割,Xnext必须与Xprev一致地进行分割。给定这样的图像,我们寻找一个分类函数f,该函数以Xnext的体素v和Xprev的分割s(表示对象标签的整数矩阵)作为输入,并输出一个决策标签。如果v属于s中具有该标签的对象,则函数f输出一个标签。如果允许s是一个过分分割(即,表示同一对象的多个标签),那么f的输出应该是兼容标签中的一个。为简单起见,假设输入分割s的条目来自标签集合{1, ∙ ∙ ∙ ,N}。我们定义84280定义一个新的标签空间,长度为k的字符串,由预先确定的字母表A(这里用颜色表示)组成,其中|A|=l,n=|A|^k≥N是我们期望在分类中出现的对象数量的上限。我们使用一个任意的编码函数χ,将标签{1, ∙ ∙ ∙ ,N}映射到长度为k的A上的不同随机字符串。在图1(c)的示例中,A由l=4种颜色表示,k=3,因此我们总共有4^3=64个长度为3的可能字符串,可以将N=10个对象映射到这些字符串上。因此,例如,对象5被映射到字符串(绿色,紫色,橙色),对象1被映射到(绿色,绿色,紫色)。我们可以将字符串标签上的分类函数f定义为k个传统分类的乘积,每个分类都具有A中标签的输入分割和A中标签的输出。稍微滥用符号,让图像的直接乘积χ(s)=χ1(s)×∙ ∙∙×χk(s)成为分割s的重新标记,其中每个图像(或张量)χi(s)是χ(s)在第i个位置的投影(分割的单个着色),×是A中标签的连接操作。然后我们可以将f在χ(s)上重新定义为0f(v, χ(s)) = f'(v, χ1(s)) × ∙ ∙ ∙ × f'(v, χk(s)), (1)0其中每个f'(χk(s))是传统的分类函数。关键思想是f'是基于具有l个预定标签的实例分割对v进行分类。在图1(c)的示例中,即使在表示原始对象5和1的最显著数字的地图中,它们都是绿色的,当我们进行分类并对所有三个地图进行交叉标记时,这两个对象被分类为不同的标签。3D重建系统:我们的3D重建系统包括以下步骤(如图3所示):1)使用初始不完美的2D/3D实例分割对体积进行种子和标记,除了边界(过度分割)之外,覆盖所有对象。2)使用3C规则χ将标记的种子编码为新空间。3)将经过完全卷积网络处理的投影标记种子从源图像传输到目标图像,并进行交叉标记。4)使用逆3C规则χ-1将一组网络输出解码为原始标签空间。5)根据原始种子和其他切片预测的分割之间的重叠,将标签聚合为3D一致的对象。为了对体积进行初始种子和标记(步骤1),我们计算并标记了过度分割所有对象的2D掩膜。为此,我们遵循连接组学中的常见做法,使用FCN计算对象边界,并在边界高程图上搜索局部最小值。随后(步骤2),我们使用χ对每个切片的种子进行编码,结果是每个种子的l个颜色字母表的k元组(在图4中k=5,l=4)。0图4.3C的实例分割转移机制:使用编码规则χ将种子图像编码为kl个颜色图像(这里k=log(N),k=5,l=4)。使用完全卷积网络k次将每个种子图像转移到相应的目标图像。使用解码规则χ-1解码一组k个预测的种子图像。0图5.全局合并决策的示意图。种子i和种子j在Z和Z+W切片之间的边缘权重,即eijZ+W|Z,是种子j与图像Z到Z+W的3C预测的重叠区域的比率。由于强边缘路径,过度分割共同对象的种子往往会被合并。0然后,完全卷积神经网络预测了与Z和Z±W之间的相互关联图像之间的正确标签映射,确定目标图像Z±W中的哪些像素属于源图像Z中的哪些种子(步骤3)。这里的所有种子都由l个颜色表示,并且根据公式1进行了log(N)次预测。对于解码,对于每个像素,聚合了log(N)个预测以确定种子的原始标签,使用χ-1(步骤4)。对于训练,我们使用3D一致对象的饱和地面真实值。这种方法使我们能够将重建问题形式化为独立图像之间的跟踪问题,并处理对象在巨大的3D数据集的不同部分消失/出现的倾向。The SNEMI3D challenge is a widely used benchmarkfor connectomic segmentation algorithms dealing withanisotropic EM image stacks [5]. Although the competi-tion ended in 2014, several leading labs recently submit-ted new results on this dataset, improving the state-of-the-art. Recently Plaza et al. suggested that benchmarking con-nectomics accuracy on small datasets as SNEMI3D is mis-leading as large-scale “catastrophic errors” are hard to as-sess [44, 45]. Moreover, the clustering metrics such as Vari-ation of Information [36] and Rand Error [53] are inappro-priate since they are not centered around the connectomicsgoal of unraveling neuron shape and inter-neuron connec-tivity. We therefore conduct experiments on three additionaldatasets and show the Rand-Error results only on the canon-ical SNEMI3D dataset. To assess the quality of 3C at largescale, we demonstrate results on the widely studied datasetby Kasthuri et al. [24] (S1 Dataset). To further assess ourresults in terms of the end-goal of connectomics, neuronalconnectivity, we evaluate the synaptic connectivity of the84290图6.3C网络的示意图。输入层包括原始图像、种子掩膜和边界概率的3个通道,连续的2W+1个切片(图像)。输出是在Z±W(二进制或标记)切片中种子预测的特征图。顶部:3C-LSTM-UNET。网络架构用于优化SNEMI3D数据集的准确性。输入通过三个连续的Conv-LSTM模块进行处理,然后是对称的Residual U-Net结构。底部:3C-Maxout。网络架构用于优化哈佛啮齿动物皮层和PNS数据集的速度。03)。这里的所有种子都由l个颜色的固定数量表示,并且根据公式1进行了log(N)次预测。对于解码,对于每个像素,聚合了log(N)个预测以确定种子的原始标签,使用χ-1(步骤4)。对于训练,我们使用3D一致对象的饱和地面真实值。这种方法使我们能够将重建问题形式化为独立图像之间的跟踪问题,并处理对象在巨大的3D数据集的不同部分消失/出现的倾向。0我们现在描述一下如何利用3C种子转移来聚合2D掩模(如图5所示)。对于聚合(第5步),将3C的FCN应用于所有源图像到它们的目标图像,这些图像在图像堆叠中的z维度上最多相隔W个图像截面。我们收集所有共存段之间的重叠,即原始2D种子生成的重叠和从源图像到目标图像的3C种子转移生成的重叠。这样每个图像(包括初始种子)都有2W+1个实例分割情况,直接连接不同截面的种子。形式上,不同标签的重叠定义了一个图形,其节点是2D种子掩模标签,有向加权边是它们从源到目标的重叠比例。我们发现,即使对于较小的W,聚合所有具有足够重叠的掩模也能提供足够的准确性。但是,我们会在概率较低的边上进行强制连接,以避免太小的“孤立”对象,这在生物学上是不可信的。我们在补充材料中提供了更多细节。0我们注意到3C并不试图纠正潜在的0初始种子中的合并错误。这些错误可以通过学习形态特征[49,60]或全局约束[34]进行事后处理。适应其他领域:为了利用3C进行视频中的多目标跟踪,应该在交叉分类之前使用特定于领域的种子生成器(例如,使用深度着色[28])。自然图像可能会在帧之间引入空间一致的对象分割,因此应该使用专门的聚合过程。3C技术可以轻松应用于其他医学成像任务,对于各向同性设置,可以在不同轴之间进行种子转移。03. 实验843003C对象使用NRI度量[46](ECS数据集)进行评估。在最后一个实验中,我们关注3C的跟踪能力(PNS数据集)。03.1. SNEMI3D数据集0为了在SNEMI3D数据集上实施3C,我们首先在整个体积上创建了一组初始的2D标记种子。这些种子是基于边界概率图的区域2D极小值生成的。这个图是通过ResidualU-Net生成的,该网络以其在边界检测中的出色平均像素准确性而闻名[31,50]。接下来,3C算法被用来将2D标记种子从一个体积转移到另一个体积,如图4所示。最后,如果原始的2D标记种子和转移的标记种子的重叠比例超过0.1,则将它们聚合。我们发现W=2可以提供足够的准确性。所有孤立的对象都会被贪婪地聚合到最佳匹配。为了获得更好的准确性,我们测试了使用不同网络架构的3C,并评估了它们的准确性。到目前为止,卷积LSTM(ConvLSTM)在序列图像数据上表现出良好的性能[56]。为了使这些方法适应连接组学所需的高像素准确性,我们将ConvLSTM和U-Net结合起来。该网络通过学习具有相似上下文的附近图像的建议实例分割来训练一个图像的实例分割。我们发现LSTM-UNET架构的验证准确性为0.961,优于其他常用架构。我们在图6中给出了我们架构的示意图。详细信息请参见补充材料。0为了说明3C的准确性,我们将结果提交到了公共的SNEMI3D挑战网站,并与两个常见的基准模型(3D分水岭变换和Neuroproof聚类[41])进行了比较。我们的分水岭代码来自[35]。类似于其他传统的聚类技术,Neuroproof使用随机森林训练相邻对象的合并决策[40, 41,42]。这些基准方法使用了与我们的3C重构系统中使用的高质量边界图相同的输入。与地面真值(Z =30)进行的2D结果比较如图7所示。我们的结果具有更少的合并错误和分割错误,并且在很大程度上优于这两个基准方法。此外,3C与最近在NatureMethods上发表的其他最新技术[6,21]相比也表现出色。在SNEMI3D挑战排行榜上,3C的Rand-Error为0.041,而人工标注者的得分为0.06。我们的准确性(排名第三)在很大程度上优于大多数传统流程,并略逊于较慢的逐个神经元FFN分割。领先的模型是基于UNET的模型,学习短程和长程关联[31]。结果总结如表1所示。0模型 Rand VI VI split VI merge 复杂度0Watershed 0.113 0.67 0.55 0.12 -0Neuroproof 0.104 0.55 0.42 0.13 -0Multicuts 0.068 0.41 0.34 0.07 -03C 0.041 0.31 0.19 0.12 O(V log N)0FFN 0.029 - - - O(VN)0人工值 0.060 - - - -0表1. Watershed、Neuroproof [41]、Multicut[6]、人工值、3C和FFN[21]在SNEMI3D数据集上的Rand-Error、InformationVariation(VI)、VI split和VImerge的比较。时间复杂度:N为对象数量,V为像素数量。有关实际比较,请参见性能部分。我们无法访问FFN和人工输出,因此它们的VI指标缺失。03.2. 哈佛啮齿动物皮层数据集(ECS,S1)0我们描述了另外两个测试:(1)在已知突触连接性的数据集上进行3C测试(ECS和S1的子集),以及(2)应用于大规模数据集(S1)的轻量级无聚类重构。基于连接性的测试:根据最近提出的基于连接性的连接组学评估方法[45],使用NRI指标[46]评估了该流程的准确性。简而言之,NRI的取值范围在0到1之间,衡量给定神经元分割在神经突触之间保持对象连接的程度(1为最佳)。对于第一个测试,我们使用了一个轻量级但成功的FCN模型[35](Maxout)(用于边界和3C计算),重建了[24]的测试集(S1)(FOV为109像素的3C)。Maxout目前是连接组学中最快的边界检测器,先前已成功用于单目标跟踪[37]。架构和训练的详细信息请参见补充材料。3C-Maxout分割的NRI得分为0.54,而传统的聚类流程[35]的得分为0.41。对于第二个测试,我们获得了在哈佛大学Lichtman小组最近收集的大鼠皮层数据集(ECS)上进行重构的许可。这个测试允许将3C与[42]的优秀聚类方法进行比较(在SNEMI3D上排名第四),同时使用他们的U-Net[50]边界预测作为我们的3C网络的输入。在测试集上,我们的NRI得分为0.86,而聚类流程的得分为0.73。大规模重构(S1):我们还在整个S1数据集上运行了一个快速版本的3C(90亿体素:1840个切片,每个体素6nm x 6 nm x 30nm)。在这个实验中,我们省略了重构算法的聚类步骤,以实现更好的可扩展性,并让3C在边界概率图的局部极小值计算的3D掩模上运行。这个实现非常可扩展,因为它没有聚类步骤,而3C掩模是根据边界概率图的局部极小值进行更新的。84310图7. SNEMI3D:将3C-LSTM-UNET结果与基准技术Watershed、Neuroproof和地面实况进行比较。0图8. Kasthuri等人[24]S1的结果。快速轻量级的3C-Maxout在3D种子上运行,无需聚合。背景:分割的部分。前景:五个3D重建的对象。0图9.3C-Maxout直接从PNS原始图像(无后处理)递归跟踪所有对象(轴突)的结果。0以流式方式每100个切片跟踪果蝇的PNS。Maxout实现在大规模系统中具有吸引力,因为它在多核系统上并行化效率高,在CPU上具有良好的缓存行为[35]。图8显示了跨越S1整个体积的五个对象。03.3. 外周神经系统(PNS)数据集0接下来,我们测试了3C框架根据原始图像以流式模式递归跟踪对象的能力,即独立于任何聚合或后处理。0处理步骤。我们选择了哈佛大学Lichtman实验室提供的(新生儿)小鼠的一个以前未发表的运动神经束,用于此目的,因为它是一个封闭的系统,在915张图像数据集的第一张和最后一张图像中,所有对象都可见。由于该数据集对神经生物学家来说非常重要,因为它包含了一个完整肌肉的全部神经输入(21个轴突)。同样,我们使用[35]的轻量级FCNMaxout架构应用了3C算法。3C能够跟踪所有对象而不会出现错误合并;结果如图9所示。在21个轴突中,有20个被递归重建到其完整范围(只有一个对象出现分裂错误)。一个极细的轴突在图像中消失,并在7个切片后重新出现,未被重建。所有重建轴突的运行长度都超过70微米(>900个切片),直到它们全部在图像堆栈的最后一张切片上退出体积。这个基准测试表明:a)3C-Maxout在直接从原始图像进行跟踪任务方面表现良好,即使在困难的连接组学环境中也是如此;b)我们的训练过程显示出令人满意的泛化能力,从相对较少的示例中进行学习。04. 可扩展性比较0在本节中,我们将尽可能比较3C与FFN和MaskExtend的相对可扩展性,而不需要访问完整的FFN流水线。3C是FFN和MaskExtend技术的推广[21,37],它逐个增加每个对象的(像素)支持集。3C技术在经过对数次迭代后同时增加其输入图像中的所有对象(参见图4)。这使我们能够直接根据所需的迭代次数比较这两种类型的方法,而忽略实现的细节。FFN:我们比较了FFN和3C中FCN调用的次数,假设两种算法都能完美地重建所有对象。我们假设两种算法使用相同的FCN模型。尽管3C和FFN分别调用FCN的次数是对数和线性的,但FFN在较小的输入上运行,围绕感兴趣的小区域进行中心化。在每次迭代中,FFN将输出围绕中心像素的整个3D对象的掩码。我们假设其中一部分像素需要重新访问(最佳情况下为零)。图10描述了FlyEM [51]和SNEMI3D[5]中FFN和3C的FCN调用次数及其比率。在3C中,每个像素在FCN调用中参与的次数是与视野中可见的对象数量的对数成比例的(图10中数据立方体中FFN的FCN调用以红色标记)。y轴表示3C相对于FFN的FCN调用比率,对于每个FCN调用中找到的对象像素的几个比率。零比率表示在单个FCN调用中没有找到对象的像素,而1表示找到所有对象像素并且不需要进一步重新访问。从图中可以看出,在假设无误重建的情况下,当一部分对象像素在单次FCN调用后需要重新访问时,3C比FFN更高效。[21]也报告了一些像素的重新访问,因为远离初始像素的3D输出具有更大的不确定性。对于重新访问比率为0.5,3C在FlyEM上比FFN快10倍以上。MaskExtend:图11重复了上述过程,使用MaskExtend[37]将其FCN调用与3C进行比较。MaskExtend比3C更浪费,将一些像素传播到其FCN模型中23次。指令和周期计数以及L1缓存压力对于MaskExtend来说更大(相同的多核基础设施和推理框架[35])。smaller inputs, centered around small regions of interest.At each iteration, FFN will output an entire 3-D mask ofthe object around the center pixel. We assume that a frac-tion of those pixels will require revisiting (zero for best-casescenario). Figure 10 depicts the number of FCN calls andtheir ratio for FlyEM [51] and SNEMI3D [5] for FFN and3C. In 3C, each pixel participates in an FCN call a numberof times logarithmic in the number of objects visible in thefield of view (the FCN calls for FFN are color-coded redin the data cubes of Figure 10). The y-axis depicts the ratiobetween the FCN calls by 3C to that for FFN, for several ra-tios of object pixels found per FCN call. A zero ratio meansthat no pixels are found for the object in a single FCN call,whereas 1 means that all object pixels are found and requireno further revisiting. We can see from the plot that, assum-ing error-free reconstruction, 3C is more efficient than FFNwhen there is a fraction of object pixels that require revis-iting after a single call of the FCN. The revisiting of somepixels is also reported by [21], as the 3-D output has greateruncertainty far from the initial pixels. For a revisit ratio of0.5, 3C is more than 10x faster than FFN on FlyEM.MaskExtend: Figure 11 repeats the above procedurewith MaskExtend [37], comparing its FCN calls with 3C.MaskExtend is more wasteful than 3C, propagating somepixels into its FCN model 23 times. The instruction and cy-cle counts as well as the L1 Cache pressure are larger forMaskExtend (equal multi-core infrastructure and inferenceframework [35]).the next by composing simpler segmentations.We havedemonstrated the power of 3C in the domain of connec-tomics, which presents an especially difficult task for im-age segmentation. Within the space of connectomics al-gorithms, 3C provides an end-to-end approach with fewer“moving parts,” improving on the accuracy of many lead-ing connectomics systems. Our solution is computation-ally cheap, can be achieved with lightweight FCNs, andis at least an order of magnitude faster than its relative,flood-filling networks. Although the main theme of this pa-per was tackling neuronal reconstruction, our approach alsopromises scalable, effective algorithms for broader applica-tions in medical imaging and video tracking.84320图10.使用FFN-Style分割计算每个像素的计算成本。我们计算了像素参与目标检测的次数(红色)对于两个公共数据集(SNEMI3D,FlyEM),并与3C中的分类调用次数进行了比较。05. 结论0在本文中,我们提出了交叉分类聚类(3C)算法,该
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)