基于谐波嵌入的生物图像实例分割方法

1基于谐波嵌入的生物图像实例分割VictorKulikovPicsArt Inc.∗俄罗斯联邦victor. picsart.comVictor Lempitsky三星人工智能中心莫斯科斯科尔科沃科技学院lempitsky@skoltech.ru摘要我们提出了一种新的实例分割方法tail-lored生物图像，其中实例可能对应于单个细胞，生物体或植物部分。与用于用户照片或道路场景的实例分割不同，在生物数据中，对象实例可能特别密集地打包，外观变化可能特别低，处理能力可能受到限制，而另一方面，个体实例的大小的可变性可能受到限制。所提出的方法成功地解决了这些特点。我们的方法描述了每个对象实例使用的频率和相位调整到特定的对象大小和密度的正弦波的有限数量的期望。在训练时，学习全卷积网络，使用简单的逐像素回归损失来预测每个像素处的对象嵌入，而在测试时，使用嵌入空间中的聚类来恢复实例。在实验中，我们证明了我们的方法在许多生物数据集上表现出先前基于嵌入的实例这种出色的性能与部署到领域专家所需的计算效率相结合。该方法的源代码可在https://github.com/kulikovv/harmonic网站。1. 介绍生物图像中的实例分割（对象分离）通常是其分析中的关键步骤。许多生物图像模态（例如，细胞培养物的显微镜图像）的特征在于过多的实例。其他方式（例如，蠕虫测定）的特征在于紧密和复杂的重叠和闭塞。另一方面，在大多数情况下，生物医学数据中感兴趣的对象的尺度变化不如自然环境中那么剧烈。在斯科尔科沃科学技术学院完成的工作由于缺乏强烈的透视效果。在这项工作中，我们提出了一种新的方法，设计用于生物图像实例分割，可以解决的挑战（实例的数量，重叠），同时利用简化属性（有限的规模变化）。我们的方法延续了一系列研究[7，21]，通过学习深度嵌入并在嵌入空间中使用聚类来在测试时重新覆盖实例来执行实例分割。虽然这种方法在其简单性方面很有吸引力，但使用全卷积网络学习对象实例的良好嵌入是有挑战性的，特别是对于生物数据，其中单个实例可能具有几乎无法区分的外观。为了利用生物医学图像的特殊性，我们脱离了以前基于嵌入的实例分割工作的端到端哲学，将学习过程分为两个阶段。在第一阶段，我们寻找一小组调和函数，可以用来分离训练数据集中的对象。搜索被实现为优化过程，该优化过程将谐波的频率和相位调谐到数据中的特定范围的尺度和对象密度。然后，所选择的谐波集合指导学习过程的第二阶段以及测试时的推理过程。在第二个学习阶段，我们根据学习到的函数集的期望值为每个地面真值对象实例分配其谐波嵌入。然后，我们学习一个深度全卷积网络来预测每个像素处的嵌入结果我们证明，只要将关于谐波函数的信息提供给网络中的卷积层（我们通过增加这些卷积层的输入来实现），使用简单的像素级回归损失的学习学习过的网络可以很好地推广到新的图像，并且倾向于预测可以很容易地聚类到对象实例中的像素在实验中，我们将我们的方法与直接基于嵌入的实例分割[7]以及其他最先进的方法进行了比较。四个生物医学数据集对应于植物表型，细菌和人类细胞培养显微镜，以及秀丽隐杆线虫测定，38433844Ground Truth嵌入指南功能=（嵌入推理ConvSinConvConvSinConvConvSinConv（图1. Harmonic实例分割框架。在训练时，我们将地面实况图像S1的每个像素嵌入为它所属的实例像素上的预定义引导函数f的平均值，从而得到嵌入e（S，f）。然后，我们训练神经网络E，以在给定输入图像I的情况下再现地面真值嵌入。为了简化学习，使用SinConv层将引导函数f输入到网络的中间表示中。学习过程使用地面实况嵌入e（S，θ）和神经网络预测E（I，θ）之间的简单像素L1损失作为学习目标。在测试时，使用均值漂移聚类从预测嵌入E（I，θ）中考虑了我们观察到我们的方法带来了相当大的改善。2. 相关工作基于建议的实例分割方法[5，11，3，5，6，17，12]将对象检测与对象掩模估计，并且目前代表了实例分割非生物基准的最新技术水平。在非最大抑制之后执行对象检测的必要性使得来自这组方法的学习和调整复杂，特别是在非最大抑制变得脆弱时存在紧密对象重叠的情况下。实 例 分 割 的 另 一 组 方 法 是 基 于 递 归 神 经 网 络（RNN ），其顺序地生成实例。 因此，Romera etal.[24]使用LSTM网络训练网络进行端到端实例分割和计数[14]。Ren等人[23]提出了一种将递归网络与边界框建议相结合的方法。基于RNN的框架在小型数据集上表现出出色的性能;它们在以下方面实现了最先进的结果：CVPPP植物表型数据集。递归方法的主要问题是消失梯度效应，当实例数量很大时，这种效应变得特别严重我们的方法属于类别的建议，自由的做法，实例分割的基础上，实例嵌入。在这种情况下，神经网络用于将图像的像素嵌入到隐藏的多维空间中，其中属于同一实例的像素的嵌入然后，可以将聚类算法应用于单独的实例。为了实现这一点，之前的方法[9]使用嵌入空间中的逻辑距离函数惩罚像素对。嵌入是使用对数损失函数学习的，并且需要对像素对进行加权以减轻大小不平衡问题。该方法还预测每个像素的种子分数，其与居中性相关他们使用这个分数从嵌入中挑选对象。Kong等人。[15]使用可微高斯模糊均值漂移进行嵌入的重新分组。Deep Coloring [16]提出了一种将实例分割简化为语义分割的方法，38451分段，而类标签被重用于非相邻对象。然后使用连接组件分析检索实例。在他们与我们最相关的研究中，德·布拉班德雷等人。[7]使用由两部分组成的非成对判别损失函数：一个将不同对象的嵌入平均值推得更远，而另一个将相同对象像素的嵌入拉得更接近其平均值。使用均值漂移算法来检索数据。该方法[21]使用度量学习以及明确指定质心作为目标函数（1），使得不同的对象具有良好分离的引导嵌入。为了做到这一点，我们首先将fi限制为由参数fbi参数化的某个函数族。如上所述，在许多生物医学数据集中，对象的位置存在某种（不完美的）规律性。例如，单层细胞培养物以由具有大致相同尺寸且彼此相邻的这种松散规则的半周期结构要求使用调和函数作为指导：嵌入我们的方法遵循[7，21]的一般范式，但提出了一种特殊的嵌入，下面详细介绍。使用新的嵌入会导致显式的as-fi（ x，y;i）=sin.中文（简体）W[2]第二次世界大战Σ[3]第三节、（3）将嵌入分配给训练图像中的每个像素，从而简化学习过程。3. Harmonic实例嵌入我们现在详细讨论我们的方法现有的实例嵌入方法[7，16，9]不为训练集中的像素预先指定目标嵌入。相反，他们依靠学习过程本身来定义这些嵌入。相比之下，我们的目标是定义“好”的嵌入像素的先验。“Goodness” here means amenability for其中W和H分别是图像宽度和高度[1]和[2]是频率参数;[3]是一个相位参数。现在假设给出一组训练图像I。然后，我们可以通过查看属于同一图像的对象对S和S'来估计引导嵌入的质量（例如，来自同一图像的两个不同的细胞），并找出它们具有非常接近的嵌入的频率。理想情况下，我们希望在嵌入空间中避免这种冲突（至少，我们希望在训练集中避免它们）。因此，考虑了以下损失：以及卷积架构的可学习性。设f ={f1（x，y; φ1），f2（x，y; φ2），. - 是的- 是的 f N（x，y;<$N）}Σ1Σ（（四）是图像域中的一族N个实值函数fi（x，y;i），其中（x，y）对应于自变量的坐标，并且i是定义函数的形状的一组可学习参数（例如，频率矢量和正弦函数的相位）。由于我们的方法在许多方面都是围绕这个函数族构建的，因此我们将函数族f称为引导函数。设S是任意像素集合（例如，训练图像的地面实况注释中的对象我们注意到fi在S上的期望，其中ei（S;i）：I∈I|PI|（S，S′）∈PImax（0，−e（S;）−e（S′;）），其中，R1·R1是L1距离; R2是边缘Meta参数;并且PI表示来自训练图像I的所有对象对的集合。（4）中的每个单独项是铰链损失项，如果某个对象对的引导嵌入太近（比x2更近），则铰链损失项是非零的。为了找到好的指导函数，我们最小化训练集上的损失（4）我们执行随机梯度de-e（S;S）=1我我|S|Σ（x，y）∈Sf i（x，y; f i）.（一）通过绘制小批量的范围，从随机图像中选择对象的DOM对，并对来自minibatch的对象对进行更新以最小化（4）在我们的实现中，我们初始化频率参数fbi[1]，如果k ={k1，. . . N}表示所有N个函数的参数的联合向量，则由N确定的对象S的引导嵌入被定义为以下N维向量：e（S; n）={e1（S; n1），e2（S; n2），. - 是的-是的 ，e N（S;<$N）}。（ 二）总之，引导嵌入将每个对象S映射到引导函数对该对象的期望的向量3.1. 挑选好的向导功能给定一个新的数据集，代表一种新的实例分割问题，我们的目标是找到一组好的指南，3846相位参数θi[2]从区间（0; 50）均匀初始化为均匀分布的随机数，而相位参数θi[3]从区间（0; 2π）均匀初始化。学习的结果是一组指导函数，使得来自训练图像的对象对在嵌入空间中分离它们的指导嵌入。对于典型设置，N= 12且λ= 0。5，训练集中的大多数对最终被隔离超过边际。3.2. 学习好嵌入网络现在假设已经在训练集上优化了引导函数的参数，使得现在固定了这些参数求出第二个的损失3847只要对卷积层进行一个重要的修改。当修改卷积层L时，我们用一组额外的映射来增加其输入，该组映射保存指导函数值。特别地，额外的映射包含值{f1（x·kL，y·kL;k1），. -是的-是的在每个空间位置（x，y）处的fN（x·<$L，y·<$L;<$N）}。在这里，RSL是层L的下采样因子（与输入/输出分辨率相比）。需要使用下采样因子来确保不同层中的增强图与输出空间对齐。请 注 意 ， 我 们 的 增 强 思 想 概 括 了 最 近 建 议 的CoordConv层[19]，该层用{f1（x，y）=x，f2（x，y）=y}增强了卷积层的输入。通过类比，由于我们实现中的引导函数是谐波的，我们将新操作称为Sin- Conv层（图3）。图2.左导向功能（此处显示其中三个; 12在我们的实验中使用）。中间-GT掩码（顶部）和由此产生的引导嵌入。请注意，每个实例（叶）在至少一些指南中与其他叶右图网络预测的嵌入与引导嵌入非常接近，这大大简化了基于聚类的后处理。阶段，我们将SI（x，y）表示为包含像素（x，y）的对象的所有像素的集合。然后，我们用参数θ训练一个深度全卷积嵌入网络E（I;θ），将输入图像映射到N通道图像集，其中每个像素被分配一个N维嵌入。我们最小化一个简单的像素损失函数，鼓励网络将每个像素映射到相应对象的引导嵌入：1（图3. SinConv层通过连接引导函数将形状为w×h×c的表示块映射到形状为w′×h′×c′的新表示块SinConv块的使用大大简化了学习回归谐波嵌入如上所述，我们的嵌入架构遵循最先进的语义分割框架[25，31，13]的设计原则，这些框架由编码器和解码器部分组成，它们之间具有跳过连接。我们仅在上采样部分（这允许使用预先训练的Σ Σ¨在编码器部分的“骨（θ）=I∈I（x，y）∈fg（I）<$E（I; θ）[x，y] − e（S I（x，y）; θ）<$.1（五）在我们的大多数实验中使用了这个选项。3.3. 测试图像这里，fg（I）表示图像I的前景像素的集合，并且E（I;θ）[x，y]表示网络E在空间位置（x，y）处的输出（如果前景/背景分段不可用，则对整个图像进行求和我们已经发现，标准的全卷积架构（例如，U-Net[25]）表现非常好（图2）。这种架构实现了低训练和测试集损耗（5）在测试时，学习的嵌入网络的应用是简单的。将网络E（I;θ）应用于输入图像。我们的后处理类似于[7]中建议的处理。我们使用均值漂移聚类算法[4]从嵌入空间获得实例掩码（图2，右列）。均值漂移带宽被设置为在引导函数选择目标（4）中使用的裕度，因为两个参数都具有CC+|Ψ|C'w w w'HH连接通道H'Conv3848不同实例的嵌入之间的理想分离。4. 实验我们提供了我们的方法在秀丽隐杆线虫，大肠杆菌，Hela和植物表型数据集（CVPPP 2017序列A1）的明场显微镜图像的三个具有挑战性的生物医学数据集上的结果。在每种情况下，学习都是在单个NVidiaTesla V100 GPU上使用ADAM optimizer完成的，学习速率为1 e-5。我们的实现使用PyTorch [1]。所有数据集的架构和数据增强都是相同的。在我们的实验中，我们使用了U- Net [25]神经网络，并用SinConv层取代了每个放大块的第一个卷积。这个网络是从零开始训练的.由于这些数据集中的训练图像数量很少，我们增加了一些数据增强程序，即裁剪大小为448×448的补丁，缩放和左右翻转。嵌入维度的数量被设置为12，并且边距被设置为0。五、通过这些设置，在导引函数搜索期间物镜4被最小化为零。请注意，适用于不同数据集的参数的可用性对从业者来说非常重要。由于不同的数据集的复杂性不同，训练时期的数量也不同我们使用对称最佳骰子系数（SBD）和平均精度（AP）作为度量。SBD度量对预测标签和地面真实标签对之间的交集求平均，从而产生最大IOU。AP度量集成了不同召回值的精度。我们使用了De Brabandere等人的研究[7]作为主要基线，并使用与我们相同的网络架构重新实现了他们的方法（尝试了带SinConv层和不带SinConv层的变体在已知作者实现结果的CVPPP数据集上4.1. CVPPP数据集植物表型分析中的计算机视觉问题（CVPPP）数据集[26]（图4）是最流行的实例分割基准之一。该数据集由不同植物的五个序列我们使用了最常见的序列A1，它具有最有效的基线数。A1序列有128个自上而下的视图图像，每个图像的大小为530×500像素，作为训练集和来自同一序列的33个图像的附加隐藏测试集。由于叶片形状的多样性和叶片间复杂的遮挡关系，实例分割的任务是艰巨的。竞争算法的性能是SBD度量和计数的绝对差|DIC|（参见[27]）。方法| DIC |SBD（%）IPK [22]2.6 74.4诺丁汉[27]68.3密歇根州立大学[27]2.3 66.7瓦赫宁根[29]2.2 71.1[10]第10话1.3-[24]第二十四话1.1 56.8[24]第二十四话66.6[23]第二十三话0.8 84.9歧视性损失[7]1.0 84.2[16]第十六话2.0 80.4判别损失[7]（我们的实现）没有SinConv4.88.0关于SinConv4.89.0没有SinConv的5.78.3我们3.89.9表1.CVPPP数据集的定量结果（包括已发表描述的方法以及我们的方法和基线）。我们的方法表现最好的方面，使用对称的最佳骰子系数（SBD）相比，以前公布的方法。我们已经训练了500个epoch的神经网络来适应这个嵌入空间。表1显示了与提交时所有已发表的方法相比，我们的方法目前在主要SBD指标中是最先进的4.2. E.大肠杆菌数据集大肠杆菌数据集（图5）很有趣，因为生物体的数量很大，而且很拥挤。该数据集包含37幅1024×1024的明场图像。地面实况是使用分水岭算法[2]从弱注释中导出的，其中每个生物体都由线段注释。随机选择30个作为训练图像，7个作为测试集，完成训练测试分割。验证是在训练子集上完成的，所以我们没有使用测试集来选择元参数。在测试时，通过大小为256×256的非重叠裁剪处理图像。对每种作物独立计算SBD评分，然后取平均值。我们的方法的性能优于在该数据集上进行评估的其他方法（表2）。不幸的是，我们无法从方法[7]中获得合理的结果，可能是由于不同作物之间的有机体数量发生了剧烈变化。4.3. HeLa数据集HeLa癌细胞数据集1（图6）与其他三个数据集非常不同。细胞占据了每张图像的很大一部分，并且是癌细胞，更不规则，1礼貌博士罗特坝的格特·范·卡佩伦·伊拉斯谟医疗中心。3849图4.植物表型数据集（CVPPP）的样本结果。最上面一行显示了源图像;第二行显示了我们的结果;而第三行显示地面实况（需要彩色显示）。方法| DIC|SBD（%）[25]第二十五话-59.3[16]第十六话2.261.9我们0.8881.2表2.大肠杆菌数据集上的结果我们按照协议从[26]将结果与[25]和[16]中报道的结果进行比较。形成复杂的图案与大肠杆菌的小而拥挤的图片相比，细胞的数量适中，但它们面积大，尺寸更多样化。该数据集包含18个部分注释的单通道训练图像。按照最佳实践，我们将数据集分为训练部分和测试部分（每个部分9张图像）。因此，本实验的目的是表明，我们的方法可以推广到很少的训练样本。我们训练网络8000个epoch。在培训期间没有在这个数据集上，我们实现了78%的SBD没有前景掩模，和86%的SBD与前景掩模（强加在结果的顶部），这稍微优于语义分割基线77。5%IOU报告于[25]。我们对基线方法[7]的实施没有显示出当前配置的任何合理结果。4.4. 秀丽隐杆线虫数据集最后，我们查看了C.Elegans数据集（图7），该数据 集 可 从 Broad Bioimage Benchmark Collection 获 得[20]。该序列包含97幅秀丽隐杆线虫的双通道图像，每幅696×520每张图像包含大约30个生物体，其中一些以复杂的重叠模式存在。为了将我们的结果与[ 21 ]中报道的结果进行比较，我们遵循了他们的方案：整个数据集被分成（两个）相等的部分：50个训练集和47个测试图像。在这里，我们使用二进制分割掩码（遵循[21，28，30]）。该网络已经训练了1000个epoch。我们使用标准COCO评估协议[18]计算的平均精度（AP）度量来评估实例分割。表3表明，我们的方法优于以前的工作，包括著名的Mask-RCNN方法[12]（如[21]所报道的）。4.5. 消融研究我们将我们的方法与使用Co-ordConv代替SinConv的消融以及使用随机初始化的引导函数集而不进行优化的消融（三种变体）进行了比较。我们的未消融方法在所有情况下和两个数据集上都是优越的。在表4的情况下，3850方法APAP 0.5AP 0. 75APSAPM半卷积算子[21]0.5690.8850.6610.5110.671Mask RCNN [12]0.5590.8650.6410.5020.650判别损失[7]（我们的实现没有SinConv）0.3430.6240.3800.4410.563判别损失[7]（我们使用SinConv实现0.4780.7710.5600.5510.677我们0.7240.9000.7230.7750.875表3.在C.elegans数据集上的结果。使用COCO标准度量获得结果[18]。再次，所提出的方法优于以前的方法。方法| DIC|SBD（%）SinConv3.89.9没有向导5.78.3CoordConv3.87.6随机11.70.8低5.86.2高16.95.4表4.CVPPP数据集上的消融研究我们评估没有SinConv（标准卷积-第2行）和用CoordConv替换SinConv（第3行）的变体最后三行是具有从均匀分布采样的引导函数的变体。随机-表示整个频率范围，低和高-分别从低和高频率采样。我们方法的未消融变体（顶行）表现最好。图5.微分干涉显微镜下大肠杆菌细菌记录仪。从左至右：原始图像，分割结果，地面真实标签。图6.用微分干涉对比显微镜记录玻璃上的HeLa细胞。从左至右：原始图像，分割结果，地面真实标签。我们的方法在基线方法上的优势，[7]这并不重要。然而，在其他情况下（表5），这是相当大的。毫不奇怪，我们的方法在没有SinConv的情况下会遇到困难，因为使用全卷积运算很难学习所需的函数。表5.我们的框架在秀丽隐杆线虫数据集上的消融研究。考虑与上表相同的消融。对于这项更具挑战性的任务，我们的全方法优于消融术。4.6. 方法局限性尽管在生物数据集上有最先进的结果，但所提出的方法具有几个局限性，在将其应用于对象尺度变化严重的更复杂的数据集之前需要重新解决这些局限性，例 如 COCO [18] ， PASCAL VOC [8] ， Cityscapes [5]（其中我们最初尝试应用该方法导致平庸，即，表中结果）。据我们所知，该方法的低标准性能是由于无法优雅地处理非常多样化的尺度具体来说，我们使用我们的设置在MS COCO数据集[18]上比较了我们的方法与PyTorch 1.2 [1]中的MaskRCNN [12我们使用了数据集的验证部分;所有图像都转换为3851图7. 秀丽隐杆线虫的二进制图像简单的图片作物（顶行），第二行-我们的结果，第三行-地面真相标签（需要彩色显示）。方法APAP 0. 5AP 0.75APSAPMAPLMask RCNN [12]0.3190.6190.3090.1200.3650.520我们0.2230.4760.1940.0290.2380.484表6.COCO验证集上的结果（仅人员类）。对于这种具有大尺度变化的数据集，我们的方法的结果较差，特别是对于小对象。448×448分辨率，通过沿较小维度进行下采样和零填充。对单个类别进行评价：person（class=1）.在这种情况下，我们的方法的结果比使用Mask RCNN获得的结果更差（表6）。5. 结论我们提出了一种新的实例分割方法，利用生物图像的特点。该方法依赖于一种基于正弦波的新型嵌入，其参数预先调整以实现训练数据集中地面真实实例的分离。我们已经证明，只要在嵌入网络的某些卷积层中输入相同的引导模式，这种良好嵌入的预先计算就会大大简化学习阶段。我们的方法组合的优越性能证明了训练的容易性与[7]中提出的原始基于嵌入的方法不同。我们已经表明，我们的方法可以处理相当多样化的生物图像数据，同时使用相同的相对较小的架构和相同的元参数集。这样的通用性是有价值的实际部署的方法领域的专家。鸣 谢 。 这 项 工 作 得 到 了 Skoltech NGP 计 划 （ MIT-Skoltech 1911/R）的支持。计算在Skoltech HPC集群Zhores上进行。引用[1] Python中的PyTorch张量和动态神经网络，具有强大的GPU加速功能。http://pytorch.org网站。接受：2018-11-15. 五、七3852[2] A. Bieniek和A.莫加一种基于连通域的有效分水岭算法。Pattern recognition，33（6）：907-916，2000. 5[3] Y.-- T. Chen，X. Liu和M.- H.杨具有遮挡处理的多实例对象分割在2015年IEEE计算机视觉和模式识别会议论文集，第3470-3478页中2[4] D. Comaniciu和P.米尔Mean Shift：A Robust ApproachToward Feature Space Analysis（Mean Shift：一种稳健的特征空间分析方法 ）IEEE Transactions on PatternAnalysis and Machine Intelligence，24（5）：603-619，2002。4[5] M.科德茨，M。奥姆兰，S。拉莫斯，T.雷费尔德，M。恩茨韦勒R.贝南森，美国弗兰克，S。罗斯和B。席勒用于语义城市场景理解的cityscapes数据集。在IEEE计算机视觉和模式识别会议论文集，第3213-3223页二、七[6] J. Dai，K.他，Y. Li，S. Ren和J. Sun.实例敏感的全卷积网络。欧洲计算机视觉会议，第534-549页。施普林格，2016年。2[7] B. De Brabandere，D. Neven和L.范古尔基于判别损失函数的语义实例分割。arXiv预印本arXiv：1708.02551，2017。一、三、四、五、六、七、八[8] M.埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I.威廉斯，J.Winn 和 A. 齐 瑟 曼 。 PASCAL Visual Object ClassesChallenge2012（VOC2012）http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html啊7[9] A. Fathi，Z. Wojna，V. Rathod，P. Wang，H. O. 歌、S. Guadarrama和K. P·墨菲基于深度度量学习的语义实例分割。arXiv预印本arXiv：1703.10277，2017。二、三[10] M. 诉Giuffrida，M.Minervini和S.A. Tsaftaris 学习数莲座植物的叶子。2016. 5[11] B. 哈里哈兰山口阿尔韦拉埃斯河。Girshick和J. 马利克同时检测和分割。在欧洲计算机视觉上，第297Springer，2014.2[12] K.他，G.吉基奥萨里山口Dollar和R.娘娘腔。面具R-CNN 。 2017 年 10 月 在 IEEE 计 算 机 视 觉 国 际 会 议（ICCV）上发表。二、六、七、八[13] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。4[14] S. Hochreiter和J.施密特胡博长短期记忆。神经计算，9（8）：1735-1780，1997。2[15] S. Kong和C.福克斯用于实例分组的递归像素嵌入。在IEEE计算机视觉和模式识别会议论文集，第9018- 9028页，2018年。2[16] V. Kulikov，V. Yurchenko和V. Lempitsky 实例分割的深着色。arXiv预印本arXiv：1807.10007，2018。二三五六[17] Y. Li，H. Qi，J. Dai，X. Ji和Y.伟.完全卷积的实例感知语义分割。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。23853[18] T.- Y. 林 ， M 。 迈 尔 ， S 。 贝 隆 吉 ， J.Hays ，P.Perona，D.Ra-manan，P. Doll a'r 和C. L. 齐特尼克Microsoftcoco：上下文中的通用对象欧洲计算机视觉会议，第740-755页Springer，2014. 六、七[19] R. 刘先生， 雷曼兄弟， P. Molino， F. P.这样， E.弗兰克A. Sergeev和J.尤辛斯基一个有趣的失败的卷积神经网络 和 coordconv 解 决 方 案 。 arXiv 预 印 本 arXiv ：1807.03247，2018。4[20] V. Ljosa，K. L. Sokolnicki和A. E.卡彭特用于验证的注释的高通量显微镜图像集。Nat Methods，9（7）：637，2012. 6[21] D. Novotny，S. Albanie，D. Larlus，和A.维达尔迪半卷积算 子用于实 例分割. 在 欧洲计 算机视觉 会议（ECCV）的Proceedings中，第86-102页，2018年。一、三、六、七[22] J. - M. Pape和C.Klukas 基于三维直方图的莲座丛植物叶片分割与检测在ECCV研讨会（4），第61-74页5[23] M. Ren和R. S.泽梅尔端到端的实例分割与经常性的关注。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。二、五[24] B. Romera-Paredes和P. H. S.乇循环实例分割。欧洲计算机视觉会议，第312-329页施普林格，2016年。二、五[25] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。四五六[26] H. Scharr ， M. Minervini ， A. Fischbach 和 S. A.Tsaftaris莲座丛植物的注释图像数据集。欧洲计算机视觉会议。 Zuéri c h，Suisse，pages6-12，2014. 五、六[27] H. Scharr，M. Minervini，A. P. French，C. Klukas，D.M. Kramer，X.柳岛Luengo，J.-M. Pape，G.Polder，D.Vukadi- novic等人，《植物表型中的叶分割：一项整理研究》。机器视觉与应用，27（4）：5855[28] C.你 好 吗， T。 Riklin-R a v iv， V. Ljosa ， A. L.Coner y，P. Gol-land，F. M. Ausubel和A. E.卡彭特通过概率形状模型解决聚集的蠕虫。2010年IEEE生物医学成像国际研讨会：从纳米到宏观，第552-555页。IEEE，2010。6[29] X. 阴、X。刘，J.Chen和D.M. 克莱默荧光植物视频的多叶在图像处理（ICIP）中，2014 IEEE国际会议，第408IEEE，2014。5[30] 尤尔琴科和V. Lempitsky用深层的挑出网络解析重叠生物的图像。在IEEE计算机视觉和模式识别会议上，第6280-6288页，2017年。6[31] H. Zhao，J. Shi，X. Qi，X. Wang和J.贾金字塔场景解析 网 络 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）上，2017年7月。4