MPM：细胞跟踪中基于运动和位置图的联合表示方法

3823MPM：用于细胞跟踪的运动和位置图的联合表示Junya Hayashida Kazuya Nishimura Ryoma Bise九州大学，福冈，日本，{bise@ait.kyushu-u.ac.jp}摘要传统的细胞跟踪方法在每个帧中检测多个细胞（检测），然后在连续的时间帧中关联检测结果（关联）。大多数细胞跟踪方法独立于检测任务执行关联任务然而，不存在保持这些任务之间的一致性的保证，并且缺乏一致性可能不利地影响跟踪性能。在本文中，我们提出了运动和位置图（MPM），共同代表检测和关联，不仅迁移，但也细胞分裂。它保证相干性，这样，如果一个细胞被检测到，相应的运动流，总是可以获得。它是一种简单但功能强大的方法，用于密集环境中的多目标跟踪我们在真实生物图像的各种条件下将所提出的方法与当前的跟踪方法进行了比较，发现它优于最先进的方法（与第二好的方法相比提高了5.2%）。1. 介绍细胞行为分析是生物学和医学领域必须在群体中检测和跟踪单个细胞，以分析细胞迁移度量，包括细胞迁移速度和细胞分裂频率。然而，人工跟踪大量细胞太耗时。因此，需要自动细胞跟踪。相衬显微镜中的细胞跟踪是一个具有挑战性的多目标跟踪任务。这是因为细胞往往具有非常相似的外观，并且它们的形状严重变形。因此，很难仅基于其外观来识别帧之间的相同小区。此外，相互接触的细胞通常具有模糊的细胞间边界。在这种情况下，很难仅从一个图像中识别接触细胞最后，一个细胞可能会分裂成两个细胞（细胞有丝分裂），这是一个非常不同的情况，从一般的对象跟踪。检测跟踪方法是最流行的跟踪范例，因为使用卷积神经网络（CNN）进行检测步骤的检测算法具有良好的质量。这些方法检测每帧中的细胞，然后将检测结果与通过最大化假设的关联得分的总和来确定时间帧，其中关联步骤通常独立于检测步骤[21，31，8]执行。他们基本上使用基于细胞形状的接近性和相似性的手工制作的关联分数，但分数仅评估单个细胞的相似性;也就是说，它们不使用附近小区的上下文。此外，分数取决于延时图像的条件，诸如帧间隔、细胞类型和细胞密度。另一方面，当密度高时，附近细胞的位置关系对于识别关联是重要的。已经提出了几种使用上下文信息的方法[32，17]。Hayashida等人 [17]提出了一种细胞运动场（CMF），它表示连续帧之间的细胞关联，以便通过使用CNN直接预测细胞运动（关联）。这使能在低帧速率下的细胞跟踪。这种方法优于以前使用手工制作的关联分数的方法。然而，它仍然独立地执行检测和关联推理。这增加了两个步骤之间不一致的可能性;例如， 虽然检测到小区，但是在CMF中的检测位置处没有响应，这将影响跟踪性能。许多应用程序使用多任务学习[16，19，11，45]，即，学习多个相关的任务。该方法基本上具有表示任务共享特征的公共层和表示任务特定特征的输出分支多任务学习比个体学习提高了任务的准确性.然而，在多任务学习中，保持检测任务和联想任务之间的一致性并不容易如果我们简单地应用分支网络，则无法保证这些任务之间的一致性：例如，在一个实施例中，网络可能检测到小区，但不产生该小区的对应关联，这将不利地影响跟踪性能。与这样的多任务学习方法不同，我们提出了运动和位置图（MPM），它联合表示检测和关联，不仅用于迁移，而且用于细胞分裂，如图所示。1，其中MPM的幅度的分布指示帧t处的单元位置似然图;在MPM中的像素上编码的3D矢量的方向指示运动方向3824（a）输入图像和（b）运动和位置图手动注释（MPM）t-1t-1帧t-1MPM不不帧t单元位置运动（motion）1t-10不（c）细胞位置似然图用于小区关联将每个向量拉伸到t-1每个向量的映射幅度（e）估计所有帧的MPMT-NT-N不输入图像序列暹罗网队估计MPM（f）追踪结果科托里通过MPM特拉杰·马德图1.所提出方法的概述。(a)在两个连续的帧中输入图像，并手动注释每个帧中的细胞位置及其关联。(b)运动和位置图（MPM），共同表示检测和关联。MPM编码以下两条信息：（c）小区位置似然图，其是MPM的幅度图这张地图上的山峰表明细胞的位置;（d）从t到t-1的单元的运动矢量。(e)通过使用siamese MPM-网估计所有帧的MPM。(f)使用MPM时的整体跟踪结果。从t处的像素到t-1处的细胞质心。由于MPM同时代表了检测和关联，它保证了一致性;也就是说，如果检测到小区，则总是产生小区的关联。此外，我们可以获得细胞的位置和他们的关联，所有帧通过使用暹罗MPM网络，如图所示第1段（e）分段。因此，即使是非常简单的跟踪方法也可以用于以高精度构建所有细胞轨迹（图1B）。1（f））。在实验中，我们的方法优于国家的最先进的各种条件下，在真实的生物图像。我们的主要贡献总结如下：• 我们提出的运动和位置图（MPM），共同代表检测和关联，不仅迁移，但也细胞分裂。它保证了一致性，这样，如果一个细胞被检测到，相应的运动流，总是可以得到。它是一种简单但功能强大的方法，用于密集环境中的多目标跟踪• 通过将MPM网络应用于整个图像序列，我们可以获得整个序列的检测和关联信息。通过使用估计结果，我们可以很容易地获得整体的电池的拓扑结构，而无需任何复杂的过程。2. 相关工作细胞跟踪：细胞跟踪方法可以大致分为两组：那些基于模型的进化和那些基于检测和关联。第一组使用顺序贝叶斯滤波器，如粒子滤波器[30，38]或活动轮廓模型[24，40，43，46]。它们通过使用前一帧的跟踪结果作为更新的初始状态来更新小区区域的概率图或能量函数。如果细胞稀疏分布，这些方法工作良好。然而，当细胞靠近在一起且细胞间边界模糊或移动较长距离时，这些方法可能会混淆第二组小区跟踪方法基于检测和关联：首先，它们检测每帧中的细胞;然后它们确定连续帧之间的关联。已经提出了许多细胞检测/分割方法来检测单个细胞，通过使用水平集[25]，分水岭[28]，图形切割[4]，优化使用强度特征[7]，基于物理的恢复[44，39，23]，弱监督[29]和基于CNN的检测方法[33，34，1，27，3]。此外，已经提出了许多优化方法来关联检测到的细胞。它们最大化关联得分函数，包括逐帧关联的线性规划[21，5，6，46，42]和基于图的优化全球数据关联[8，36，39，15]。这些方法基本上使用细胞的接近性和形状相似性来制作手工制作的关联分数。这些关联分数取决于细胞培养条件，例如帧间隔、细胞类型和细胞密度。此外，分数仅评估单个细胞的相似性，而不是附近细胞的上下文。另一方面，人类专家经验性地使用附近的位置关系，3825t−1不tt不细胞密集的情况下。关于如何使用这种上下文信息，已经提出了几种方法[32，17，33]。Payer等人。 [32]提出了一种递归堆叠沙漏网络（ConvGRU），不仅可以提取局部特征，还可以记忆帧间信息。然而，这种方法需要对所有细胞区域进行注释作为训练数据，并且当细胞很小时，它不能很好地执行Hayashida等人。[17]提出了一种细胞运动场，它表示可以用CNN估计的连续帧之间的细胞关联。他们的方法是点级跟踪，因此与像素级细胞边界注释相比，它大大降低了注释成本。这些方法已被证明优于那些使用手工制作的关联分数。然而，该方法仍然独立地执行检测和关联推理。这会导致步骤之间的不一致性，进而影响跟踪性能。用于一般对象的对象跟踪：对于找到与给定初始模板对应的边界框的单对象跟踪，通常使用Siamese网络来估计模板和目标图像之间的语义特征的相似性[20，22]。为了得到一个好的相似图，这种方法是基于表示学习。然而，在细胞跟踪问题中，可能有许多细胞具有相似的外观;因此相似图将具有低置信度。检测跟踪（检测和关联）也是一般目标多目标跟踪（MOT）的标准方法。在关联步骤中，使用对象和运动预测[26，12]的特征来计算检测和/或跟踪小程序对之间的相似性/距离分数。重新识别通常用于特征表示[14，2]。该方法不使用全局空间上下文，检测和关联过程分离。优化技术[41，35]已被提出用于联合执行检测和关联过程;它们联合从检测和关联的候选集合中找到检测和关联的最佳解决方案Sun等人 [37]提出了深度亲和网络（DAN）。虽然该方法联合学习用于识别和关联的特征表示，但检测步骤独立于这些学习。这样的架构需要大量的网络参数和规模与任务的数量线性。此外，如果我们简单地将网络架构应用于检测和关联等多任务问题，则无法保证任务之间的一致性。这意味着我们需要设计一个新的损失函数或架构，以保持依赖于任务对的一致性。据我们所知，针对我们问题的多任务学习方法还没有被提出。与这些方法不同的是，我们提出了MPM联合代表的检测和关联任务一次。MPM可以使用简单的U-net架构来估计，并且它保证了一致性，使得如果检测到单元，则总是可以获得相应的运动流。3. 运动和位置图（MPM）我 们 的 跟 踪 方 法 使 用 CNN 估 计 运 动 和 位 置 图（MPM）。MPM通过在2D平面上存储3D矢量来联合表示每个单元在连续帧之间的位置和移动方向。从三维矢量在地图上的分布，我们可以获得细胞的位置和它们的运动信息。首先，在MPM中的矢量的大小的分布示出了在帧中的细胞位置的似然性t.第二，细胞上的3D向量的方向指示从t处的像素到t-1处的细胞质心的运动方向。注意，我们处理从t到t-1的细胞运动，是为了自然地定义一个细胞分裂事件，即母细胞通过一个细胞的运动分裂为两个子细胞。通过使用MPM作为基础事实，可以使用具有U-网络架构的简单CNN模型，我们称之为MPM-Net，以执行同时的细胞检测和关联任务。首先，我们解释了如何从手动注释中生成MPM的地面实况。图2示出了单个细胞及其MPM的运动的注释的简单示例。图像序列的手动注释通过将帧索引添加到注释的2D坐标来根据3D正交坐标表达每个细胞位置的位置，其中相同的细胞在帧与帧之间具有相同的ID。我们将帧t-1和t处单元i的带注释单元位置分别表示为ai，ai多任务学习：多任务学习（MTL）广泛应用于计算机视觉，用于学习类似的任务例如姿势估计和动作识别[16];深度它们被定义为：.t−1t−1t−1，t−1）T，（一）预测和语义分类[19，11]; 和房间平面图[45]。大多数用于计算机视觉的多任务学习网络这些架构基本上都有公共的层和输出分支，它们既表达了任务共享的特性，也表达了任务特定的特性。例如，十字绣网络[19]每个任务包含一个标准CNN，十字绣单元允许跨任务共享功能ai=（xi，yi，t）T.尽管单元格的注释位置是t处的单个点，但手动注释可能并不总是对应于真实位置。 与[17]类似，我们制作了细胞位置的似然图，其中注释的细胞位置变为峰值，并且该值根据高斯分布逐渐减小，如图所示。2.类似地，一=（x，y3826不不我t−1，t22不t−1，tt−1不||v是表示MPM中每个向量的大小的函数。w（·）是具有注释坐标ai作为峰值的高斯函数，并且被定义为：w（pi）= exp.||ai−p||2Σ-tt2σ2、（3）其中σ是指示分布的标准偏差并控制峰的扩展的超参数。存储在MPMCt-1，t的每个坐标处的向量是具有最大值的各个MPM的向量。各个MPM 的所有幅度之间的坐标聚合所有单个MPM的MPMCt−1，tˆCt−1，t（pt）=Ct−1，t（pt），（4）i=argmax||Ci（pt）||.（五）图2.在t和t−1处从给定的注释单元位置生成的MPM的示例。请注意，此示例显示单个细胞的放大图像用于解释。（a）投入带注释点的图像。红点表示细胞粗略质心上的注释点。(b)从t处的注释点周围的相邻点到an的运动向量记为t-1点。（c）小区位置似然图，其指示我图2（d）示出了基于注释（a）生成的MPM的示例。MPM的优点之一是可以代表两个子细胞与母细胞结合的细胞分裂情况，如图所示。第2段（e）分段。通过使用作为训练数据和估计数据之间的均方误差（MSE）的损失函数，使用MPM的地面真值训练U-网络，其中两个图像被视为输入的两个通道，并且像素的输出是3D向量的3个通道。设MPM的基础真值为c，估计的MPM为c。损失函数定义为：1ΣnMPM向量的权值图（d）MPM，代表运动矢量和位置似然图两者，其中它编码每个像素处的3D矢量和矢量的幅度Loss（c，c）=ni=1（||ci−ci||2+（||Ci||2−||吉吉||（二）（六）tor表示单元位置似然，矢量的方向(e)细胞分裂情况的示例，其中两个细胞与单个细胞相关联。运动矢量被表示为指向其中第一项||ci−ci||2是平方误差，C、D、E、||Ci||2−||吉吉||（2）2是一个正方形c和c之间的误差。在这里，我们-添加了直接反映幅度误差的第二项（即，检测）。即使我们只t−1 从i的附近像素。第一项是可行的，但提出的损失函数是稳定为了生成地面真值MPMCt−1，t，我们首先生成对于帧t-1中的每个小区i单独的MPMCi，以及4. MPM的细胞跟踪t. 每个单独的MPM通过存储3D向量指向i从一个i的相邻区域。 让图3示出了小区检测和关联的概述it−1，tt−1 -Pt是来自每个坐标的运动矢量，推理中的动作 对于帧t和t-1（图3（a）），我们将第t帧处的pt=（xt，yt，t）T标记到注释位置通过使用训练的MPM网络估计MPMCt−1，tt−1it−1，tCi定义为：（p，vivi）=w（p）t−1，t，（2）（图3（b））。检测帧t中单元的位置从Ct−1，t的大小（图3（c）（d）），并且帧t-1中的单元与t−1，ttt−1，t我不是t−1，t||2检测到的位置（图）3（e））。其中w（·）是权重函数，其将帧t处的每个坐标作为输入并返回标量值。自从莫-4.1. 通过MPM的幅度进行细胞检测在帧t处的小区位置似然图Lt-1，t是ob。(a)图像注释（b）细胞运动矢量t-1不注释（c）小区位置似然图（d）MPM权重1MPM0（e）细胞分裂案例注释t-1MPM不注释到v=a一 . C/||v3827t−1，t矢量viit−1，t ||2is a unit vector in Eq. (2)，w（·）由MPMCt−1，t的幅度分布得出。3828t−1t−1t−1t−1t−1t−1t−1t−1t−1不不t−1t−1t−1tt不i−1���1Δ���Δ������−1���|������=| =图4.帧t-1处的小区位置的估计t-1t t-1 t图3.推理中的细胞检测和关联概述(a)输入图像。(b)由MPM-Net估计的MPM。(c)根据MPM的大小确定的细胞位置似然图。(d)峰被检测为在t处的单元。 (e)细胞运动从t至t-1由检测到的峰值(a) 细胞迁移（一对一）(b) 细胞分裂（一对二）MPM点。图5.关联过程的图示 (a)细胞的情况迁移（一对一匹配）：估计位置mi为检测到的小区位置是每个小区的坐标。与最近的被跟踪小区Tj相关联. (b)的情况Lt−1，t的局部最大值在实现中，我们将高斯平滑作为针对噪声的预处理应用于Lt−1，t。细胞分裂（一对二匹配）：两个细胞ml作为T j的子细胞。kt−1是4.2. 通过MPM的从第j个细胞轨迹开始。如果mi更新到一个位置，，我们将mi与Tj联系起来为MPMCt−1，t indi的每个3D向量的方向i−1tt−1被跟踪小区Tj=mi.如果估计的置信度值指定从t处的像元位置到t t的位置的方向在t-1时的相同细胞。 帧t-1的位置是使用三角形比率从存储在帧t中每个检测位置的Ct-1 ，t的每个向量估计的，如图2所示。4.第一章 设检测到的每个单元i的位置为mi=（xi，yi，t）T，并且i iTt-1处的配合位置为零（即，这一点并不相关，与任何小区关联），则mi被注册为新出现的小区TNt-1+ 1，其中Nt-1是在更新之前直到时间t为止的小区轨迹的数量。如果两个估计的小区位置m，k，m，l是存储在mt中的3D矢量是vt−1，t=（x，y，t）。t−1t−1在帧t-1处每个单元i的估计位置mi更新到一个跟踪的小区位置Tj，这些去-N+1个定义为：将受保护的细胞登记为新生细胞T=▽x▽ykt−1 }，TN+2={m1}，即， T j的子细胞，t−1 =（xi+，yi+∆t，t− 1）T.（七）∆t并且划分信息也被登记为Tj→TNt−1+ 1，TNt−1+ 2.基于MPM的细胞跟踪方法我们基于m_i将帧t中检测到的细胞与帧t-1中跟踪到的细胞相以及用于小区检测的先前置信度图Lt-2，t-1。在帧t-1中，如图5所示估计位置m在t-1处的小区i的位置可能不同于位于小区位置似然图的局部最大值处的在t-1处的跟踪点。因此，我们更新估计位置mi到某个局部最大值，通过使用爬山算法找到峰值（被跟踪小区的位置）来确定被跟踪小区Tj这里，从sj到t−1的第j个单元轨迹表示为可以非常简单地进行细胞迁移和师.4.3. 未检测单元的插值在t处的估计的MPM可能具有一些假阴性，因为估计性能不是完美的。在这种情况下，轨迹Tj不与任何单元相关联，并且对于该单元的逐帧跟踪暂时在t-1处终止。trackletTj被注册为临时磁道终止单元。在使用MPM的跟踪过程中，如果存在新检测到的包括子细胞的当Tj={Tj，.，TJ}中的帧，其中，在t−1 +q的细胞分裂中，该方法试图t−1（a）输入图像t-1(b)MPMt-1帧t-1MPM-NetMPM不不帧t将每个向量拉伸到t-110（c）细胞位置（d）检测结果（e）运动矢量来自检测到的细胞的似然MPM的映射幅度^ ������−������������−������^������−������^������−1������−���������，{mm3829t-1不t+1时间细胞分裂运动矢量检测位置图6.未检测到的像元的插值过程的图示。使用MPM将新检测到的细胞（红色）与磁道终止的细胞（绿色）相关联。再次使用MPM关联临时磁道终止单元，其中通过输入t-1和t-1 + q处的图像来估计MPM（即，图像的时间间隔为Q）。接下来，通过使用逐帧关联来估计和更新单元位置。如果新检测到的单元与临时磁道终止单元之一相关联，则将该单元与该单元相关联，并且基于MPM的矢量对帧间隔中未检测到相应如果存在多个临时磁道终止单元，则以时间的升序在所有磁道终止单元上迭代此过程。当从磁道终止单元的端点到当前帧的间隔大于阈值时，该方法从磁道终止单元的列表中排除该单元。在这里，我们应该注意到，当在t−1发生假阴性时，t处的细胞倾向于与另一个细胞相关联，因为细胞分裂。为了避免这种细胞分裂检测的假阳性，该方法试图将这种子细胞与轨道终止的细胞相关联。该细胞跟踪算法可以在线执行。图6示出了该过程的示例，其中，由于在t、t+ 1处的假阴性，绿色轨迹的跟踪在t-1处终止，并且红色单元在t+ 2处被检测到。在这种情况下，针对三个帧间隔估计MPM（输入是t-1和t+ 2处的图像），并且它与磁道终止单元相关联然后，使用MPM的矢量对t和t+ 1处的单元位置进行插值，并且再次开始跟踪。5. 实验5.1. 数据集在实验中，我们使用了开放数据集[13]，其中包括由相差显微镜捕获的延时图像序列，因为这与我们要跟踪的目标是相同的设置。在该数据集中，给出了点水平的基础事实，其中粗略的细胞质心用细胞ID注释，并且数百个小鼠成肌细胞干细胞在四种细胞培养条件下培养，这四种细胞培养条件是不同的生长因子培养基; a）对照（无生长因子），b）FGF 2，c）BMP2，d）BMP 2 + FGF 2，其中图7.四个条件下的示例图像。a）对照，b）FGF 2，c）BMP2，d）BMP 2 + FGF 2，（e）-（h）分别为（a）-（d）中红框细胞的外观取决于培养条件而不同。在FGF2中细胞经常收缩和部分重叠，在BMP 2下细胞倾向于铺展，在BMP 2+FGF2下存在铺展或收缩的细胞是每个条件的四个图像序列（总共：16序列）。由于干细胞依赖于生长因子而分化，因此细胞外观在四种培养条件下发生变化7.第一次会议。每5分钟采集一次图像，每个序列由780张图像组成，分辨率为1392×1040像素。所有细胞都在BMP 2中以序列进行注释，并且在序列开始时随机挑选三个细胞，然后对所有其他15个序列注释到第780个图像的三个细胞的家族树，其中由于细胞分裂，注释细胞的数量随着时间增加。16个序列中注释的细胞总数为135859[21]。由于我们的方法要求训练数据在每一帧中所有细胞都要被完全标注，我们在三种情况下对部分帧中的细胞进行了额外标注;控制：100帧，BMP 2：100帧，FGF 2 + BMP 2：两百帧总共使用注释的400帧作为训练数据，其余数据用作测试中的为了显示测试中跨域数据（与训练数据不同的培养条件）的鲁棒性，我们没有对FGF 2进行注释。在所有实验中，我们将插值的间隔值q设置为5。5.2. 细胞检测将该方法与其他三种方法的检测性能进行了比较，包括最新的检测方法; Ben- sch [4]基于图形切割，Bise[8]基于相衬显微镜的物理模型[44]，Hayashida [17]（该数据集的最新技术）基于深度学习，估计与我们相似的细胞位置相似的地图。这里，该数据集的注释是点级注释，因此我们可以（一）（b）第（1）款（e）（f）第（1）款（c）第（1）款（d）其他事项（g）（h）t+2空间3830表1.细胞检测性能的精确度，重新调用和F1评分。方法本什[4]美国BISE[八]《中国日报》Hayashida[17个]我们精度0.5830.8500.9680.964召回0.6230.8110.9020.932F1得分0.6020.8300.9340.948表2.关联准确性。方法续FGF2BMP2FGF2+BMP2Ave.本什[4]0.6040.4990.8010.6890.648卡尔丰[10]0.7620.6500.7690.8330.753比塞[8]0.8260.7750.8550.9420.843图8.我们的细胞检测结果的例子顶部：检测[17]第十七话0.8660.8840.9580.9410.912结果绿色我们的（MPM）0.9470.9520.9910.9870.969假阴性。中间：生成的从估计的MPM（底部）。表3. 目标有效性。不应用基于学习的分割方法，方法续FGF2BMP2FGF2+BMP2Ave.获取单个单元格的像素级注释，本什[4]0.5430.4480.6210.4650.519gions。我们使用完全注释的序列来测量卡尔丰[10]0.6830.6040.6910.5870.641精确度，召回率和F1分数作为检测性能，[23]第二十三话0.7000.5700.6300.7100.653曼斯度量。 为了训练和调整参数，[21]第二十一话0.8300.6400.8000.7900.765我们使用相同的训练序列。比塞[8]0.7330.7100.7880.6330.771图 8显示了我们的细胞检测结果的示例。[17]第十七话0.7560.7610.9390.8410.822我们的方法成功地检测到了具有变异的细胞我们的（MPM）0.8030.8290.9580.9110.875各种外观，包括扩散细胞，小亮细胞和触摸细胞。表1示出了实施例1的结果细胞检测评估。基于深度学习的方法（Hayashida的和我们的）优于其他两种方法。[17]中的检测方法通过U-net估计小区位置似然图，其中他们的方法表示检测而不是关联。我们的方法的召回率和F1分数比他们的方法略好（+1.4%）。由于我们的方法使用来自两个连续帧的上下文，而不是他们的方法，检测细胞的每一帧独立，我们认为这将是可能的，以提高检测的性能5.3. 小区跟踪接下来，我们评估了我们的方法与其他四种方法的跟踪性能; Bensch [4]基于逐帧关联和图切割分割;Chalfoun [10]基于[44]的分割结果的逐帧关联优化;基于时空全局数据关联的BISE[8]; Hayashida [17]基于CNN的运动流估计。[21]第21章：你的未来为了计算关联准确度，每个目标（人类注释的）被分配给每个帧的轨迹（计算机生成的）关联准确度计算为真阳性关联的数量除以地面实况中的关联数量。如果在两个单元A和B之间发生切换错误，则我们计数两个假阳性（A→B，B→A）。为了计算目标的有效性，我们首先将每个目标分配到一个包含来自该地面实况的最多观测的轨道。然后，目标有效性被计算为在目标的总帧数上分配的跟踪观测的数量。它表示有多少帧的目标是由计算机生成的轨道。这个度量标准是一个更严格的度量标准。如果在轨迹的中间发生切换误差，则目标效率为0.5。表2和表3分别示出了关联准确性和目标有效性的性能。在这些表中，每个条件（每个条件中三个或四个序列）的平均分数表示为1。在表3中，我们显示了另外两种方法作为参考;李[23]Hayashida法他们的方法通过CNN独立地估计细胞位置图和运动流。我们使用了两个定量标准来评估每-[1]用相同的数据集对 *Li和 *Kanade的目标有效性得分进行了评价。由于他们的论文中没有描述他们方法的关联准确性[23，21]，因此我们无法在表2中添加他们的性能。3831图9.跟踪BMP 2下每种比较方法的结果。（a）Bise，（b）Chalfoun，（c）Hayashida，（d）Our。横轴表示时间。基于水平集跟踪和基于逐帧优化的Kande [21]Bensh、Chal foun、Li的性能对培养条件敏感，但在两个指标上，特别是（FGF 2）和（BMP 2 + FGF 2）的性能都不好我们认为它们的检测方法的灵敏度也会影响跟踪性能。Bise和Kanade的方法使用相同的检测方法[44]，由于检测效果更好，因此与三种方法相比，其准确性更高。最先进的方法（Hayashida）进一步提高了性能（图1）。9（c））与现有的其他方法相比，通过独立地估计细胞运动流和位置图，获得了一种新的细胞运动图。我们的方法（MPM）优于所有其他方法（图。9（d））。它提高了+5.7%的关联准确性，平 均 得 分 的 目 标 有 效 性 为 +5.1% ， 与 第 二 名（Hayashida）一致。图10显示了我们在每种条件下的跟踪结果，其中我们的方法正确地跟踪了细胞的各种外观。图11示出了在放大图像序列中将细胞分成两个细胞的情况下我们的方法可以正确识别细胞分裂并跟踪该区域中的所有细胞。6. 结论在本文中，我们提出了运动和位置图（MPM），联合表示检测和关联，它可以表示在细胞分裂的情况下，而不仅仅是迁移。MPM将3D矢量编码到每个像素中，其中矢量的幅度分布指示单元位置似然图，并且矢量的方向指示从t处的像素到t-1处的单元质心的运动方向。由于MPM代表检测和关联，因此它保证了一致性。图10.跟踪我们的方法在每个培养条件下的结果;（a）对照，（b）FGF 2，（c）BMP 2 + FGF 2。尽管细胞外观因条件而异，但我们的方法正确地跟踪了细胞。图11.我们的跟踪结果示例。(a)完整的图像。(b)估计细胞轨迹的3D视图。z轴表示时间，每种颜色表示单个单元格的轨迹（c）（a）中红框处的放大图像序列，其中我们的方法正确识别了细胞分裂并跟踪了所有细胞。存在;即，如果检测到小区，则总是产生该小区的关联，从而提高了跟踪性能。在实验中，我们的方法优于国家的最先进的方法，在各种条件下，在真实的生物图像的跟踪性能提高了5%以上。在未来的工作中，我们将开发一种端到端的跟踪方法，该方法可以从整个序列中估计整个细胞的轨迹，以便使用CNN上的全局时空信息致谢这项工作得到了JSPS KAKENHI资助号JP18H05104和JP18H04738的支持。3832引用[1] Saad Ullah Akram，Juho Kannala，Lauri Eklund，andJanne Heikhua？联合细胞分割和跟踪使用细胞程序。在IEEE生物医学成像国际研讨会（ISBI）会议录中，第920-924页[2] Sadeghian Amir，Alahi Alexandre，and Savarese Silvio.追踪无法追踪的对象：学习跟踪具有长期依赖性的多个线索。在IEEE计算机视觉国际会议（ICCV）的会议中，第300-311页[3] 阿萨夫·阿贝尔和塔米·瑞克林·拉维夫利用卷积lstm网络进行显微细胞分割。在IEEE生物医学成像国际研讨会（ISBI）论文集中，第1008-1012页，2019年[4] 罗伯特·本施和奥拉夫·罗尼伯格。基于非对称边界代价图割的相衬图像细胞分割与跟踪。在IEEE生物医学成像国际研讨会（ISBI）会议中，第1220-1223页，2015年[5] 比瑟龙马，康力，成恩严，金田武夫。在dic显微镜图像序列中可靠地追踪部分重叠的神经干细胞。在国际医学图像计算和计算机辅助干预研讨会（MICCAIW）上，第67-77页[6] 比塞龙马、前田义孝、金美惠、木野冈正弘。基于候选细胞区域检测的关联方法在高融合条件下的细胞跟踪生物医学工程学报，第1004- 1010页，2011年[7] 比塞龙马和佐藤洋一。非重叠约束下的IEEE医学成像学报，34（7）：1417[8] 碧濑龙马、尹昭政、金田武夫。通过全球数据关联实现可靠的细胞跟踪。在IEEE生物医学成像国际研讨会（ISBI）会议录中，第1004-1010页[9] 多尔施卡尔和齐瑟曼安德鲁。多任务自我监督视觉学习 。 IEEE International Conference on Computer Vision（ICCV），2017。[10] Joe Chalfoun，Michael Majurski，Alden Dima，MichaelHal- ter，Kiran Bhadriraju，and Mary Brady.谱系映射器：一个多功能的细胞和粒子跟踪器。科学报告，6：36984，2016。[11] 艾根·大卫和费格斯·罗伯使用通用多尺度卷积架构预测深度、表面法线和语义标签在IEEE国际计算机视觉会议（ICCV）的会议记录中，第3994- 3999–4003,[12] 赵大伟、付昊、萧亮、吴涛、戴斌。自主车辆的相关滤波多目标跟踪。传感器.[13] Ker Elmer D.F. ， Sho Sanami Seunguen ， Eom ， andRyoma Biseet al.具有自动和手动细胞跟踪注释的相位衬度延时显微镜数据集。科学数据，2018年。[14] 于凤伟、李文博、李全全、刘宇、石晓华、严俊杰。高性能多目标跟踪指 纹 检 测 和 外 观 特 征 。 在 欧 洲 计 算 机 视 觉 会 议（ECCV）中，第36- 42页[15] Jan Funke ， Lisa Mais ， Andrew Champion ， NatalieDye，and Dagmar Kainmueller.上皮细胞追踪的基准。欧洲计算机视觉会议（ECCV）研讨会论文集，2018年。[16] Gkioxari Georgia，Hariharan Bharath，Girshick Ross，and Malik Jitendra.用于姿态估计和动作检测的r-cnn。InarXive，2014.[17] 林田纯也和碧濑龙马使用深度学习进行细胞跟踪，用于低帧速率下的细胞检测和运动估计。医学图像计算和计算机辅助干预国际会议（MICCAI），第397-405页，2019年[18] Kokkinos Iasonas。Ubernet：使用不同的数据集和有限的内存训练通用卷积神经网络，用于低，中，高层次的视觉。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年。[19] Misra Ishan，Shrivastava Abhinav，Gupta Abhinav，andHebert Martial.多任务学习的十字绣网络。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第3994-4003页，2016年。[20] Valmadre Jack ， Bertinetto Luca ， Henriques Joao ，Vedaldi Andrea，and Torr Philip H.S.用于基于相关滤波器的跟踪的端到端表示学习。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第2805-2813页，2017年[21] Takeo Kanade，Zhaozheng Yin，Ryoma Bise，SeungilHuh，Sungeun Eom，Michael F.桑德博特和美辰。细胞图像分析：算法、系统和应用。IEEE Winter Conferenceon Applications of Computer Vision（WACV）的相关文章IEEE，2011年。[22] 波丽，武伟，朱正，严俊杰。高性能视觉跟踪与暹罗区域建 议网 络。在IEEE计算 机视 觉和模 式识 别会议（CVPR）上，2018年。[23] 康力和金田武夫。显微图像分割的非负混合范数预处理。国际医学成像会议信息处理（IPMI），第362-373页，2009年[24] Kang Li，Eric D Miller，Mei Chen，Takeo Kanade，LeeE Weiss，and Phil G Campbell.时空背景下的细胞群体追踪和谱系构建。医学图像分析，12（5）：546[25] Min Liu，Ram Kishor Yadav，Amit Roy-Chowdhury，and G Venugopala Reddy.利用局部图匹配法自动追踪拟南芥茎尖干细胞谱系。The Plant Journal，62（1）：135[26] 王陆、徐黎生、金敏英、卢卡·里加兹科、杨铭宣。通过流和卷积特征进行在线多对象跟踪。在IEEE图像处理国际会议（ICIP）的会议记录中，第3630- 3634页，2017年。[27] 菲利普·勒克斯和彼得·马图拉结合深度学习和分水岭算法的致密细胞群Dic图像分割3833在IEEE生物医学成像国际研讨会（ISBI）会议录中，第236-239页[28] Katya Mkrtchyan ， Damanpreet Singh ， Min Liu ， VReddy，A Roy-Chowdhury，and M Gopi.植物分生组织发育过程中的高效细胞分割和跟踪在IEEE InternationalConference on Image Processing（ICIP），第2165- 2168页[29] Kazuya Nishimura，Ryoma Bise，等.基于检测响应传播的弱监督细胞实例分割。医学图像计算和计算机辅助干预国际会议（MICCAI），第649-657页Springer，2019年。[30] Kenji Okuma，Ali Taleghani，Nando De Freitas，JamesJ Lit- tle，and David G Lowe.增强粒子滤波：多目标检测与跟踪。欧洲计算机视觉会议，第28-39页[31] Al-Kofahi Omar、Radke Richard、Goderie Susan、ShenQin、Temple Sally和Badrinath Roysam。自动化细胞系构建：一种快速分析小鼠神经前体细胞克隆发育的方法。[32] 克 里 斯 · 蒂 安 · 帕 耶 尔 ， 达 尔 · 科 ·斯 特 恩 ， 托 马斯·内·夫·夫，霍斯特·比肖夫和马丁·乌尔施勒。使用余弦嵌入和递归沙漏网络进行实例分割和跟踪。医学图像计算和计算机辅助干预国际会议（MICCAI），第3-11页，2018年[33] Markus Rempfler ， Sanjeev Kumar ， Valentin Stierle ，Philipp Paulitschke，Bjoern Andres，and Bjoern H Menze.无镜头显微镜视频中的细胞系追踪医学图像计算和计算机辅助干预国际会议（MICCAI），第3-11页，2017年[34] 马库斯·伦普夫勒、瓦伦丁·斯蒂尔、康斯坦丁·迪策尔、圣吉夫·库马尔、菲利普·保利奇克、比约恩·安德烈斯和比约恩·H·门泽。追踪无透镜显微镜视频中的细胞谱系。医学图像分析，48：14