无噪声、实例感知的细胞跟踪和形态分析软件

SoftwareX 9（2019）230Usiigaci：通过机器学习实现无染色相衬显微镜中的实例感知细胞跟踪蔡协夫a，b，蔡志华c，1，蔡志华.Sloand，1，Andrei Rarese，1，Amy Q.Shena，aMicro/Bio/Nanofluidics Unit，Okinawa Institute of Science and Technology Graduate University，1919-1 Tancha，Onna，904-0495，Okinawa，Japanb日本科学促进会研究员，日本cAGH科技大学，波兰d加拿大Quoruvium Solutions公司eImagineA，荷兰我爱你用于无染色相衬显微镜环境中细胞迁移的一体化分割、跟踪和数据分析软件。使用掩码区域卷积神经网络的高精度实例感知分割。基于Python的跟踪模块，带有GUI，用于手动验证分割和跟踪结果。单细胞迁移的位置和形态演变的定量分析gr a p h i c al a b st r a ctar t i cl e i nf o文章历史记录：接收7九月2018收到修订版2018年12月19日接受2019年保留字：相衬显微镜实例感知分割机器学习卷积神经网络无冗余细胞跟踪单细胞迁移a b st ra ct无干扰的单细胞分割和跟踪相当于显微镜细胞迁移分析的圣杯。众所周知，具有高密度细胞的相差显微镜（PCM）图像难以准确分割;因此，手动分割仍然是事实上的标准实践。在这项工作中，我们介绍了Usiigaci，一个全功能的，半自动的管道分割，跟踪和可视化PCM中的细胞运动和形态变化。使用掩码区域卷积神经网络（Mask R-CNN）实现无噪声、实例感知的分割。一个Trackpy为基础的细胞跟踪器与图形用户界面开发的细胞跟踪和数据验证。利用NIH/3 T3成纤维细胞的趋电性验证Usiigaci的性能。Usiigaci为定量细胞迁移分析提供了高度准确的细胞运动和形态信息。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。对应 作者 地点： 微/生物/纳米流体 股， 冲绳 研究所1919-1 Tancha，Onna，904-0495，Okinawa，Japan电子邮件地址：hsieh-fu. oist.jp（H.-F. Tsai）、joannagajda5@gmail.com（J. Gajda）、info@quorumetrix.com（T.F.W.Sloan），a. ieee.org（A.Rares），amy. oist.jp（A.Q. Shen）。1 贡献相同https://doi.org/10.1016/j.softx.2019.02.0072352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx····H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）230231代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_158法律代码许可证MIT许可证使用git的代码版本控制系统使用Python、TensorFlow、Keras、Trackpy、NumPy、SciPy、Pandas、PyQtGraph的软件代码语言、工具和服务编译要求、操作环境依赖性Ubuntu 16.04 Linux、Python3.4+、CUDA9.1、TensorFlow 1.4、Keras 2.1 如果有开发人员文档/手册链接无问题支持电子邮件hsieh-fu. oist.jp1. 动机和意义细胞迁移是一种基本的细胞行为，它是各种生理过程的基础，包括发育、组织维持、免疫和组织再生，以及病理过程如转移。已经开发了许多体外和体内平台，以借助显微镜研究不同微环境中细胞迁移的分子机制为了分析单个或集体细胞迁移，需要对显微图像中的每个单个细胞进行可靠的分割，以提取位置和形态信息。在明场显微镜技术中，Zernike的相差显微镜（PCM）因其能够将细胞成分的相位差转化为振幅差，从而使细胞膜、细胞核和空泡更加明显[1]。然而，由于细胞与其背景之间的低对比度，PCM图像非常难以使用传统的计算机视觉方法正确分割[2]。出于这个原因，许多细胞迁移实验仍然依赖于细胞的荧光标记或手动跟踪。细胞的荧光标记需要荧光蛋白的转基因表达或用荧光化合物标记的细胞，这两者都可能对细胞有毒，并且需要表型变化的广泛验证。尽管荧光图像阈值化相对简单，但是在阈值结果中，接近的细胞通常是不可区分的。 另一方面，手动跟踪细胞迁移是劳动密集型的，并且容易出现操作员错误。由于方法学和仪器的进步，进行高通量显微镜实验已经成为可能，但由于不完善的细胞分割和跟踪，目前用于定量解释结果的分析技术面临主要障碍[3]。此外，细胞运动 并不是细胞迁移中唯一的参数。对于由环境梯度引导的细胞迁移，剪切应力、表面拓扑结构和电场也可影响细胞形态[4尽管已经开发了许多用于细胞跟踪的软件包，但其中大多数仅处理荧光图像，并且需要良好的阈值结果[8]。虽然一些软件处理无染色细胞跟踪，但准确地将每个单独的细胞描绘到细胞边界是困难的;因此，这些软件包仅限于位置跟踪，并且不能解析相邻的细胞。 或触摸细胞[8变形虫或间充质模式的迁移细胞通常具有用于运动的薄的突出细胞结构，例如水泡或板状伪足[13]。这些结构在PCM中表现出非常低的对比度，这妨碍了可靠的分割，即使它们对于细胞迁移是必不可少的。近年来，使用卷积神经网络（CNN）的机器学习的进步已被证明在解决计算机视觉问题方面是有效的[14其中，由Van Valen等人提出的Deepcell架构，已经证明，可以使用背景、细胞膜和细胞质的逐像素分类来分割非常接近的细胞[15]。然而，细胞核的荧光染色仍然需要这些PCM图像的最佳分割。Fig. 1. Usiigaci的一体化分割、跟踪和数据处理工作流程。为了解决上述挑战，我们介绍了新开发的无染色，实例感知的PCM细胞跟踪软件，称为Usiigaci。相位对比显微镜图像的无标记、实例感知的分割对生物学家很有吸引力，因为细胞没有标记损伤，并且它们的分析不会受到错误读数的影响。此外，可以整体分析细胞的位置和轮廓2. 软件描述2.1. 软件概述Usiigaci，发音为ushi：gachi赫本罗马化，是一个琉球语单词，指的是跟踪对象的轮廓，这是一个适当的描述我们的软件的功能。 Usiigaci有一个半自动化的工作流程，由三个模块组成：分割模块，跟踪模块和数据处理模块，都是用标准的Python语法编写的（图1）。①的人。使用Microsoft COCO数据集[17]预训练的Mask R-CNN模型使用50个具有单细胞轮廓的手动注释PCM图像作为分类类别进行进一步训练（更多详细信息请参见SI文档中的S1.4和S1.5，用于准备自定义训练数据并启动新的训练）。使用此训练模型，PCM图像作为输入提供给基于Mask R-CNN的分割模块，并生成高度准确的实例感知分割掩码[18]。图像中单个细胞的轮廓被正确地分割成标识符（ID），即使它们非常接近。然后在跟踪模块中链接和跟踪ID借助于跟踪模块中的图形用户界面（GUI），PCM图像和跟踪掩模的并排比较允许用户验证分割和跟踪结果。此时，用户可以在数据处理之前排除不需要的细胞轨迹，例如不完全分割或跟踪的细胞、有丝分裂细胞或死细胞。此后，细胞迁移的以步骤为中心和以细胞为中心的参数以及细胞迁移数据的可视化从数据处理中的跟踪结果模块（SI文件中的表S.1）。基于上述三个模块，Usiigaci是一种用于PCM中无染色细胞迁移分析的一体化半自动解决方案，具有生物学家友好的工作流程。232H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）2302.2. 软件架构和功能Usiigaci的分割和跟踪模块的示意图如图2所示。Usiigaci的分割模块基于Mask R-CNN模型，该模型在TensorFlow和Keras中实现，最初由Matterport Inc.开源。在MIT许可证下[19Mask R-CNN架构的详细示意图见SI文档中的图S.3。Mask R-CNN模型建立在Faster R-CNN模型的基础上，该模型通过在特征图上搜索感兴趣区域（ROI）实现了对象的快速识别[18，22]。原始图像在R-CNN 主 干 中 进 行 多 次 卷 积 运 算 ， 该 主 干 由 残 差 函 数 网 络（ResNet-101，[23]）和特征金字塔网络（FPN，[24]）组成，以生成5个特征映射（C1至C5）。使用区域提议层在特征图上搜索ROI。ROI对齐层生成精确的实例分割ROI图，以校正ROI池化操作中的未对齐。上采样后，单个细胞的整个轮廓被分割成多边形，这些多边形在导出的蒙版中具有唯一ID。因此，实现了无污点PCM图像的高精度、在分割之后，每个掩码包含分割的单元格轮廓-承载唯一标识符（ID）。然后使用ID用于在Trackpy库上构建的跟踪模块中进行链接和跟踪[25]。ID的特征，如位置、等效直径、周长、偏心率、方向和真实密度，在Trackpy中用作跟踪参数。Trackpy库使用其默认最近邻搜索选项（即k维树算法）搜索延时实验中属于同一细胞的每个连续掩码中的ID[26链接和跟踪之后是自动后处理，其中分割和跟踪结果分两步进行校正。在第一步骤中，通过合并两个ID来校正被错误地分割为两个ID的小区。在第二步中，在连续帧中的ID属于同一轨道，但遭受中断事件被重新链接。开发了基于PyQt和PyQtGraph库的GUI用于跟踪模块，以便用户可以验证分割和跟踪结果[29，30]。手动验证很重要，因为分割中的缺陷会导致跟踪错误。此外，在实验过程中进行有丝分裂的细胞和进入或离开视野的细胞产生的跟踪结果在单细胞迁移研究中没有意义（图11）。SI文件中的S.6在跟踪模块的GUI中，通过施加一个简单的标准，选择完整的轨道，其有效的轨道ID存在于每帧中，可以被选择。此后，用户可以通过对照原始图像手动验证跟踪是否正确。建议的工作流程中的劳动量小于与传统手动跟踪相关的劳动量[4]。随后，可以使用scikit图像库[31]提取和生成有效轨迹中每个ID的质心和形态参数，例如角度，周长和面积在数据处理模块中完成单细胞迁移数据的分析，以计算整个延时实验中每个ID的迁移参数（图S.1.B）。几个数据处理库，包括Python数据分析库（Pandas），NumPy和SciPy，用于处理细胞迁移数据[32以步长为中心和以细胞为中心的特征，如转向角、净三角距离、速度、方向和方向性，在一个自动化笔记本中自动计算（表S.1）[35，36]。此外，在Matplotlib和Seaborn绘图库的帮助下，在细胞轨迹图、箱形图和时间序列图中自动生成细胞迁移的可视化（图S.9）[37，38]。3. usiigaci的验证3.1. 分割模块NIH/3 T3成纤维细胞在PCM下在300 V/m直流电场（dcEF）中的趋电性的无干扰跟踪10小时用于证明Usiigaci的独特特征。细胞实验和成像的细节在补充信息中描述。Usiigaci的分割和跟踪性能以最先进的免费软件为基准，如PHANTAST [11]，Fogbank[12]，Deepcell [15]以及专有软件，如Imaris和Metamorph。Usiigaci和上述软件的分割结果如图所示。3，并通过分割评价指标进行定量分析（SI文件中的表S.2）。分割相似性可以使用交集与并集的平均比率（mIoU）来评估，这也被称为Jaccard指数（图11）。 4）.通过荧光阈值，较厚的细胞体可以很容易地分割，但较薄的结构，如板状伪足或水泡，通常无法分割，并有助于更高的特异性和 更 低 的 mIoU （ SI 文 件 中 的 表 1 图 S.7 ） 。 在 Fogbank 和PHANTAST中，图像通过局部对比度进行阈值化因此只有当单个细胞被很好地分离时分割才有效Fogbank和PHANTAST实现的分割相似性中等高（mIoU 0.46和0.63），但使用这两种方法在高细胞密度图像中进行单细胞跟踪无效，因为无法区分单个细胞。通过机器学习方法对细胞膜进行分类，Deepcell比传统方法更好地分割高密度细胞。然而，由于Deepcell中的像素级分类方法，没有清晰边界的相邻细胞有时难以分割。在Usiigaci，细胞的整个轮廓以实例感知的方式正确地分段，即使单元密集地堆积。单一训练模型的Usiigaci分割相似度是荧光阈值法的2.2倍。Usiigaci此外，与手动分割和基准软件相比，Usiigaci的分割速度更快（见SI文件中的图S.8）。然而，Usiigaci的Mask R-CNN（本质上是一种机器学习方法）的潜在限制由最终用户创建的具有用户特定实验配置的适当训练数据集对于最佳结果可能是必要的。补充章节S1.4和S1.5中对训练数据准备和训练过程的详细描述应有助于用户在需要新训练数据集时获得最佳结果。3.2. 跟踪模块Mask R-CNN以实例感知的方式分割细胞，使得每个分割的细胞拥有唯一的ID（图3中以伪彩色显示）。在跟踪模块中，连续图像中的ID被链接和跟踪开发了GUI，为用户提供手动数据验证，以识别分割和跟踪中的潜在错误（图5）。一个简单的标准，选择完整的轨道，是建立在GUI中的选择轨道与ID存在于每一帧。实施该标准可确保有效磁道的高概率（图S.6）。此外，用户可以验证可以手动排除生物学无效的轨迹，例如具有经历有丝分裂或细胞死亡的细胞的Usiigaci提供了一个节省人力的工作流程，同时保留了人工干预的能力，H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）230233图二、Usiigaci的分割和跟踪模块图。PCM图像在Mask R-CNN分割模块中进行处理，该模块具有区域建议网络，该网络具有ResNet-101和特征金字塔网络（FPN）的主干，以生成实例分割的掩码。遮罩中的对象在基于Trackpy的跟踪器，使用k维树算法。重要的细胞迁移参数，然后从跟踪的结果计算图三. 在PCM和荧光显微镜下用CellTracker Green染色的NIH/3 T3细胞的显微镜检查，与PCM图像上的Usiigaci、Fogbank、PHANTAST和Deepcell的分割结果进行比较。不同的颜色表示每个感兴趣区域的实例。在Usiigaci、Fogbank和Deepcell中，每个单元格都被分割成一个具有唯一ID和颜色的实例轮廓。在荧光阈值或PHANTAST的分割掩模中，使用ImageJ中的分析粒子功能将细胞分割成ROI，并使用LOCI插件中的ROI map功能填充伪彩色。Usiigaci准确地分割每个单独的细胞，精度优于其他软件。表1使用各种方法在三个NIH/3 T3细胞图像中平均分割性能CH：通道。0.46±0.02 0.59±0.09 0.70±0.19 0.51±0.02 0.97±0.03 0.91±0.030.63±0.02 0.77±0.02 0.65±0.02 0.93±0.02 0.94±0.01 0.94±0.010.36± 0.04 0.56± 0.06 0.39± 0.06 0.96± 0.01 0.92± 0.01 0.92± 0.01Usiigaci 3个型号-平均PCM 0.72±0.01 0.85±0.01 0.83±0.02 0.87±0.01 0.95±0.04 0.96±0.01这对于确保单细胞迁移分析中的数据有效性至关重要[39]。我们使用多目标跟踪（MOT）指标和跟踪质量测量来表征跟踪性能，一式三份10小时NIH/3 T3趋电性数据集（表S.3）。MOT指标根据跟踪每帧中的对象的准确程度来衡量跟踪器的性能。跟踪质量可以通过在跟踪质量测量中对单个细胞轨迹进行跟踪性能的详细定义Usiigaci的MOT性能（有或没有手动验证）与手动跟踪进行基准测试，如表2所示[40，41]。在手动跟踪中，多目标跟踪精度（MOTP）和多目标跟踪精度（MOTA）被任意定义为1。从所有帧中总计识别出4520个事件。在Usiigaci跟踪器跟踪后，识别出4470个事件，MOTA为91.9%。通过实施选择完整的轨道标准，属于无效轨道的事件（图1）。S.6 B-H）很容易去除。描述Usiigaci中匹配目标-假设对位置总误差的MOTP雾库PCMChJaccard指数F1分数精度召回特异性精度手动PCM111111自动阈值幻味FLPCM0.27±0.03个0.460.02±0.020.970.02±0.020.30±0.01个1± 00.91±0.01个Deepcell 3models-avgPCM234H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）230∑±表2NIH/3 T3趋电性在10小时以下的多目标跟踪总结300 V/m dcEF（31帧）。 比较了人工跟踪和Usiigaci在有无选择完整航迹准则和人工验证的情况下的性能。MOTP：多目标跟踪精度; MOTA：多目标跟踪精度。0.702±0. 012b使用各种方法。MR：手册参考; Seg.：分段结果; FN：假阴性; TP：真阳性; FP：假阳性; TN：真阴性。分割相似性是通过地面之间的平均交集来衡量的a操作员识别的物体总数b平均值路口超过联盟比的所有匹配对象对的真值和分段结果（mIoU=也称为Jaccard指数。iTPi，如插图所示），或i（FNi+TPi+FPi）是说平均值的标准误差c由人类操作员识别的总细胞轨迹d由Usiigaci的跟踪器生成的总细胞轨迹e由操作员识别的数据集中有效细胞轨迹与总细胞轨迹的比率。人工验证前后分别为70.2%和75.6%，与Jaccard分割指数相似[40]。跟踪细胞的掩模与手动分割的掩模在像素级上具有良好的相关性，这表明可以定量地跟踪和分析细胞的运动和形态变化使用Usiigaci跟踪器的跟踪质量可以通过对单个细胞轨迹进行分类来更直观地理解。通过人工跟踪，在155条航迹中找到104条有效航迹使用Usiigaci跟踪器，生成了291个轨迹，其中许多轨迹由于不同类型的错误而出错（图S.6）。在没有人工验证的情况下，Usiigaci的有效轨道比率仅为19.5%。然而，通过选择完整轨迹标准，用户只能选择每帧中具有相同ID的轨迹。有效的单元格轨迹将在根据标准选择的那些单元格轨迹中。用户还可以验证是否有任何错误的轨道，并在必要时排除它们。其余结果中存在5个有丝分裂轨迹，手动排除。在人工验证之后从Usiigaci获得的有效轨迹对应于由人类操作员识别的但是，可以分析更多的视场以增加有效轨迹的数量，Usiigaci节省人力的工作流程3.3. 数据处理模块定量细胞动力学需要准确的细胞分割和细胞跟踪。跟踪后，Usiigaci的数据处理模块根据跟踪结果生成细胞迁移中的以步骤为中心和以细胞为中心的参数的定量结果。自动进行细胞迁移的可视化，以生成可直观理解的视觉表示（SI文件中的图S.9）。我们进一步检查整体准确性的上下文中的细胞迁移之间的结果分割和跟踪使用各种方法。定向性是显示定向细胞迁移的度量。在趋电性中，方向性被定义为净三角距离和电流矢量之间的平均余弦（图1）。S.1B）。一群向阴极迁移的细胞f由 U s i i g a c i 的 跟 踪 器 生 成 的有效细胞轨迹与总细胞轨迹的 比 率 。g在选择所有磁道标准之后，有效单元磁道与总单元磁道的比率定向度为1，随机迁移细胞的定向度为0（表S.1）。dcEF中NIH/3T3细胞的定向性用于基准测试通过各种跟踪方法跟踪的结果的准确性，所述跟踪方法包括ImageJ中的手动跟踪、Metamorph中的跟踪对象模块、Imaris Track和使用Lin-Mapper的跟踪（图1B）。图&6 （见第10节）。PCM图像、荧光图像或来自Usiigaci、PHANTAST、Fogbank或Deepcell的分段掩模仅分析包含在每个帧中被跟踪的细胞的有效细胞轨迹。捕获率定义为通过某种方法识别的有效细胞轨迹与人工识别的有效细胞轨迹之间的比率。虽然Imaris和Metamorph等专有软件中的细胞跟踪产生的结果与手册参考相似，但这两个软件包仅提供有关细胞的位置信息此外，Imaris要求对细胞进行荧光标记，以获得良好的分割结果（表S.4）。即使开源细胞跟踪软件，如Lineage Mapper可用[42]，如果单个细胞没有在每帧中正确地分割成单个实例，则分割的数据可能无法直接与Lineage Mapper因为Lineage Mapper是全自动的，所以Lineage Mapper中没有手动验证过程。不完美的分割结果会导致错误的跟踪结果，并且用户无法排除无效的轨迹。由Fogbank分割并由Lineage mapper跟踪的细胞定向性与手动参考不同（P0.01，TukeyDeepcell分割的细胞未被Lineage Mapper很好地跟踪（P 0.0001，Tukey因此，PHANTAST和Deepcell对NIH/3T3趋电性的分割结果无法通过使用谱系映射器进行跟踪来产生良好的数据。虽然Usiigaci的结果MOT指标手动Usiigaci（未经核实）Usiigaci（选择完整的轨道）总事件小行星4520a44701736错过活动01450不匹配事件0700假阳性事件01650MotaMOTP（mIoU）110.919± 0.01n/a为0.756 ±0.756。009b跟踪质量测量曲目总数155c291d61有效的单磁道1045656中断的单细胞径迹0210有丝分裂细胞轨迹555进入视野轨迹19190失去跟踪轨迹01520退出视野轨迹27270不匹配磁道020假阳性轨迹090∑H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）230235图五、在Usiigaci跟踪模块的GUI。延时实验的PCM图像显示在左侧面板中，以与右侧面板中的Mask R-CNN分割掩模进行比较跟踪后，右侧列出了单元格轨迹，用户可以根据PCM图像验证数据并排除不良单元格轨迹。见图6。通过不同分割和跟踪方法分析10小时、300 V/m dcEF刺激后NIH/3 T3趋电性的定向性。数据和标签根据图像类型进行排列-（分割方法_跟踪方法）（捕获率）。LM：谱系图; FL：荧光; PCM：相差显微镜;** 表示P 0.01;* 表示P0.0001。与手动参考相比，谱系映射器也存在显著差异（P 0.0001，Tukey如果用户没有完全掌握跟踪过程的内部工作原理，可能会由于结果不好而造成错误解释（图1）。 6）。相比之下，通过使用Usiigaci进行分割和跟踪，与手动跟踪相比，可以自动跟踪54%的细胞。此外，Usiigaci分析的细胞定向性和迁移速度与手动参考和Metamorph相当迁移速度在Imaris或Lineage Mapper中可能被高估或低估。详细跟踪结果见SI文件中的表S.4。Usiigaci是唯一的自动化细胞跟踪方法，提供vides细胞运动和形态变化的信息之间的基准软件包。凭借高分割和跟踪精度，Usiigaci为生物学家提供了一种易于使用的定量细胞迁移分析工具。一个教程视频Usiigaci4. 影响和结论Usiigaci为二维PCM中细胞迁移的分割、跟踪和分析提供了可靠的定量解决方案。不需要对细胞进行标记或特殊处理，因此可以在更自然的条件下分析在Usiigaci中，细胞的整个轮廓被自动分割和跟踪，这使生物学家能够以一种定量的方式分析细胞动力学中的运动和形态变化，这是以前的软件无法提供的。与常规采用的手动细胞跟踪方法相比，节省劳动力的工作流程也减轻了工作量手动验证功能使用户能够验证跟踪数据并确保数据有效性。Usiigaci的分析能力有助于国际上标准化细胞迁移实验的努力[43]。Mask R-CNN模型的可训练性质允许Usiigaci分析在其他明场显微技术中获得的图像，并可能在不久的将来用于3D细胞跟踪。用于生物医学图像分析的类似深度学习方法用于完成无染色图像中细胞成分的计算机标记和嘈杂医学图像的3D分割[44用于生物医学图像分析的深度学习方法的进步为推进生物医学发现提供了独特的机会。致谢这项 工作得 到了日 本JSPS KAKENHI 的支 持[ 授权 编号JP1700362]。H.- F. Tsai和A.Q.沈还感谢日本冲绳科学技术研究生院大学（OIST）的财政支持和日本内阁府的资助者在研究设计、数据收集、出版决定或手稿准备方面没有任何作用作者感谢OIST研究生院科学计算和数据分析科、社区关系科和成像分析科作者还感谢Matterport Inc.他们的Mask R-CNN实现源代码在MIT许可下发布，用于本工作的一部分。作者感谢Emanuele Martini先生的开源BW_Jtrack ImageJ插件。236H.- F. 蔡氏T.F.W. GajdaSloan等人/SoftwareX 9（2019）230作者承认蔡女士，Yi-Ching（lotte891@gmail. 和Shivani Sathish女士，来自微/生物/纳米流体单元在OIST的协助下，准备在这项工作中的插图。作者感谢OIST的技术编辑Steven Aird博士利益冲突作者声明没有利益冲突。附录A. 补充数据补充信息包括细胞迁移实验的详细描述、显微镜方案、训练数据集的注释、Mask R-CNN模型的训练过程、多目标跟踪基准的评估以及对Usiigaci局限性的讨论。还附上了Usiigaci的视频教程（视频S.1）。与本文相关的补充材料可以在https://doi.org/10.1016/j.softx.2019.02.007上找到。引用[1] 泽尼克湾相衬法--透明物体显微观察的一种新方法Physica 1942;9（7）：686-98. http://dx.doi.org/10.1016/S0031-8914（42）80035-X，[2]放大图片作者：Jaccard N，Szita N，Griffin L.基于多尺度局部基本图像特征直方图的相衬显微图像分割。计算方法Biomech Biomed Eng Imaging Vis2017;5：359-67。http://dx.doi的网站。org/10.1080/21681163.2015.1016243，[3] Wollman R，Stuurman N.高通量显微镜：从原始图像到发现。J Cell Sci2007;120：3715-22. http://dx.doi.org/10.1242/jcs的网站。013623，[4]蔡宏芳，郑建英，张宏芳，山本泰，沈阿庆.使用聚合物插入物在圆形多孔培养板中产生均匀电场。SciRep2016;6：26222.http://dx.doi.org/10.1038/srep26222网站，[5]Moore JE，Bürki E，Suciu A，Zhao S，Burnier M，Brunner HR，Meister JJ.一用于使血管内皮细胞经受流体剪切应力和周向循环拉伸的装置。生物医学工程年鉴1994;22：416[6]Steward R，Tambe D，Hardin CC，Krishnan R，Fredberg JJ.流体剪切力、细胞间应力和内皮细胞排列。Amer J Physiol Cell Physiol 2015;308：C657-64.http://dx.doi.org/10.1152/ajpcell.00363.2014网站，[7]Bettinger CJ，Langer R，Borenstein JT. 在微米和纳米尺度上设计衬底形貌以控制细胞功能。AngewChem2009;48：5406-15.http://dx.doi.org/10.1002/anie.200805179网站，（国际版，英文），[8]Meijering E，Dzyubachik O，Smal I.细胞和粒子跟踪的方法。在：酶 学 方法，卷。504号Elsevier; 2012，p.183-200[9]Ambühl ME，Brepsant C，Meister J-J，Verkhovsky AB，Sbalzarini IF.高分辨率细胞轮廓的相衬显微镜图像分割和跟踪。J Microscopy 2012;245：161-70.http://dx.doi.org/10的网站。1111/j.1365-2818.2011.03558.x，[10]Cordelières FP， Petit V，Kumasaka M ，Debeir O，Letort V，GallagherSJ，Larue L.相位对比视频中的自动细胞跟踪和分析（iTrack4U）：基于组合均值漂移过程的java软件开发。PLoS One 2013;8（11）. e81266。[11]Jaccard N，Griffin LD ， Keser A，Macown RJ， Super A，Veraitch FS，Szita N。从相差显微镜图像快速精确估计贴壁细胞培养特征的自动化方法。Biotechnol Bioeng 2014;111 ： 504-17. http://dx.doi.org/10.1002/bit.25115 网站，[12][10]杨文军，李文军. FogBank：跨多个细胞系和图像模态的单个细胞分割。BMC Bioinformatics2014;15（1）：431.[13]Mierke CT. 机 械 性 能 在 癌 症 疾 病 和 炎 症 进 展 中 的 基 本 作 用 。 Rep ProgrPhys2014;77（7）：076602。[14]杨伟，王伟. U-net：用于生物医学图像分割的卷积网络。在：医学图像计算和计算机辅助干预国际会议。Springer; 2015，p. 234比41[15]Van Valen DA，Kudo T，Lane KM，Macklin DN，Quach NT，DeFeliceMM，Maayan I，Tanouchi Y，Ashley EA，Covert MW.深度学习在活细胞成像实验中自动化单个细胞的定量分析。PLoS Comput Biol 2016;12（11）.e1005177。[16]Niioka H，Asatani S，Yoshimura A，Ohigashi H，Tagawa S，Miyake J.通过卷积神经网络对分化时的C2C12细胞进行分类使用相位对比图像进行深度学习。人类细胞2018;31：87-93. http://dx.doi.org/10.1007/s13577-017-0191-9网站，[17][10] Lin T-Y ， Maire M ， Belongie S ， Hays J ， Perona P ， Ramanan D ，Dollár P，Zitnick CL. Microsoft COCO：上下文中的通用对象。 In：FleetD，Pajdla T，Schiele B，Tuytelaars T，editors.计算机视觉- ECCV 2014。Cham：Springer International Publishing; 2014，p. 740-55，[18][10]杨文，李文，李文.屏蔽R-CNN。在Proc. IEEE int. conf.计算机视觉; 2017.p.2980-8 http://dx.doi.org/10.1109/ICCV.2017.322网站。[19]Abadi M ， Barham P ， Chen J ， Chen Z ， Davis A ， Dean J ， Devin M ，Ghemawat S，Irving G，Isard M，Kudlur M，Levenberg J，Monga R，MooreS，Murray DG，Steiner B，Tucker P，Vasudevan V，Warden P，Wicke M，Yu Y，Zheng X. TensorFlow：一个用于大规模机学习于：第12届USENIX操作系统设计与实现会议论文集。美国加利福尼亚州伯克利：USENIX协会; 2016年，第265-83页，http://dl.acm.org/citation.cfm?电话：+86-21 - 88888888[20]Chollet F，et al. Keras. 2015年，https://keras.io。[21]Abdulla W. Mask R-CNN用于Keras和TensorFlow上的对象检测和实例分割。2017年，https://github.com/matterport/Mask_RCNN，[22]Ren S，He K，Girshick R，Sun J. Faster R-CNN：towards real-time objectdetection with region proposal networks. IEEE Trans Pattern Anal MachIntell 2017;39（6）：1137-49. http://dx.doi.org/10.1109/TPAMI.2016.2577031网站，[23]何克，张X，任S，孙杰，深度残差学习图像识别。 在IEEE计算机视觉和模式识别会议论文集; 2016年。第770- 778页。[24]林T，Dollár P，Girshick R，He K，Hariharan B，Belongie S.用于对象检测的要素金字塔网络。在Proc. IEEE conf.计算机视觉和模式识别; 2017.第936- 944页。http：/dx.doi.org/10.1109/CVPR.2017.106。[25]Allan DB ， Caswell T ， Keim NC ， van der Wel CM. Trackpy ： Trackpyv0.4.1.2018年12月28日，中国科学院出版社。http://dx.doi.org/10.5281/zenodo.1226458[26] Bentley JL.用 于 关 联 搜 索 的 多 维 二 叉 搜 索 树 。 Commun ACM 1975;18（9）：509-17. http://dx.doi.org/10.1145/361002.361007，[27]Crocker JC，Grier DG.胶体研究的数字视频显微镜方法。J Colloid InterfaceSci1996;179（1）：298-310.[28]Maneewongvatana S，Mount DM.低维聚类数据的最近邻搜索效率研究。在：计算科学国际会议。Springer; 2001，p. 842-51[29]计算河PyQt. PyQt可在http：//www. riverbankcomputing.co.uk/; 2013.6月13日参观[30]坎帕尼奥拉湖PyQtGraph-用于Python的科学图形和GUI库。2016年。[31]van der Walt S，Schönberger JL，Nunez-Iglesias J，Boulogne F，WarnerJD ， Yager N ， Gouillart E ， Yu T ， scikit-image 贡 献 者 。 Scikit-image ：Python中的图像处理。PeerJ 2014;2. e453。 http://dx.doi.org/10.7717/peerj的网站。453，[32]McKinn