活细胞纳米显微镜模拟分析囊泡运动模式的研究

1学习活细胞Arif Ahmed Sekh1 Ida Sundvor Opstad1 Alfresa Birna Birgisdottir1， 2 Truls Myrmel1， 2Balpreet Singh Ahluwalia1 Krishna Agarwal1 Dilip K.普拉萨德1UiT The Arctic University of Norway，挪威2挪威特罗姆瑟北挪威大学医院电子邮件：uit.no摘要检测和分析活生物细胞内小于显微镜分辨率（约250 nm）的囊泡的纳米级运动模式是一个具有挑战性的问题。基于检测、跟踪、光流或深度学习的最先进CV方法在这个问题上表现不佳。我们提出了一种基于物理模拟、纳米显微镜算法和浅层残余张力网络的综合方法，以允许首次分析囊泡中的亚分辨率运动模式，也是亚分辨率直径。我们的研究结果显示了最先进的性能，在模拟数据集上的验证准确率为89%，在三种不同病理生理相关条件下生长的活心肌细胞图像的实验数据集上的测试准确率为82%。我们演示了自动分析的运动状态和变化，他们超过9000囊泡。这种分析将使未来活细胞中囊泡运输和相互作用的大规模生物学研究成为1. 介绍显微图像和视频是生物细胞中生命的唯一视觉细胞中的生命事件是由各种细胞器协调的，例如纳米级囊泡（30 nm至101μm）。囊泡通过在不同的尺度上进行不同的运动来完成它们的任务。几十纳米到几微米，并与其他亚细胞结构相互作用。囊泡动态行为的分析可能是理解和治疗各种神经和免疫疾病的关键[21，27，35]。然而，从活细胞内囊泡的显微镜视频中了解它们的运动模式是一项艰巨的任务，无论是视觉上还是通过计算机视觉（CV），原因如下：• 光学和数字分辨率-最先进的活细胞兼容荧光显微镜的数字分辨率（有效像素大小）限制为100 nm，其光学分辨率（最小可分辨特征）图1.我们的实验，物理，纳米显微镜和计算机视觉的综合方法允许分析活细胞内囊泡的纳米级尺寸）为250 nm。因此，纳米尺度（<250 nm）的结构以及运动模式是不能被显微镜辨别，除非超分辨率显微镜（即，纳米显微镜）方法。• 噪声-与传统的成像和摄像相比，荧光显微镜处理的是每个像素几个光子的光散粒噪声和照相机的暗噪声通常使测量具有显著的噪声。这对从显微镜视频中识别运动模式有进一步的负面影响。• 缺乏数据-活细胞实验不太可重复。细胞培养和成像过程cesses在细胞行为中引入差异。 此外，细胞的年龄和细胞培养的次数导致正常生活事件频率的变化。此外，为这些数据生成地面实况实际上是不可能的。因此，生成大的、受控的、统计上一致的并且适当注释的1401414015机器学习的数据集是相当具有挑战性的。• 囊泡的数量和运动的多样性-在显微镜的聚焦区域内，单个活细胞可以很容易地包含几百个囊泡它们的直径范围很大（30 nm至101μm），运动模式多样性和复杂性。设计一种方法，迎合这种多样性是一个挑战。我们提出了一种基于物理学的纳米集成人工智能的综合方法，用于在考虑下学习生物系统中囊泡的运动模式（见图1）。1）。我们的方法使用四个关键命题来解决上述问题• 单个囊泡的复杂运动模式被分解成逐段的简单模式。小的时空感兴趣区域（ROI），每个潜在地包含单个囊泡的简单运动模式，使用定位纳米显微镜和粒子跟踪的组合来识别。• 囊泡• 使用基于物理的模拟方法，针对具有宽范围直径的囊泡的这比之前最先进的模拟囊泡数据集明显更先进• 浅层剩余注意力网络用于从大的运动编码纳米图像（每个囊泡的数十万像素）学习相对小的信息内容（运动模式的类型）。我们表明，我们的方法在心肌细胞（成心肌细胞）囊泡的真实显微镜视频上提供了比最先进的时空CV方法更好的结果。我们证明，运动模式可以分析，并有意义的分析，可以得出使用我们的方法。这种分析和相应的数据集是对CV家族的第一次贡献，用于显微镜相关的研究问题。2. 相关工作我们注意到两个独立的相关工作机构。第一个与显微镜社区有关，该社区越来越多地采用CV来执行各种任务。第二个涉及CV中的类似问题，其中学习了各个实体的运动模式。我们还讨论了我们的方法如何弥合它们之间的差距。显微镜检查中的CV：显微镜和计算硬件的进步正在扩大活细胞图像分析的可能性，这对生物学研究具有重要意义。深度神经网络[50，55]用于跟踪细胞或模拟粒子。基于检测的跟踪[49]和特征跟踪[36，40]成功应用于细胞迁移分析[26]。对于大于显微镜分辨率的囊泡，已使用单颗粒跟踪进行囊泡的跟踪和活性分析[8，38，45，51]。Zhao等人[58]提出了通过跟踪分析溶酶体（一种囊泡）当粒子连续移动并且信噪比（SNR）很高时，特征跟踪工作得很当被跟踪的对象比显微镜分辨率大几倍时，基于检测的跟踪执行得很在我们的问题中，这两个条件都不满足。递归神经网络已被用于对时空事件进行分类[34]。光学光流引导事件检测已应用于活细胞分析[10]。这些方法从活细胞的显微镜视频中反映出关于时间活性分析的有希望的结果。然而，它们固有地假设结构和运动模式大于显微镜分辨率。计算机视觉中的运动模式分析：用于理解人群模式[39]、监控交通[46]和事件检测[18]的视频分析越来越流行。它们分别相当于集体运动模式分析[58]、单粒子跟踪[38，45]和相互作用检测[51]。Alexander等人[3]介绍了一种用于3D速度测量的计算传感器，其使用由空间和时间图像导数组成的每像素线性约束。然而，当必须研究存在显著噪声的亚分辨率纳米级运动模式时，挑战是不同的。最近，已经提出了微运动分析[6，13]，以从肉眼无法观察到的视频中提取小运动。该方法已应用于微表情的提取[24]。我们发现，这些方法是敏感的噪声，因此在我们的问题中的适用性有限。Kim等人。[22]提出了一种使用模拟数据进行训练的人车活动分类方法。这类似于我们基于物理的模拟训练方法。巴拉德尔等[4]提出了一个框架，用于从视觉输入中对机械系统中的动力学进行因果学习。这大致类似于我们对囊泡从一种简单运动状态到另一种简单运动状态的转变的研究。通过我们的工作弥补的差距：识别纳米级运动模式的主要挑战是通过选择一种保持运动的纳米显微镜算法来解决的，即多信号分类算法（MUSICAL）[1]，用于执行活细胞成像的光学和数字超分辨率。通过这一点，我们引入了活细胞兼容的纳米显微镜算法[1，9，12，42]作为纳米尺度CV的有价值工具虽然使用神经网络分析纳米图像可能有助于各种生物实验，但最先进的深度学习技术的应用，14016图2.拟议框架概览。比例尺：水平5 μm，垂直500 nm。F表示帧号。用于纳米图像分析的方法是有限的。我们认为，这是由于1）注释的大型数据集的可用性有限在我们的案例中，第一个问题是通过采用严格的基于物理的模拟框架来解决的，该框架模拟了动态细胞器和实验中存在的噪声。基于物理的模拟的所有详细信息均包含在补充资料中。对于生物学中的问题，实验数据的基础真理几乎是不可能的，这种方法将是必不可少的去验证CV解决方案。如果能够开发出足够详细的基于物理学的模拟框架，这种方法也将在天文学、地质学和气候第二个问题是通过使用一个浅的剩余at-tension网络解决。在基于CV的最先进深度模型中利用的特征，即纹理、边缘和颜色，在显微镜数据中缺失此外，强度的动态范围是相当小的显微镜图像和噪声是可比的信号。显微镜图像只包含少数主要以强度变化编码的特征。由于这些原因，我们预计浅层网络的性能比深层模型更好。这介绍了一个有价值的CV工具，显微镜社区，目前严重依赖于目视检查。3. 方法所提出的方法如图所示。二、它由四个模块组成：（1）用于创建训练数据集的基于物理的模拟我们接下来讨论每个模块。3.1. 基于物理的模拟我们的模拟流程图如图所示。第3（a）段。我们首先模拟一个标记有几个荧光分子的囊泡。模拟囊泡的直径在[150， 400] nm范围内。荧光分子被随机地放置在囊泡的体积内。的使用[1]的光动力学模型模拟每个分子发射的光子数作者提供的代码它包括闪烁、漂白和荧光分子的非辐射能量耗散[9]。据报道，囊泡可能在有限的空间中表现出随机运动[2]，定向的类抛物线运动[7]，圆周运动[32]，有时它们在与其他细胞器相互作用期间变得静止[14]。受生物学证据的启发，我们在2D中模拟了五种类型的囊泡运动模式（也称为运动状态），如下所述• 圆周运动（Circ）：囊泡沿着一个虚拟圆的外围移动，随机选择中心，ter，radius，and velocity.圆的半径和囊泡的速度分别在[200， 500] nm/帧和[0， 500] nm/帧• 圆内随机行走（RCir）：囊泡在圆形区域内的随机位置。圆的半径从范围[200， 400]nm中随机选择。• 流动（流动）：囊泡沿着一条带有孔的路径移动恒定速度首先，生成随机曲线接下来，囊泡沿着曲线以从[0， 1000] nm/帧范围内随机选择的速度运输。• 随机游走（RanW）：在随机游走过程中，囊泡可以以相等的概率向任何方向移动对于每个移动，从范围（0，1000] nm/帧中随机选择速度。• Stationary（Stat）：囊泡保持静止。14017图3.基于物理的仿真框架。(a)该图及其使用直径为200 nm的囊泡的示例进行的说明。（b）对所选运动模式的几个随机选择的例子进行视觉比较比例尺：500 nm。图4.MUSICAL使用本征图像保留图像中的时空特征我们注意到，我们的运动模式库并不是穷举的。它是可扩展的，以包括其他模式在未来。在形成所有时间点的所有荧光分子的坐标列表后，我们通过使用与分子、显微镜和成像条件相关的光学参数模拟点扩散函数（PSF）[31]来然后，相机的噪声特性被并入[44]。所有的细节都包括在备忘录中。我们在图1所示的框图下面显示了一个模拟的例子。第3（a）段。我们还举例说明了使用MUSI-CAL重建的模拟运动模式的例子，与图1中实验活细胞数据的类似重建相比。3（b）款。3.2. 音乐MUSICAL [1]的功能分为两部分，即本征图像和识别纳米级图案。Spatio-temporal features ineigenimages: For small optical windows (size given bythe span of the micro- scope PSF), MUSICALcomputes eigenimages from the microscopy video.特征像将时空信息从最一致的到最随机的排序.具有最大特征值的前几个特征图像对应于囊泡运动模式（跨越信号子空间），其余的对应于噪声模式（跨越噪声子空间），见图。4.第一章纳米级图案识别：即使两个点分开的距离低于光学和数字分辨率，这些点处的PSF也彼此略有不同。因此，它们在信号子空间和噪声子空间上的投影是不同的。准确地说，在样本空间中的一个点上，如果满足两个条件，则PSF在噪声子空间中的每个单特征图像上的投影为零。首先，信号和噪声子空间的分离是鲁棒的。第二，在视频中，一个荧光分子曾经从那个位置发射过荧光光子。噪声子空间上的零投影的条件在甚至稍微 远离这样的位 置的点处被违反 。在MU-SICAL中，这种特性在数学上得到了增强，以重建具有明显纳米尺度特征的纳米图像.3.3. 时空感兴趣区域检测这一步骤包括两个任务-检测囊泡和跨帧连接检测（图1）。（五）。囊泡检测：定位纳米显微镜[41]可以通过在显微镜图像中拟合高斯函数来定位单个荧光分子。这只有在荧光发射中的极端时空稀疏性被强制执行时才是可能的，而这在对活细胞成像时是不可能的尽管如此，囊泡的近似球形几何形状意味着它们的图像也可以粗略地近似为高斯函数。因此，我们在非常规设置中使用定位纳米显微镜来检测显微镜视频中的囊泡。我们已经使用了快速PALM [17]实现这个目的.链接检测并创建子ROI：检测到的囊泡使用匈牙利方法和卡尔曼滤波器[5]连接以构建其轨迹。假设给定的活细胞序列包含n个轨道，如下：{T1，T2，...，Tn}。每个轨迹由囊泡随时间的一系列位置来定义，即{p1，p2，...，pm}，其中pi=（xi，yi）。对于每个轨道，创建一组顺序的非重叠子ROI，使得每个子ROI包含K个子ROI。粒子的连续位置。使用子ROI背后的关键思想是每个子ROI可能包含一个简单的运动模式，可能在Circ、RCir、Flow、14018图5.使用基于定位的跟踪的ROI检测。图6.浅层剩余注意力网络的架构RanW和Stat。可以针对所选择的生物细胞类型和图像采集速率来选择数量Kmax，或者可以设计更复杂的自动子ROI选择，这超出了当前工作的范围。我们选择K=200。3.4. 运动分类网络深度的选择取决于任务、图像特征和类别变化。由于无法获得大型显微镜和纳米镜数据集以及与真实世界RGB图像相比活细胞图像中的特征较少，因此使用浅层网络[11，15，33我们已经观察到最先进的深 度 神 经 网 络 ， 如 深 度 CNN [23] ， VGG16 [56] ，Inception [52]和ResNet50 [16]在我们的数据集中表现不佳（结果见第4节）。此外，使用预训练模型并没有显著提高分类准确性。我们发现相对较浅的网络，如3层MLP，浅CNN [28]和ResNet20在我们的数据上表现更好。这些观察启发我们设计了一个用于运动模式分类的浅层网络。在过去的几年里，使用层之间的剩余连接已经证明了它能够提高几个计算机视觉任务的准确性[16]。另一方面，受人类感知启发的基于注意力的神经网络已经在各种计算机视觉任务中变得流行他们采用注意力机制[53]来识别和突出学习过程中的有用特征最近，剩余注意力机制[47]在某些计算机视觉任务中表现出最先进或相当的准确性[20，30，57]，也为我们提供了灵感浅层剩余注意力网络：我们将剩余和注意力机制的概念与浅层剩余注意力网络相结合。低 神 经 网 络 提 出 了 一 种 浅 层 剩 余 衰 减 网 络（SRAN）。网络架构如图所示。六、它由一组初始预处理层组成，包括残差预处理块、atten- tion模块和连接到分类层的门控残差后处理块。注意力模块还包括残余注意力块（也称为主干分支）和软掩码分支。主干分支有一个下采样和上采样单元，分别用于自上而下和自下而上的注意力机制[47]。软掩码分支是残差块的一种形式。的主干和软掩模分支的输出相结合，使用一个类似于长期短期记忆控制门。注意力模块通过分别在主干分支和软掩模分支中学习的剩余注意力特征和软掩模之间应用点积来抑制噪声并突出重要信息。补充资料中提供了SRAN的详细信息4. 实验结果4.1. 数据集为了评估所提出的方法的有效性，我们使用下面描述的两个数据集。我们在我们的项目页面1中公开了数据集和补充信息以供研究之用。模拟数据集：该数据集用于分类器的训练和评估。它包含3000个数据样本，每种类型的运动模式。每个数据样本是一个200帧的小视频，对应于显示单一运动模式的单个囊泡的25×25像素的模拟显微镜图像。用于模拟的光学和相机参数基于用于创建活细胞数据集的实验设置的选择模拟噪声，使得信噪比类似于活细胞数据集中的视频。活细胞数据集：将成心肌细胞（心肌细胞）分成3个不同的池，并使用活细胞友好的荧光染料进行标记。这些游泳池是：·正常：这些细胞保持在正常细胞培养条件下。• 缺氧：这些细胞缺氧（缺氧）1小时。·缺氧ADM：这些细胞像上述细胞一样经受缺氧，但在缺氧环境中，同时用肾上腺髓质素（ADM）治疗。发现这种激素在心肌梗死（心脏骤停）等病理条件下表现出保护功能。对于每个池，10个视频，每个视频2000帧，1024帧使用GE DeltaVision Elite荧光显微镜成像×1024像素补充资料中提供了其他实验细节我们数了一下在每个池中成像的细胞中的囊泡这些1https://nonoscalemotion.github.io/14019表1.活细胞数据集上不同方法的多目标跟踪精度[19条件特征跟踪[40]深追踪[49]提出正常0.480.690.91缺氧0.390.620.93低氧ADM0.410.680.87表2.使用各种输入特征的不同神经网络的分类精度格式：确认/测试方法原始图像高准光流RNN [29]0.29/0.260.26/0.240.32/0.21BLSTM [25]0.32/0.210.27/0.180.36/0.24Con3D [54]0.28/0.260.22/0.220.46/0.39图7. Circ状态下囊泡的特征表示使用不同的运动分类方法。在（d）中，每种颜色表示不同方向的象限。比例尺：500nm。正常组3283个，缺氧组3186个，缺氧ADM组2980个。因此，我们对总共9449个囊泡的实验数据进行了活性分析。每个囊泡的子ROI的运动模式被手动注释，以通过视觉检查原始图像序列和使用MUSICAL重建的纳米图像来生成地面实况。活细胞数据集是指所有数据，但第4.5节和第4.4节除外，其中列出了合并液特异性结果。4.2. 囊泡定位和跟踪我们尝试了特征跟踪[40]，基于深度学习的跟踪[43]和提出的基于定位的跟踪。在基于深度学习的跟踪中，神经网络使用模拟数据集进行训练，并在活细胞数据集上进行测试。 我们使用多目标跟踪准确度（MOTA）[19]度量和手动生成的地面实况评估了跟踪性能，结果见表1。基于特征的跟踪方法无法区分特征和噪声，因此无法跟踪。基于深度学习的跟踪方法也由于噪声和囊泡的微小尺寸而表现不佳。4.3. 运动分类我们使用各种时空特征和学习方法进行了不同的实验。我们尝试使用原始图像序列、微运动放大序列[13]、光学流和在建议的ROI检测方法中构建的轨迹作为分类的输入。图7描绘了针对处于Circ状态的囊泡提取的不同特征的视觉比较。从图中可以看出。根据图7，肉眼无法从原始图像序列或微动放大序列（例如，在柔性视频中）检测到Circ图案。与原始图像序列相比，微动放大序列包含更大的噪声。由于原始数据中的高噪声水平，光学湍流跨越更大的区域，因此无法检测纳米级运动。定位纳米显微镜可以检测囊泡，但不能准确提取囊泡在纳米尺度上的运动轨迹. 我们使用LSTM（基线）和deep CNN [48]使用检测到的轨迹作为输入，并发现（验证/测试）的准确性为（0. 38比0 29）和（0. 40/035）分别用于LSTM和深度CNN对于其他特征，即原始图像序列、微运动放大序列和光学流，我们使用不同的基线学习算法进行了实验。对于所有的实验，模拟数据集用于训练和验证。使用五重交叉验证。活细胞数据集用于测试。所有基线方法的参数设置与原始实现类似。我们已经包括了提前停止和数据扩充，并验证了不存在过度拟合（有关训练细节、超参数和超参数研究，请参见补充说明）。分类准确度见表2。结果表明，这些特征不适合于纳米级运动的分类。接下来，我们进行实验，以使用MU-SICAL获得的纳米图像作为输入来对运动模式进行分类。SRAN使用类似的权重初始化方法和[47]中报告的残差块进行训练和测试 我们使用了两阶段注意力阻滞（与 [47]中报告的3阶段注意力阻滞）;培训详情见补充资料。它花了35个时期来稳定学习（见图1）。（八）。在基线方法的情况下，我们保持大部分设置与原始实现相同。结果总结于表3中。据观察，大多数浅层网络与深层网络的通信性能更好，SRAN的性能最好。图8给出了深度剩余注意力网络（DRAN）和SRAN的比较历元与准确度和损失。可以看出，SRAN稳定和收敛得更快，比深层次的损失更低失效案例：图9描绘了活细胞数据集的SRAN的混淆矩阵。虽然每个类别的准确率都超过70%，但我们还是做了一些改进-14020表3.使用纳米图像的不同方法的分类准确性。格式：确认/测试方法预训练精度[23]第二十三话ImageNet0.32/0.29[23]第二十三话-0.36/0.31VGG 16 [56]ImageNet0.42/0.33VGG 16 [56]-0.33/0.33注意力模型[53]-0.71/0.56[28]第二十八话-0.82/0.63ResNet50 [16]-0.71/0.69ResNet20 [16]-0.82/0.74贝叶斯优化（BaysianOptimization）[37]-0.72/0.68[52]第五十二话ImageNet0.46/0.36[52]第五十二话-0.43/0.29[47]第四十七话-0.85/0.78建议的SRAN-0.89/0.82图8.DRAN和SRAN的精度损失曲线有趣的观察错误分类通常是在涉及纳米级随机性的类别中，因此两种随机模式可能有显著重叠。在其他情况下，由于纳米级重建中的噪声而产生的伪影可能容易与等效的纳米级随机运动模式混淆。在其他情况下，存在的一个以上囊泡可能存在于附近，导致在单个ROI中的多个运动重建。图10显示了与上述各点相关的一些故障情况。4.4. 分析事件我们分析了运动模式的频率和运动模式的变化（即，活细胞数据集中的事件）。图11（a）示出了正常、缺氧和缺氧ADM池中的运动状态的统计。在它们之间观察到明显的分界，除了Statmotion状态。在这里，我们看到在缺氧的情况下囊泡是最不稳定的。潜在地，添加ADM使囊泡在这种状态下的发生恢复到正常池。图9.使用SRAN的活细胞数据集上的混淆矩阵。图10.失败案例示例。D：检出，O：地面真相我们还注意到，任何池中的大多数囊泡都处于RanW状态。图11（b）显示了正常、缺氧和缺氧ADM池中运动状态变化的统计学。 特别值得注意的是绿色背景的正方形。这表明ADM可能改变了缺氧引起的趋势。例如，与正常样本池相比，缺氧样本池显示出从Circ和Flow到RanW状态的转换次数更多。但是，缺氧ADM表现出减少的数量这样的转换。其他类似的行为可能表明ADM的一些潜在作用机制。值得注意的是，这些结果从生物学角度来看并不是结论性的，因为这些实验旨在为所提出的框架提供初始测试数据集。严格的生物学研究需要进一步的生物学和环境控制、特定假设的实验设计和大规模实验。我们进一步表明，我们的分析可能表明两个亚细胞结构的相互作用的纳米级性质。例如图12、绿色低分辨率结构是线粒体。一个囊泡向它移动并与它相互作用。这在显微镜视频中可见，包括在补充资料中。然而，相互作用的纳米级细节是未知的。图12（a）中呈现了我们的框架的结果，每个子ROI具有200个框架交互包含在子ROI 2中，其被分类为RCir。然后，我们使用所提出的框架，每个子ROI只有50帧。这一结果，在图。图12（b）指示子ROI 5-8包含帧间ROI。14021图11.分析运动模式及其变化。箱形图的端点：正常（绿色）、缺氧（蓝色）和缺氧- aADM（红色）。每个正方形中的数字表示该正方形的最大值和最小值。(a)运动模式的出现频率（特定运动状态下的子ROI的比率到池中的子ROI的总数）。 (b)呈现初始和后续运动状态的特定组合的召唤运动状态对的数目与召唤运动状态对的总数的比率。在（b）中，具有绿色背景的正方形表示与正常和缺氧池之间的变化趋势相比，缺氧ADM的趋势逆转。行动上其中，子ROI 5-7被分类为Stat，并在三个不同的位置处生成纳米光点（参见白色图案下方的洋红色、青色和蓝色光点），而子ROI 8被分类为Circ。这表明，囊泡可能已经花了一段时间在不同的位置（跳跃动作），在接近它的圆周运动（自旋动作）之前，在不同的位置（跳跃动作）。这样的分析将打开了解详细的相互作用机制的可能性。5. 讨论和结论我们报告了第一个框架和重要的一步，以研究活生物细胞和细胞系统中囊泡的运动和相互作用，具有亚分辨率纳米级细节。我们的方法表明了混合学习方法的实用性，该方法结合了非CV ap，图12.囊泡（使用MUSICAL以除绿色之外的颜色获得的纳米显微镜图像）与另一个亚细胞结构即微泡（绿色显微镜图像）的相互作用的示例以及选择不同时间尺寸的子ROI的效果在（a）中，子ROI 1和2分别被分类为Flow和RCir在（b）中，子ROI 1-4被分类为Flow，子ROI 5-7被分类为Stat，子ROI 8被分类为Circ。比例尺：500nm。采用传统CV方法来执行具有挑战性的任务，由于显微镜数据的性质和物理特性，这些任务具有特定的限制。我们的工作还强调了浅层学习网络在某些任务中的表现可能优于深度学习网络，其中特征稀疏性是数据的重要特征。我们设想至少有三个未来的发展方向的分析框架。首先，模拟框架可以扩展到3D，以结合显微镜的焦外光和有限的焦深。第二，可以在该框架中并入更多变化的运动模式，或者可以针对不同的亚细胞和细胞间结构学习自定义运动状态。第三，可以形成运动状态的完整序列以识别感兴趣的特定事件。这些事件与其他亚细胞结构活动的相关性可用于识别和更好地理解生物相互作用。我们的框架可以适应不同的时间尺度（如图所示）。12）用于提取不同层次的运动细节。在这个意义上，该框架很容易适应不同的成像条件。在未来，这个框架的显微镜图像和视频从各种各样的显微镜和生物问题的亚分辨率分析的适用性将被探讨。确认确 认 以 下 资 金 ： ERC 启 动 补 助 金 804233（Agarwal）、挪威研究委员会Nano2021补助金288565（Ahluwalia）、挪威北部地区卫生局补助金HNF1449-19（Myrmel和Birgisdotiir）、UiT战略资助计划（Sekh）和UiT的TematiskeSatsinger补助金（所有作者）。所有数据和代码可在https：//www.example.com上获得nonoscalemotion.github.io/。14022引用[1] K. 阿加瓦尔河Macháregon。用于超分辨率荧光显微镜的 多 信 号 分 类 Nature Communications ， 7 ： 13752 ，2016。二、三、四[2] H. Al-Obaidi，B. Nasseri和A. T.佛罗伦萨脂质囊泡内微粒的动力学：在封闭空间中的移动。Journal of DrugTargeting，18（10）：8213[3] E. Alexander，Q. Guo，S. Koppal，S. Gortler和T. 齐克勒聚焦流：用散焦和散焦运动测量距离和速度。欧洲计算机视觉会议，第667-682页2[4] F. Baradel，N.Neverova ，J.Mille，G.Mori和C. 狼CO-PHY：物理动力学的反事实学习。arXiv预印本arXiv：1909.12000，2019。2[5] A. Bewley，Z.盖湖，加-地Ott、F. Ramos和B.厄普克罗夫 特 简 单 的 在线 和 实 时 跟 踪 。 在IEEE InternationalConference on Image Processing，第34644[6] S. Bharadwaj，T.I. Dhamecha，M.Vatsa和R.辛格. 具有运动放大功能的计算高效人脸欺骗检测。在IEEE计算机视觉和模式识别研讨会上，第1052[7] B. Cabukusta和J. Neefjes。溶酶体定位和移动的机制。Tra Bocc，19（10）：7613[8] N.舍努阿尔岛Smal，F.德肖蒙山马什卡岛F. Sbalzarini，Y. Gong，J. Cardinale，C. Carthel，S. 科拉鲁皮，M. winter 等 人 粒 子 跟 踪 方 法 的 客 观 比 较 。 Naturemethods，11（3）：281，2014. 2[9]S.考克斯，E.作者：J. 约万诺维奇-塔利斯曼D. T. Burnette，J. Lippincott-Schwartz，G. E. 琼斯和R.海因茨曼贝叶斯定位显微镜揭示了纳米级的podosome动力学。Nature Methods，9（2）：195，2012. 二、三[10] A.齐罗克湾G. Isai，E. Kosa，S. Rajasingh，W. 金赛Z. Neufeld和J. Rajasingh心肌细胞收缩力的基于光学层析的无创分析。科学报告，7（1）：10404，2017。2[11] M. R.德苏萨河Ruschel，A. Susin，J. M. Boeira, L. V.Guidelines和A.帕拉加使用人工神经网络自动识别显微图像上细胞损伤的框架。在医学和生物学社会工程国际会议上，第636-639页，2018年。5[12] T.德廷格河Colyer，G.伊耶，S。Weiss和J.安德莱因快速、无背景、3D超分辨率光学波动成像（sofi）。Proceedings of the National Academy of Sciences ， 106（52）：22287-22292，2009. 2[13] M. Elgharib，M. Hefeeda，F. Durand和W. T.弗里曼。存在大运动时的视频放大。 在IEEE计算机视觉和模式识别会议上，第4119-4127页，2015年。二、六[14] Y.汉，M。Li，F. Qiu，M.张，和Y.- H.张某用于活细胞长期超分辨率成像的细胞可渗透有机荧光探针揭示了溶酶 体 - 溶 酶 体 相 互 作 用 。 Nature Communications ， 8（1）：1307，2017。3[15] E. A. Hay和R.帕塔萨拉西卷积神经网络用于细菌识别在3D显微镜数据集中。PLoS Computational Biology，14（12）：e1006628，2018。5[16] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习在IEEE计算机视觉和模式识别会议上，第770五、七[17] R. 恩 里 克 斯 Lelek ， E.F. Fornasiero ， F. 瓦 尔 托 塔 角Zimmer和M. M.姆兰加Quickpalm：ImageJ中的3D实时光激活纳米图像处理。Nature Methods，7（5）：339，2010. 4[18] R. T.约内斯库F. S.汗，M.- I. Georgescu和L.邵以对象为中心的自动编码器和虚拟异常，用于视频中的异常事件检测。在IEEE计算机视觉和模式识别会议论文集，第7842-7851页，2019年。2[19]R. Kasturi，D. Goldgof，P.松达拉拉詹河谷马诺哈尔，加罗福洛河 鲍尔斯M. 布恩斯特拉河谷Korzhova，以及张杰。视频中人脸、文本和车辆检测和跟踪的性能评估框 架 ： 数 据 、 计 量 和 方 案 。 IEEE Transactions onPattern Analysis and Machine Intelligence，31（2）：319-336，2008。6[20] J. - H. 金，S.-W. Lee，D.Kwak，M.-O. Heo，J.金，J. -W. 哈，B。- T.张某用于视觉QA的多模态残差学习。神经信息处理系统的进展，第361-369页，2016年5[21] S.金，Y。Sato，P. S.莫汉角，澳-地PeterhoZiang，A.养老金，A. Rigoglioso，Y. Jiang，和R. A.尼克松rab 5受体appl 1介导app-β ctf诱导的唐氏综合征和阿尔茨海默病内体功能障碍的证据。Molecular Psychiatry，21（5）：707，2016. 1[22] T. S. 金，M。Peven，W.Qiu，秋海棠A.Yuille和G.D. 海格使用虚幻引擎合成属性，用于细粒度活动分析。在IEEEWinterApplicationsofComputerVisionWorkshops，第35-37页2[23] A.克里热夫斯基岛Sutskever和G. E.辛顿使用深度卷积神经网络进行Imagenet分类。在神经信息处理系统的进展，第1097-1105页，2012年。五、七[24] X. Li，X. Hong、A. Moilanen，X. Huang，T. Pfister，G.Zhao和M. Pietikäinen。阅读隐藏的情绪：自发性微表情定位与识别方法的比较研究。IEEE Transactions on ARecognitive Computing，9（4）：563-577，2017。2[25] Y. Mao和Z.尹双流双向长短期记忆用于有丝分裂事件检测和相差显微镜图像中的阶段定位。在医学图像计算和计算机辅助干预国际会议上，第56-64页，2017年。6[26] P. Masuzzo，M.范特罗伊角Ampe和L.马丁。计算单元迁移中的运动目标跟踪细胞生物学趋势，26（2）：88-110，2016年。2[27] J. M. McDonald和D.克兰溶酶体蛋白作为神经退行性变的治疗靶点。医学年鉴，68：445-458，2017。1[28] M. D. McDonnell和T.弗拉杜西奇使用快速学习的浅层卷积 神 经 网 络 增 强 图 像 分 类 。 IEEEInternational JointConference on Neural Networks ， 第 1-7 页 ， 2015 年 。五、七14023[29] A. Montes，A.Salvador，S.Pascual和X.吉罗·涅托用递归神经网络检测未修剪视频中的孢子活动。arXiv预印本arXiv：1608.08128，2016。6[30] H. Noh，S. Hong和B.韩用于语义分割的学习反卷积网络在IEEE International Conference on Computer Vision，第15205[31] L. Novotny和B.赫克特纳米光学原理剑桥大学出版社，2012年。4[32] N.冈部湾Xu和R. D.伯丁水囊的流体动力学。发展动态：美国解剖学家协会的官方出版物，237（12）：3602-3612，2008。3[33] T. Pärnamaa和L.零件.使用深度学习从高通量显微镜图像中准确分类蛋白质亚细胞定位。G3：基因，基因组，遗传学，7（5）：1385-1392，2017。5[34] H. T. H. Phan，A.库马尔，D. Feng，M. Fulham和J. Kim.使用时空模式进行细胞事件检测和分类的无监督双路径神经网络。IEEE Transactions on Medical Imaging，38（6）：14772[35] N. Plotegher和M. R.杜晨溶酶体贮积症中的线粒体功能障碍和神经变性分子医学趋势，23（2）：116-134，2017。1[36] I. F. Sbalzarini和P. Koumoutsakos。细胞生物学中视频成像的特征点跟踪和轨迹分析Journal of Structural Biology，151（2）：182-195，2005. 2[37] B. Shahriari，A. Bouchard-Schmidté，和N.弗雷塔斯通过正则化的无界边界优化。在人工智能和统计，第1168-1176页，2016年。7[38] H.申湖，澳-地陶津河白雅斯湾Wang，N. Moringo，B. Shuang和C. F.兰德斯 单粒子跟踪：从理论到生物物理应用。化学评论，117（11）：7331-7376，2017。2[39] Z. 沈，Y.徐湾，澳-地Ni，M.Wang，J.Hu和X.杨通过对抗性跨尺度一致性追求的人群计数。在IEEE计算机视觉和模式识别会议上，第5245-5254页，2018年。2[40] S. N. Sinha，J.M. 弗拉姆山Pollefeys和Y.Genc. 使用可编程图形硬件的视频特征跟踪与匹配。Machine Vision andApplications，22（1）：207- 217，2011. 二、六[41] A. R. Small and R.帕塔萨拉西超分辨定位方法。物理化学年鉴，65：1074[42] O. Solomon ， Y. C. 埃 尔 达 湾 Mutza fi 和 M. 塞 格 夫Sparcom：基于稀疏性的超分辨相关显微术。SIAMJournal on Imaging Sciences，12（