钙成像数据分析中的图像对齐算法REALS及其改进

1939通过同时低秩和稀疏分解实现JunmoCho1*，Seungjae Han1*，Eun-SeoCho1，Kijung Shin1，2，Young-GyuYoon1，31KAIST电气工程学院2韩国科学技术院金在哲人工智能研究生院3韩国科学技术院健康科学技术研究所大田{junmokane，jay0118，eunseo.cho，kijungs，ygyoon} @ kaist.ac.kr摘要钙成像数据的精确对齐对于神经元活动信号的提取至关重要，但图像噪声和神经元活动本身往往会阻碍钙成像数据的准确对齐。为了解决这个问题，我们提出了一个算法名为REALS的鲁棒性和有效的批量图像对齐，通过同时变换和低秩和稀疏分解。REALS是建立在我们发现的低秩子空间可以通过线性投影恢复，这使我们能够执行同步图像对齐和分解与梯度为基础的更新。与最先进的鲁棒图像对齐算法相比，REALS在精度和速度方面实现了数量级的改进。1. 介绍由于遗传编码的钙指示剂[9，10，33，43]和荧光显微镜技术的最新进展，钙成像已经能够同时记录体内大量神经元的活性niques [1，6，11，29，39]. 最先进的钙成像方法允许以每秒数千帧的速度采集数据[34]，相当于每秒千兆字节的数据[15]。如此大量的数据不仅为系统神经科学提供了令人兴奋的机会，也为数据分析带来了新的挑战[15]。用于处理大规模钙成像数据的一般流水线通常从运动校正或图像对齐开始[13]，这对于从遭受大脑运动的钙成像数据集中准确提取尖峰活动不幸的是，神经元活动本身--*同等贡献我们对图像的兴趣使得即使对准良好的图像也彼此显著不同[20]，这对准确的图像对准提出了挑战。这表明需要考虑图像的底层结构而不是仅仅依赖于像素级信息来进行对准。为了解决这个问题，已经有多种尝试采用稳健的图像对齐算法，例如稀疏和低秩分解稳健对齐（RASL）[26]，其目的是对齐一组显著不同的图像，用于钙成像数据的对齐[2，14，28]。RASL将具有低秩和稀疏分解的图像对齐[7]统一为单个优化问题。通过低秩稀疏分解，图像中的各种噪声、遮挡等污染被稀疏分量吸收，从而使低秩分量的配准不受它们的影响。这为钙成像数据的精确对齐提供了可能性。不幸的是，鲁棒对齐算法的采用主要由于其高计算成本而被限制于处理相对小尺寸的数据集代价主要来自奇异值分解，其计算复杂度为O（nm2+其中n和m是沿着两个di的数据的大小。月经也就是说，m是每个图像中的像素数而N是典型配置中的图像数量。这表明计算成本随着数据大小的增加而迅速增加。为了克服这一局限性，我们提出了鲁棒和有效的对齐，通过同时低秩和稀疏分解（REALS）的快速和鲁棒的图像对齐。我们工作的主要贡献如下：• 我们提供了一个数学证明，REALS的基础上，低秩子空间可以通过线性投影恢复1940i=1我×∈∈∈∈L、SL、S|| |||| |||| |||| ||◦|···|◦|| ||≤|···||···|i=1联系我们--• 我们提出了一个强大的图像对齐算法RE- ALS的 计 算 复 杂 度 为 O （ nm ） ， 而 不 是 O（nm2+n2m）的现有方法。τi（Ii）是 没有误差的对准图像的集合，下面的矩阵L应该是近似低秩的：L=[v（I0）]|···|v（I0）]∈Rm×n（3）1N• 我们提出了两个扩展版本的REALS，多-分辨率REALS和可变形REALS，其在挑战条件下实现甚至更高的对准精度。我们通过将其应用于体内，钙成像数据集，需要鲁棒性，其中I0=τi（Ii）si，v：Rw×hRm（m=表示图像的矢量化。基于此通过推理，图像对准问题被公式化为以下优化问题：最小秩（L）受τ（Y）=L+S，||S||0≤k能力和计算效率。L、S、τ（四）2. 相关作品2.1. 低秩稀疏分解Cand e`s等。[7]提出了鲁棒主元分析（RPCA），它假定数据矩阵Y是从一个低秩子空间中近似提取的，对给定的数据矩阵Y R m × n，恢复一个低秩矩阵LRm×n和一个稀疏矩阵SRm×n，使得Y=L+S。这是基于以下优化问题：最小秩（L）+ λ||S||0受Y=L+S（1）其中S0是S的L0范数，λ>0是超参数.虽然（1）是已知的计算上难以处理，伊曼纽尔等人。[7]和Wrightet al. [35]证明了（1）的精确解可以在弱假设下通过以下凸优化获得：min||L||*+ λ||S||1个 服从Y=L+S（2）其中L 是核范数（即，L和S1的奇异值之和是S的L1范数。这个公式引发了一系列求解（2）[7，8，35]和各种优化算法的发展。为了减少计算时间，采用了迭代方法[23，24，44，45]。此外，还引入了基于随机优化的RPCA在线版本，以降低内存成本[12，16，17，37]。最近，Han et al. [15]提出了一种有效逼近RPCA的算法。2.2. 鲁棒图像对齐Peng等[26]将批量图像对齐问题公式化如下：假设我们有n个未对齐和损坏的图像 I1， I2，. . .，InRw×h。假设损坏通常只影响图像中所有像素的一小部分，因此它们可以被建模为稀疏矩阵，其非零项可以具有任意值。让si表示图像i中出现的误差。然后，存在变换（例如，仿射变换其中Y=[v（11）]v（In）]，S=[v（s1）v（sn）]，且τ（Y）=[v（I1τ1）]v（Inτn）]。这个问题的拉格朗日形式如下：最小秩（L）+γ S0受τ（Y）=L+S（5）L、S、τ其中γ>0是超参数。为了处理约束τ（Y）=L+S的非线性，Peng et al.”[26]《易经》云：“君子之道，焉可诬也？τ的租金估计，以便可以使用增广拉格朗日乘子方法有效地解决线性化凸优化问题[23]。他们将目标（5）放宽到其凸替代，并通过假设τ的变化很小，将非线性约束τ（Y）=L+SZhang等人[41]将（5）中的问题推广到低秩张量恢复框架以利用图像中的空间结构他们最小化张量秩，定义为一组展开矩阵的秩，通过对给定张量应用Tucker分解[21]在两个[26，41]中解决优化问题的成本主要来自SVD，其计算复杂度为O（nm2+n2m）。t-GRASTA（transformed GRASTA）[18]是基于GRASTA[17]，这是一种低秩子空间估计算法，通过对格拉斯曼进行梯度下降，将低秩矩阵表示为两个矩阵的乘积。t-GRASTA的计算复杂度为O（n2m）[16]。3. 该方法3.1. 通过同时低秩和稀疏分解实现在[26]的基础上，我们将鲁棒图像对齐问题公式化如下：minS1受τ（Y）=L+S，秩（L）中文（简体）L、S、τ其通过替换（5）中的秩最小化而获得：tion）τ1，. . . ，τn，使得图像{τi（Ii）-si}n是L上的最大秩约束，其中最大秩约束是彼此配合得很好，没有腐败。因为秩l是一个小的自然数。 然后，我们使用命题1941C我∈∈×----≤≤∈联系我们C{}C{}CC我∈使得Li=联系我们其中Li，Yi，和通过设置W=PTDT，Li=jWj。2Ki（k）2K我Si=τθ（Yi）− Wj（7）⃗k=01来找到相对于可训练参数可微分的代理。下面，（A）和<>分别表示矩阵A的列空间和点积运算。1.提案 对于给定的Y，L，S ∈ Rm×n，其中Y = L +S，若C（L）<$C（S<$）={0}则存在W∈Rm×l最佳值[5]。此外，θ和W的每个基于梯度的更新的计算复杂度仅为O（nm）：每个τθ由Y i上的线性求和运算组成[19]，其与像素数量m线性缩放，并且更新W仅需要与W的矩阵乘法Rm×l和WTRl×m [15]. 这不同于复杂度为O（nm2+n2m）[26，41]或O（n2m）[18]Wi（i=1，.，n）分别是L、Y和W的第i列。证据在不失一般性的情况下，令m>n。设一个任意的标准正交基， （L）是Lo=v1，.，维湖以来（L）（ S ）=V0 ， 则 存 在 S0=vl+1 ，.，vl+sthat跨度（S）使得v1，.，vl+s是标准正交的。注意l+sLi对于所有i，j∈{1，.，n}）。请注意，相同的我们引入了REALS的扩展版本，使用多分辨率图像金字塔，这是一个COM-假设用于（2）中的凸松弛。在这样的条件下，（6）中的优化问题等价于以下：min||S||1其中一种用于对准具有大未对准的一组大图像的Mon策略[25 ， 32] 。 对 于 一 组 图 像 Y=[v （ I1 ） ] ， |···|v（In）]，其中Ii∈Rw×h，我们生成一个im-年龄金字塔Y（k）=[v（1，（k） ）]|···|v（In，（k））]其中k∈NWHW，θΣ我我并且I∈ R×是I的下采样图像。然后，（k）J其中τθ是应用于Y的第i列的变换，使用可微图像变换[19]由θ参数化以使目标函数可微。如（7）中的宾语。 既然变形应该保持对于给定的图像，与k无关，假设平移参数是以相对比例定义的，则目标函数可以写为：这个公式背后的直觉是L是τ（Y）[7]的低秩子空间，并且可以通过τ（Y）到定义为min{W（i）}，θβk||S（k）||1（8）W的列空间。 我们注意到，在[15]受雇于找到一个替代品，但没有替代性的解释或证明。重要的是，该目标函数相对于所有优化参数是可微的，因此允许基于梯度的更新。因此，收敛到局部其中βkR+是一个超参数，它控制着如（7）中那样构造每个级别的贡献，以及来自图像金字塔Y（k）的S（k）和对应的W（k）。 由于该目标函数对于θ和W（k）是可微的，对所有的k 0，. . .，K，基于梯度的优化可以用于更新参数。现有的方法。对于每个Y（k = 0，. . . ，K），我们有一个优化的Ob-1942◦∈|| ||L3.3. 可变形实由于REALS中的优化问题是以允许反向传播的形式来制定的，因此可以通过将（7）中的变换τθ设置为参数 化 仿 射 变 换 和 可 变 形 变 换 的 复 合 函 数 （ 即 ，τθ=τθ1τθ2，其中τθ1是可变形变换，τθ2是仿射变换）。可变形变换τθ1由位移场θ 1 R w × h ×2参数化，位移场θ1R w×h×2对变换前后每个像素的相对位置进行编码[3，4]。可变形REALS的优化目标如下：图1：在标准数据集上测试REALS（顶部）输入图像。（下图）隐藏的低等级图像。minW，θ1，θ 2||1 + λ 1||θ1|| 1+ λ 2 L光滑（θ 1）||1+λ2Lsmooth(θ1) （九）其中θ11和smooth（θ1）分别是用于引入仿射变换优于可变形变换和空间平滑变形的正则化项[3]。λ1和λ2是超参数。这简化了生物医学图像的传统两步配准流水线[3]，其顺序地执行仿射和可变形变换以分别对应于生物组织的移动和变形。4. 实验和结果我 们 将 REALS 与 RASL [26]、 t-GRASTA [18] 和 lp+ADMM [41] 进 行 了 比 较 。 为 了 在 CPU 上 测 试REALS、RASL、t-GRASTA和lp+ADMM，我们使用了一台配有Intel i7- 9700 K CPU和128 GB RAM的PC作者发布的源代码是用MATLAB编写的，没有GPU加速。为了在GPU上测试REALS的性能，我们使用了一台配备Intel Xeon Silver 4214 CPU、NVIDIA GeForceRTX 3090 GPU 和 128 GB RAM 的 PC 。 REALS 使 用Pytorch实现。4.1. 在数字、窗口和Al Gore数据集上进行测试为了验证REALS，我们验证了REALS和其他算法（RASL、t-GRASTA和lp +ADMM）如何在通常用于测试稳健图像对齐算法的三个数据集上执行[18、26、30、31、36、41]。由于不存在地面实况对准图像，因此视觉上比较对准结果REALS成功-完全恢复了低等级图像（图。1）和所有方法产生定性相似的结果（图。S1）的4.2. 在斑马鱼大脑数据集上进行测试4.2.1斑马鱼幼体脑数据集为了量化性能，我们生成并使用了具有已知几何扰动的合成数据集图2：斑马鱼大脑数据集。(a)通过对斑马鱼幼体大脑进行钙成像获得的源图像。(b)具有已知几何扰动的合成图像。比例尺，100µm。从这些位置可以测量对准精度。我们首先对一条幼斑马鱼的全脑神经元活动进行包埋在凝胶中）和化学（即，暴露于麻痹剂）意味着。因此，所获取的图像的系列没有未对准，同时由于神经元活动和噪声而表现出显著的变化，如图2所示。第2段（a）分段。然后，通过欧几里德变换（即，平移和旋转）与随机但已知的参数，以构建数据集测试鲁棒对准算法（图。第2段（b）分段）。本研究进行的动物实验获得了KAIST机构动物护理和使用委员会（IACUC）的批准（KA 2021 -125）。我们注意到，所获取的图像是大脑的底层结构和具有时间依赖性时空模式的神经元活动的线性叠加，因此它们可以被建模为低秩矩阵和稀疏矩阵的 总 和[40]。获取的数据集的大小1943××nj=1i=1××- -我i=100--512（x）512（y）60（t）.有关数据集的进一步详情，请参阅补充注释1.1。4.2.2性能度量以前的工作依赖于人类注释数据来估计对准精度[18，26，36]或使用恢复的低秩矩阵中的重建误差作为对准精度的间接测量[30，31，41]，这两种方法都不适合在大规模数据集上精确评估对准精度。由于相对于其他图像很好地对准图像的多组变换最佳变换集不是唯一的），我们使用如下定义的均方误差（MSE）来评估对准精度：MSE= 1μ m||（τalignτ rand）（I）图3：显示RE的均方误差的热图nii=1我兰德我使对齐ALS、RASL、t-GRASTA和lp+ADMM。对具有不同几何等级的数据集进行了算法测试其中n-μ（{τj <$τj}j=1）（Ii）||F（10）是一组随机变换扰动（平移和旋转）。{τalign}ni i=1是一组转换，每个设置（超参数见表S1为一个比对算法，µ（{τj}n）是测试其他方法的转换其平均来自τj（j=1，. . . ，n），并且由于计算时间长。In是一组对齐的图像（参见电影S1，以获得具有多个MSE值的对齐精度的视觉评估）。4.2.3性能比较设置我 们 在 MSE 和 计 算 时 间 方 面 比 较 了 以 下 方 法 ：REALS ， RASL [26] ， t-GRASTA [18] 和 lp +ADMM[41]。 我们使用欧几里德变换的所有方法。我们运行REALS 2000次迭代，并使用110- 4和110−2分别作为W和τ的学习率。设置箝位参数以将水平和垂直方向上的最大平移限制为64像素，并将相对于图像中心的最大旋转角度限制为35°。超参数如[18，26，41]中所提出的那样设置。4.2.4平移和旋转我们首先比较了在具有不同水平的未对准的数据集上的对准算法的性能，其中图像中的神经元活动和原生噪声作为离群值。我们用欧几里得变换对输入图像进行综合扰动，从U（−θ，θ）中得出旋转的角度，其中U（a，b）de-图3显示了每种方法在具有不同水平平移和旋转的数据集上的MSE。REALS在MSE方面远远优于其他方法。从图1中的试验中测得的每种方法的平均计算时间和平均MSE。表1中总结了3种方法。与其他方法相比，REALS在速度和准确性方面都取得了一个数量级的改进（见图11）。S2表示每个实验设置下的计算时间）。此外，为了监控算法的收敛行为，我们在每次参数更新后测量带有时间戳的MSE。如图4、GPU上的REALS耗时100-1000次比RASL、t-GRASTA和lp+ADMM更短，以实现同样的MSE。CPU上的REALS算法比GPU上的慢10倍左右，但仍明显快于其他算法。作为参数更新的数量的函数的MSE在图中S3，其示出了RE-ALS在每次迭代的更便宜的复杂度之上需要更少数量的迭代用于收敛。方法时间（±标准差）均方误差79. honor 8± 2。四三。9×10−5RASL2419. 2± 46。2个2. 4×10−3第856章. 2± 78。63. 4×10−3lp +ADMM2305。8± 4395。六四3×10−3注意到a和b之间的均匀分布，x和y平移都是从U（t0，t0）得出的。对于RE-ALS，我们运行了5次独立试验，随机种子用于合成扰动，用于在表1：REALS、RASL、t-GRASTA和lp+ADMM的计算时间（单位：秒）和均1944--∈联系我们图4：REALS、RASL、t-GRASTA、lp+ADMM的均方误差与计算时间的关系。实线：（t0，θ0）=（12，8），虚线：（t0，θ0）=（18，12），虚线：（t0，θ0）=（24，16）。4.2.5其他图像损坏为了比较对齐算法对图像损坏的鲁棒性，我们向输入图像添加了泊松和高斯噪声，并测量了MSE(see影片S2用于噪声水平的视觉评估）。我们改变了泊松噪声和高斯噪声的水平，并通过平移和旋转的多种组合来扰动图像：（t0，θ0）（0，0），（6，4），（12，8），（18，12），（24，16）.添加泊松噪声的图像，我们首先规范化的输入图像，并乘以他们的亮度水平（∈泊松高斯减少方法噪声噪声低阶3. 9× 10−42. 1× 10−47. 7×10−5RASL2. 8× 10−32. 5× 10−31. 8×10−3t-GRASTA3. 1× 10−33. 0× 10−32. 7×10−3lp +ADMM3. 6× 10−33. 5× 10−33. 4×10−3表2：具有额外损坏的图像的REALS、RASL、t-GRASTA和lp+ADMM的均方误差4.2.6多分辨率REALS{33，100，333，1000，∞}），然后使用每个像素值作为（，）Input images* REALS m-REALS†参数（即，Poisson分布的平均值。在这种配置中，亮度级的物理意义对于高斯噪声，我们首先将输入图像和具有标准偏差σ∈ {0. 0，0。001，0。003，0。010 03}。此外，作为测试比对算法的鲁棒性的另一种方式，我们合成了具有减少的低秩分量的神经元活动的图像-这相当于稀疏分量的相对增加-如下所示。我们首先将BEAR[15]应用于最大值斑马鱼脑数据集Y，并获得低秩矩阵L和稀疏矩阵S。然后，我们用减少的低秩分量重建图像为Yα=αL+S，其中α0。2，0。四，零。6，0。八，一。0，然后对Yα进行随机扰动。这种α<1设置可被视为模拟未来的神经元活动成像数据，因为光学神经元活动指示器与其基线亮度相比的相对亮度变化（确定S和L的比值）一直在持续增加[42]。我们测量了具有这些广告图像损坏的数据集的MSE，结果报告在表2中（每个实验设置的MSE见图S4）。REALS优于其他方法的验证条件下，证明了其对各种形式的图像损坏的鲁棒性。t0θ0（30， 25分）0的情况。00680的情况。00130.0002（45、 30分）0的情况。00780的情况。00190.0004（60， 35分）0的情况。00820的情况。00240.0005（75， 40分）0的情况。00880的情况。00560.0019（90， 45分）0的情况。00940的情况。00770.0049表 3 ： REALS 和 多 分 辨 率 REALS 的 均 方 误 差（MSE）。* 输入图像的MSE（即，τalign是恒等变换）。†多分辨率REALS。我们在挑战性条件下测试了多分辨率RE-ALS的性能（超参数见表S2我们首先添加了对应于33的亮度水平的泊松噪声和σ = 0的高斯噪声。03、图像然后我们应用了从（ t0，θ0）=（30，25μ m）到（ t0，θ0）=（90，45μ m）的大的几何扰动。我们进行了5项独立试验 ， 以比 较REALS 和 多 分辨 率 REALS 。多分 辨 率REALS显示出比REALS低5倍的MSE，如表3中所总结的。4.2.7可变形实1945我 们 比 较 了 3.3 节 中 介 绍 的 可 变 形 REALS 与VoxelMorph[3]的性能，使用的图像被可变形变换扰动。在实验中，我们通过SE生成了合成数据集，1946--联系我们−−×××××图5：使用可变形REALS和VoxelMorph的可变形图像配准（a）未对准的输入图像、地面实况对准的图像、使用可变形REALS对准的图像以及使用VoxelMorph对准的图像的时间平均投影具有32像素间距的规则网格覆盖在地面实况对准的图像上。因此，平均投影中的图像和网格的清晰度示出了对准精度。网格不用于对齐，而仅用于视觉辅助。(b)输入图像的代表帧、使用可变形REALS对齐的图像以及使用VoxelMorph对齐的图像。这些图像显示了框中的区域。具有16像素间距的规则网格覆盖在地面实况对准的图像上。也就是说，图像中的网格显示了图像是如何被扰动和对齐的。顺序地将随机可变形扰动和欧几里德扰动应用于幼斑马鱼脑数据集。首先从平均值为零、标准差为σ 1的正态分布中提取变形扰动的位移场的每个量。然后，位移场与标准偏差为σ 2的2-D高斯核卷积以模拟生物组织的变形。以下参数用于欧几里得扰动和可变形扰动：σ10。2，1，σ2=四十岁 和（t0，θ0）（0，0），（3，2），（6，4），（9，12），（12，8）（参见影片S3用于扰动水平的视觉评估）。图5示出了时间平均投影以及输入（未对准）图像和使用可变形REALS和VoxelMorph采集的配准图像的代表性帧。请注意，输入图像的第一帧被设置为固定目标（参考）图像，用于使用VoxelMorph进行训练和推理。VoxelMorph由于过度变形图像以最小化输入图像和目标图像之间的差异而未能保留神经元结构;这证明了考虑对齐的底层结构的重要性。我们测量了每个设置的MSE，结果总结在表S3中（有关可变形REALS和VoxelMorph的比较，请参见Movie S3）。5. 其他演示5.1. 在小鼠大脑数据集我们将REALS应用于大小为480（x）752（y）1000（t）的小鼠大脑图像数据集[27]，该数据集受到大运动的影响。即使头部固定，这种运动伪影在体内小鼠脑成像中也是不可避免的，因为脑相对于颅骨的位置随着小鼠的呼吸和血液脉动而变化尽管存在大运动、低图像对比度和低信噪比带来的挑战，REALS成功地对齐了数据集，如图所示。6（见表S4和影片S4）。5.2. 三维数据我们将3-D REALS应用于大小为256（x）512（y）48（z）60（t）的斑马鱼大脑神经活动的3-D时间序列图像。与2-D图像数据集类似，我们首先对严格固定在3-D中的幼斑马鱼的全脑神经元活动进行然后，我们用欧几里德变换对图像进行了综合扰动，欧几里德变换的绕z轴的旋转角度从U（2，2）采样（单位：μ），xyz平移从U（4，4）采样（单位：像素）。我们使用仿射变换并优化了具有小批量的REALS，其中批量大小为30（参见表S5的超参数）。1947××图6：使用REALS的小鼠大脑的神经元活动图像的对齐(a)输入图像的时间最大强度投影。(b)对齐图像的时间最大强度投影。ters）。图7示出了输入图像和对准图像的时间最大强度投影（MIP）（参见电影S5）。在对齐后的颞叶MIP中，精细的神经元结构清晰可见图7：使用REALS的幼斑马鱼脑的3-D神经元活动图像的对齐。(a)三维输入图像的时间最大强度投影（b）三维排列图像的瞬时最大强度投影。比例尺，100µm。5.3. 带NMF的我们将REALS与NMF [22]集成，以同时执行图像对齐，神经元活动与背景的分离以及神经元的无监督分割;为了保持关于所有参数的可微性，我们采用了投影NMF [38]，这是NMF的可微公式。我们处理了一个大小为256（x）的斑马鱼钙成像视频512（y）600（t），患有莫-使用带有NMF的REALS，在优化和不优化变换参数的情况下，消除伪影。图8示出了分割结果，其中随机颜色为每一个空间元素。没有优化变换参数的结果显示出由于运动伪影而导致的严重过分割（图1）。第8（b）段）。然而，随着变换参数的优化，获得了与神经元相对应的空间分量，其表现为图1中每个神经元内的颜色均匀性。8（d）（见表S6和影片S6）。图8：具有NMF的REALS用于同时对齐、低秩和稀疏分解以及NMF。(a)来自具有NMF但没有对齐的REALS的空间足迹被着色和覆盖。(b)来自具有NMF的RE-ALS的空间足迹被着色并覆盖。使用与a中相同的随机调色板。比例尺，30μ π ι。6. 结论在本文中，我们提出了REALS，鲁棒和高效的批量图像对齐算法。REALS采用可微图像变换和可微低秩和稀疏分解，它们以一种我们可以反向传播的形式集成在一起，以进行基于梯度的更新。这种特性带来了多种好处。 一是一个显着降低的O（nm）的计算复杂度，并实现了数量级的性能改善。其次，它可以很容易地推广到高维图像数据或变形图像的对齐第三，它可以与允许反向传播的其他可训练函数集成。REALS的鲁棒性、计算效率和可扩展性使其成为钙成像数据对齐的理想确认用于钙成像的斑马鱼品系由韩国斑马鱼疾病模型中心（ZCDM）提供。 本研究得到了韩国国家研究基金会 （ NRF ） （ 2020 R1 C1 C1009869 ， 2021 R1 A4A102159411），Origi-通 过 由 韩 国 科 学 和 信 息 通 信 技 术 部 资 助 的 NRF（2021M3F3A2A01037808）的nal技术计划，以及通过由韩国教育部资助的NRF的BK21 plus计划。1948引用[1] Sara Abrahamsson ， Jiji Chen ， Bassam Hajj ， SjoerdStallinga，Alexander Y.Katsov，Jan Wisniewski，GakuMizuguchi，Pierre Soule， Florian Mueller， and ClaireDugast Darzacq.使用像差校正多焦点显微镜进行快速三维成像。Nature methods，10（1）：60[2] 苏菲 AimonTakeo 胜树桐丘 贾，洛根放大图片创作者：Michael J. Sejnowski，and Ralph JGreenspan.成年果蝇在对刺激和行为反应期间的快速近全PLoS biology，17（2）：e2006732，2019.[3] 作者：Guha Balakrishnan，Amy Zhao，Mert R.阿德里安？萨邦库Dalca和John Guttag。一种用于可变形医学图像配准的无监督学习模型在IEEE计算机视觉和模式识别会议论文集，第9252-9260页[4] 作者：Guha Balakrishnan，Amy Zhao，Mert R.约翰？古特？萨班库Tag和Adrian V.达尔卡体素变形：一种用于可变形医学图像配准的学习IEEE Transactions on Medical Imaging，38（8）：1788[5] Le'onBottou，FrankECurtis和Jo r geNocedal。优化-大规模机器学习的方法Siam Review，60（2）：223[6] Matth e wB. Bouchard，Venka t akaushikVoleti，Ce'sarS.放 大 图 片 作 者 ： Clay Lacefield ， Wesley B. 作 者 ：Richard S.作者：Randy M.布鲁诺和伊丽莎白·希尔曼扫描共焦对准平面激发（scape）显微镜用于行为生物体的高速体积成像。Nature Photonics，9（2）：113[7] 埃马纽埃尔·J Cande` s，XiaodongLi，YiMa，andJohn赖特稳健主成分分析CoRR，abs/0912.3599，2009年。[8] 放大图片创作者：J. 帕里洛艾伦·S·威尔斯基矩阵分解的秩稀疏不相干性。SIAMJournal on Optimization，21（2）：572[9] 陈谦，约瑟夫·齐雄，王文婷，李秋，石-金河李，诺兰·R.放大图片作者：Michael J.Goard，Zhanyan Fu，Ryohei Yasuda.用thy 1-gcamp转基因小鼠成像神经活动。Neuron，76（2）：297[10] 放大图片作者：陈彩文，Trevor J.放大图片作者：Wardill，Yi Sun，Stefan R.普尔沃萨宾湖放大图片作者：Eric R.Schreiter，Rex A.迈克尔·克尔Orger和Vivek Jayaraman。用于神经元活动成像的超灵敏荧光蛋白。Nature，499（7458）：295[11] 林聪，王泽冠，柴玉明，魏航，春-冯尚，杨文斌，白璐，杜久林，王凯，文泉。行为自由的斑马鱼幼鱼神经活动的快速全脑成像。Elife，6，2017.[12] 贾世峰，桓旭，水成岩。 在线鲁棒基于随机优化的主成分分析神经信息处理系统进展，第404-412页，2013年[13] Andrea Giov annucci，Johannes Friedrich，Pat Gunn，Je're'mie布兰登·卡尔丰放大图片创作者：Michael M. Gauthier和Pengcheng Zhou。Caiman是一个可扩展的钙成像数据分析的开源工具。Elife，8：e38173，2019年。[14] 放大图片作者：Michael Broxton，Christina K. Kim，Conor Liston ， Ben Poole ， Samuel Yang ， AaronAndalman ， Edward Scharff ， Noy Cohen ， and OferYizhar.哺乳动物大脑中大组织体积细胞活动动力学的鉴定。BioRxiv，2017年。[15] Seungjae Han，Eun-Seo Cho，Inkyu Park，Kijung Shin，and尹英奎用于钙成像数据自动分析的鲁棒主元分析的高效神经网络逼近。医学图像计算和计算机辅助干预国际会议，第595斯普林格，2021年。[16] Jun He，Laura Balzano，and John Lui. 在线鲁棒子系统部分信息空间跟踪arXiv预印本arXiv：1109.3827，2011年。[17] Jun He，Laura Balzano，and Arthur Szlam. 增量gra-基于Grassmannian的梯度，用于子采样视频中的在线前景和背景分离。法律程序中IEEE Conference onComputer Vision and Pattern Recognition，第1568-1575页，2012年。[18] Jun He，Dejiao Zhang，Laura Balzano，and Tao Tao.Itera-用于鲁棒图像对准的主动在线子空间学习。在IEEEInternational Conference and Workshops on AutomaticFace and Gesture Recognition（FG），第1-8页[19] 麦克斯·杰德伯格凯伦·西蒙尼安安德鲁·齐瑟曼还有科雷·卡武库奥卢空间Transformer网络。在神经信息处理系统的进展中，第2017[20] DalHyungKim，JungsooKim，JoaChaoCMarques，Abhinav放大图片作者：David G C Hildebrand，Wenchao Gu，Jennifer M. Li，and Drew N.罗布森自由游泳斑马鱼的细胞分辨率的泛神经元钙成像。自然方法，14（11）：1107[21] Tamara G Kolda和Brett W Bader。张量分解和应用SIAM review，51（3）：455[22] 丹尼尔·D. Lee和H.塞巴斯蒂安·胜。通过非负矩阵分解学习对象的部分。Nature，401（6755）：788[23] Zhouchen Lin，Minming Chen，and Yi Ma. 增强退化低秩矩阵精确恢复的Lagrange乘子法arXiv预印本arXiv：1009.5055，2010。[24] Zhouchen Lin ， Arvind Ganesh ， John Wright ， LeqinWu，陈敏明和马毅。精确恢复低秩矩阵的快速凸优化算法。协 调 科学 实 验 室报 告 编 号UILU-ENG-09- 2214， DC-246，2009年。[25] Abhishek Nan，Matthew Tennant，Uriel Rubin和NilanjanRay. Drmime：用于多分辨率图像配准的可微互信息和矩阵指数。在深度学习的医学成像中，第527-543页[26] 彭一钢， 阿文德·格涅什 约翰·赖特，徐文莉，和一马。Rasl：通过稀疏和低秩分解对线性相关图像进行鲁棒对齐。IEEE Transactions on Pattern Analysis andMachine Intelligence，34（11）：2233[27] 埃夫蒂基奥斯 A.普涅夫马蒂卡基斯和安德里亚·乔万努奇Normcorre：钙成像数据分段刚性运动校正的在线算法。Journal of Neuroscience Methods，291：83[28] Benjamin Poole ， Logan Grosenick ， Michael Broxton ，Karl1949Deisseroth和Surya Ganguli。体积钙成像数据的鲁棒非刚性对准。COSYNE，2015.[29] RobertPrevedel ， Young-GyuYoon ， MaximilianHoffmann，NikitaPak ， GordonWetzstein ， SaulKato ， TinaSchrdel，Ramesh Raskar，Manuel Zimmer，and Edward S Boyden.利用光场显微镜对神经元活动进行全动物同步3d成像Nature methods，11（7）：727[30] 放大图片作者：DuoQiu，Minru Bai，Michael K.Ng和Xiongjun Zhang。鲁棒低变换多秩张量图像对齐方法。科学计算杂志，87（1）：1[31] Wenjie Song，Jianke Zhu，Yang Li和Chun Che