樱桃采摘梯度：学习低秩嵌入视觉数据的可微交叉逼近

1RR樱桃采摘梯度：通过可微交叉逼近学习视觉数据的低秩嵌入Mikhail Usvyatsov1、Anastasia Makarova1、Rafael Ballester-Ripoll2、Maxim Rakhuba3、Andreas Krause1和Konrad Schindler11ETHZuürich，2IE Uni versity，3HSE Uni versity摘要我们提出了一个端到端的可训练框架，该框架通过仅查看其条目的一部分来处理大规模视觉数据张量。我们的方法将神经网络编码器与张量训练分解相结合以学习低秩潜在编码，再加上交叉近似（CA）以通过原始样本的子集学习表示。CA是一种自适应采样算法，它适用于张量分解，避免了明确处理全高分辨率数据编码器$XUrC rVTDecoderXθX=UrCrVT相反，它会主动选择本地代表性样本，我们可以根据需要从内核中提取这些样本。所需的样本数量仅随输入的大小呈对数增长。我们在网络中的张量的隐式表示，使处理大型网格，不能otherwise在其未压缩的形式听话。所提出的方法对于大规模多维网格数据（例如，3D断层扫描），以及用于需要大的感受野上的上下文的任务（例如，预测整个器官的医学状况）。该代码可在https://github.com/aelphy/c-pic上获得。1. 介绍在过去的十年中，卷积神经网络（CNN）与GPU上的并行处理相结合，为图像数据的不幸的是，并行硬件是存储器有限的，导致维度灾难：最先进的2D网络架构通常对于具有3个或更多维度的数据是不可行的，因为耗尽存储器来存储对应的张量。尽管努力通过稀疏卷积[11，18，19]或八叉树[42，50]来缓解这个问题例如，在一个示例中，3D体数据的上限在高端商品硬件上大约是512× 3图1：学习的低秩嵌入的2D图示利用SVD（TT分解的矩阵等价物）对输入的秩-3压缩严重地降低了图像（底行）。相比之下，我们的编码器扭曲图像，使得相同的秩-3截断损失很少的信息，并且可以几乎完美地解码（顶行）。众所周知，视觉数据通常存在于低维流形上，因此原则上是可压缩的; C.F.经典的思想，如特征面[48]或非负张量因式分解[44]。 这促使我们寻求更高效的高维视觉数据的更高效的存储器表示，并且同时与神经网络的基于梯度的学习过程兼容选择记录和/或处理数据的采样分辨率始终是资源（存储器、运行时间、功率等）和系统以及算法可以访问的细节和上下文的级别。实际上，相对小的张量对于其中高频细节不是关键的并且可以在低空间分辨率下操作的应用是足够的（例如，面部识别），或者长距离上下文具有很小的影响并且可以处理本地窗口（例如，字符识别）。但有些任务确实需要清晰的细节和长期的背景。例如，已经表明3D对象分类性能11426X11427⇥⇥≥⇥··· ⇥2d=1.ΣO··{}2提高分辨率[19]。当从医学图像进行整体预测时，会出现类似的情况：高分辨率细节有助于更好地发现细微的组织变化，而需要全局背景来评估病症的程度。不断增加的分辨率的扫描硬件只会加剧这种差异-在本文中，我们提出了C-PIC（“樱桃采摘梯度”），一个框架，学习张量，同时只看一小部分的条目。C-PIC利用了以下事实：在合适的非线性映射之后，所学习的表示可以被约束为具有低秩。该约束产生智能采样策略，该智能采样策略自适应地选择要向体系结构示出哪些张量条目整个流水线是端到端可训练的反向传播，使得学习的低维嵌入被最佳地调整到给定的预测任务。至关重要的是，我们的方法可以在核外操作，这意味着它不需要在内存中存储完整的输入张量，而只需要在采样位置周围存储小的（超）立方体。因此，它可以处理比可用内存大几个数量级的大规模空间分辨率。特别是在GPU上（我们已经试验了高达819230的卷。5·1012体素）。我们的新表示背后的关键见解与非线性降维有关：如果我们可以以“使流形变平”的方式变换张量值，则我们可以明确地对表示施加低秩结构，这是我们使用张量训练（TT）分解[ 38 ]进行的。也就是说，我们学习了一个端到端函数，该函数通过低秩TT瓶颈将输入数据映射到期望的输出由于TT分解的两个重要特性，这是可能的：（i）可以以压缩格式执行基本张量算术，以及通过分解反向传播;以及（ii）存在有效的交叉近似（CA）算法，其仅基于一小组样本而不是完整的输入来找到近似的TT分解[39]。虽然已经尝试在神经网络中使用TT格式[35]，但据我们所知，我们的工作是第一次采用交叉近似进行学习;使得可以在高空间分辨率下操作而不会遇到存储器限制。与经典的流形学习，我们的工作共享作为一个底层的低维，但非线性数据流形的sumption。然而，我们的嵌入是有区别的，在这个意义上，到流形上的投影是端到端学习的，考虑到预测任务。以这种方式，学习的编码器不是在从潜在表示重构时最小化误差，而是在解码表示之后最小化期望输出看到图1表示二维插图。通过保持编码器的输入和激活映射的隐式，我们规避了可以说是D3维网格表示的主要限制：其巨大的内存消耗，在D中的exponential。概括而言，我们的贡献如下：1. 我们设计了第一个端到端的神经架构，用于高维但低秩的视觉数据，利用张量分解;2. 我们开发了一个计算方案，通过交叉近似反向传播。可区分的CA步骤允许人们从有限数量的样本评估中学习最佳嵌入，从而打开了非常大的分辨率的大门。3. 我们开发了一个迭代的基础投影方案，将学习到的TT功能投影到一个规范的基础上，这样它们就可以作为回归任务的基础。我们展示了我们的方法在两个不同的医学图像分析问题，并表明我们的表现与国家的最先进的。此外，具有相同超参数的C-P IC可以工作在两倍的分辨率上，而其他最先进的方法由于存储器限制而失败。2. 背景及相关工作2.1. 张量列分解张量是当前深度学习时代计算机视觉的基本数据结构 为了我们的目的，张量X是在网格I = I1ID上的D维空间的离散采样，其中沿着维度d具有Id个样本。长期以来，矩阵的低秩近似已经在计算机视觉中用作压缩、分类或恢复视觉数据的工具，例如，图像。[2、45、48、52、25]。然而，它们建立在矩阵特定的分解技术上，如SVD或独立分量分析，这些技术不能直接推广到维度>2的张量。最近，低秩先验已被推广到张量的情况下;另见附录A.1。 本文中使用的模型，张量序列（TT）[38]，将维度为D的张量分解为D个三维张量。因此，其参数的数量仅随维数线性增长。TT定义为X[i] 1 ， . .... . . 你 好 。 ， iD]=Q1[1 ， i1 ， ： ]Q2[ ： ，i2，：]。 . . QD[：，iD，1]，（1）其中张量QdD，QdRrd-1Idrd，称为TT-核，rd是TT-秩（ r0=rD= 1 ） 。 TT 分 解 具 有D （ maxd[rd] ）2maxd[Id]存储成本。重要的是，诸如张量的线性组合之类的基本线性代数运算可以直接以这种格式执行，而无需事先解压缩（即，重组芯）。11428⇥⇥d=1--存在稳健的数值方案来找到TT分解。标准TT-SVD算法产生准最优分解[38]，但基于多轮奇异值分解（SVD），即，它必须访问输入张量的所有条目。我们的工作至关重要的是一个不同的算法，称为交叉近似，有效地构建TT核心的基础上自适应选择的序列的本地样本，从输入张量。 只需要查询所有张量元素中的一小部分;参见第3节。2.2. 机器学习张量分解已经被研究作为从高维数据集[41，8]和大规模[14]中提取特征的一种方式。 塔克分解特别是，最近还扩展到核心之间的非线性交互，使用高斯过程[54]或深度神经网络[31]。[5]探索Tucker分解作为多维网格数据的有损压缩工具。我们的工作更进一步：我们的目标是通过低秩表示来压缩网格数据，但学习针对秩约束瓶颈定制的编码器/解码器结构，以最小化相关的信息损失。在深度学习中，TT格式到目前为止主要用于压缩非常大的网络层[35]。最近，该格式被用作药物设计的条件生成模型的一部分[30，53]，其中变量自动编码器与潜在变量和类别标签的联合分布上的TT诱导先验相结合。在那里，TT核的全局集合是可学习的参数，而我们对每个单独的输入张量进行TT分解，因此需要高效且可微分的过程。2.3. 健康指标在第4节中，我们展示了我们的方法在从医学3D扫描（分别是肺部的CT和脑部的MRI）预测患者的未来状况的具体目标应用上。从扫描数据回归健康指标在医学图像分析中具有悠久的传统，例如，[27、51]。随着计算机视觉的普遍趋势，最近的方法大多采用深度CNN来完成任务。示例包括来自MRI扫描的脑年龄估计，例如，[24，9];以及来自MRI扫描的生存预测[26、13]。所有这些作品都使用标准的CNN架构，如VGG，U-Net或ResNet，并在低分辨率扫描（尺寸低于200 200 100体素）上操作，以保持在GPU内存限制内。3. 方法我们首先以前馈模式描述我们的模型，其中它经由低秩TT瓶颈将张量值输入数据映射到预测然后，我们解释了有效的简单-该方法包括该模型的分段和端到端学习，包括通过交叉近似算法的反向传播，以及TT核心的投影以获得唯一的特征表示。3.1. 模型架构C-P IC由四个主要构建块组成：（i）可被视为习得的非线性维数降低的编码器;（ii）TT分解，接着是（iii）特征投影;以及（iv）传统的、学习的预测函数。参见图2。在第一块中，学习映射将输入张量X变换为潜在编码E。该编码的低（张量）秩由后续TT分解施加。该映射被实现为3D卷积网络（但是也可以使用另一个可微分前馈算子）。结果，我们针对输入张量X中的每个位置获得非线性编码E中的向量，即，这两个张量具有相同的形状，除了在E中的额外通道维度。在没有任何可学习参数的第二块中，编码E被分解成具有预定义的低TT秩的一组TT核QdD+1，全部由超参数r界定。R的作用是约束，表示E的有效容量，并且提供了表达性和存储器约束之间的折衷。至关重要的是，为了构建TT分解，不需要将完整的张量X和E存储在内存中，而是在3.2节中描述的特定位置观察它们就足够了。这使得有可能回避内存限制，但提出了通过离散位置的选择传播梯度的挑战。在最后两个块中，所获得的TT核被用作预测的基础。由于TT分解不是唯一的，因此它们首先被投影到规范基础上以获得不变特征向量（参见第3.3节），然后将其用作最终预测步骤的输入，在我们的实现中是多层感知器（MLP）。3.2. 可微交叉逼近如果张量X和E具有高分辨率，则将它们存储在存储器中很快变得难以处理。因此，我们建议利用一种称为交叉近似（CA）的高效近似张量学习算法[39]。CA的原理是通过仅在仔细选择的位置处考虑张量X的选定条目来减少存储器消耗。最初，CA被认为是一种矩阵采样方法[49，7]，其使用所谓的伪骨架分解[17]来近似重建矩阵U，同时仅观察其行和列的r这些具有索引J1的行和具有索引J2的列的交叉部分可以被定义为具有索引J1的行和具有索引J2的列的交叉部分。骰子J2定义了一个（rr）大小的子矩阵U（J1，J2）。 找到产生最大值的J1、J2|det（U（J1，J2））|导致11429TT特征投影TT近似编码n维我我D+1SBd=1SB2S{B}d=1d=1--d=1--1天+1）}。X EErfrRI1··IDRI1··IDndimsRI1···IDndimsRr(a) C-PIC流水线概述。{Bs|i2JCA}{f$（Bs）|i2JCA}{Qd}d=1第一季第二QDQD+1预测器θ(b) 带CA详细视图的C-PIC图2：一般模型架构（a）和详细视图，参见算法1（b）.输入张量X被视为部分观察到的。经由交叉近似获得的索引JCA定义X中的一组位置i，并且局部编码器函数处理它们中的每一个周围的体素立方体i，并且输出E中的对应位置i的特征向量。这些值用于构造E的TT近似。秩r矩阵插值U（：，J2）U（J1，J2）-1U（J1，：）具有最低近似误差（直到常数因子）w.r.t.第一个U[16]同样的想法也可以应用于D >2维：在合理的条件下，张量指数的一个小子集[39]可以用于近似张量E，这反过来又产生了近似的TT分解。E的{Qd}D+1。设JCA是张量E中的一些N个位置的集合位置i处的E的值J CA是通过对来自X的对应局部体素立方体i进行编码而获得的，以位置i为中心。以这种方式，避免了必须将全部张量存储在存储器中，而是必须仅访问N个体素立方体的集合i每个立方体的固定的小尺寸s确定包括在每个样本周围的局部上下文，并且取决于编码器的接收场，参见Alg。1.一、当用于以经典方式近似给定张量E时，CA仅迭代索引选择步骤，然后具有D+ 1个维度，即，JCA={（i，n，. .. I nNn=1明确地组装E的TT分解与交叉-插值 我们的工作是第一个在一个CA在选择索引的两个步骤之间交替JCA并如下构建TT核{Qd}D+1：1. 索引选择：沿着所有张量维度选择一组索引JCA，使得近似误差较小。误差最小化是一个组合问题，并且在实践中通过贪婪maxvol启发式[15，43]解决。2. 交叉内插：基于仅在索引J CA处评估的E的条目来计算TT核QdD+1。通过标准矩阵运算从伪骨架重构导出核Qd，D+1，所述标准矩阵运算包括QR因子分解、矩阵乘法和最小二乘求逆。有关CA程序的更多详细信息，请参见附录A.2编码器$抽样指数JCAfr输入读出预测采样贴片张量X张量E功能投影损计算11430更大的可训练神经结构。这意味着，在训练期间，源E响应于演进的编码器权重而改变。因此，在整个学习过程中也必须更新索引集合JCA。虽然交叉内插由可微分代数运算组成，但是索引选择是离散函数，其在端到端训练流水线时造成问题。为了克服这个问题，我们提出了一个方案，交替之间的迭代索引选择和梯度下降。更具体地说，我们如下挑选张量元素和相关梯度：首先，我们选择并固定一组索引JCA，并且使用这些索引，通过交叉插值过程执行反向传播以更新网络权重。然后，要赶上换了编码器11431011j2· · ·jD+10j j1D+10RS7：得到E[i]=f（B），8i2J$ CA6：得到X[j]，8j2 {B |8i 2 J }CA0⇡⇥⇥d=1--0用于TT的一维可辨识CA算法年q1TT批次Q2j0jD+2I=I1II2I3X2RIE2Rndims -Ki1iD+1QD碧云dims -dimsQD+1训练数据j1···D+1Require：输入数据X，本地大小s1：对于epoch = 1，. ..，n个时期做0Rj2jD +1jD+2K i1iD +1不2：对于d= l、2、3、4，do3：选择CA索引JCAIndims（第3.2）第一季第二QDQD+1测试数据列车特征依据j0R不测试特征4：结束5：对于d= l、2、3、4，doIsIs8：经由交叉内插计算Qd（Sec. 3.2）9：结束图10：将核心Q1、Q2、Q3、Q4投影到低维特征fr中（第二节）。3.3）图3：特征投影。我们遵循[12]中的符号：每个蓝色框表示TT核（3阶张量）。前导尺寸和拖尾尺寸满足j〇= j D+2= 1。我们通过堆叠和秩截断它们（如2D矩阵的PCA）来提取K个训练实例的不变特征这产生了K个特征向量（核心 Ctr）和正交基（核心C1， . .... . . 你 好 。 、CD+1）。参数和相关联的表示E之后，我们挑选新的索引集合JCA，在那些新位置处切换回反向传播，等等。很容易看出，该过程收敛，因为对于给定的输入，索引选择11：计算fr的损失l12：通过反向传播更新核（1）13：结束输出：Q1，Q2，Q3，Q4形成表示该基的（D+ 2）维TT张量C，即C[k，…]（级联在TT压缩域中完成）。C的第一核Co具有形状1Kj1，即它沿着其空间维度对训练实例进行索引。接下来，我们正交化C相对于C0和排名截断的结果核心为Kr特征矩阵Ctr。拖尾核心一旦编码收敛就不再改变。CD+1C树{d}d=1no w形成正交基，而矩阵0CA 的复杂性 可以示出[39]，包含来自E的N（r）= O（Dr2maxd[Id]）个条目的索引集JCA足以内插D个核，并且分别来自X的O（Dr2maxd[Id]s）个条目。 每个TT核QdD+1包含r2Id个元素，因此存储它们不会改变存储器复杂度。交叉近似算法的时间 复 杂 度 （ 没 有 采 样 张 量 元 素 的 成 本 ） 是 O（Dr3maxd[I d]）[39]。3.3. 特征投影TT分解，通过构造，不是唯一的。1为了解决这个问题，我们的流水线包括类似PCA的步骤，该步骤将TT核投影到秩为r的规范特征空间中，如下所示。给定多个训练实例k=1.. .K，我们将它们的TT分解{{Qk}D+1}K包含每个输入的一个r维特征向量Xk，其现在对于TT表示Qk中的系数的选择不变。整个过程是对标准PCA矩阵投影的扩展，适用于基元为TT张量的情形;也参见图3.第三章。对于推断，我们类似地将输入实例连接到新的张量中，然后将其投影到学习的基础上以获得其对应的r大小的特征向量。我们参考补充材料了解更多详情。3.4. 技术细节张量化一个重要的技术细节是嵌入E的形状，它会影响存储器的复杂度。原则上，可以直接将TT分解应用于张量E采样并存储其O（Dr2maxd[I d]s）个条目。如果张量为一组dd=1k=1具有高的空间分辨率，即，如果maxd[Id]很大，则可以K个向量构成一个基。我们将这些向量以TT格式沿着一个新的前导维度连接起来。1例如，可以通过右创建具有不同权重的等效TT-通过采用所谓的量化2张量训练（QTT）分解来达到更好的存储器复杂度[28，37]。QTT的思想是为以下项构建TT分解：将某个核的所有切片与任何非奇异矩阵R相乘，以及将后续核的所有切片与其逆R-1左乘。2这个名字并不意味着实值张量项的量化。11432d=1OO--尺寸{Id= 2}D0pp--d=1将张量重塑为更高维的张量。特别地，如果所有{log2Id}D都 是自然数，则D-尺寸为{Id}D的维张量E可以重新整形d=1转换成D0维张量E，其中D0=Pdlog2Id，E需要存储成本（r2Dmaxd[log2Id]s），作为op-设为初始值（r2Dmaxd[Id]s）。直观地，QTT方案利用图1中的相邻体素之间的相似性。未压缩张量E和与小波变换有关;参见，例如，[36]第30段。注意，整形仅在QTT例程内通过将index元组从E映射到E~的函数本地且隐式地完成，反之亦然。QTT是针对具有大maxd[Id]的张量的采样效率最高的方案，我们在第4节中利用它来处理标准深度学习模型难以处理的解决方案。不过，我们的计划是灵活的。如果样本的数量不是问题，则可以使用传统的TT表示，而无需在CA期间进行整形。原则上，也可以使用我们的计划与确切的TT-SVD算法，而不是近似CA找到分解，如果输入足够小，以适应他们到内存中。特征投影和批处理。 对于主成分分析，样本数K必须至少与特征维数一样大R.因此，在学习期间的批量大小必须是每个小批量至少r个样本注意，原则上必须在所有训练样本上计算公共在实践中，我们在每个小批量中缓存基础，并将其附加到下一个小批量的核心，以在一个时期结束时收敛到一个稳定的公共基础。数字问题。基计算是用cvxpylayer方法[1]实现的，我们发现在通过我们的可微CA的向后传递期间，该方法比其他代数方案具有更好的稳定性。由于C-PIC的内存效率，我们还能够用float 64精度训练它，以进一步提高数值稳定性。我们在所有实验中都这样做（基线必须用float32训练以保持在内存限制内）。指数配料。一个微妙的技术细节是，对CA选择的所有索引同时执行反向传递仍然需要大量的内存，特别是对于需要更多CA样本的大输入。为了进一步减少存储器消耗，可以切换到CA索引的分批处理，使得仅一个批次的梯度必须保存在存储器中。然而，付出的代价是运行时间的增加，与批次的数量成比例，因为必须更频繁地运行交叉插值步骤。我们已经实现了指数批处理技巧，并已emperically验证收敛张量的大小为8192 -3。尽管如此，我们建议仅在必要时使用索引批处理，因为它会大大降低训练速度（即使对于大小为5123的扫描，完整的反向传递也适合现代GPU的内存）。图4：来自OSIC的示例，分辨率为32512512。4. 实验为了说明C-PIC的有效性，我们将其应用于两个不同的预测任务，其中健康指标将从医学3D扫描回归。选择这些任务是因为它们的全局性、整体性，即，在这两种情况下，都应该评估整个器官的状态和病症的未来进展，为此处理整个扫描而不是将其切割成更小的块是有意义的。4.1. 数据集OSIC肺纤维化进展是患者肺部CT扫描示例扫描如图所示。4.第一章肺纤维化导致肺容量的进行性下降，并且挑战的目标是根据在时间t=0时进行的扫描来预测该下降。肺容量通过用力肺活量（FVC，呼出的空气的体积）来量化。对于数据集中的患者，在扫描后1-2年内通过肺活量计重复测量。FVC作为时间（周）的函数是回归目标。总体而言，有176例患者和1549个个体真实FVC值。作为误差度量，挑战的创建者提出了修 改 的 La place Log Li 似 然 （ mLLL ） ， 定 义 为mLLL=2 Δ/σln（2σ）;其中σ是预测的FVC的标准偏差，在70个FVC单位处截断，并且Δ是预测的FVC的绝对误差，在1000个FVC单位处截断。对于训练，我们使用分位数回归。预测0。2，0。5，0。8分位数，我们计算预测的FVC和标准差。MICCAI 2020 BraTS是MRI扫描[34]的数据集，显示具有特定类型肿瘤的大脑[33，3，4]。实施例如图所示。五、应该从扫描预测的目标值是在进行扫描之后患者的存活时间（以天为该研究的参与者被分成两组，其中第一组经历特定类型的治疗（大体全切除手术），. 因此，QTT分解11433⇥⇥⇥⇥⇥⇥图5：BraTS示例，分辨率256 <$256 <$256。而第二组则没有。共有235名患者。我们放弃分组，并将所有扫描作为一个单一的数据集进行生存预测。作为误差度量，我们使用预测生存时间的RMSE。在训练中，我们将生存时间标准化为5年。合成上采样。我们工作的目标是高效，压缩的表示学习，能够处理大型，高分辨率的数据。然而，似乎没有任何足够大小的高分辨率基准数据集（尽管现代扫描仪可以捕获至少1024 - 1024 - 128体素）。因此，我们还利用3阶样条插值沿每个维度将两个数据集合成上采样到2个更高的分辨率，以获得8个更高的体素计数。显然，这一步并没有向低分辨率的原始图像添加任何信息，因此我们并不期望更好的性能，但上采样版本仍然给了我们一个机会来验证我们的方法确实可以处理如此大的体积。事实上，它这样做没有任何损失的准确性，这支持的假设，即数据具有低的排名，因此可以压缩没有信息损失。实施详情。给出了CNN编码器的详细分层结构和用于预测的MLP见附录A.4。所有模型都使用RAdam [32]进行训练，基本学习率为10- 3。所有定量结果均为五重交叉验证的平均值。4.2. 结果我们首先将C-PIC应用于原始形式的数据（没有上采样），并将其与3D版本的ResNet-34 [21]进行比较作为基线。C-PIC使用批量大小20进行训练，对于基线，我们必须将批量大小减少到2以使训练适合内存。为了表明在可以施加低秩约束之前确实需要CNN编码器，我们还在没有编码器的情况下运行我们的流水线也就是说，原始输入张量X被馈送到TT分解，投影到规范特征向量，并馈送到回归MLP。OSIC数据集的定量结果如表1所示。他们表明，秩r= 10和通道深度ndim= 16的C-PIC不仅需要更少的内存，而且实际上预测FVC明显优于ResNet基线。性能增益提供了证据，证明我们的方法所基于的低秩假设是合理的，至少对于我们使用的医学扫描数据是如此：如果数据的内在秩较高，则至少会有一些性能损失;而如果该假设是有效的，则它甚至可以用作学习过程的正则化器。相反，TT+MLP基线比ResNet执行得稍差，并且比C-PIC显著更差，即，在利用卷积编码器将扫描非线性地变换为“TT友好”表示中，并且因此在相关联的端到端学习框架中，似乎存在明显的益处作为下一步，我们对放大扫描进行相同的实验，以了解我们的方法如何扩展到更大的体积。 在64 1024的增加的大小1024体素的ResNet基线不能再被训练，因为即使是具有24GB板载RAM的上一代GPU也已经在批量大小为1时耗尽了内存。相反，C-PIC达到与较小扫描相同的性能（如前所述，预期没有改进，因为与实际高分辨率扫描相比，合成上采样不添加信息）。该表还示出了C-PIC的巨大存储器节省当然是以更长的训练时间为代价的，因为通过TT瓶颈和CA算法反向传播的复杂性增加。这种差异部分是由于我们的实现没有像标准反向传播代码那样优化;但是，我们目前无法量化通过认真执行可实现的加速。然而，注意，由于CA的有利缩放特性，训练时间随着分辨率次线性地增长。BraTS的结果示于表2中。对于大脑扫描的更大的扫描体积和更复杂的图像内容，我们保持秩r= 10，但是将编码的通道深度增加到ndim= 32作为默认值。同样，C-PIC与ResNet基线的性能相匹配，大大降低了内存消耗。事实上，它甚至达到了略低的RMSE，但在这种情况下，利润率很小，我们并不声称优于基线。另外，该表还示出了编码器中不同信道深度的影响通道太少会对预测产生负面影响，而太多则会显著增加运行时间。我们强调，虽然在潜在空间中添加通道增加了编码E的表示能力，但它只添加了少量的权重（对于相应的卷积核）。所添加的通道可以11434⇥2个表1：OSIC肺纤维化进展结果。C-PIC优于基线，并且还可以处理8个更大的扫描体积，与3D ResNet相反（在表中标记为N/A）。ResNet 346410241024TT + MLP32512512-6.91C-PIC32512512-6.73C-PIC6410241024-6.7327534秒。/ epoch14.9 S. /sample 1.0 Gb64K 51480 s。/epoch25.2 S. /sample 3.5 Gb87 K 62478 秒 。 / epoch46.1 S. /sample 4.2 Gb87K表2：MICCAI 2020 BraTS结果。C-PIC在预测生存时间的RMSE方面优于基线。另外，该表还示出了具有编码E的不同信道深度的C-PIC结果。将通道深度减小太多会损害性能，即使具有相同的张量秩r= 10。分辨率RMSE#训练时间预测时间fw/bw内存#paramsResNet 34256348.7天519s。/epoch0.3 S. /样品14.0 Gb67MTT + MLP256383.9天646 s。/epoch2.9 S. /样品4.2 Gb3KC-PICndim= 32，r= 10256348.2天3300年代。/epoch13.4 S. /样品8.9 GB37KC-PICndim= 16，r= 10256349.1天2979年。/epoch12.8 S. /样品8.7 Gb27KC-P ICn dim=8，r= 10256351.1天2883秒。/epoch12.1 S. /样品7.9 GB21KC-P ICn dim=8，r= 10512351.2天16560年代。/epoch79.0 S. /样品45.5 Gb21KC-P ICn dim=8，r= 12256351.1天5520 s。/epoch27.9 S. /样品13.4 Gb21KC-P ICn dim=8，r= 15256351.1天7140 s。/epoch35.8 S. /样品18.6 Gb22K被解释为编码数据流形的附加维度，这使得更容易 他们没有放松低秩约束：独立于其最后维度中的通道数量，张量E被分解为成核{Qd}具有相同的张量秩r= 10。我们还测试了张量秩r对性能的影响，固定，低ndim=8。对于秩r10、12、15，我们观察到类似的性能。对于值r10，训练往往变得不稳定，从而阻止模型学习。而对于r>20，训练会耗尽内存（但我们的实现没有完全优化，因此更高的排名可能是可能的）。5. 结论我们已经开发了一种神经网络架构，其包括截断张量训练分解作为低秩潜在表示，并且已经设计了通过分解反向传播的方法。最值得注意的是，我们已经展示了如何通过交叉近似从从输入张量的合适位置绘制的局部样本的稀疏集合中学习压缩的TT编码。由于这种策略，不需要显式地存储未压缩的输入张量，这反过来又使得有可能处理超过商品硬件的存储器的大型高维网格在医学实验中通过使用CT和MRI扫描，我们已经证明我们的C-P IC方法匹配甚至超过常规CNN回归器的性能;同时使用数量级更小的存储器，从而使得可以处理大得多的数据量，随着扫描硬件的改进，我们期望在不久的将来越来越多地看到这一点。虽然出于实际原因，我们集中在3D扫描数据上，但我们的方法是通用的。 只要满足低张量秩的要求（在调整非线性编码以适应随后的分解之后），我们的方法也可以用于维度>3的张量数据。C-PIC的限制是TT分解对输入数据空间的平移和旋转不鲁棒，即，隐含地假设输入是粗略对准的（如医学扫描）。我们不期望它对任意移位和/或旋转的输入同样有效，除非编码器可以补偿这种变换。一种可能的解决方案是在训练期间主动地支持编码的不变性，例如通过深度监督或合适的数据增强。我们把这个留给未来的工作。在这项工作中，我们只对回归任务进行了实验。然而，我们学习的低秩潜在嵌入应该同样适用于与其他任务（如分类或分割）的组合。我们推测，它甚至可以作为生成模型的基础决议mLLL“训练时间预测时间fw/bw内存#参数ResNet 3432512512-6.86N/A4650年代。/epochN/A0.2 S. /样品N/A7.0 Gb 67M57.9 Gb 67M11435引用[1] A.阿格拉瓦尔湾Amos，S. Barratt，S. Boyd，S.金刚石和Z. 科尔特可微凸优化层。在NeurIPS，2019。[2] H. Andrews和C.帕特森奇异值分解与数字图像处理。IEEE TASSP，24（1）：26[3] Spyridon Bakas ， Hamed Akbari ， AristetienSotiras ，Michel Bilello，Martin Rozycki，Justin S Kirby，John BFreymann，Keyvan Farahani，and ChristienDavatzikos.用专业的分段标记和放射组学特征推进癌症基因组图谱、神经胶质瘤、磁共振成像的收集。Scientific Data，4（1）：1[4] Spyridon Bakas，Mauricio Reyes，Andras Jakab，StefanBauer ， Markus Rempfler ， Alessandro Crimi ， RussellTakeshi Shinohara，Christoph Berger，Sung Min Ha，Martin Rozy-cki，et al.在BRATS挑战中确定用于脑肿瘤分割、进展评估和总生存预测的最佳机器学习算法。arXiv预印本arXiv：1811.02629，2018。[5] Rafael Ballester-Ripoll，Peter Lindstrom，and Renato Pa-jarola. TTHRESH：多维视觉数据的张量压缩。IEEETVCG，26（9）：2891[6] 放大图片创作者：Michael K.苏特和雷纳托·帕加罗拉.压缩域体视化张量近似分析。计算机图形，47：34[7] 马 里 奥 · 贝 本 多 夫 边 界 元 矩 阵 的 近 似 。 NumerischeMathematik，86（4）：565[8] Johann A Bengua、Ho N Phien和Hoang D Tuan。基于矩阵乘积状态分解的张量最优特征提取与分类2015年[9] 作者：张文辉，张文辉.作者：Laurie E.卡丁，M秀珊。Resnick和Bennett A.兰德曼解剖学背景改善了大脑年龄估计任务的深度学习磁共振成像，62：70[10] J Douglas Carroll和Jih-Jie Chang。通过Eckart-Young分解 的 N 向 通 用 化 分 析 多 维 标 度 中 的 个 体 差 异 。Psychometrika，35（3）：283[11] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空ConvNets：Minkowski卷积神经网络。在CVPR，2019年。[12] Andrzej Cichocki，Namgil Lee，Ivan Oseledets，Anh-Huy Phan，Qibin Zhao，Danilo P Mandic，et al.用于降维和大规模优化的张量网络：第一部分张量的低秩分解。Foundations and Trends® in Machine Learning，9（4-5）：249[13] Xue Feng，Nicholas J Tustison，Sohil H Patel，and CraigH Meyer. 脑肿瘤分割使用的合奏使用放射组学特征的3D U-网和总体存活预测。计算神经科学前沿，14：25，2020。[14] Krzysztof Fonałand RafałZdunek.用于特征提取的分布式和InIJCNN，2019.[15] Sergei A Goreinov ， Ivan V Oseledets ， Dimitry VSavostyanov ， Eugene E Tyrtyshnikov ， and Nikolay LZama-rashkin. 如 何 找 到 一 个 好 的 子 矩 阵 在 VadimOlshevsky和Eugene E Tyrtyshnikov，编辑，矩阵方法：《算法与应用：献给基因·戈卢布的记忆》，第247-256页。世界科学，2010年。[16] S. A. Goreinov和Eugene E.泰提什尼科夫低秩矩阵逼近中的最大体积概念。当代数学，280：47[17] Sergei A Goreinov ， Evgeny E Tyrtyshnikov ， andNickolai L Zamarashkin.伪骨架近似理论。线性代数及其应用，261（1-3）：1[18] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。使用子流形稀疏卷积网络进行3D语义分割。CVPR，2018年。[19] Timo Hackel，Mikhail Usvyatsov，Silvano Galliani，JanD Wegner，and Konrad Schindler.推理，学习和注意机制，利用和保持CNN中的稀疏性。IJCV，2020年。[20] 理查德·哈什曼 PARAFAC程序的基础：解释性多模态因 子 分 析 的 模 型 和 条 件 。 UCLA Working Papers inPhonetics，1970.[21] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。[22] F. L.希区柯克p路矩阵或张量的多重不变量和广义秩JMathematical Physics，7（1）：39[23] Sebastian Holtz ， Thorsten Rohwedder ， and ReinholdSchnei-der.张量序列格式中张量优化的交替线性格式SIAM Journal on Scientific Computing，34（2）：683-713，Mar. 2012年。[24] T. Huang，H.陈河，巴西-地藤本K.伊藤，K. Wu，K.佐藤，澳-地Taki，H. Fukuda和T.青木使用深度学习从大脑MRI图像中估计年龄。在ISBI 2017，2017。[25] 彼得·因迪克 基于学习的低秩近似。 在NeurIPS，20