利用混合深度学习和微分不变性理论实现几何鲁棒性

Ⓧ利用混合深度学习和微分不变量理论Pierre-Yves Lagrave，Mathieu Riou法国泰雷兹研究与技术公司，1avenue Augustin Fresnel小行星91767pierre-yves. thalesgroup.com，mathieu. thalesgroup.com摘要对称性在物理问题中是普遍存在的，当使用神经网络来近似它们的解时，应该考虑到这些对称性。通过使用等变层在神经网络内嵌入从鲁棒性的角度来看，建立等变结构也似乎很有吸引力，因为使用正确的设计算法减轻了验证步骤，这是任何关键应用程序，如安全和军事相关任务的先决条件。然而，在神经网络中一般地强制执行等方差需要使用麻烦的运算器，诸如具有基于组的卷积核，对于这些卷积核，输出可能难以解释。在本文中，我们介绍了EqPdeNet，一种替代方法，其中equivariant偏微分方程嵌入在神经网络的第一层。这种方法提供了关于任何李群作用的近似等方差此外，相关联的偏微分方程的结构可以与输入数据的物理性质直接相关，使得当与基于组的卷积核的使用相比时，从可解释性的角度来看，这种方法特别有吸引力。介绍对称性在物理学中是普遍存在的，具有有限的对称性群，例如石墨烯的六边形晶格和连续群，例如粒子物理学中的洛伦兹群通过他们在图像和语音识别方面的成功（Szegedy et al. 2017），（Xiong et al. 2016年），神经网络现在用于各种物理领域，例如 作为流体力学（Raissi，Perdikaris和Karniadakis 2019），（Raissi，Yazdani和Karniadakis 2020），高能物理学（Baldi，Sadowski和Whiteson 2014）或凝聚态物理学（Carrasquilla和Melko 2017），(VanNieuwenburg，Liu，and Huber 2017）。本文版权归作者所有。允许在知识共享许可协议署名4.0国际（CC BY 4.0）下使用卷积神经网络（CNN）（LeCun et al. 1998）已经证明了将平移对称嵌入到用于图像处理任务的神经网络的设计中的效率。更一般地，将所需的对称性直接编码到算法设计中减少了参数的数量并增加了鲁棒性。使用其中通过其规范强制执行给定属性的算法（通过设计校正算法）还具有更适合于关键应用（诸如安全和军事相关任务）的优点。考虑到物理学中对称性的多样性，需要一种通用的方法将对称群嵌入群卷积神经网络（G-CNN），首先由（Cohen和Welling 2016）引入，最近已经扩展到一般的对称群（Finzi et al. 2020年，实现这一目标。然而，它们依赖于繁琐的规范，并且很难解释。在本文中，我们介绍了EqPdeNet神经网络，利用李群作用的微分不变量。在EqPdeNet中，输入数据的等变内部表示通过神经网络的第一层构建，然后由更深的全连接层处理这种混合方法适用于任何李群，而不需要的组动作传递作用于输入流形，并通过实现近似等方差增加的准确性和鲁棒性。此外，相关联的偏微分方程（PDE）的结构可以与输入数据的物理性质直接相关，使得当与基于组的卷积核的使用相比时，从可解释性的角度来看，这种方法特别有吸引力。相关工作和贡献我们在下面回顾相关工作，首先关注G-CNN，然后强调神经网络和PDE之间现有的对偶性。群卷积神经网络CNN在图像处理任务中的成功已经推动了几项工作，这些工作涉及将其翻译等变层推广到其他类型的变换。在此背景下，（Cohen and Welling 2016）介绍了十你x.∈≥||不超过MX ×U1{∈X}X × U普群卷积神经网络（G-CNN）的概念，通过扩展权重共享的原理来满足除平移之外的其他对称性，并专注于诸如p4和p4 m的离散群。其他的工作集中在特定的对称群上，例如置换群（Zaheer et al. 2017）、2维旋转群SO（2）的一些离散子群（Mar cos，Volpi，and Tuia2016）、SO（2）本身（Oyallon and Mal lat 2015）、（Worrall et al. 2017），（Weiler，Hamprecht和Storath2018），三维平移和旋转组（Cohen et al. 2018），（Esteves et al. 2018）。这些方法后来被推广到更一般的变换集合，特别是那 些由 李 群的 传 递作 用 产生 的 变 换集 合 （Gens 和Domingos 2014），（Huang et al.2017），（Bekkers2019 ） 。最近， 提 出 了 一 种 通用 方 法 （ Finzi et al.2020），而不要求组动作是可传递的。所有这些工作旨在通过构建等变层来推广通常的CNN结构，以使整体网络等变。我们的方法的目的是通过使用一个PDE层来实现近似等方差，并且不使用基于组的卷积核。基于偏微分方程的神经网络受通用近似定理（Hornik et al.1989），神经网络已被用于逼近PDE的解决方案。该领域的一项主要工作是引 入 物 理 信 息 神 经 网 络 （ PINN ） 方 法 （ Raissi ，Perdikaris和Karniadakis 2019）作为通常有限差分方法的替代方法。(Chen等人2018）强调，残差神经网络实际上可以被视为未知常微分方程（ODE）的一些离散化，并且他们展示了如何通过使用伴随技术和经典ODE求解器从数 据 中 有 效 地 学 习 ODE 参 数 基 于 类 似 的 想 法 ，（Ruthotto和Haber 2019）使用神经网络的ODE公式来引入诱导。偏置，如抛物线或双曲线特性，以增强此外，由于PDE层的基于卷积的集成，可以在一些自动区分框架（如TensorFlow或PyTorch）内执行端到端训练。贡献本文的主要贡献如下：我们引入EqPdeNet混合架构，其特征在于通过利用李群作用的微分不变量，其次是通常的全连接层，第一个等变PDE层。我们的方法特别允许考虑第一层PDE层内的几种类型的等方差。我们通过与ROTMNIST数据集上的一些常见神经网络的行为进行一些比较，2007）。我们通过使用一些离散卷积算子为任意PDE提供了一个数值积分方案，使得EqPdeNet方法与通过自动微分框架内的反向传播进行的端到端训练兼容。不变性和PDE通过利用在（Olver 1993）中引入的形式主义，我们在下面给出关于偏微分方程的不变性理论的一些一般背景这将使我们能够引入李群作用的微分不变量的概念，这是我们工作的核心，并解释如何通过求解特定类型的PDE来构建输入数据的等价表示。对称群形式上，我们将看到p个独立变量x =（x，… x）∈X和一个因变量力分别对扰动和低mem的鲁棒的用法。使用微分方程公式将所需的属性嵌入到神经网络中是我们工作的一个共同特征。然而，在这项工作中不考虑对称性的问题。PDE的使用对于构建等变结构也是有用的。(Shen等人，2020）从通过通常的核卷积近似的差分算子向等距群SE（2）引入等变核。在（Smets et al. 2020），提出了一种与一般传递李群作用量等变的神经网络，它是通过使用几层等变PDE来实现的，算法的训练在于寻找PDE的参数。最近，但更接近目前的工作，（方等。2017）已经使用单个PDE通过利用差分不变量理论来提取线性分类器的等变特征。我们提出的混合方法是适用于任何李群行动，提供了一个发电机组的差分不变量可以有效地计算，它允许几个群体的行动被认为是同时进行。u=u（x1，…x p）∈ U作为涉及x，u和u α=α u，对αNk，k0和αn. PDE解的形式为u=f（x）。在下文中，我们用=Rp表示，其中坐标（x1，…x p），独立变量的空间和由=R，坐标为u，因变量的坐标。让例如（x，u），其李代数g由向量场ζ1，…， ζ m。例如，G可以是作用在X×U'R2上的2维旋转群SO（2），无穷小生成元ζ1= −u x+你通过将f与它的图Γf=（x，f（x）），x等同起来，我们可以定义函数u = f（x）在G作用下的变换Ω，定义g.f=f g，其中函数f g是与变换后的图g相关联的函数。对于g∈G，Γf定义如下：例如Γf={g. （x，f（x）），（x，f（x））∈Γf}=Γfg（1）函数图上的变换函数和群作用的这些概念在图1中示出，其中图···你X X × U你十∈I∈`x（）{∈X}XU∈I.Σ在上述定义中，二项式系数系数为-十X → U−∈≥uxx+ 2uxy +uyyu，nΣ函数f：R→R（左）的变换为楼例子我们选择了图像分类来说明我们的方法，我们考虑了2维特殊欧氏群SE（2）和标度平移的群ΛR*+（2）在R2（p= 2）上的作用，这可以被看作是通过考虑到该部件的使用无穷小不变性准则允许如下写出相应的微分不变量集合：图1：元素g在二维旋转中u，u2+u2，函数f：R→R的图Γ上的群SO（2）SE（2） uxyfφu，2=xx+uyy，u2uxx+ 2ux uyuxy+u2uyy，（四）x2 2 2y群元素g∈SO（2）单旋转2=2 2Σ（右）。用这种形式主义，一个对称群G的consid-广义偏微分方程是一个群G，它作用于MX × U，ΛR*+φu，2u2乐队x，uxxu2乐队x，uxyu2乐队x，uyyuy，uxxuy，uxy乌伊uyy（五）如果f是一个解，那么它的变换fg被群行动也是一种解决办法。等变表示微分不变量我们称n阶喷流空间J（n）一个映射ψ：A → B称为关于群G的作用是等变的，如果ψ（g.a）=g.ψ（a），a∈ A独立空间的笛卡尔积变量和因变量空间的足够副本，以包括阶数小于或等于n的每个偏导数的坐标：和g例如利用微分不变量理论前面介绍过，我们建立从d表示是等变的一个给定的群G的行动，其中I是指输入空间。J（n）=X × U×........×Up+nn（二）为此，我们认为数据点d可以由函数fd的曲线图表示，所以所以d=（x，f d（x）），x.利用这种形式主义，诸如ROTMNIST样本之一的灰度图像考虑：p+nn响应函数的偏导数的数量f（假设足够光滑），阶数小于或等于n。表 示为u = f（x）的函数f：可以自然地从下式扩展为函数u（n）=f（n）（x）：通过评估f和相应的偏导数，到J（n）因此，u（n）={u α，|α|≤ n}。在我们的数值实验中，可以通过将每个位置与其像素值相关联的函数的图形来表示遵循与（Fang et al. 2017）和（Smets et al. 2020），我们通过以下PDE对表示学习过程进行建模：. u= F。φGΣ根据所考虑的形式体系，通用PDE因此可以写成如下：不ut=0=fdu，n（六）是从微分不变量的集合到∆。x，u（n）Σ = 0（3）R和F。克u，n因此也是微分不变量，其中∆是从n阶喷流空间J（n）到R的算子。然后我们用pr（n）G表示G到J（n）的群作用的延拓，对于该延拓的变换g（n），g∈G，使图Γf（n）到Γ（g.f）（n）上，并且通过pr（n）ζ1，…，pr（n）ζ m对应的延长向量微分不变量是微分的任何函数自身不变因此，这意味着对于g G，g.u T也将是一个解，使得数据的学习表示实际上在g.u T（f d）=u T（g.fd）的意义上相对于G的作用是等变的，其中u T（f0）对应于具有初始条件f的（6）的解。因此，如图所示领域的在图2中，在0SE（2），扩散PDE（6） al-在下文中，我们将对与具有G作为对称群的PDE相关联的算子Δ感兴趣这些运营商被称为微分不变量的G的行动，是代数不变量的延长组行动PR（n）G，为n0。 它们可以通过利用无穷小不变性准则pr（n）ζ i∆= 0 （ i = 1 ， ... ， m （ Olver 2016 ） 和 （ Hubert2009）。一组n阶微分不变量将是一般的。用于从输入fD（左上）和g.fD（左下）提取相似表示（右侧的特征图）的图微分不变量的不同函数F通过扩散相应的PDE而导致不同的等变表示由于仅等方差不足以使表示具有区分性（例如，在MNIST样本的角落中的黑色区域），然后我们将使用学习-通常记作在续集里的方法来识别传达某些信息的.φ.你们∈⊆..u=u+ ∆t×FφA+1Aθ，ter且0≤l≤l，其中l=.然后我们考虑rT T.Σu+∆t×Fφ。我们的方法称为EulerConv（图Aθ∈Y国Y × Y→≥不不离散卷积算子（微分卷积图3：组合第一等效PDE层、降维层和更深的全连接层的EqPdeNet图2：MNIST样本I0的SE（2）-等变表示的提取，热方程为tu=uxx+uyy，ut=0=I0。当g∈SE（2）时，等变性质使得相关图是可交换的。最小Lθ1，…θne，ω，δnti=1{y~di，ydi}Σ（八）其中（fd，yd）nt指的是训练样本。通过函数F的推理来获得关于输入数据的有意义的信息。更确切地说，我们将假设F属于一个参数空间，使得F=Fθ，对于θΘRk。在下文中，F将被选择为线性的，如在（Fang et al.2017）或更一般地，作为微分不变量中的多变量多项式。相应的向量参数θ将是我们方法的可训练参数的一部分。i ii=1PDE集成为了有效地找到等变PDE的一些数值近似，并从端到端训练整个架构，我们提出了一种与一些自动微分框架（如TensorFlow或PyTorch）中的反向传播技术兼容的集成方法。卷积方法（Ruthotto & Haber）在下文中，我们将表示uθ，表示ex-x。通过求解偏微分方程（6）不 F=F。明确2019）和（Long et al.2018），我们的方法在于AP-关于θθ逼近PDE积分算子与一些常见的当需要时，通过写uT（fd）来参考初始条件，但是通常将其省略以便于解释。卷积层由精心选择的内核构建更精确地，我们考虑（6）的显式欧拉离散化，我们将其写为如下：混合方法在本节中，我们将介绍一种通用的混合方法，该方法结合了先前介绍的基于PDE的等变表示克u，nu0=fd（九）表示学习与一些完全连接的馈送层，遵循通常CNN的分层结构背后的直觉。EqPdeNet结构我们介绍了图3中用二维数据描述的EqPdeNet结构，其中使用了n个PDE以提取等变表示uθ1，…，uθne.一个迪-其中，uA=uA∆t，∆t>0是离散化参数。不∆t上述欧拉方案的每次迭代对应于神经网络的一层，输入为uA，输出为克你步骤4）则在于通过近似来实现该层将建立微分不变量φG所需的微分算子α与一些适当的卷积配对-T Ttion过滤器。你应力减小层（例如，合并、线性组合等）然后与更深的全连接层组合以产生输出。输出y~d然后，根据以下公式计算对应于输入f d的EqPdeNet的..θΣΣy~d=Nω u θ1（f d），..，（七）因此，对于每个微分指数α，可以写为αUA=Kα * UA（10）其中UA是指UA在上的离散化的张量。域X，Kα是常数卷积核，*是其中ω是指具有对降维层的参数的权重ω和δ的完全连接层的预测函数用L表示：（）ntR，对于所考虑的学习任务的相关损失函数，因此算法的训练在于找到以下最小化问题的近似解，图4中的层）。然后可以从值α U A获得微分不变量，该值对应于通过卷积核Kα（图4中的微分不变量层）通过有限差分计算的微分αUA的近似值相应的输出（图4上的最新层）是欧拉方案（9）的一个步骤的结果。允许执行整个欧拉Σu，2不U −U −U你参数λ测试样品。2、1适用于每一个原件EqPdeNet#param测试异协议13033七十7（2. 7）三十七3（1. 6）23岁1（1. 3）26537七十七。9（0. 6）39岁6（1. 3）二十四岁2（1.1）5508182岁7（0. 7）四十三8（0. 9）二十五8（1.（四）图4：EulerConv单元允许通过用适当的卷积核近似微分算子α来图5：ConvInt单元允许使用几个EulerConv单元使用显式离散化方案来集成PDE该方案被称为ConvInt（图5），并且是针对适当数量的时间步长的EulerConv关于数值精度上述卷积方法的PDE积分实际上可以被看作是一个特定的显式有限差分格式，因此提出了一些自然的问题，一致性，稳定性和收敛。即使对函数Fθ的简单选择，由于微分不变量引入的强非线性，对该方案的理论分析也不是一件容易的工作，因此我们将其推迟到一些进一步的工作中。表 1 ： 在 原 始 ROTMNIST 训 练 样 本 上 训 练 后 ，EqPdeNet网络在几种情况下cal系统的对称性（Noether根据现有的工作线，关于等变算法的测试，我们已经从ROTMNIST数据集构建了我们的数值，我们在这里强调，我们没有使用任何类型的数据增强技术的训练步骤。更确切地说，ROTMNIST数据集是内置的（Larochelle et al.2007），通过对原始样本应用具有在[0，2π]中均匀采样的角度的随机旋转。在下文中，已经在12 k个训练样本上训练了算法，并且已经利用在GeForce RTX 2080 Nvidia卡上运行的我们的方法的基于Tensor-Flow的实现获得了所有结果。我们已经使用了具有PDE层的EqPdeNet网络，旨在构建关于平移组以及旋转或缩放组的等变数据表示更精确地，PDE层包括两个PDE。由微分不变量φSE（2）和其他两个不变量结合的那些φΛR*+，其输出则线性然而，可以对一些实用工具进行评论加起来u，2其可用于控制离散化方案的数值精度仅考虑时间维度，它为了说明我们的方法与相应的全连接神经网络（FCNN）认为A∆t -u∆t=→0o（∆t），这样我们就可以从准确性和鲁棒性的角度来看，我们有通过减小参数Δt并在ConvInt单元中相应地增加一些更多的EuleurConv单元，时间离散化误差任意小。在空间维度上，由uA ∆ t构造UA时，通过增加采样点数可以控制离散误差。在诸如图像处理任务的一些实际情况中，输入数据位于离散流形中，使得先前引入的平滑函数表示被简化。不直接适用。在这种情况下，可以使用诸如函数卷积之类的插值方法来进行计算。我从最初的ROTMNIST测试集构建了几个场景，即iso：随机等距，即（t h，t v）像素的随机平移和θ度的随机旋转的组合，其中t h（2，2），tv（2，2）和θ（30，30）应用于每个原始测试样本。• SCA：随机SCA。线性Σ变换x，y→（λx，λy）3获得一些连续输入（Simard et al. 1998）。数值实验我们在本节中提供的结果，我们已经进行了2维问题的图像分类的数值实验。然而，由于一般适用于平滑函数数据上的对称学习任务，因此我们的方法并不特定于图像分类，并且可以例如实例化以预测物理模型的演变其中（a，b）是指在区间[a，b]上的均匀分布。在平均超过10个测试实例以平滑统计噪声之后获得的每个场景中的准确度结果在表1和2中给出，连同作为下标的相应标准偏差。我们看到，对于所有考虑的参数数量，我们的方法在测试集上的准确度始终高于相应的与·用一个神经网络代替多元多项式通过函数Fθ对微分不变量进行参数化，可能有助于提高算法的表达能力。表2：在原始ROTMNIST训练样本上训练后的几种场景中FCNN的准确性关于鲁棒性，随着参数数量的增加，与过拟合风险的增加一致，我们的方法在ISO和SCA测试场景中达到了更高的精度因此，尽管性能不如使用G-CNN引用Baldi，P.; Sadowski，P.; Whiteson，D. 2014.用深度学习 在 高 能 物 理 中 寻 找 奇 异 粒 子 。 Naturecommunications5（1）：1Bekkers，E. J. 2019.李群上的B样条函数。arXiv预印本arXiv：1909.12057。Carrasquilla，J.;和Melko，R.例如2017.物质的机器学习阶段。Nature Physics13（5）：431陈河T.; Rubanova，Y.; Bettencourt，J.;和迪维诺学位 克雷 2018.神经元常微分方程在神经信息处理系统进展，6571其能够在SE（2）等方差的情况下实现几乎99%的测试准确度（Finzi et al. 2020），因为更简单的结构和近似的等方差，我们的EqPdeNet方法从准确性和鲁棒性的角度来看，相对于通常的FCNN确实提供了实质性的改进。结论和进一步工作在本文中，我们提出了一种混合架构，第一个PDE为基础的层等变的通用组的行动，利用微分不变量理论。这种结构允许实现同时近似equivari- ance相对于几个组的行动，通过聚合学习的内部表示通过降维层馈送更深的全连接层。为了使该方法实用，我们已经指定了一个端到端的训练方法与通常的自动微分框架兼容，其中通过使用固定权重卷积算子获得对几个PDE解的数值近似。我们已经在ROTMNIST数据集上进行了一些数值测试，并且与完全连接的神经网络相比，从准确性和鲁棒性的角度来看，我们的方法具有优越性。然而，我们的然而，从差分不变量构建的PDE比基于组的卷积核更容易解释。虽然我们相信的方法和我们的初步数值结果是有前途的，额外的工作是需要得到严格的规则，相对于超参数设置。特别是，对几个李群和PDE类型的离散化单元的收敛性的理论分析将是有价值的。最后，通过利用我们的方法的可解释性功能，我们计划进行分析的学习等价的表示，以完善的PDE的参数形式的选择要考虑的，研究的机会，使用部分规范技术 ，并讨论 一些安全 和认证 方面。此 外，如在（Finzi et al.2020）来对卷积核进行建模，使用一个小的neu-6583.Cohen，T.;和Welling，M.2016年。群等变卷积网络。国际机器学习会议，2990Cohen，T. S.; Geige r，M.; Kohle r，J.; 和Welling，M.2018年。球形cnns。arXiv预印本arXiv：1801.10130。Esteves，C.; Allen-Blanchette，C.; Makadia，A.;和Dani-ilidis，K. 2018.用球面cnns学习so（3）等变表示。在欧洲计算机视觉会议（ECCV）的会议记录中，52Fang，C.;Zhao，Z.;Zhou，P.;和Lin，Z.2017年。通过偏微分方程的特征学习及其在人脸识别中的应用PatternRecognition69：14Finzi，M.;Stanton，S.;Izmailov，P.;和Wilson，A.例如2020年。将卷积神经网络的等方差推广到任意连续数据上的李群。arXiv预印本arXiv：2002.12880。Gens，R.;和Domingos，P.先生2014.深层对称网络。神经信息处理系统进展，2537Hornik ， K.; Stinchcombe ， M.; White ， H.; 等 人 ，1989。多层前馈网络是一种通用的逼近器。Neuralnetworks2（5）：359Huang ，Z.;Wan ，C.;Probst，T.;和Van Gool，L.2017年。基于骨架的动作识别的李群深度学习IEEE计算机视觉和模式识别会议论文集，6099Hubert，E. 2009.李群作用的微分不变量：发电机组上的合朔。Journal of Symbolic Computation44（4）：382-416.ISSN0747-7171。doi：https://doi.org/10.1016/j.jsc.2008.08.003 。 http ： //www.sciencedirect.com/science/article/pii/S0747717108001089。Larochelle，H.; Erhan，D.; Courville，A.; Bergstra，J.;和Bengio，Y. 2007.对多变量问题的深层体系结构的经验 评 估 。 在 Proceedings of the 24th InternationalConference on Machine Learning，ICML美国纽约州纽约 市 ： 计 算 机 协 会 。 ISBN 9781595937933 。 doi ：10.1145/1273496.1273556。FCNN#param测试异协议13002六十五5（1.（五）三十六7（1.（四）23岁5（0。6）26506七十三。4（0。9）三十七9（1. 2）23岁4（0。7）LeCun，Y.; Bottou，L. Bengio，Y.;和Haffner，P. 1998.基于梯度的学习应用于文档识别。Proceedings of theIEEE86（11）：2278Long ， Z.; Lu ， Y.; Ma， X.; 和Dong ， B. 2018. PDE-Net ： 从 数 据 中 学 习 PDE 第 80 卷 ， Proceedings ofMachineLearningResearch，3208-3216。Stockholmsm¨ssan ， Stockholm Sweden ： PMLR 。 网 址http://proceedings.mlr。press/v80/long18a.html。Marcos，D.;Volpi，M.;和Tuia，D.2016年。学习用于纹理分类的旋转不变卷积滤波器。2016年第23届模式识别国际会议（ICPR），2012-2017。IEEE。Olver，P. 1993年。李群在微分方程中的应用。NewYork，NY，USA：Springer-Verlag.Olver，P. 2016.欧氏曲面的等变移动标架。Oyallon，E.;和Mallat，S.2015年。用于对象分类的深度旋转平移IEEE计算机视觉与模式识别会议论文集，2865-2873。Raissi，M.; Perdikaris，P.;和Karniadakis，G.大肠2019.物理信息神经网络：一个深度学习框架，用于解决涉及非线性偏微分方程的正向和反向问题。Journal ofComputational Physics378：686Raissi，M.; Yazdani，A.;和Karniadakis，G.大肠2020.隐藏的流体力学：从流动可视化中学习速度和压力场。Science367（6481）：1026Ruthotto，L.;和Haber，E. 2019.由偏微分方程驱动的深度 神 经 网 络 。 Journal of Mathematical Imaging andVision62：352Shen ， Z.; He ， L.; Lin ， Z.; 和 Ma ， J. 2020 。 PDO-eConvs：基于偏微分算子的等变卷积。arXiv预印本arXiv：2007.10408。Simard，P.; LeCun，Y.; Denker，J. S.;和Victorri，B.1998.模式识别中的变换不变性-切线距离和切线传播。在神经网络中：Tricks of the Trade，This Book is anOutgrowth of a 1996 NIPS Workshop，239-27. Berlin，Heidelberg：Springer-Verlag.ISBN 3540653112。Smets，B.; Portegies，J.; Bekkers，E.;和Duits，R. 2020.基于偏微分方程的群等变卷积神经网络arXiv预印本arXiv：2001.09046。Szegedy，C.; Ioffe，S.; Vanhoucke，V.;和Alemi，A.上午2017. Inception-v4、Inception-resnet和剩余连接对学习的影响第31届AAAI人工智能。Van Nieuwenburg，E.P.; Liu，Y.-H.; 和Huber，S.学位2017年。通过混淆学习相变。Nature Physics13（5）：435Weiler，M.;Hamprecht，F.A.; 和Storath，M.2018年。用于旋转等变CNN的学习可控滤波器。IEEE计算机视觉与模式识别会议论文集，849Worrall，D. E.; Garbin，S. J.; Turmukhambetov，D.;和Brostow，G. J. 2017.谐波网络：深度平移和旋转等方差。在IEEE计算机视觉和模式识别会议集，5028Xiong ， W.; Droppo ， J.; Huang ， X.; Seide ， F.;Seltzer，M.; Stolcke，A.; Yu，D.;和Zweig，G. 2016.在会话语音识别中实现人类平等。arXiv预印本arXiv：1610.05256。Zaheer，M.; Kottur，S.; Ravanbakhsh，S.; Poczos，B.;萨拉胡季诺夫河R.;和Smola，A. J. 2017.深套。神经信息处理系统的进展，3391- 3401。