Ⓧ利用混合深度学习和微分不变量理论Pierre-Yves Lagrave，Mathieu Riou法国泰雷兹研究与技术公司，1avenue Augustin Fresnel小行星91767pierre-yves. thalesgroup.com，mathieu. thalesgroup.com摘要对称性在物理问题中是普遍存在的，当使用神经网络来近似它们的解时，应该考虑到这些对称性。通过使用等变层在神经网络中嵌入从鲁棒性的角度来看，构建等变结构也很有吸引力，因为使用正确的设计算法简化了验证步骤，这是任何关键应用（如安全和军事相关任务）的先决条件。然而，在神经网络中一般地强制执行等方差需要使用麻烦的运算器，诸如具有基于组的卷积核，其输出可能难以解释。在本文中，我们介绍了EqPdeNet，一种替代方法，其中等价的偏微分方程嵌入在神经网络的第一层。这种方法提供了关于任何李群作用的近似等方差此外，相关联的偏微分方程的结构可以与输入数据的物理性质直接相关，使得当与基于组的卷积核的使用相比时，从可解释性的观点来看，这种方法特别有吸引力。介绍对称性在物理学中是普遍存在的，具有有限的对称群，例如石墨烯的六方晶格和连续群，例如粒子物理学中的洛伦兹群神经网络在图像和语音识别方面的成功突出显示（Szegedy et al. 2017），（Xiong et al.2016），神经网络现在用于各种物理领域，例如 作为流体力学（Raissi，Perdikaris和Karniadakis 2019），（Raissi，Yazdani和Karniadakis 2020），高能物理学（Baldi，Sadowski和Whiteson 2014）或凝聚态物理学（Carrasquilla和Melko 2017），(VanNieuwenburg，Liu，and Huber 2017）。本文版权归作者所有。根据知识共享许可协议署名4.0国际（CC BY 4.0）允许卷积神经网络（CNN）（LeCun et al. 1998）已经证明了在图像处理任务的神经网络设计中嵌入平移对称性的有效性更一般地，直接将所需的对称性编码到算法设计中减少了参数的数量并增加了鲁棒性。使用算法，其中给定的属性是通过其规范（正确的设计算法）强制执行的，也有更适合于关键的应用程序，如安全和军事相关的任务的优势。考虑到物理学中对称性的多样性，需要一种将对称群嵌入神经网络设计的通用方法群卷积神经网络（G-CNN）首先由（Cohen和Welling 2016）引入，最近已扩展到一般对称群（Finziet al. 2020）并实现了这一目的。然而，它们依赖于一个繁琐的规范，很难解释。在本文中，我们介绍了EqPdeNet神经网络，利用李群作用的微分不变量。在EqPdeNet中，输入数据的等变内部表示通过神经网络的第一层构建，然后由更深的全连接层处理这种混合方法适用于任何李群，而不需要群作用传递地作用于输入流形，并通过实现近似等方差来提高精度和鲁棒性。此外，相关联的偏微分方程（PDE）的结构可以与输入数据的物理性质直接相关，使得当与基于组的卷积核的使用相比时，从可解释性的角度来看，这种方法特别有吸引力。相关工作和贡献我们在下面回顾相关工作，首先关注G-CNN，然后强调神经网络和PDE之间现有的对偶性。群卷积神经网络CNN在图像处理任务中的成功推动了几项工作，这些工作涉及将其翻译等变层推广到其他类型的变换。在此背景下，（Cohen and Welling 2016）介绍了XUx100。∈≥||≤M× X×U1{∈<$}<$X × Up群 卷 积 神 经 网 络 （ Group-Convolutional NeuralNetwork，G-CNN）的概念是通过扩展权值共享的原理来满足除平移之外的其他对称性，并专注于离散群，如p4和p4 m。其他工作主要集中在特定的对称群上，例如置换群（Zaheer等人，2017），二维旋转群SO（ 2 ） 的 一 些 离 散 子 群 （ Mar- cos ， Volpi 和 Tuia2016），SO（2）本身（Oyallon和Mal- lat 2015），（ Worrall 等 人 ， 2017 ） ， （ Weiler ， Hamprecht 和Storath 2018），三维平移和旋转群（Cohen等人，2018），（Esteves等人，2018）。2018年）。这些方法后来被推广到更一般的变换集，特别是那些由李群的传递作用产生的变换集（Gens和Domingos2014），（Huang et al.2017），（Bekkers 2019）。最近，提出了一种通用方法（Finzi et al. 2020），而不要求群作用是传递的。所有这些工作旨在通过构建等变层来推广通常的CNN结构，以使整个网络等变。我们的方法的目的是通过使用一个PDE层来实现近似等方差，并且不使用基于组的卷积核。基于偏微分方程的神经网络受普适近似定理（Hornik et al.1989年），神经网络已被用来近似解偏微分方程。该领域的一项主要工作是引 入 物 理 信 息 神 经 网 络 （ PINN ） 方 法 （ Raissi ，Perdikaris和Karniadakis 2019）作为通常有限差分方法的替代方法。(Chen等人2018）强调，残差神经网络实际上可以被视为未知常微分方程（ODE）的某种离散化，他们展示了如何通过使用伴随技术和经典ODE求解器从数据中有效地学习ODE参数基于类似的想法，（Ruthotto和Haber 2019）使用神经网络的ODE公式来引入诱导，偏置，如抛物线或双曲线特性，以增强，此外，由于PDE层的基于卷积的集成，可以在一些自动区分框架（如TensorFlow或PyTorch）中执行端到端训练。贡献本文的主要贡献如下：我们引入EqPdeNet混合架构，其特征在于通过利用李群作用的微分不变量的第一个等变PDE层，然后是通常的全连接层。我们的方法特别允许考虑第一层PDE层内的几种类型的等方差。我们通过与ROTMNIST数据集上的一些常用神经网络进行比较2007年）。我们通过使用一些离散卷积算子为任意PDE提供了一个数值积分方案，使EqPdeNet方法与自动微分框架内通过反向传播进行的端到端训练兼容。不变性和PDE通过利用在（Olver 1993）中引入的形式主义，我们在下面给出关于偏微分方程的不变性理论的一些一般背景这将使我们能够引入李群作用的微分不变量的概念，这是我们工作的核心，并解释如何通过求解特定类型的PDE来构建输入数据的等价表示。对称群形式上，我们将看到p个独立变量x =（x，...，x）∈ X和一个因变量力分别对扰动和低干扰的鲁棒性的用法。使用微分方程公式将所需属性嵌入到神经网络中是我们工作的一个共同特征。然而，在这项工作中没有考虑对称性的问题。偏微分方程的使用对于建立等变结构也很有用。(Shen等人，2020）从通过通常的核卷积近似的差分算子向等距群SE（2）引入了等变核。在（Smets et al.2020）中，通过使用几层等变PDE，提出了一种与一般传递李群作用等变的最近，但更接近于目前的工作，（Fang et al. 2017）已经使用单个PDE通过利用差分不变量理论来提取线性分类器的等变特征。我们提出的混合方法是适用于任何李群作用，提供了一个生成集的差分不变量可以有效地计算，它允许几个群作用被认为是同时进行。u=u（x1，...，x p）∈ U作为涉及x，u和u α=<$α u，对α Nk，k0和αn. PDE解的形式为u=f（x）。在下文中，我们用=Rp表示，坐标为（x1，.，x p），独立变量的空间，=R，坐标为u，因变量的坐标。让G. （x，u）在一个子流形上，其李代数g由向量场生成，...， 好吧例如，G可以是作用在X×U'R2上的2维旋转群SO（2），无穷小生成元1= −u x+u通过将f与它的图Γf=（x，f（x）），x等同起来，我们可以定义函数u = f（x）在G的作用下的变换f=f g，其中函数f g是与变换后的图g相关联的函数。对于g∈G，定义如下：G. Γf={g. （x，f（x）），（x，f（x））∈Γf}=Γfg（1）图1中说明了函数图上的变换函数和群作用的这些概念，···UX X × UUX∈I∀ ∈`x{∈X}XU∈I.在上面的定义中，二项式系数-XX → U−∈≥uxx+ 2uxy +uyyu，nΣ函数f：R→R（左）的变换为：F例子我们选择了图像分类来说明我们的方法，我们考虑了2维特殊欧氏群SE（2）和标度平移群ΛR+（2）在R2（p= 2）上的作用，它们可以被看作是通过考虑到该部件的微不足道的组件。使用无穷小不变量准则允许如下写出相应的微分不变量集：图1：元素g在二维旋转中u，u2+u2，函数f：R→R的图Γ上的群SO（2）SE（2）fφu，2=xx+uyy，u2uxx+ 2ux uyuxy+u2uyy，（四）中国22 22群元素g∈SO（2）单旋转2=2 2Σ（右）。用这种形式主义，一个对称群G的consid-广义偏微分方程是一个群G，作用于M<$X × U，ΛR+φu，2u2x，uxxu2x，uxyu2x，uyy是的，uxx是的，乌西乌伊UYY（五）如果f是一个解，那么它的变换fg被群行动也是一种解决办法。等变表示微分不变量我们称n阶喷流空间J（n）一个映射<$A → B称为关于群G的作用等变的，如果<$A（g. a）=g.<$A（a），<$A∈ A独立空间的乘积变量和因变量空间的足够副本，以包括阶数小于或等于n的每个偏导数的坐标：和gG.利用微分不变量理论前面介绍过，我们从d表示建立，这些表示与给定群G的作用等变，其中I指的是输入空间。J（n）=X × U×........×Up+nn（二）为此，我们认为数据点d可以用函数fd的图形表示， 因此，d= （x，f d（x）），x.利用这种形式主义，灰度图像（诸如ROTMNIST样本之一）考虑：p+nn响应函数的偏导数的个数f（假设足够光滑），阶数小于或等于n。一个函数f：表示为u = f（x）可以自然地延伸到一个函数u（n）=f（n）（x），通过计算f和相应的偏导数，，则u（n）={u α，|α|≤ n}。在我们的数值实验中，可以通过将每个位置与其像素值相关联的函数的图形来表示遵循与（Fang et al. 2017）和（Smets et al. 2020）类似的想法，我们通过以下PDE对表征学习过程进行建模：. u= F。φG根据所考虑的形式主义，通用PDE因此可以写成如下，不ut=0=fdu，n（六）是从微分不变量集到- 是的x，u（n）= 0（3）R和F。Gu，n因此也是微分不变量，其中n是从n阶喷流空间J（n）到R的算子。然后我们用pr（n）G表示G的群作用到J（n）的延拓，对于J（n），对g∈G，延拓变换g（n）使图Γf（n）到Γ（g.f）（n）上，并且由pr（n）1，...，pr（n）表示相应的延拓向量微分不变量的任何函数是微分自身不变因此，这意味着对于g G，g.u T也将是一个解，使得数据的学习表示实际上在g.u T（f d）=u T（g.fd）的意义上相对于G的作用是等变的，其中u T（f0）对应于具有初始条件f的（6）的解。如图所示，领域的在图2中，0SE（2），扩散PDE（6） al-在下文中，我们将对与具有G作为对称群的偏微分方程相关联的算子G感兴趣这些算子被称为微分不变量的作用G和代数不变量的延长群作用PR（n）G，为n0。 它们可以通过在无穷小不变准则pr（n）i= 0（i =1，...，m（Olver 2016）和（Hubert 2009）。一组n阶微分不变量将是一般的。用于从输入fD（左上）和g.fD（左下）提取相似表示（右侧的特征图）的图不同的微分不变量函数F通过扩散相应的偏微分方程得到不同的等变由于仅等方差不足以使表示具有区分性（例如，在MNIST样本的角落中的黑色区域），然后我们将使用一个学习-通常记为φ G在续集里。方法来识别表达一些.∂φ.Y∈⊆..u=u+t×FφA+1Aθ，ter和0≤l≤l，其中l=.然后我们考虑rT T.u+我们的方法称为EulerConv（图Aθ∈YNY × Y→≥不不离散卷积算子（微分卷积图3：EqPdeNet结构结合了第一个等效PDE层、降维层和更深的全连接层图2：MNIST样本I0的SE（2）-等变表示的提取，热方程为<$tu=uxx+uyy，ut=0=I0。当g∈SE（2）时，等变性质使关联图是可交换的。最小Lθ1，...θne，ω，δnti=1{ydi，ydi}（八）其中（fd，yd）nt指的是训练样本。通过函数F的推理获得关于输入数据的有意义的信息。更精确地说，我们假设F属于一个仿射空间，使得F=Fθ，对于θΘRk.在下文中，F将被选择为线性的，如在（Fang et al.2017）或更一般地，作为微分不变量中的多变量多项式。相应的向量参数θ将是我们方法的可训练参数的一部分。i ii=1PDE集成为了有效地找到等变PDE的一些数值近似，并从端到端训练整个架构，我们提出了一种与一些自动微分框架（如TensorFlow或PyTorch）中的反向传播技术兼容的集成方法。卷积方法（Ruthotto & Haber）在下文中，我们将表示uθ，通过求解偏微分方程（6）不 F=F。显式2019）和（Long et al.2018），我们的方法包括在AP-关于θθ逼近PDE积分算子与一些常见的当需要时，通过写uT（fd）来引用初始条件，但是通常将其省略以便于解释。卷积层由精心挑选的内核构建更准确地说，我们考虑（6）的显式欧拉离散化，我们写为：混合方法在本节中，我们将介绍一种通用的混合方法，该方法结合了先前介绍的基于PDE的等变表示，Gu，nu0=fd（九）使用一些完全连接的前馈层学习表示，遵循通常CNN的分层结构背后的直觉。EqPdeNet结构我们在图3中介绍了用二维数据描述的EqPdeNet结构，其中使用了n个PDE为了提取等变表示uθ1，.，uθne.一个迪-其中，uA=uAt，t>0是离散化参数。不特上述欧拉方案的每次迭代对应于神经网络的一层，输入为uA，输出为Gu第四步：在这一步中，我们要做的是：将建立微分不变量<$φG所需的微分算子<$α与一些适当的卷积相匹配，T Ttion过滤器。u压力减小层（例如，合并、线性组合等）然后与更深的全连接层组合以产生输出。一个输出yd然后，根据以下公式计算对应于输入fd的EqPdeNet：..θΣΣyd=Nωu θ1（f d），..，（七）因此，对于每个微分指数α，可以写为：αUA=Kα * UA（10）其中UA是指UA在上的离散化的张量域X，Kα是常数卷积核，*是其中ω是指具有对降维层的参数的权重ω和δ的完全连接层的预测函数用L表示：（）ntR，对于所考虑的学习任务的相关损失函数，算法的训练因此包括找到以下最小化问题的近似解，图4）。然后，可以从对应于通过卷积核Kα（图4中的微分不变量层）通过有限差分计算的微分不变量的近似值的值αUA中相应的输出（图4中的更新层）是欧拉格式（9）的一个步骤的结果。该单位允许执行整个欧拉Σu，2不U −U −简体中文U参数λ测试样品。2、1适用于每一个原件EqPdeNet#param测试ISOSCA13033七十。7（2. 第七章）37岁3（1. 六、23岁1（1. 第三章26537七十七。9（0. 六、39岁。6（1. 第三章24岁2（1. 第一章图4：EulerConv单元允许通过使用适当的卷积核来近似微分算子εα图5：ConvInt单元允许使用多个EulerConv单元的显式离散化方案来集成PDE该方案被称为ConvInt（图5），是适当数量的时间步长的EulerConv关于数值精度上述卷积方法的偏微分方程积分实际上可以看作是一个特定的显式有限差分格式，因此提出了一些自然的问题的一致性，稳定性和收敛性。即使对函数Fθ的简单选择，由于微分不变量引入的强非线性，对该方案的理论分析也不是一件容易的工作，因此我们将其推迟到进一步的表 1 ： 在 原 始 ROTMNIST 训 练 样 本 上 训 练 后 ，EqPdeNet网络在几种情况下系统的对称性（Noether根据现有的工作线，关于测试的等变算法，我们已经从ROTMNIST数据集构建了我们的数值，我们在这里强调，我们没有使用任何类型的数据增强技术的训练步骤。更准确地说，ROTMNIST数据集是内置的（Larochelle et al.2007）通过对原始样本应用具有在[0，2π]中均匀采样的角度的随机旋转来从原始MNIST数字中提取。在下文中，已经在12 k训练样本上训练了算法，并且已经使用在GeForce RTX 2080 Nvidia卡上运行的我们的方法的基于Tensor-Flow的实现获得了所有结果。我们已经使用了具有PDE层的EqPdeNet网络，旨在构建关于平移组以及旋转或缩放组的等变数据表示更精确地，PDE层包括两个PDE，由微分不变量φSE（2）和其他两个不变量结合的那些<$φΛR<$+，其输出，然后线性然而，可以对一些实用工具发表评论加起来u，2其可用于控制离散化方案的数值精度仅从时间维度考虑，为了说明我们的方法与相应的全连接神经网络（FCNN）认为，阿勒特-ut=→0o（t），这样我们就可以从准确性和鲁棒性的角度来看，我们有通过减小参数Et并相应地在ConvInt单元中增加一些更多的EuleurConv单元在空间维数上，由uA_t构造uA时，通过增加采样点数可以控制离散误差。在某些实际情况下，如图像处理任务，输入数据位于离散流形，使得之前介绍的光滑函数表示，不直接适用。在这种情况下，可以使用诸如函数卷积的插值方法来我从最初的ROTMNIST测试集中构建了几个场景，即iso：随机等距，即（t h，t v）像素的随机平移和θ度的随机旋转的组合，其中t h（2，2），tv（2，2）和θ（30，30）应用于每个原始测试样本。• SCA：随机SCA。线性变换x，y→（λx，λy），3获得一些连续的输入（Simard et al. 1998年）。数值实验我们在这一节中提供的结果，数值实验，我们已经进行了2维问题的图像分类。然而，由于一般适用于光滑函数数据上的对称学习任务，因此我们的方法并不特定于图像分类，并且可以例如实例化以预测物理模型的演变其中（a，b）是指区间[a，b]上的均匀分布。表1和表2中给出了平均超过10次测试以消除统计噪声后获得的每个场景的准确度结果，以及相应的标准偏差作为下标。我们看到，对于所有考虑的参数数量，我们的方法在测试集上的准确度始终高于相应的与·用函数Fθ代替多元多项式对微分不变量进行参数化，有助于提高算法的表达能力。表2：在原始ROTMNIST训练样本上训练后，FCNN在几种情况下的准确性关于鲁棒性，随着参数数量的增加，我们的方法在ISO和SCA测试场景中达到了更高的精度，这与过拟合风险的增加一致因此，尽管性能不如使用G-CNN引用Baldi，P.; Sadowski，P.; Whiteson，D. 2014.用深度学习 在 高 能 物 理 中 寻 找 奇 异 粒 子 。 NatureCommunications5（1）：1Bekkers，E. J. 2019年。李群上的B样条cnn。arXiv预印本arXiv：1909.12057。Carrasquilla，J.;和Melko，R. G. 2017.物质的机器学习阶段。Nature Physics13（5）：431陈河，巴西-地T.; Rubanova，Y.; Bettencourt，J.;和迪弗诺，D. K. 2018.神经元常微分方程在神经信息处理系统进展，6571由于结构更简单和近似等方差，EqPdeNet方法能够在SE（2）等方差的情况下实现几乎99%的测试准确度（Finzi et al. 2020），从准确性和鲁棒性的角度来看，我们的EqPdeNet方法确实相对于通常的FCNN结论和进一步工作在本文中，我们提出了一个混合架构，第一个PDE为基础的层，利用微分不变量理论的通用组动作等变。这种结构允许实现同步近似equivariance，通过聚合学习的内部表示，通过降维层馈送更深的全连接层，相对于几个组的行动为了使该方法实用，我们指定了一种与通常的微分框架兼容的端到端训练方法，其中通过使用固定权重卷积算子获得对几个PDE解的数值近似。我们已经在ROTMNIST数据集上进行了一些数值测试，并且与全连接神经网络相比，从准确性和鲁棒性的角度来看，我们的方法具有优越性。然而，我们的然而，从微分不变量构建的PDE比基于组的卷积核更容易解释。虽然我们相信这种方法和我们的初步数值结果是有前途的，额外的工作是需要得到严格的规则，相对于超参数设置。特别是，理论分析的收敛性的离散化单位的几个李群和PDE类型将是有价值的。最后，通过利用我们的方法的可解释性特征，我们计划对学习到的等价表示进行分析，以改进要考虑的PDE的参数形式的选择，研究使用部分规范技术的机会，并讨论一些安全和认证方面。此外，如在（Finziet al.2020）来模拟卷积核，使用一个小的neu-6583.Cohen，T.;和Welling，M.2016年。群等变卷积网络。在国际机器学习会议上，2990Cohen，T. S.的; Geige r，M.; Kohle r，J.; 和Welling，M. 2018年球形cnn。arXiv预印本arXiv：1801.10130。Esteves ， C.; Allen-Blanchette ， C.; Makadia ， A.; 和Dani，K. 2018.用球面cnn学习so（3）等变表示。在欧洲计算机视觉会议（ECCV）的会议记录中，52方，C.;赵，Z.;周，P.;和Lin，Z.2017年。基于偏微分方程 的 特 征 学 习 及 其 在 人 脸 识 别 中 的 应 用 PatternRecognition69：14Finzi，M.;Stanton，S.;Izmailov，P.;Wilson，A.G. 2020年。将卷积神经网络的等方差推广到任意连续数据上的李群。arXiv预印本arXiv：2002.12880。Gens，R.;和Domingos，P. M. 2014.深层对称网络。神经信息处理系统的进展，2537Hornik ， K.; Stinchcombe ， M.; White ， H.; 等 ， 1989年。多层前馈网络是一种通用的逼近器. 神经网络2（5）：359黄志;万，C.;Probst，T.;和Van Gool，L.2017年。李群的深度学习，用于基于动作的识别。IEEE计算机视觉与模式识别会议论文集，6099Hubert，E. 2009.李群作用的微分不变量：生成集上的合偶。Journal of Symbolic Computation44（4）：382-416.ISSN0747-7171。doi：https://doi.org/10.1016/j.jsc.2008.08.003 网 站 。 http ：//www.sciencedirect.com/science/article/pii/S0747717108001089。Larochelle，H.; Erhan，D.; Courville，A.; Bergstra，J.;和Bengio，Y. 2007.对多变量问题的深层体系结构的经验评估。第24届国际机器学习集，ICML美国纽约州纽约 市 ： 计 算 机 协 会 。 ISBN 9781595937933 。 doi ：10.1145/1273496.1273556。FCNN#param测试ISOSCA1300265岁5（1. 第五章）三十六。7（1. 四、23岁5（0. 六、26506七十三。4（0. 九、37岁9（1.（二）23岁4（0. 第七章）LeCun，Y.;博图湖; Bengio，Y.;和Haffner，P. 1998.应用于文档识别的基于一致性的学习。Proceedings of theIEEE86（11）：2278Long ， Z.; 卢 ， Y.; Ma ， X.; 和 Dong ， B. 2018. PDE-Net ： 从 数 据 中 学 习 PDE 第 80 卷 ， Proceedings ofMachineLearningResearch，3208-3216。Stockholmsmaüssan ，Stockholm Sweden：PMLR.网址http://proceedings.mlr。press/v80/long18a.html。Marcos，D.;沃尔皮，M.;和Tuia，D.2016年。学习用于纹理分类的旋转不变卷积滤波器。2016年第23届模式识别国际会议（ICPR），2012-2017。美国电气与电子工程师协会。Olver，P. 1993年。李群在微分方程中的应用。NewYork，NY，USA：Springer-Verlag.Olver，P. 2016.欧氏曲面的等变移动标架。Oyallon，E.;和Mallat，S.2015年。用于对象分类的深度旋转平移IEEE计算机视觉与模式识别会议论文集，2865-2873。Raissi，M.; Perdikaris，P.; Karniadakis，G. E. 2019.物理信息神经网络：一个深度学习框架，用于解决涉及非线性偏微分方程的正问题和反问题。计算物理学杂志378：686Raissi，M.; Yazdani，A.; Karniadakis，G. E. 2020.隐藏的流体力学：从流动可视化中学习速度和压力场.Science367（6481）：1026Ruthotto，L.;和Haber，E. 2019.由偏微分方程驱动的深度 神 经 网 络 。 Journal of Mathematical Imaging andVision62：352沈志;他，L.; Lin，Z.;和Ma，J. 2020。PDO-eConvs：基于 偏 微 分 算 子 的 等 变 卷 积 。 arXiv 预 印 本 arXiv ：2007.10408。Simard，P.; LeCun，Y.; Denker，J. S.;和Victorri，B.1998.模式识别中的变换不变性-切距离和切传播。在《神经网络：交易技巧》中，本书是1996年NIPS研讨会 ， 第 239Berlin ， Heidelberg ： Springer-Verlag.ISBN3540653112。Smets，B.; Portegies，J.; Bekkers，E.;和Duits，R. 2020.基于偏微分方程的群等变卷积神经网络arXiv预印本arXiv：2001.09046。Szegedy，C.; Ioffe，S.; Vanhoucke，V.;和Alemi，A. A.2017. 起始-v4，起始-resnet和剩余连接对学习的影响第31届AAAI人工智能。Van Nieuwenburg，E.P的; 刘玉-H.的; 和Huber，S.D.2017年。通过混淆学习相变。Nature Physics13（5）：435Weiler，M.;Hamprecht，F.一、和Storath，M.2018年用于旋转等变CNN的学习可控滤波器。在IEEE计算机视觉和模式识别会议上，849Worrall，D. E.的; Garbin，S. J.道：Turmukhambetov，D.; Brostow，G. J. 2017.谐波网络：深度平移和旋转等方差。在IEEE计算机视觉和模式识别会议集，5028熊，W.; Droppo，J.;黄，X.; Seide，F.; Seltzer，M.;Stolcke，A.; Yu，D.;和Zweig，G. 2016.在会话语音识别中实现人类平等。arXiv预印本arXiv：1610.05256。Zaheer，M.; Kottur，S.; Ravanbakhsh，S.; Poczos，B.;萨拉胡季诺夫河的R.;和Smola，A. J. 2017.深套。神经信息处理系统的进展，3391- 3401。
我的内容管理
展开
