提升层：分析和应用Peter Ochs1、Tim Meinhardt2、Laura Leal-Taixe2和Michael Moeller31萨尔大学，ochs@math.uni-sb.de2慕尼黑工业大学，{tim.meinhardt，leal.taixe}@ tum.de3锡根大学，michael. uni-siegen.de抽象。图像处理和计算机视觉中基于学习的方法的巨大进步主要基于深度嵌套的网络，这些网络组成具有适当非线性的线性传递函数。有趣的是，成像应用中最常用的非线性（整流线性单元的变体）在低维近似问题中并不常见。在本文中，我们提出了一种新的非线性传递函数，称为提升，这是从一个相关的凸优化技术的动机。提升层增加了输入的维数，当与全连接层结合时自然产生线性样条，因此缩小了低维和高维近似问题之间的差距。此外，将提升操作应用于网络的损失层允许我们处理非凸平坦（零梯度）成本函数。我们从理论上分析了所提出的提升，在合成实验中举例说明了有趣的特性，并证明了其在图像分类和去噪的深度学习方法中的有效性。关键词：机器学习，深度学习，插值，逼近理论，凸松弛，提升1介绍在过去的10年里，深度学习取得了巨大的成功，显著地改善了几乎所有计算机视觉和图像处理任务的最新技术水平。虽然这种成功的主要解释之一是用数据驱动的方法取代了手工制作的方法和功能，但成功网络的架构仍然是手工制作的，难以解释。在成像任务中使用一些常见的构建块（诸如卷积）是直观的，因为它们建立平移不变性。具有非线性的线性传递函数的组合是实现简单但富有表现力的表示的自然方式，但是非线性的选择不太直观：从生物学动机的阶跃函数或其通过S形曲线的平滑近似开始，研究人员已经转向整流线性单元（ReLU），σ（x）= max（x，0）（1）以避免消失梯度的基于优化的问题对于所有x>0，ReLU的导数为σ′（x）= 1尽管如此，导数仍然为零2P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒提升输入自然产生线性样条提高产量使我们能够凸化损失(a) 代表权变更(b) 通过提升进行装配(c) 提升图像数据图1.一、 所提出的提升识别预定义标签ti∈ R，其中单位向量ei在RL中，L≥ 2。如（a）中所示，表示为ti和ti+1的凸组合的数x在空间（3）中表示为在所有的高分辨率中。当提升层与全连接层组合时，其对应于线性样条，并且当输入以及期望的输出都被提升时，其允许非凸成本函数被表示为凸最小化问题（b）。最后，如（c）所示，坐标提升产生了一种有趣的图像表示，它允许不同强度的纹理被不同地过滤这<似乎并不使其成为用于激活函数的自然选择，并且对于“dedead”RleLU而言，这是一个很好的选择。这可以通过ReLU变体（诸如泄漏ReLU[1]、参数化ReLU [2]或最大输出单元[3]）来部分地寻址。这些仍然是最流行的非线性选择之一，因为它们允许在实践中进行快速网络训练在本文中，我们提出了一种新型的非线性层，我们称之为提升层。与ReLU（1）相反，它不会丢弃大部分输入数据，而是将其提升到不同的通道，允许输入x在不同的时间间隔上独立处理。正如我们在3.4节中更详细讨论的那样，所提出的提升非线性的最简单形式是映射σ（x）=.Σmax（x，0）min（x，0）、（二）其基本上由两个互补的ReLU组成，因此既不丢弃一半的输入，也不具有零梯度的间隔。更一般地，所提出的非线性取决于标签tl<。. . 0的泄漏ReLU[1]，随机选择α的随机泄漏ReLU [10]，其中α是可学习参数的参数ReLU [2]。自归一化神经网络[11]使用缩放指数LU（SELU），其具有进一步的归一化特性，因此取代了批量归一化技术[12]的使用。虽然激活（4）似乎与我们提升的最简单情况（2）密切相关，但后者允许单独处理max（x，0）和min（x，0），避免了在（4）中预先定义α的问题，并导致所得函数的更多自由度。另一个相关的非线性传递函数是maxout单位[3]，其（在我们目前考虑的1-D情况下）定义为σ（x）=max（θjx+bj）。（五）J它们可以表示任何分段线性凸函数。然而，正如我们在命题1中所示，所提出的提升层与全连接层的组合放弃了对凸激活函数的限制，并允许我们学习任何分段线性函数。万有逼近定理 作为[13]中的通用逼近定理的扩展，[ 14 ]中已经表明，具有一个隐藏层的前馈网络的集合，即，形式的所有函数NΣNN（x）= θ1σ（∠θ2，x∠+bj）（6）J Jj=1对于某个整数N，权重θ1∈R，θ2∈Rn，bj∈Raredenseinthehe连续函数集f：[0，1]n→R当且仅当σ不是多项式。虽然该结果证明了所有常见激活函数的表达能力，但是用形式（6）的网络N逼近某个给定函数f需要对参数θ1和（θ2，b）进行优化，这不可避免地导致非凸问题。我们证明了相同的表达能力的提升为基础的架构（见推论1），而值得注意的是，我们相应的学习问题是一个凸优化问题。此外，除了（6）的定性密度结果之外，我们可以量化对一个简单函数的近似质量依赖，因为要近似的函数中的函数的“复杂性”3提升层在本节中，我们将介绍所提出的提升层（第3.1节），并在简单的1-D设置中研究它们的有利特性（第3.2节）。的限制提升层5到1-D函数的描述主要是为了说明的目的和简单。所有结果都可以通过向量值提升转移到更高的维度（第3.3节）。本节中提供的分析不直接适用于深度网络，但它为这种设置提供了一种直觉第3.4节讨论了一些实践方面，并揭示了与ReLU的联系。补充材料中提供了所有证据。3.1定义下面的定义形式化了引言中的提升层定义1（提升）。 我们定义了。x∈[t，t]，t，t∈R，关于欧几里得基E：=e1，. . . ，e_L和纽结序列t= t11，λ2（x）0，λL（x）>1，λL−1（x）0，它需要更多的技术细节。<<为了清晰的演示，我们省略了这些细节。3.2一维分析虽然，在这里，我们关注的是1-D功能，这些属性和例子提供了一些直觉的实施提升层到一个深的架构。此外，类似的结果，可以说明为提升的高维空间。命题1（线性样条的预测）。一个全连通层z <$→ <$θ，z<$其中θ ∈ RL，和一个提升层的组合，即，Nθ（x）：=θ，θ（x），（9）产生线性样条（连续分段线性函数）。相反，任何线性样条都可以用（9）的形式表示。6P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒虽然（9）中的结构不属于由通用逼近定理覆盖的函数类，但是线性样条插值的公知结果仍然保证相同的结果。推论1（连续函数的预测）。任何连续函数f：[t，t] → R都可以用一个网络结构Nθ（x）：=<θ，（x）>任意精确地表示，其中L足够大，且θ∈RL。此外，由于线性样条当然可以精确地拟合任何（空间上不同的）数据点，因此我们的简单网络架构对于标签的特定选择具有相同的属性。另一方面，该结果表明，使用少量标签充当线性插值类型的正则化。推论2（过度拟合）。 设（xi，yi）为训练数据，i = 1，. . . ，N，其中xi=xi，j 或ri=iJ. 如果L=N且ti=xi，则存在sθ，使得Nθ（x）：=θ，θ（x）在所有数据点x = xi 处 是 精 确 的，即 Nθ（x i）= y i，对于所有i =1，. . . 、N.注意，命题1突出了所提出的非线性与（5）中的maxout函数的两个关键差异：（i）maxout函数只能表示凸分段线性函数，而提升可以表示任意分段线性函数;（ii）最大输出函数是非线性的。它的参数（θj，bj），而（9）中的简单代数（带线性）是线性的。R. t. its参数（θ，b）。与ReLU相比，提升层的优点是表达能力较低，也是非线性的。它的参数，甚至更重要。值得注意的是，一个连续函数的最佳逼近的线性样条（对于任何选择的ti），产生一个凸最小化问题。命题2（简单回归问题的凸性）。设训练数据（xi，yi）∈ [t，t] ×R，i= 1，. . . ，N，给出。那么，问题的解决ΣNminθi=1L（∠θ，∠（xi）∠;yi）（10）产生训练数据相对于损失函数的最佳线性样条拟合L. 特别地，如果L是凸的，则（10）是凸优化问题。如下面的示例所示，对于ReLU和maxout函数，这不是真的例1. 凸损失L（z; 1）=（z-1）2由应用于线性传递函数的ReLU组成，即，θ›→ max（θx i，0），其中θ∈R，导致非凸目标函数，例如对于x i=1，θ<$→（max（θ，0）−1）2是非凸的。因此，根据命题2，所提出的提升缩小了低维近似和回归问题（其中线性样条非常常见）与高维近似/学习问题之间的差距，其中使用ReLU代替线性样条类型的函数。在这个一维设置中，所提出的方法实际上表示具有来自（1）的特定特征映射的有趣的是，在[15]中，线性样条逼近最近成为二阶全变差最小化的最佳结构选择提升层73.3向量值提升层类似于[ 16 ]的提升的向量值构造允许我们自然地将我们以前关于函数f：[ t，t ] → R的所有结果推广到函数f：[t，t] → R。f：ΩRd→R。定义1通过对紧致域Ω进行三角剖分，并在空间RN中用单位向量标识所得网格的每个顶点，将定义1推广到d维，其中N是顶点的总数。提升向量包含点x∈Rd关于其周围顶点的重心坐标。当与全连接层结合时，所得到的提升保持连续的分段命题1），并且当在给定三角形网格上寻找最佳分段线性拟合时产生凸问题命题2）。不幸的是，用每维L个标签离散化一个域RdRd会导致N=Ld个顶点，这使得向量值提升对于大d来说过于昂贵。因此，在高维应用中，我们转向更窄和更深的网络架构，其中标量值提升分别应用于每个组件。后者牺牲了整体问题的凸性，以获得具有极少数参数的高表达性。直观地说，增加的表现力是由指数增长的扭结数量的组成层，表示线性样条。类似的推理可以在[17]中找到。3.4按比例提升当（8）中的反演公式补偿这种缩放时，我们可以自由地缩放（7）中定义的提升表示。出于实际目的，我们发现还通过将定义1中的（7）替换为s（x）=（1−λl（x））tlel+λl（x）tl+1el+1withlsuchthatx∈[tl，tl+1]，（11）其中λ（x）：= x−tl∈R。反演公式可归结为全部的ltl+1−tl在这种情况下，向量的分量。我们认为，这种按比例的提升通常是有利的：（i）提升向量的分量的大小/意义被保留，并且不必学习;（ii）对于[−t，t]中均匀分布的奇数个标签，其中一个标签t l将为零，这允许我们省略它并表示具有L − 1个条目的缩放提升到RL。例如，对于L= 3，我们发现t1= −t，t2= 0，t3=t，使得s（x）=。1−x+tΣ0+t（−t）e1=xe1 ifx≤0，（十二）x−03 3t−0t e=xe如果x > 0。由于第二分量保持为零，我们可以引入我们已经在（2）中陈述的缩放提升的等效的更存储器有效的变体。8P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒4提升输出到目前为止，我们将提升视为神经网络中的非线性层。然而，受到基于提升的优化技术的激励，该技术寻求对涉及非凸损失函数的问题的紧密凸逼近，本节在神经网络的上下文中通过提升来呈现非凸损失函数的凸化这个目标是通过线性样条近似的损失，并预测在提升表示的网络的输出。该方法的优点在本节结束时在实施例2中针对具有大量离群值的稳健回归问题进行了证明。考虑针对给定输出y（总输出y）定义的损失函数Ly：R→R样本（x，y），i = 1，. . . ，N，可以由ΣN L（x））给出。我们实现我ii=1伊伊提升函数y：[ty，ty] →RLy紧凸逼近 为损失函数im（Ly）R相对于标准基Ey的范围{e1，. . . ，e Ly}和a节点t = t1<。. . ，其中z∈im（y），对于某些ly∈RLy。代替用Ly（Nθ（x））来评估网络N θ（x），我们将ideranetwo rkN~θ（x）thatpedictapo nv（im（y））RLyanddevesly，N~θ（x）。由于这两个工作站的设计要求很高，因此我们采用了两个具有生命周期的工作站，即：e. weconsider ， 其 中 hθ~∈RLy×Lx ， 对 于 其 中hichsimplerconstratmaye推导下面的命题陈述了松弛问题的凸性命题3（简单非凸回归问题的凸逼近）。 设（xi，yi）∈ [t，t]×[ty，ty]为训练数据，i = 1，. . . 、N. 此外，令y是损失L y i，i = 1，.，.，的公共像[ty，ty]的提升。. . ，N，提升层910.501.510.51.510.510.50我我i=110.50-0.5-1012345610.50-0.5-10123456(a) 成本矩阵c（b）最佳θ（c）结果拟合（d）最佳1拟合-0.500-0.5-1-0.5-0.5-10123456012345601234560123456(e)非凸配合1(f)非凸配合2(g)非凸配合3(h)非凸配合4图二. 具有40%异常值的回归问题的实例2我们将（非凸）截断线性损失提升到凸优化问题，鲁棒地拟合函数接近最优（见（c）），而最鲁棒的凸公式（没有提升）受到离群值的严重干扰（见（d））。尝试直接优化非凸成本函数基于权重的初始化产生不同的结果，并且易于陷入次优局部最小值，参见（e）-（h）。而x是[t，t]的提升。设l y∈RLy使得ty›→ ‖l y，‖ y（ty）‖是ty›→ Lyi（ty）的分段线性样条逼近，其中ty ∈ [ty，ty]. 然后ΣNmin（Lift- Net），包括一个未缩放的提升9到R9与标准设计架构fc1（σ（fc9（x）（Std-Net），其中σ（x）=max（x，0）适用于坐标方式，fcn表示具有n个输出神经元的全连接层。图3显示了经过25、75、200和2000次训练后的结果函数。虽然上述结果是基于有利的理论性质预期的，但我们现在考虑更困难的拟合测试情况f（x1，x2）= cos（x2sin（x1））（16）在[0， 2π]2上。注意，尽管2-D输入仍然允许向量值提升，但我们的目标是说明即使是坐标提升也具有有利的特性（除了能够用单层近似任何可分离函数之外，这是推论1的简单扩展）。因此，我们比较两个网络fLift-Net（x1，x2）=fc1（σ（fc20（[k20（x1），k20（x2）]），（Lift-Net）fStd-Net（x1，x2）=fc1（σ（fc20（fc40（[x1，x2]）， （Std-Net）提升层11Lift-Net近似，25个时期Lift-Net近似，75个时期1Lift-Net近似，200 epochs1Lift-Net近似值，4000 epochs1- 好的0 0 0 00123456012345601234560123456图三. 用50个训练样本，在不同的epoch数后，展示了在[0， 2π]上逼近正弦函数的结果。虽然所提出的具有提升的架构产生SGD快速收敛的凸问题（上行），但是基于ReLU的标准架构产生非凸问题，其导致较慢的收敛和4000个时期之后的次优局部最小值（下行）。其中上式中的符号[u，v]表示两个向量u和v的级联，并且提升的下标表示我们提升到的维度L相应的训练问题是非凸的。 如图4所示，一般行为与1-D情况相似：通过提升输入数据来增加维度比通过参数化滤波来增加维度产生更快的收敛和更精确的近似。为了完整起见，我们在图4的底行中包括了具有底层2-D三角测量的图示的向量值提升。5.2图像分类作为一个现实世界的成像的例子，我们考虑的问题，图像分类。为了说明我们的提升层的行为，我们通过图4使用“Deep MNIST for expertmodel”（ME-model）作为应用标准ReLU激活的简单的卷积神经网络（CNN）架构。为了提高其准确性，我们使用了额外的批归一化（BN）层，并将相应的模型表示为ME模型+BN。我们相应的提升模型（Proposed）是通过将所有ReLU替换为L=3的缩放提升层（如第3.4节中所介绍的）来创建的为了允许与最大池化层进行有意义的组合，我们使用绝对值进行缩放|我不是|标签。我们发现相对较小的L=3以产生最佳结果，并且提供了用于改变的更详细研究。L在补充材料中。因为我们的模型几乎有两倍的自由参数作为两个ME模型，我们包括比我们的提升模型大的第四模型大ME-模型+BN，其具有两倍多的卷积滤波器和全连接神经元。4https://www.tensorflow.org/tutorials/layers10.50.50.50.50000-0.5-0.5-0.5-0.5123456123456123456123456标准网络近似，25个时期标准网络近似，75个历元Std-Net近似，200 epochsStd-Net近似，4000 epochs110.50.50.50.50000-0.5-0.5-0.5-0.5-1-1-112P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒见图4。示出了利用（Std-Net）中的标准网络（中间行）和基于提升输入数据的（Lift-Net）中的架构（上面行）来近似（16红色标记表示训练数据，表面表示整体网络函数，RMSE测量其与真实底层函数（16）的差异与图3的结果类似，我们的基于提升的架构收敛得更快，并且在2000个历元之后产生真实底层函数（左下）的更好近似。底部行中的中间和右侧近似示出了向量值提升（参见3.3节）到42（中间）和112（右侧）维度。后者可以通过求解线性系统来训练我们在函数图的下方说明用于提升的三角形网格，以说明近似确实是分段线性的（如命题1所述）。图5显示了每个模型在CIFAR-10和CIFAR-100图像分类问题上获得的结果。 正如我们所看到的，合成实验的有利结果延续到图像分类中的示例性架构：我们提出的提升架构在两个实验中具有最小的测试误差和损失。这两种策略，即包括批量归一化和增加模型的大小，改进了结果，但两种基于ReLU的架构仍然不如基于提升的架构。5.3Maxout激活单元为了将所提出的提升激活层与maxout激活进行比较，我们使用完全连接的一个隐藏层架构进行了一个简单的MNIST图像分类实验，应用ReLU，maxout或提升提升层13ME模型ME模型+BN大型ME模型+BN拟定ME模型ME模型+BN大型ME模型+BN拟定测试损失测试损失8027060501.5403014.5904803.5703602.5200 0.5 1 1.5 2迭代1040 0.5 1 1.52迭代104500 0.5 1 1.52迭代10420 0.5 1 1.5 2迭代104(a) CIFAR-10测试误差（b）CIFAR-10测试损失（c）CIFAR-100测试误差（d）CIFAR-100测试损失图五. 在CIFAR-10和CIFAR-100上比较不同的图像分类方法。在这两种情况下，与基于ReLU的亲属相比，所提出的具有提升层的架构显示出优异的0的情况。20的情况。150的情况。10的情况。05电梯MaxoutReLU20 40 60 80100历元0的情况。10的情况。080的情况。060的情况。040的情况。020电梯MaxoutReLU20 40 60 80 100历元见图6。MNIST图像分类我们的提升激活与标准ReLU及其maxout泛化的比较。ReLU、maxout和提升架构（79510、79010和76485可训练参数）的最佳测试误差为3。07%、2. 91%，2。分别为61%。所提出的方法表现良好的测试损失从历元50上，导致100历元后的整体测试误差较低作为激活。对于maxout层，我们应用了一个因子为2的特征缩减，它具有表示常规ReLU和提升层的能力，如（2）所示。由于不同激活的性质- maxout应用最大池化，提升增加了后续层中输入神经元的数量-我们调整了隐藏层中神经元的数量，以使可训练参数的数量大致相等且合理。图6中的结果是在通过应用具有学习率0的SGD来优化100个训练时期的交叉熵损失之后实现的。01. 特别是，每个架构都是用相同的实验设置训练的。虽然maxout和我们的提升激活都比标准ReLU产生了类似的收敛行为，但我们提出的方法在最终最低测试误差方面超过了标准ReLU。5.4图像去噪ME模型ME模型+BN大型ME模型+BN拟定ME模型ME模型+BN大型ME模型+BN拟定测试误差（%）测试损失测试误差测试误差（%）14P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒为了说明提升层在网络图像映射中的有效性我们设计了Lift-46架构，其中包含16个块，每个块由46个大小为3× 3的卷积滤波器、批量归一化和L= 3的提升层组成，遵循与5.2节中相同的深度架构实验推理。如图7（a）所示，最终的卷积层输出我们训练提升层15三十4三十23029岁829岁6三十4三十23029岁829岁61 10 20 30 4050历元1 10 20 30 40 50历元见图7。为了证明我们的提升激活的鲁棒性，我们示出了对于两种不同的训练方案，对σ= 25的高斯噪声进行去噪的验证PSNR。在（a）中，两个网络在30个时期的学习速率衰减之后达到相同的最终PSNR值。然而，在没有这种专门定制的训练方案的情况下，我们的方法通常显示出有利且更稳定的行为，如（b）中所示表1. 针对高斯噪声的不同标准偏差σ的BSD68数据集的平均PSNR（单位：[dB]），所有这些都是我们基于提升层的架构是最主要的方法之一。请注意，（最可能是由于随机种子的变化）我们再现的DnCNN-S结果与[18]中报道的结果不同（小数点后第二位）。重建PSNR（单位：dB）σ嘈杂BM3D [19]WNNM [20]EPLL [21]MLP [22]CSF [23][第24话]DnCNN-S [8]我们1524.8031.0731.3731.21-31.2431.4231.7231.722520.4828.5728.8328.6828.9628.7428.9229.2129.215014.9125.6225.8725.6726.03-25.9726.2126.23为了近似残差，即，仅噪声，图像。由于其在图像去噪方面的最先进性能，我们采用了与[18]中的DnCNN-S架构相同的训练管道，该架构类似于我们的Lift-46网络，但实现了常规的ReLU和64卷积滤波器。这两个架构包含近似相等数量的可训练参数。表1将我们的架构与各种去噪方法进行了比较，最值得注意的是DnCNN-S [18]，并表明我们产生了用于去除不同标准偏差σ的高斯噪声的最先进性能。此外，图7（b）中的测试PSNR的发展表明，与DnCNN-S相比，我们的方法具有更稳定和有利的行为。6结论我们引入提升层作为机器学习中ReLU类型激活函数与经典的ReLU相反，提升几乎处处具有非零导数，并且可以表示任何连续的分段线性函数。我们展示了提升的几个有利性质，例如，我们可以处理非凸和部分平坦的损失函数。我们在图像分类和重建中的数值实验表明，提升层在各种神经网络架构中是一个有吸引力的构建块，并且我们提高了相应的基于ReLU的架构的性能鸣谢。这项研究部分由洪堡基金会通过Sofja Kovalevskaja奖资助。dncnn-S电梯-46验证PSNR，单位[dB]16P. Ochs，T.迈因哈特湖Leal-Taixe，M.默勒引用1. Maas，A.，Hannun，A.，Ng，A.：整流器非线性改善了神经网络声学模型。在：ICML。（2013年）2、42. 他，K.，张，X.，Ren，S.，孙杰：深入研究整流器：在imagenet分类上超越人类水平的性能。In：ICCV.（2015年）2、43. 古德费洛岛沃德-法利，D.，Mirza，M.，Courville，A. Bengio，Y.：Maxout网络。在：ICML。（2013年）2、44. Pock，T.，Cremers，D.Bischof，H.，Chambolle，A.：凸正则化变分模型的整体解 SIAM Journal on Imaging Sciences 3（4）（2010）1122-114535. Mo¨llenhoff，T.， Laude，E.， M.，M. 我来了， Cremers，D. ：非凸能量的Sublabel-精确松弛。在：CVPR中。（2016年）36. 古德费洛岛Bengio，Y.，Courville，A.：深度学习麻省理工学院出版社（2016）37. 你好C 本吉奥，Y.， B'elisle，F.， Nadeau，C. Garcia，R. ：改进了高阶泛函知识，以获得更好的期权定价。在：NIPS。（2001年）48. Clevert地方检察官Unterthiner，T.，Hochreiter，S.：通过指数线性单元（elus）进行快速准确的深度网络学习。In：ICLR.（2016年）49. Jarrett，K. Kavukcuoglu，K.，Ranzato，M.，LeCun，Y.：物体识别的最佳多级架构是什么？在：CVPR中。（2009年）410. 徐，B.，王，N.，陈，T.，Li，M.：卷积网络中校正激活的经验评估（2015）ICML深度学习研讨会，在线https：//arxiv.org/abs/1505.00853网站。411. Klambauer，G.，Unterthiner，T.，Mayr，A.，Hochreiter，S.：自规范化神经网络NIPS（2017）412. Ioffe，S.，Szegedy，C.：批次标准化：通过减少内部协变量偏移来加速深度网络训练。ICML（2015）413. Cybenko ， G. ： S 形 函 数 的 叠 加 逼 近 。 Mathe-matic s ofControl ，SignalsandSystems2（4）（1989）303-314414. Leshno，M.，Lin，V.，Pinkus，A.，Schocken，S.：具有非多项式激活函数的多层前馈网络可以逼近任何函数。神经网络6（6）（1993）86115. Unser，M.：A representer theorem for deep neural networks（2018）预印本https://arxiv.org/abs/1802.09210。616. Laude，E.， Mo¨llenhoff，T.， M.，M. 我来了， Cremers，D. ： 向量多标记能量的亚精确凸松弛。In：ECCV.（2016年）717. 我的天啊G Pascanu，R. Cho，K.， Bengio，Y. ：在深度神经网络的许多领域中。在：NIPS。（2014年）718. 张，K.，左，W.，陈玉，Meng，D.，Zhang，L.：超越高斯降噪器：用于图像去噪的深度cnn残差学习。IEEE图像处理学报26（7）（20 1 7）3142-31551419. Dabov，K.，Foi，A.，Katkovnik，V.，Egiazarian，K.：稀疏三维变换域协同滤波图像去噪 IEEE图像处理学报16（8）（200 7）2080-20951420. Gu，S.，张，L.，左，W.，冯X：加权核范数最小化及其在图像去噪中的应用。在：CVPR中。（2014年）1421. Zoran，D.，Weiss，Y.：从自然图像块的学习模型到整体图像恢复。In：ICCV.（2011年）1422. 汉堡H Schuler，C.，Harmeling，S.：图像去噪：普通神经网络能与BM3D竞争吗？在：CVPR中。（2012年）14提升层1723. 施密特，U.，Roth，S.：有效图像恢复的收缩场。在：CVPR中。（2014年）1424. 陈玉，Pock，T.：学习优化的反应扩散过程以实现有效的图像恢复。In：ICCV.（2015年）14
我的内容管理
展开
