ev zis@campus.technion.ac.iljsulam1@jhu.eduelad@cs.technion.ac.ilˆΓ = arg minΓ∥Γ∥0 s.t. ∥X − DΓ∥2 < ǫ,(1)82080CSC模型的一种局部块坐标下降算法0EvZisselman以色列理工学院0JeremiasSulam约翰霍普金斯大学0MichaelElad以色列理工学院0摘要0卷积稀疏编码（CSC）模型最近在信号和图像处理界引起了相当大的关注。通过提供一个全局但可处理的模型，CSC在整个图像上操作，克服了基于补丁的稀疏模型的几个局限性，同时在各种应用中实现了卓越的性能。当代的CSC字典追踪和学习方法通常依赖于交替方向乘法器（ADMM）在傅里叶域中进行计算，以便于卷积的计算方便，同时忽略了图像的局部特征。在这项工作中，我们提出了一种新的简单方法，采用基于块坐标下降算法的局部策略。所提出的方法称为局部块坐标下降（LoBCoD），在图像块上进行局部操作。此外，我们引入了一种新颖的随机梯度下降版本的LoBCoD，用于训练卷积滤波器。这种随机LoBCoD利用了在线学习的优势，即使对于单个训练图像也适用。我们展示了所提算法在图像修复和多焦点图像融合方面的优势，实现了最先进的结果。01. 引言0稀疏表示已被证明是许多现实世界信号的一个非常强大的模型，在各种恢复任务中取得了令人印象深刻的结果，如去噪[10]、去模糊[7]、修复[11, 25]、超分辨率[7,40]和识别[37]等。这个模型的核心假设是信号可以表示为从矩阵D ∈ R N ×M中取出的少数列（也称为原子）的线性组合。具体来说，对于一个信号X ∈ R N，模型的假设是X = DΓ +V，其中V是一个能量有界的噪声向量，允许模型略微偏离或考虑信号中的噪声。0向量Γ ∈ R M是信号的稀疏表示，通过求解追踪问题[1,9]得到：0其中∥Γ∥0计算Γ中非零元素的数量。问题（1）的解可以使用贪婪算法（如正交匹配追踪（OMP）[4]）或凸松弛算法（如基Pursuit（BP）[5]）来近似。多年来，已经提出了各种方法来自适应地从真实数据中学习字典D。主要示例包括K-SVD[1]、MOD[12]、双稀疏性[29]、在线字典学习[24]、Trainlets[33]等。在处理高维信号时，学习字典受到维度灾难的困扰，使得这个任务变得不可行。为了应对这个问题，许多算法建议在信号X中采用全重叠的块训练一个局部模型。由于其简单性和高性能，这种基于块的技术在去噪、修复、超分辨率等领域已经广受欢迎。然而，基于块的方法被认为是次优的，因为它们忽略了相邻块之间的关系。满足这一挑战的另一种方法是卷积稀疏编码（CSC）模型。该模型假设信号可以表示为少数本地滤波器与稀疏特征图卷积的叠加。CSC模型利用了一个结构化字典（窄带卷积矩阵的并集），以便全局处理信号。在过去几年中，这个模型已经成为广泛研究的对象，显示出在超分辨率、修复、图像分离、源分离和音频处理等应用中具有卓越的性能。当代基于CSC的算法通常依赖于ADMM[2]公式进行表示提取和滤波器训练。虽然大多数工作在傅里叶域中使用ADMM[3, 18,35]，但最近的一种方法（SBDL）由Papyan等人提出[26]，采用了一个局部的观点，并通过信号域中的局部计算来训练滤波器。SBDL算法展示了m�i=1di ∗ Zi∥22 + λm�i=1∥Zi∥1.(2)=γi ∈ ℝ 2𝑛−1 𝑚𝐏iX ∈ ℝ𝑛αi ∈ ℝ𝑚𝐃 ∈ ℝ𝑁×𝑁𝑚X ∈ ℝ𝑁Γ ∈ ℝ𝑁𝑚𝐃𝐿 ∈ ℝ𝑛×𝑚𝛀 ∈ ℝ𝑛× 2𝑛−1 𝑚⋮⋮⋮⋮82090与基于傅里叶变换的方法相比，CSC模型具有最先进的性能，尽管仍然依赖于ADMM算法。因此，这种方法会增加内存占用和对额外参数的敏感性，它只适用于批量学习模式，并且其收敛性值得怀疑 1。在这项工作中，我们提出了一种直观且易于实现的算法，基于块坐标下降方法，用于解决全局追踪和CSC滤波器学习问题，所有计算都在原始域中进行。所提出的追踪算法在没有辅助变量或额外参数进行调整的情况下运行。我们将这个算法称为局部块坐标下降（LoBCoD）。此外，我们引入了LoBCoD的随机梯度下降变体，用于训练卷积滤波器。该算法利用在线学习的好处，即使适用于单个训练图像。LoBCoD算法及其随机版本显示出更快的收敛速度，并且相对于先前基于ADMM的方法（全局或局部），它们能够更好地解决CSC问题。本文的其余部分组织如下：第2节回顾CSC模型并讨论先前的方法。第3节介绍了所提出的追踪算法。第4节讨论了字典更新方法并介绍了随机LoBCoD算法。我们在第5节将这些方法与先前发表的方法进行比较。第6节将我们的方法扩展到图像修复和多焦点图像融合，并在第7节给出实证结果。第8节总结本工作。02. 卷积稀疏编码0CSC模型假设信号 2 X ∈ R N 可以由 m个卷积的和表示。这些卷积是由特征映射 { Z i } m i =1构建的，每个特征映射的长度为原始信号 N ，与长度为 n �N 的 m 个小支持滤波器 { d i } m i =1进行卷积。在字典学习问题中，我们最小化以下成本函数，涉及滤波器和特征映射 3 ：0最小化 d i ,Zi 1 2 ∥ X −0给定滤波器，上述问题变成了CSC追踪任务，即找到表示 { Z i } m i =1的表示。考虑一个全局字典 D ，它是 m个带状循环矩阵的连接，其中每个矩阵表示与一个滤波器 d i的卷积。通过对其列进行排列，全局字典 D 包含了大小为 n × m 的局部字典 D L的所有移位版本，其中包含滤波器 { d i } m i =1 。01虽然SBDL的追踪方法在理论上是收敛的，但在ADMM中更新字典时不再成立。2所给出的描述侧重于简化起见的1D信号，并且我们的所有处理同样适用于更高维度。3 我们假设滤波器的 l 2 -范数归一化为单位。0图1：CSC模型及其局部组件。0将其列作为列，全局稀疏向量 Γ 简单地是所有特征映射 { Z i} m i =1的交错连接。这种结构如图1所示。使用上述公式，卷积字典学习问题（2）可以重写为0最小化 D , Γ 1 2 ∥ X − D Γ ∥ 2 2 + λ ∥ Γ∥ 1 . (3)0与我们之前的评论类似，当 D已知时，我们得到CSC追踪问题，定义为0最小化 Γ 1 2 ∥ X − D Γ ∥ 2 2 + λ ∥ Γ ∥1 . (4)0在此，我们回顾一些来自[27]的定义，因为它们将在后面描述我们的算法时对我们有用。全局稀疏向量 Γ 可以分解为N 个不重叠的 m 维局部向量 α i，称为针。这样，可以将全局向量 X 表示为 X = � N i =1P T i D L α i ，其中 P T i ∈ R N × n 是将 D L α i定位在第i个位置并用零填充其余条目的运算符。另一方面，从信号 X 中取出的补丁 P i X = P i D Γ 等于 Ω γ i(见图1)，其中 Ω ∈ R n × (2 n − 1) m 是一个包含 D L在中心的条纹字典， γ i 是包含局部向量 α i在中心的条纹向量。换句话说，条纹 γ i 是编码补丁 P i X中所有内容的稀疏向量，而针 α i仅编码其中的一部分信息。[27]中的理论工作建议通过局部稀疏度度量对CSC全局模型进行分析。在此基础上，我们保持这种局部-全局分解，并提出了一种在图像补丁上局部操作的全局算法。03. 提出的方法：CSC追踪03.1. 局部块坐标下降0在本节中，我们专注于表示的追踪，将字典的更新研究留给第4节。前一节中提出的卷积稀疏编码问题通过最小化全局N�i=1PTi DLαi∥22 + λN�i=1∥αi∥1.(5)N�j=1j̸=iPTj DLαj) − PTi DLαi∥22 + λ∥αi∥1.̸Algorithm 1: The stochastic LoBCoD pursuit and dic-tionary learning algorithmInput: signal X, initial DL, initial needles {α0i }Ni=1Output: needles {αi}Ni=1, the trained dictionary DLInitialization: R = X − �X, �X = �Ni=1 PTi DLα0i ,k = 0while not converged dok = k + 1for j = 1:n doComputation of the residual:Rj = R +�i∈LjPTi DLαk−1iSparse pursuit: ∀i ∈ Lj (in parallel)αki = arg minαi12∥PiRj − DLαi∥22 + λ∥αi∥1Computation of the reconstructed signal:�X = �X +�i∈LjPTi DL(αki − αk−1i)Computation of the residual signal:R = X − �XComputation of the gradient w.r.t DL:∇DL = −�i∈LjPiR· (αki )TDictionary update:DL = P1[DL − η∇DL]endendthe layers imposes the number of the inner iterations, whichwill determine the complexity of our final algorithm. In thatmanner, the number of the inner iterations depends only onthe patch size; for √n × √n patches, the number of layersis n. This pursuit algorithm is presented in Algorithm 1.Note that this algorithm can clearly be extended to iterateover multiple signals, but for the sake of brevity we assumethat the data corresponds to an individual signal X.3.2. Boundary Conditions and InitializationIn the formulation of the CSC model, as shown in Figure1, we assumed that the dictionary is comprised of a set ofbanded circulant matrices, which impose a circulant bound-ary conditions on the signals. In practice, however, sig-nals and images do not exhibit circulant boundary behavior.Therefore, our model incorporates a preemptive treatmentof the boundaries. We adopt a similar approach to [26], inwhich the signal boundaries are padded with n−1 elementsprior to decomposing it with the model. At the end of theprocess, we discard the added padding by cropping the n−1boundary elements from the reconstructed signal and fromthe resulting feature maps (sparse representation).82100方程（4）的目标。在本文中，我们采用局部策略，将全局稀疏向量 Γ 分解为局部向量，即针 α i，并用这些针和局部字典 D L 表示全局CSC问题0最小化 D L , { αi } 1 2 ∥ X −0然而，我们建议不是同时优化所有针，而是依次处理针块 αi ，并分别优化每个块。因此，每个针的更新规则可以写成0最小化 α i 12 ∥ ( X −0(6) 通过定义 R i = ( X − � N j =1 j � = i P T j D L α j )作为残差0不考虑针 α i 的贡献，我们可以将方程（6）重写为0最小化 α i 1 2 ∥ R i − P T i D L α i ∥ 2 2 + λ∥ α i ∥ 1 . (7)0尽管上述最小化涉及全局变量，如残差 R i，但可以证明4，这可以分解为一个等价的局部问题0最小化 α i 1 2 ∥ P i R i − D L α i ∥ 2 2 + λ∥ α i ∥ 1 . (8)0这是因为观察到针 α i 的更新规则仅受到与之对应的补丁P i R i （与 D L α i完全重叠的部分）的像素的影响。块坐标下降算法的主要思想是，每一步都最小化关于某个坐标块的整体惩罚，而其他坐标则设置为它们最新的值。根据这个思想，每个局部追踪（8）通过更新全局重构信号 � X 和全局残差 R = X − � X，作为下一个针的更新的预处理阶段，基于先前针的最新值。一个重要的观点是，在图像中没有重叠的针可以在上述算法中高效地并行更新，而不改变算法的结果。这使得可以使用高效的批处理LARS算法[8]的实现。或者，可以将计算分布在多个处理器上以获得显著的性能加速。为了形式化这些观察结果，我们将没有引起图像中重叠的针定义为 层 L i。我们遍历这些层并并行更新它们各自的针，然后更新全局重构信号 � X 和全局残差 R 。这样，Another beneficial preprocess step is needles initializa-tion. A good initialization would equally spread the contri-bution of the needles towards signal reconstruction. Withthat goal, we set the initial value of each needle αi to bethe sparse representation of 1nPiX, i.e its relative portionof the corresponding patch. This can be done by solving thefollowing local pursuit for every needle:α0i = arg minαi12∥ 1nPiX − DLαi∥22 + λ∥αi∥1,(9)as a preprocess stage of our algorithm.4. CSC Dictionary LearningWhen addressing the question of learning the CSC fil-ters, the common strategy is to alternate between sparse-coding and dictionary update steps for a fixed number ofiterations. The dictionary update step aims to find the min-imum of the quadratic term of Equation (5) subject to theconstraint of normalized dictionary columns:minDL12∥X −N�i=1PTi DLαi∥22s.t {∥di∥2 = 1}mi=1.(10)One can do so in a batch manner which requires access tothe entire dataset at every iteration, or in an online (stochas-tic) manner that enables access to only small part of thedataset at every update step. This way it is also applicablefor streaming data scenarios, when the probability distribu-tion of the data changes over time.4.1. Batch Update∇DL = −N�i=1Pi(X − �X)· αTi .(11)DL = P1[DL − η∇DL].82110通常，对于离线应用，整个数据集是已知的并且可以存储在内存中，批处理方法通常更简单，因此我们从描述它开始。典型的方法是在稀疏编码（4）和字典更新（10）之间交替进行。对于后者，解决问题（10）需要找到满足归一化约束的最优 D L。可以使用投影最速下降法找到这个最优解：使用小步长进行最速下降，并在每次迭代后将解投影到约束集上，直到收敛。为此，问题（10）中目标相对于 D L 的梯度为 5 ：0本地字典 D L的最终更新步骤是沿着这个梯度（11）前进，并在每次迭代中对得到的 D L 的列进行归一化，直到收敛。05 这个推导可以在补充材料中找到。0这个批处理字典更新规则遵循MOD算法[12]的思路，因此每一步都改进了解决方案。然而，它的收敛速度非常慢，因为每次字典更新只能在完成整个稀疏编码（追踪）阶段后进行，这是非常低效的，因为追踪是算法中最耗时的部分。这就引出了随机LoBCoD的替代方案。04.2. 本地随机梯度下降方法0传统的随机梯度下降（SGD）方法将梯度的计算限制在数据的子集上，并在每次更新步骤中朝着这个噪声梯度的方向前进。基于这个概念和方程（11）揭示的关于补丁和相应针的可分离梯度，我们可以以随机的方式更新字典。与其在完成整个追踪阶段后再朝着全局梯度的方向前进，我们可以选择一个小的步长 η，在找到只有一小组针的稀疏表示后更新字典。根据第3节，每次迭代更新一组针，称为一层 L i，这一层现在可以用来更新字典。这样，我们的算法收敛更快，并且采用了SGD的随机行为，同时仍然在单个图像上操作。在每次字典更新后，应将滤波器归一化到 l 2单位球上。在这里，由于选择了小的步长，我们只需在每次字典更新后对原子进行归一化：0其中 P 1 [ ∙ ]表示将字典原子投影到单位球上的操作符。包含字典更新的最终算法总结如算法1所示。请注意，尽管这个字典更新规则引入了一个额外的参数（步长 η），确定其值相当直观，可以通过将其设置为梯度范数的 1 − 2%来自动执行。此外，这个更新规则还可以利用任何随机优化算法，如动量法、Adagrad、Adadelta、Adam[30]等，使用它们作者推荐的参数值。这个参数设置的选择是足够的，如第7节将通过实验证明。在本文的其余部分，我们将使用这个字典更新规则，因为它显示出更好的结果。05. 与其他方法的关系0在本节中，我们描述了所提出方法相对于傅里叶和ADMM方法的优势。并行计算：我们的算法通过直接操作图像补丁，可以轻松高效地在多个处理器上并行化。可以将[22](Sparse)qImNlog(N)����T-pursuit+INmk� �� �SGD using sparse matrix[22](Freq.)qImNlog(N)����T-pursuit+ ImNlog(N) + INm����SGD in the Fourier domainSBDLINnm + IN(k3 + mk2)����LARS+ nm2� �� �Gram+ INk(n + m) + nm2����K-SVDOursINnm + IN(k3 + mk2)����LARS+ n2m2� �� �Gram+ IN(n + nk + m)����Stochastic-LoBCoD̸82120方法时间复杂度0表1：我们的方法与[22]中提出的在线算法和SBDL算法[26]的复杂度分析。I：信号数量，N：信号维度，m：滤波器数量，n：补丁大小，k：每个针的最大非零数目，q：追踪算法的内部迭代次数。主要项以红色表示。0计算在N/n个处理器之间进行，对应于每个层中的针的数量。在线学习：由于我们的算法具有局部随机性，因此可以在流模式下工作，其中补丁的概率分布随时间变化。这种优势的另一个方面是我们能够以在线方式运行，即使只有一个输入图像。这与其他最近的在线方法[21,34]形成鲜明对比，这些方法允许在线训练，但仅适用于流式图像的情况。其他方法进一步提出将图像分割成子图像[22]，但这仍然远远不及我们的方法，我们可以随机估计每个针的梯度。无需参数调整：与基于ADMM的方法相反，我们的算法在追踪阶段不受繁琐的手动参数调整的限制。此外，它从字典学习阶段的直观调整参数（步长η）中受益，如第4节所述。内存效率高：与基于ADMM的方法[18,26]相比，我们的算法具有更好的存储复杂度，因为稀疏向量的更新是原地执行的，不需要任何辅助变量。表1比较了我们的算法在执行一个时期时的复杂度与[26]中的批处理算法和[22]中的在线算法的复杂度。结论是我们的算法与全局维度N呈线性比例，而竞争的在线算法则按O(Nlog(N))增长。06. CSC图像处理0在建立我们算法的基础之后，我们现在详细介绍它们在图像修复和多焦点图像融合任务中的扩展变体。我们还在补充材料中介绍了我们算法在多曝光图像融合和盐和胡椒噪声文本去噪任务中的适应性。06完整的解释可以在补充材料中找到。06.1. 图像修复0图像修复的任务涉及在图像中已知位置上填充缺失的像素。假设我们有一个损坏的图像Y= AX，其中A ∈ RN × N。0是一个二进制对角矩阵，表示退化操作符，因此A(i, i) =0意味着像素xi被掩盖。图像修复的目标是重建原始图像X。使用CSC公式，可以通过首先解决以下问题来实现：0min Γ 1 2 ∥ Y − ADΓ ∥ 2 2 + λ ∥ Γ ∥1，(12)0然后，通过将找到的表示Γ与D相乘。通过应用第3节中描述的步骤，我们将上述全局优化问题分解为一系列更易处理的问题，每个问题作用于一组坐标，即一个针。这导致方程（8）的以下版本：0min α i 1 2 ∥ P i R i − A i DLα i ∥ 2 2 + λ ∥ α i∥ 1. (13)0在这里，A i = P i AP Ti是掩盖相应第i个补丁的操作符，而R i = (Y − A � N j =1 j �0残差是损坏图像与重建图像的退化版本之间的差异，其中残差R i不考虑针αi。如第3节所述，我们并行计算组成每个层的针。字典DL可以在外部未损坏的数据集上预训练，也可以直接在损坏的图像上使用以下梯度进行训练：0�DL = − 0i ∈ LjPiAT(Y − A�X) ∙ αTi, (14)0其中�X =�Nj=1PTjDLαj是重建的图像。上面的梯度推导与第4节中的推导相同，但除了加入了掩码A之外。06.2. 多焦点图像融合0图像融合技术旨在将具有不同焦点设置的多个图像的互补信息集成到质量更高的全焦点图像中。许多基于块的稀疏表达方法被提出来解决这个任务，例如choose-max OMP[38]，simultane- ous OMP [39]和coupled sparserepresentation[14]。在这项工作中，我们采用了类似于[23]的方案，该方案利用CSC来处理图像融合的任务，但解决了一个统一的最小化问题。假设我们有一组要融合的源图像{Yk}Lk=1，以及一组预训练的滤波器{di}mi=1。我们首先将每个图像Yk分解为基本分量Ykb和边缘分量Yke，通过施加不同的先验条件。min{Zki },Y kbm+λ(15)m82130对于基本分量Ykb，我们对其梯度的l2范数进行惩罚，而对于边缘分量，我们采用CSC模型，即Yke = �mi=1di *Zki。实际上，对于每个图像Yk，我们解决了统一的最小化问题：012 ∥Yk−0i = 1 di * Zki − Ykb ∥220i = 1 ∥Zki∥1 µ102 ∥� Yk b∥22.0这是通过在基本分量Ykb和特征图{Zki}mi=1之间交替最小化来完成的。前者归结为一个最小二乘问题，后者使用我们的LoBCoD算法7来解决。在分解所有图像之后，我们的目标是融合它们的分量。对于每个图像，我们构建一个活动图˜Ak，作为{Zki}mi=1的绝对值之和。为了提高鲁棒性，我们将˜Ak与均匀核Us ∈ Rs×s进行卷积：0˜Ak (u, v) = � m0i = 1 ∥Zki(u, v)∥1, Ak = ˜Ak * Us. (16)0基于这样的观察，即活动图Ak中的显著值表示相应图像Yk中的锐利区域，我们通过根据它们在相应活动图中的值来组装最显著的区域，从而重构出全焦点分量：0Zfi(u, v) = Zk�i(u, v), Yfb(u, v) = Yk�b(u, v),0k * = arg max k (Ak (u, v)). (17)0其中{Zfi}mi=1和Yfb分别是融合图像Yf的特征图和基本分量。最后，融合结果通过组合其分量获得：0Y f = Y f b +0i = 1 di * Z fi. (18)07. 实验0完整的LoBCoD实现、文档和演示可以在网上找到[8]。07.1. 运行时间比较0首先，为了与其他最先进的方法进行比较，我们评估了所提出的算法解决方程（5）的性能，并与用于CSC的最先进的批处理算法进行比较：SBDL算法[26]，[36]中的算法和[15]中提出的算法，所有算法使用相同的设置在Fruit数据集[13]上进行。对于学习字典，我们使用了ADAM和Momentum算法。0附加信息可以在补充材料中找到。8https://github.com/EvZissel/LoBCoD0算法9[30]。图2展示了每个竞争算法的目标函数（2）随时间的变化情况，表明我们的方法收敛速度最快。图4展示了获得的字典。我们还将我们的方法与[22]中基于在线随机梯度下降（SGD）的算法进行了比较，这些算法在空间域和傅里叶域中运行。在这里，我们随机选择了一个包含40张图像的训练集和一个包含5张不同图像的测试集，这些图像来自MIRFLICKER-1M数据集[19]。图3展示了测试集的目标函数随时间的变化情况，表明我们的算法收敛更快。图5展示了三种方法获得的字典，说明它们具有相似的质量。需要注意的是，即使在只训练一个图像的情况下，我们的算法也能够在线操作，而[22]不支持这种可能性。0图2：我们的方法与[26]、[15]和[36]中的批处理方法的运行时间比较。0图3：我们的方法与[22]中的在线算法的运行时间比较。07.2. 图像修复0我们将我们的算法应用于图像修复任务，如第6.1节所述，并将结果与[26]进行比较。在第6.1节中，我们描述了两种可行的字典训练方法；利用外部数据集或直接在损坏的源图像上进行训练。对于前者，我们使用Fruit数据集[13]来训练两种算法，如图所示。09 参数设置见补充材料。82140表2：提出的LoBCoD算法与SBDL [26]算法之间的修复比较[dB]。0Barbara Boat House Lena Peppers C.man Couple Finger Hill Man Montage0SBDL外部30.41 31.76 36.17 35.92 33.69 28.76 32.16 30.91 33.12 33.04 28.930提出的外部30.93 31.82 36.58 36.15 33.54 28.88 32.46 31.75 33.25 33.18 29.180SBDL内部31.98 32.04 36.19 36.01 34.03 28.85 32.18 30.96 33.21 32.99 28.950提出的内部32.50 32.27 36.74 36.17 34.48 29.04 32.56 31.76 33.42 33.25 29.230(a) 我们的0(b) SBDL [26]0(c) [15]0图4：在Fruit数据集[13]上使用随机LoBCoD方法与[26]和[15]方法获得的字典的比较。0(a) 我们的0(b) [22] Sparse0(c) [22] Freq.0图5：在MIRFLICKR-1M数据集[19]上使用随机LoBCoD方法与[22]中的在线方法获得的字典的比较。0图4。通过在原始图像上应用50%的随机生成的遮罩来创建损坏的图像。在应用两种算法之前，所有损坏的测试图像都进行了均值减法，即减去未遮罩像素的均值。此外，我们根据每个损坏的测试图像的复杂性调整方程（12）中的λ。表2的前两行以峰值信噪比（PSNR）的形式呈现了使用外部数据集的结果，显示我们的方法得到了更好的结果。接下来，我们在损坏的图像本身上训练两种算法的字典。表2的后两行显示了结果，表明随机LoBCoD算法取得了更好的结果。07.3. 多焦点图像融合0我们将我们的LoBCoD算法应用于多焦点图像融合任务，如前一节所述。我们使用合成数据和真实数据集来评估我们的方法，并将结果与[23]进行比较。两种方法的字典都是在Fruit数据集[13]上预训练的。对于合成实验，我们从原始图像中提取了一部分0(a) Barbara焦点0(b) Barbara失焦0(c) [23] 41.96dB0(d) 提出的42.27dB0(e) Butterfly焦点0(f) Butterfly失焦0(g) [23] 35.30dB0(h) 提出的36.01dB0图6：合成图像的融合性能比较。PSNR值是在重建图像和原始图像之间计算的。0标准图像Barbara，并创建了两个模糊前景和模糊背景的输入图像。使用9×9的高斯模糊核进行图像模糊，σ=2。我们使用16×16的高斯模糊核对Butterfly10进行相同的处理，σ=4。010 该图像来自[6]的数据集。82150(a) 原始0(b) [23]0(c) 提出的0(d) [23]0(e) 提出的0图7:放大显示图像Butterfly的融合结果。图(d)和(e)分别显示了图(b)和(c)的误差图像。误差图像是融合结果与原始图像(a)之间的差异。0(a) Bird 前景0(b) Bird 背景0(c) [23] 39.29dB0(d) 提出的 39.81dB0图8:在图像Bird上，我们将所提出方法与[23]的方法进行了融合比较。0(a) [23]0(b) 提出的0(c) [23]0(d) 提出的0图9:放大显示图像Bird的融合结果。图(c)和(d)分别显示了与原始图像的L通道误差的比较。0图6展示了两组合成模糊图像，以及它们的重建图像和相应的PSNR值。结果图像表明我们的方法在视觉和定量上都取得了更好的结果。图7展示了我们的重建图像Butterfly的放大视图，与[23]的结果和原始图像进行了比较，显示出对于具有明显模糊的图像，我们的方法实现了更好的视觉效果。0(a) 近焦点0(b) 远焦点0(c) [23]0(d) 提出的0图10: 来自[31]的真实图像融合示例。0我们将我们的方法应用于彩色图像融合，并展示了在图像Bird11上的结果。我们通过对每个RGB通道应用16×16的高斯模糊核（σ=4）生成一对模糊的背景和前景彩色图像。我们选择在RGB颜色空间中对图像进行模糊处理，以模拟相机的模糊效果。然后，我们将两个模糊的彩色图像转换为Lab颜色空间进行处理。计算了Bird图像的L通道的PSNR值，用于原始图像和重建图像之间的比较。我们在图8和图9中呈现了结果及其PSNR值，显示出我们的方法在视觉和定量上都取得了更好的结果。最后，对于真实数据集实验，我们在[31]中选择了图像对Clocks，并展示了融合图像的结果，显示出在这个图像对上的可比较结果。08. 结论0在这项工作中，我们引入了局部块坐标下降（LoBCoD）算法，用于在图像块上局部执行全局CSC模型的追踪。我们证明了它在内存需求、高效并行计算和免除繁琐的参数手动调整方面的优势。此外，我们提出了该算法的随机梯度下降版本（Stochastic-LoBCoD）用于训练卷积滤波器。我们强调了它作为一种在线算法的独特特性，它保留了对单个图像的处理能力。最后，我们在一组应用程序上展示了所提出算法的优势，并将其与竞争的最先进方法进行了比较。09. 致谢0本研究得到以色列科学基金会(ISF)335/18号资助。011 该图像来自[7]的数据集。82160参考文献0[1] M. Aharon, M. Elad, and A. Bruckstein. K-svd: An al-gorithm for designing overcomplete dictionaries for sparserepresentation. IEEE Transactions on signal processing ,54(11):4311–4322, 2006. [2] S. Boyd, N. Parikh, E. Chu, B.Peleato, J. Eckstein, et al. Distributed optimization andstatistical learning via the al- ternating direction method ofmultipliers. Foundations and Trends R � in Machine learning ,3(1):1–122, 2011. [3] H. Bristow, A. Eriksson, and S. Lucey. Fastconvolutional sparse coding. In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition ,pages 391–398, 2013. [4] S. Chen, S. A. Billings, and W. Luo.Orthogonal least squares methods and their application tonon-linear system identi�- cation. International Journal ofcontrol , 50(5):1873–1896, 1989. [5] S. S. Chen, D. L. Donoho,and M. A. Saunders. Atomic decomposition by basis pursuit.SIAM review , 43(1):129– 159, 2001. [6] W. Dong, L. Zhang, G.Shi, and X. Li. Nonlocally central- ized sparse representationfor image restoration. IEEE Transactions on Image Processing, 22(4):1620–1630, 2013. [7] W. Dong, L. Zhang, G. Shi, and X.Wu. Image deblurring and super
我的内容管理
展开
