等变成像：利用等变性解决仅从压缩测量中学习的逆问题

28.8318395614230.29245138168535.646843936.9239282603.883.8824.1324.91which is generally a challenging task due to the ill-conditioned operator A and noise ϵ. In order to obtain astable inversion, traditional approaches have used linear re-construction, i.e. A†y, where the estimate is restricted to therange space of A⊤, or model-based approaches that reducethe set of plausible reconstructions x using prior informa-tion (e.g. sparsity). Leveraging the powerful representationproperties of deep neural networks, a different approach istaken by recent end-to-end learning solutions which learnthe inverse mapping directly from samples (x, y). However,all of these approaches require ground truth signals x forlearning the reconstruction function x = f(y), which hin-ders their applicability in many real-world scenarios whereground truth signals are either impossible or expensive toobtain. This limitation raises the natural question: can welearn the reconstruction function without imposing strongpriors and without knowing the ground-truth signals?43790等变成像：超越范围空间的学习0Dongdong Chen英国爱丁堡大学工程学院0Julián Tachella英国爱丁堡大学工程学院0Mike E. Davies英国爱丁堡大学工程学院0y0A y0MC0EI0监督0x（GT）0y0A y0MC0EI0监督0GT0图1：仅从测量中学习成像。仅通过测量一致性（MC）训练成像网络不会显著改善重建结果，而等变成像（EI）通过强制重建图像集合的不变性几乎与完全监督网络一样好。上：稀疏视图CT重建，下：像素修复。图像右上角显示了PSNR。0摘要0在各种成像问题中，我们只能访问底层信号的压缩测量，这妨碍了大多数基于学习的策略，这些策略通常需要成对的信号和相关测量进行训练。一般情况下，仅从压缩测量中学习是不可能的，因为压缩观测不包含超出正向感知算子范围之外的信息。我们提出了一种新的端到端自监督框架，通过利用自然信号中的等变性来克服这个限制。我们提出的学习策略与完全监督方法一样好。实验证明了该框架在包括真实临床数据上的稀疏视图X射线计算机断层扫描和自然图像修复等逆问题中的潜力。代码已在https://github.com/edongdongchen/EI上提供。01. 引言0线性逆问题在计算机视觉和信号处理中无处不在，出现在多个重要领域中。0在超分辨率、图像修复和计算机断层扫描（CT）等应用中，线性逆问题是普遍存在的。这些问题的目标是从测量 y中恢复信号 x，即反转正向过程，这通常是一项具有挑战性的任务，因为存在病态算子 A 和噪声ϵ。为了获得稳定的反演，传统方法使用线性重建，即 A†y，其中估计值限制在 A �的范围空间内，或者使用基于模型的方法，通过先验信息（例如稀疏性）减少可能的重建集合x。利用深度神经网络的强大表示特性，最近的端到端学习解决方案采用了不同的方法，直接从样本（x，y）中学习逆映射。然而，所有这些方法都需要地面真实信号 x 来学习重建函数 x =f(y)，这限制了它们在许多现实场景中的适用性，因为获取地面真实信号要么不可能，要么代价高昂。这个限制引出了一个自然的问题：我们能否在不施加强大先验和不知道地面真实信号的情况下学习重建函数？0y = Ax + ϵ，(1)43800在这里，我们展示了物理模型的典型特性，如旋转或平移不变性，构成了可以利用的轻度先验信息，可以超越 A �的范围空间进行学习。我们提出了一个端到端的等变成像框架，可以仅从压缩测量 y中学习重建函数，适用于单个正向算子。如图1所示，等变成像方法的性能几乎与具有地面真实信号 x的数据集相当，并且在训练过程中明显优于仅强制执行测量一致性 Af(y) =y。我们从理论和实证上都表明，所提出的框架能够从少量训练样本的压缩观测中识别信号集并学习重建函数，而无需访问地面真实信号x。实验结果通过定性和定量评估逆问题展示了我们框架的潜力。具体而言，我们的贡献如下：01.我们提出了一个概念上简单的等变成像范式，用于解决没有真实值的逆问题。我们展示了不变性使得学习超出正向算子伴随的范围空间成为可能，为学习重建函数提供了必要条件。02.我们展示了这个框架可以很容易地被纳入深度学习流程中，通过使用额外的损失项来强制系统等变性。03.我们在稀疏视图CT重建和图像修复任务上验证了我们的方法，并展示了我们的方法获得了与使用真实信号进行完全监督训练的网络相当的重建结果。01.1. 相关工作0基于模型的方法经典的基于模型的逆问题求解方法 [4,8]，通过基于先验知识的固定模型对可行解空间进行约束（例如稀疏性[27]）。尽管基于模型的范式通常具有良好的理论性质，但它具有两个缺点：构建一个能够捕捉自然信号低维特性的良好先验模型通常是一项具有挑战性的任务。此外，重建过程可能计算成本高，因为它需要在测试时运行优化过程。0深度学习方法脱离基于模型的策略，深度学习策略旨在从样本 (x, y)中学习重建映射。这个想法已经成功应用于各种逆问题，如图像去噪和修复 [24, 40, 39]，超分辨率 [9, 37,22]，MRI重建 [25, 6] 和 CT图像重建 [15, 38]。0CT图像重建 [15,38]。然而，所有这些方法都需要访问训练对 (x,y)，而在多种实际场景中可能无法获得这些对。0使用压缩观测进行学习一般来说，给定一个具有非平凡零空间的固定正向模型A，仅通过压缩样本 y 是基本不可能学习到超出 A^T的范围空间的信号模型。这个想法可以追溯到盲压缩感知[11]，在其中已经证明在没有对可行字典集合施加强假设的情况下，无法从压缩数据中学习到字典。0自监督学习最近，有越来越多的关于自监督学习的工作，探索在没有真实值的情况下可以学到什么。例如，有一系列类似于Noise2X [18, 1, 17,26]的研究，其中进行图像去噪而无需访问真实值。然而，去噪任务没有非平凡的零空间，因为 A是恒等算子。虽然一些后续工作包括 [13] 和 [21]尝试解决了更一般的情况，但前者没有考虑非平凡的零空间，而后者需要利用多个正向算子的多样性来学习去噪器，并最终通过迭代的基于模型的优化方法解决逆问题[30]。最后，一些无条件 [3] 和有条件 [28]的生成模型被提出来从压缩样本中学习重建，但同样需要多个不同的正向算子。相比之下，我们能够学习单个正向算子的重建。02. 方法02.1. 问题概述0我们考虑一个线性成像物理模型 A：R^n →R^m，并且在训练中只有一组N个压缩观测 {y_i}i=1,...,N可用。学习任务包括学习一个重建函数 f_θ：R^m →R^n，使得 f_θ(y) = x。由于测量次数小于信号空间的维数m < n，并且算子 A 具有非平凡的零空间。0测量一致性鉴于我们只能访问压缩数据y，我们可以强制要求逆映射 f 在测量域中是一致的。即 Af( y ) =  y. (2)0然而，这个约束还不足以学习逆映射，因为它无法捕捉到 A �操作符范围之外的 X 的信息。正如第3节所示，存在多个函数 fθ 可以验证 (2)，即使我们有无限多个样本 y i。p(Tgx) = p(x)(5)43810即使我们有无限多个样本 y i，仍然存在多个函数 f θ可以满足 (2)。0不变集一致性为了学习超出 A �范围的逆映射，我们可以利用关于可能信号集 X的一些轻微先验信息。我们假设该集合具有一些对称性，即它对某些变换群是不变的，如平移、旋转、反射等。这个假设在多信号处理和计算机视觉应用中被广泛采用。例如，常常假设自然图像是平移不变的。另一个例子是计算机断层扫描数据，同一个器官可以在不同角度下成像，使得问题对旋转是不变的。在这个假设下，信号集 X 对某个变换群 G = {g1, . . . , g |G| } 是不变的，其中 g 是单位矩阵 T g ∈ R n ×n，对于所有 x ∈ X，我们有 T g x ∈ X (3)0对于 � g ∈ G，集合 T g X 和 X 是相同的。根据 (3)中的不变性假设，组合 f ◦ A 应该是对变换 T g 等变的，即f ( AT g x ) =  T g f ( Ax ) (4)0对于所有 x ∈ X 和所有 g ∈ G，(4)不要求 f是不变的或等变的，而是要求 f ◦ A是等变的。正如第3节中讨论的那样，只要 A �的范围本身对所有 T g 都不是不变的，这种对逆映射 f的附加约束允许我们学习超出范围空间。0不变分布一致性在大多数情况下，信号集 X不仅是不变的，而且在该集合上定义的分布 p ( x )也是不变的，即0对于所有 g ∈ G。因此，在学习逆映射 f时，我们也可以强制执行这个分布约束。02.2. 等变成像0我们建议使用可训练的深度神经网络 G θ : R n → R n和一个近似线性逆（例如伪逆）A † ∈ R n × m来定义逆映射 f θ = G θ ◦ A †。我们强调，虽然原则上 f θ的形式是灵活的，但在这里我们使用线性的 A † 将 y 投影到R n 以简化学习复杂度。在实践中，A †可以选择为任何计算成本低廉的近似逆。我们提出了一种训练策略，仅使用一组压缩样本数据集来同时满足 (2)中的测量一致性和 (4) 中的等变性条件。0Algorithm 1  EI的伪代码，以类似PyTorch的风格表示。0# A.forw, A.pinv: 正向和伪逆操作符 # G: 神经网络 # T: 变换群 # a: alpha0for y in loader:  # 加载一个小批量的 N 个样本 y0# 从 T 中随机选择一个变换 t = select(T)0x1 = G(A.pinv(y))  # 从 y 重构 x x2 = t(x1)  # 变换 x1 x3 =G(A.pinv(A.forw(x2)))  # 从 x2 重构 x20# 训练损失，方程 (6) loss = MSELoss(A.forw(x1), y)  # 数据一致性0+ alpha*MSELoss(x3, x2)  # 等变性0# 更新 G 网络loss.backward()update(G.params)0{ y i } i =1 ,...,N . 在前向传播中，我们首先计算 x (1) = f θ (y ) 作为实际地面真实值 x的估计，而这个真实值在学习过程中是不可用的。注意 Af θ( y ) 和 y 之间的数据一致性仅仅确保 Ax (1)保持接近输入测量 y，但无法学习超出 A �的范围空间。根据等变性质 (4)，我们随后将 x (2) = T g x(1) 进行变换，其中 g � G，并通过 f ◦ A 得到 x (3)。x (1)、x(2)和x (3)的计算如图2所示。0� (1) � (2) � (3) � � � � � � � �0� � �0图2：等变学习策略。x(1)表示估计的图像，x(2)和x(3)表示Tg x(1)0以及从测量值˜y = Ax(2)估计的x(2)的误差0分别。0网络权重根据y和Ax(1)之间的误差以及x(2)和x(3)之间的误差进行更新，通过最小化以下训练损失：0arg min θ E y,g {L ( Ax (1) , y ) + α L ( x (2) , x (3) ) }, (6)0其中第一项是数据一致性，第二项是为了施加等变性，α是权衡参数，用于控制等变性的强度，L是一个误差函数。训练后，学习到的重建函数fθ = Gθ ◦A†可以直接应用于训练样本或以前未见过的新观测样本，以恢复它们各自的真实信号。算法1提供了等变成像(EI)的伪代码，其中L是均方误差(MSE)。̸��43820不具有不变性0样本0平移不变性0样本0图3：在一个玩具1D信号修复任务中具有和不具有等变性的学习。信号集合由三角信号的不同缩放组成。左侧的数据集不具有任何不变性，因此不可能学习到A的零空间中的数据分布。在这种情况下，网络可以以任意方式修复信号(绿色)，同时实现零数据一致性损失。右侧的数据集具有平移不变性。通过变换Tg将A的范围进行平移，网络可以正确修复信号。0对抗扩展我们可以添加额外的惩罚项来强制保持不变分布的一致性(5)。受生成对抗网络[12]的启发，我们使用一个判别器网络D，并采用对抗训练策略进一步强制要求x(1)和x(2)具有相同的分布。得到的对抗等变学习策略的求解如下优化问题：0min G max D E y,g {L ( Ax (1) , y ) + α L ( x (2) ,x (3) )0+ β Ladv(x(1), x(2)), (7)0以及Ladv(x(1), x(2)) = Ex(1){D(x(1))} + Ex(2){1 -D(x(2))}，即采用最小二乘对抗损失[23]，β用于控制不变分布约束的强度。我们的实验结果(见补充材料)表明，对抗不变性学习只对等变学习(6)提供了非常微小的改进。因此，在接下来的章节中，我们主要关注等变学习。03. 理论分析0我们从一些基本定义开始。测量算子A ∈ Rm×n，其中m 

下载后可阅读完整内容，剩余1页未读，立即下载