重建问题中的可微投影与深度先验

1 22基于可微投影和深度先验的Matheus Gadelha Rui Wang Subhransu Maji马萨诸塞大学阿默斯特分校{mgadelha，ruiwang，smaji}@ cs.umass.edu摘要我们研究了在存在视点不确定性的情况下，从噪声和不完整投影中重建形状的问题该问题被铸造为一个优化的形状给定的测量通过投影算子和先验。我们提出了一些重建问题的可微投影算子，当与深度图像先验或形状先验相结合时，可以通过梯度下降进行有效的推理我们将我们的方法应用于各种重建问题，如从几个样本的层析重建，视觉外壳重建，将视图的不确定性，从嘈杂的深度图和3D形状重建。实验结果表明，我们的方法是有效的形状重建问题，而不需要任何特定的任务培训。1. 介绍考虑从轮廓重建3D形状的问题经典的视觉外壳算法从每个视点对可见体进行相交，该算法易于实现，但对视点估计误差和轮廓噪声敏感针对此问题的贝叶斯方法是在形状和视点估计上添加适当的先验，并执行后验推理。这是具有挑战性的，原因有二。首先，3D形状的搜索空间很大，因为没有紧凑的形状基础来......重建形状图1：不确定视点下的二值图像形状重建. 我们建议将深度网络与可微投影算子一起用于形状重建。我们的方法利用神经网络诱导的形状先验，从投影中重建形状，而无需任何学习过程。此外，我们的方法可以使用可微运算符来重建噪声投影测量下的形状，如扰动的视点信息。通过梯度下降来实现。我们的工作将这一想法进一步发扬光大。首先，我们赋予深度图像先验以3D卷积，从而产生深度形状先验。第二，我们结合可微投影算子T，该算子T对投影测量（例如轮廓）进行建模，给定投影参数φ（例如视图），点因此，在给定噪声投影测量y的情况下推断形状x简化为对网络参数θ和投影参数φ的以下优化：搜索一般形状。其次，贝叶斯推理对于高维数据通常是昂贵的。minφ，θ∈RDE（y，T（fθ（η），φ））+P（φ），（1）为此，我们提出了可微投影算子T和深度形状先验，可以通过随机梯度下降及其变体进行贝叶斯推断[23]。虽然存在许多先验，但感兴趣的是Ulyanov等人的[21]这表明，自然图像空间x可以表示为参数族fθ（η），其中f是卷积网络，θ是其参数，并且η是固定输入。他们的工作表明，对自然图像的搜索可以被对网络参数θ的搜索所取代，这可以有效地其中P（φ）是投影参数的先验，通常是一个简单的函数。我们表明，对于一些形状的建设问题，如断层重建，从轮廓或深度图的形状，它是可能的，使用现有的神经网络构建块，相对于输入和投影参数是可微的构造投影算子。因此，可以使用“反向传播”机制来最小化目标1 232222除了选择网络架构和投影算子之外，该方法不需要任何特定于任务的训练。尽管如此，它在低采样状态下产生了令人信服的断层重建结果，其性能优于基于迭代BM 3D的最新方法[13]。我们的工作还表明，推广到3D体积的深度图像先验在建模3D形状时是有效的。在视觉外壳反射或深度图重建等问题中，即使在视图估计中存在不确定性或深度图被噪声破坏时，我们也可以的reprensic- tion结果是显着优于手工制作的先验。这些任务如图3-9所示。2. 相关工作2. 使用BM3D对x（k）进行去噪以获得x（k+1）。3. 重新估计（.，z（k+1））=T（x（k+1））+δ（k）。注意，只有投影的未观察部分被估计，使y在迭代中保持固定。迭代BM3D可以应用于Y的支持度很小的问题。该程序涉及到交替方向乘法（ADMM）[2]，用于求解线性反问题形式：minx||y − Ax||2+ λP（x）。 ADMM求解增广拉格朗日L（x，z，u）：L（x，z，u）= ||y − Az||2+ λP（x）+ ρ ||x-z +u||2222通过交替优化x、z和u，对辅助变量z和u（ρ >0）进行如下优化：ρ在本节中，我们简要总结了解决问题的技术x（k+1） ←argminλP（x）+X||2||22图像和体积反射的逆问题的形式：minP（x）+E（y，T（x））。（二）x∈X数据项E和投影算子T是特定于应用的，但在对先验项P建模时有相当大的灵活性。这些包括平滑度先验，例如作为总变差（TV）[17]和L0梯度[25]，补丁上的高斯混合模型[29]，去噪自动编码器[22]。深度图像先验[21]将图像表示为具有来自固定（随机）输入的随机参数的输出卷积网络。作者表明，由几个卷积层和池化层组成的网络的输出，然后是几个解卷积层，其间很少或没有跳过连接，往往会生成自然图像。最近，对深度图像先验的扩展表明，它渐近等价于高斯过程[5]。这表明贝叶斯方法解决这个问题：通过朗之万动力学进行后验推断避免了提前停止的需要，并改善了去噪和修复任务的结果。深度图像先验也与程序先验相关，例如双边滤波[20]，非局部均值[3]或块匹配3D（BM3D）[7]。这些模型利用图像中斑块的非局部自相似性来集体去噪。对于涉及噪声和不完整测量y的复杂投影算子T，应用程序先验是不平凡假设y和z表示被噪声破坏的观察到的和未观察到的投影测量：（y，z）=T（x）+δ.例如，y可以表示傅里叶变换中的频率子集，或者压缩感测应用中的数据投影。Maggioni等人[13]提出了如下迭代方案：1. 通过反转测量值x（k）来估计x=T−1（y，z（k））从z（1）=0开始。z（k+1） ← argmin ||y − Az||2+ ρ ||x（k+1）− z + u（k）||2z2u（k+1）←x（k+1）−z（k+1）+u（k）该优化算法将重构与先验知识相结合。第一个涉及的图像先验和平方损失项的推断。第二个目标在z上是二次的可以用共轭梯度法求解。 该decou-pling允许使用显式或隐式先验，以及学习的邻近投影算子[4，26]proj（z−u，ρ），该算子将向量z−u映射到距离它为ρ的自然图像流形中的x，类似于去噪自动编码器，以解决逆问题。最后，一类方法使用丰富的参数模型（如神经网络）以完全监督的方式直接学习逆映射G：Y → X这些模型在训练过程中摊销了推理，并在给定噪声测量的情况下实现了有效的推理。这样的模式已经成功应用于各种逆问题，如超分辨率[8]，去噪[24]，着色[12，28]以及从图像中估计深度和法线[9]。然而，缺点是模型的架构和参数可能特定于噪声和投影算子，这需要针对每个任务进行单独的训练。与这项工作密切相关的是，最近的方法已经在深度特征上采用了几何变换来生成3D对象的新颖视图[14，19]。与我们的方法相反，这些技术没有明确定义投影算子-因此，推断的表示不直接对应于3D形状，而是对应于模型学习的更高级别的表示。3. 方法我们的贝叶斯推断方法将是使用随机梯度去优化等式1中的目标1 24i、ji，r气味（SGD）。这对应于最大似然估计（MLE）或最大后验概率（MAP）估计（如果添加参数θ上的先验）。虽然存在基于SGD的后验采样的更复杂的方案[5，23]，但我们发现SGD对于我们考虑的问题工作得相当好。用SGD解决重建问题需要在形状上计算可微投影算子和可微先验。我们将深度图像先验用于基于图像的重建任务，并将3D卷积版本用于形状重建任务。在早期的工作中，深度图像先验被用于解决具有线性测量的许多重建问题[21]。例如，在去噪中，投影算子是恒等变换，而在修复中，投影算子是指示哪些像素存在和不存在的掩模在本节中，我们将介绍三种可微分投影运算符，它们可以与深度神经网络结合使用，从部分和噪声观测中重建形状。3.1. 氡投影（TR）在[15]中，Radon提出利用积分变换的逆来从CT扫描重建图像该变换的正向版本被称为Radon变换R，并且可以由以下描述：∫其中S是图像的大小请注意，Radon变换R的结果也是一幅图像（称为正弦图，由φ和r参数化），如图3所示。最后，我们的算子TR接收大小为S×S的图像I，一组表示投影角的值φ，并输出大小为S × S的图像。|φ|.该过程是可微分的，并且可以实现为多个旋转图像的一维求和。3.2. Silhouette Projection（TS）从轮廓的形状重建包括以下问题：给定来自不同视图的同一对象的一组轮廓图像，估计3D形状的对象。 轮廓投影可以用公式表示为一个可微算子TS（V，φ）。为此，我们将3D形状表示为体素网格V，并且投影TS（V，φ）生成从视图φ捕获的形状V的轮廓。 [10]的公式 具体地，令V：Z3→[0，1]∈R是体素网格，表示给定整数3D坐标c=（i，j，k）处的概率值。体素网格的旋转版本V（c）被定义为Vφ（c）=Φ（V，Tφ（c）），其中Tφ（c）是通过根据φ围绕原点旋转c获得的坐标，并且Φ（V，c）是在位置c中对VR（φ，r）=s（x，y）dl，L ={（x，y）|x sinφ−y cos φ= r}L（三）下一步是执行投影，从旋转的体素网格创建图像。这是通过应用投影算子P（V）i，j=1-其中s表示密度函数，φ是在一个实施例中，该变换是投影，并且该变换表示作为CT扫描的输出获得的数据。设Tψ（s）是将s旋转ψ度的算子，即T（s）（x，y）=s（xcos−ysinθ，xsinθ+ycosθ）。将其代入等式（3）我们有：∫R（φ，r）=T（s）（x，y）dlLL={（x，y）|x sin（φ + π）− y cos（φ +π）= r}取φ=−φ：e−τkV（i，j，k）.该算子背后的直觉与Radon变换的思想类似：计算沿着每条视线的占用函数V的线积分（假设为投影），不同之处在于，这里我们应用指数衰减来创建平滑且可微的函数。平滑度可以通过参数τ来控制：较大的值导致二值图像。如果沿着视线的所有体素都是空的，则投影导致值0;随着非空体素的数量增加，该值接近1。 结合vo x el网格的旋转版本，我们定义了我们的最终版本。TS（V，φ）i，j=1−e−τkVφ（i，j，k）R（φ，r）=T−φ（s）（x，y）dl，L={（x，y）|y=r}（4）L∫R（φ，r）=T−φ（s）（x，r）dx（5）R其中i，j是结果图像的像素坐标。3.3. 深度图像投影给定表示为体素占用网格的3D形状实际上，s由image表示，T−φ（s）通过旋转规则网格并将图像重新排列为在[11]中描述。具体地，令I（φ）是由旋转-φ度的s形成的图像中的像素i，j的值，Radon变换的离散版本为：ΣSR（φ，r）=I（φ），（6）i=11 25V和视图Φ，深度图像捕获从视点到形状上的可见点的距离值。这在实际应用中是有用的，因为深度图像经常由LiDAR和类似的深度传感器捕获。在这里，我们证明了深度投影算子可以建立在轮廓投影算子之上。为此，我们首先定义可见性函数A（V，φ，c），其描述网格V内的给定体素c是否可见，当1 26从视图φ看：.A（V，φ，i，j，k）=exp−τΣkl=1ΣVφ（i，j，l）（七）该网络体系结构相同以解决基础信号的更高产生图像的网络和产生体素网格的网络之间唯一的其他区别是卷积运算是在2D而不是3D中执行的。即使直观地，这是轮廓投影的补充，不同之处在于，当我们遍历体素网格时，我们递增地累积占用（从视线上的第一体素开始），而不是对整个视线上的所有如果从第一个体素到当前体素的路径上的体素都是空的，则A的值为1（指示当前体素对于视图φ是如果路径上至少有一个非空体素，则A的值将接近0（表示该体素不可见）。现在我们有了每个体素的可见度值，投影图像中像素的深度值简单地是A沿着视线的线整数：D（i，j）=网络可用于生成任何大小的数据（因为它是完全卷积的），在我们的实验中，我们将图像分辨率设置为256×256，体素分辨率设置为1283。4.1. 断层摄影重建在断层重建中，我们的目标是反转正弦图，如第3节所述。在深度图像先验的情况下，重建涉及解决以下优化问题：Min||R−TR（fθ（η））||第 一条，（九）θ∈RDkA（V，φ，i，j，k）. 它会累积声音的数量-在整个视线上可见的元素，因此它给出了深度值。有关图示，请参见图2在将该算子与神经网络一起使用时，我们发现如果我们应用指数衰减，它会更好地工作。因此，我们可以如下定义深度投影算子T_D其中f是我们上面描述的神经网络，η是其噪声输入，并且R是输入正弦图（其可能具有低角度采样率和/或被噪声破坏）。为了测试我们的算法在处理具有挑战性的输入时的能力，我们使用低角度采样率（n=30）并通过添加σ=1的高斯噪声来模拟有噪声的正弦图。图3显示了Shepp-Logan.TD（V，φ）i，j=1−exp−ΣΣA（V，φ，i，j，k）K（八）体模图像[18]和BrainWeb数据库[6]中样本的两个单独切片。这些图像通常用于评估CT重建算法。这会将深度值平滑地映射到[0，1]之间的范围。具体地说，它将深度值0映射到0，并将深度值-in-depth映射到1，同时仍然保持可微运算符。4. 实验本节介绍了将我们的形状投影算子与深度形状先验一起应用于三个重建任务的结果。网络架构。在体积重建实验中（即，对于分别从轮廓图像和深度图像重建3D形状的方法（例如，分别从轮廓图像和深度图像重建3D形状），网络架构是完全卷积的UNet [16]，其中编码器具有5层，具有8、16、32、64和128个滤波器。解码器是编码器的镜像版本，跳过连接仅应用于2个最内层。上采样是通过双线性/三线性插值和卷积来完成的。所有卷积的过滤器大小为3，后面是批量归一化和ReLU激活函数。 网络的输入是相同大小的张量作为输出，并且其值从N（0，1）采样。在所有的实验中，我们使用亚当优化器与学习速率=10−2。对于图像重建（即，断层扫描）我们都-过滤器的数量在每一层保持其余的对于每次重建，我们计算相对于地面实况图像的结构相似性（SSIM）指数和PSNR值（越高越好）。断层扫描的标准解决方案是滤波反投影（FBP）：它使用傅立叶切片定理来反转拉东变换。当角度采样率低时，使用FBP的重建结果具有严重的混叠伪影，如图3第三列所示。TV先验显著改善了所有三个图像的重建。第2节中描述的迭代BM 3D方法[13]运行了100次迭代。我们注意到，PSNR值在100次迭代后收敛，前20次迭代中PSNR的增益最大。注意，在FBP重建上运行BM3D对应于该方法的一次迭代。对于深度先验，我们通过运行2000个梯度步骤获得结果。与迭代BM3D相比，深度先验产生具有显著更好的SSIM值和相当或更好的PSNR值的重建（图3 中的最后两列）。BM 3D的性能相对较差可能是因为与图像去噪应用中观察到的噪声相比，CT重建中的混叠噪声往往更具结构性，不太像自然图像噪声迭代BM3D算法需要多次迭代来消除由逆Radon变换产生的伪影，但这导致底层结构的平滑，从而导致较低的SSIM分数。1 272D形状顶部可见性右侧可见性顶部深度图右侧深度贴图x深度图2：示例2D形状到深度投影。 左边是一个二维形状，可视化为二进制占用（白色被占用）。的接下来显示了俯视图和右视图中每个像素的可见性图-如果像素可见，则像素为白色（值=1）。深度图是通过分别对顶视图和右视图沿垂直和水平方向的可见性图求和而获得的0.134、15.3 0.694、18.6 0.701、26.0 0.967、31.70.199、16.7 0.731、24.7 0.693、26.2 0.784、26.80.210、16.5 0.732、23.7 0.718、26.5 0.834、27.6图像正弦图FBP TV先验迭代BM 3D深度先验图3：断层摄影重建结果来自以n= 30个角度和噪声（σ= 1）采样的正弦图（radon变换）。通过最近邻插值将正弦图重新缩放到图像大小，以实现可见性。每行中从左到右是无噪声SSIM和PSNR在相应的图的顶部示出了每种方法。我们的方法明显优于其他免费学习基线。放大查看详细信息。4.2. 轮廓3D重建的形状对于来自轮廓图像的3D形状重建，我们采用如前所述的3D卷积神经网络来生成体素网格V，其中每个体素表示表示占用值。 网络的输出 然后将其传递给投影算子TS，其中观察方向φ。 给定一组N个视点{φ1，φ2，...，φ n}及其相关图像I φi，我们的问题通过以下优化描述：ΣN通过沿水平轴均匀地旋转对象（例如，4个视图，每个视图间隔90度;具有8个视图，每个视图间隔45度，以此类推）。这个问题的基线方法是空间雕刻，其采用所有投影视图的相交来生成占用网格。我们在图5中展示了与空间雕刻的定性比较。空间雕刻为大多数形状提供了合理的参考，但有些对象包含像折痕甚至缺失部分的人工制品。另一方面，深度形状先验倾向于创建过于平滑的形状，这有时意味着去除部分表面。minθ∈RDi=1||第1、（10）条||1,(10)对象（图5中的椅子）或在应该存在明显的边界（图5中的灯）。其中f是我们的神经网络，η是噪声输入。我们使用梯度下降来求解该最小化，然后使用fθ（η）来生成我们的最终重建。结果可见于图4。即使有少量的silhouette图像，我们的方法是能够重建合理的三维形状。此示例的视点是选择的查看不确定性。在前面的公式中，我们假设集合视点φ恰好对应于观察到的视图。然而，更现实的情况是假设我们被给予一组噪声视点测量。在这种情况下，除了估计深度y1 28GT4个视图8次浏览16浏览次数32次浏览图4：从轮廓重建中视图数量的影响。从同一物体的轮廓图像重建的3D形状。即使没有获得足够的3D信息，我们的方法仍然能够生成合理的形状。图5：没有视点噪声的轮廓重建。从同一物体的8个轮廓图像重建的3D形状。视角随机均匀取样。顶行使用空间雕刻基线，中间行使用深度图像先验，底行是地面实况。网络预测的形状，我们也期待估计vie wpointsφ。我们假设噪声视点φ独立于VonMises（φ*，κ）采样，其中κ是VonMises分布与平均值φ*（地面实况视点）的色散。这导致向等式10添加额外的项，并且还在预测的视点上进行优化：陈文min||Iφ* − TS（fθ（η），φ）||1+ λ cos（φ −φ），（11）评估为了评估我们的方法，我们从标准基准中选择了12个网格。其中三个是众所周知的3D形状（斯坦福兔子，龙和犹他茶壶），而其他的是从ModelNet40数据集的9个不同类别中选择的[27]。我们体素化填充其内部的形状，以生成分辨率为108- 3的二进制占用网格。这些体素网格将对应于我们的地面实况数据。我们的网络生成128个3占用网格，但我们使用较小分辨率的数据来零填充体积并避免边界中的伪影。接下来我们φΦ，θ我i=1我我我随机采样8个视点并渲染二值图像Iφi来自每个采样视图。既然我们想评估其中λ是视点正则化项的权重。我们使用λ=0。1在我们的实验中请注意，我们的投影算子是完全可微的视点参数，可以很容易地实现使用自动微分软件包。为了提高该方法在处理vi_ w不确定性的同时重建3D形状的能力，我们从V_onMises（φ，κ）中采样vi_wφ，并将它们与相应的二值图像相关联。我们在所有实验中使用κ=100。1 29图6：使用捕获的图像进行轮廓形状重建。对于这个玻璃物体，我们拍摄了4个视图，相隔45个直角，背景颜色均匀。然后，我们应用背景颜色去除，并将每个图像转换为二进制轮廓图像。第一个重建模型是使用我们的深度先验的结果，而第二个是使用空间雕刻基线的结果平面兔子车书桌龙吉他灯钢琴植物沙发表茶壶是说我们雕刻0.350.490.880.770.720.590.810.410.590.550.640.510.620.260.860.640.790.580.780.510.820.440.840.830.720.55雕刻机0.510.850.720.500.620.710.280.600.610.570.550.810.61表1：从具有不确定视点的轮廓进行3D重建。12个不同形状的重建占用的交集。我们随机采样视点，为每个形状生成8个二进制图像。这些视点在被这些方法使用之前被稍微扰动，除了最后一个（雕刻），其对应于使用没有噪声视点的空间雕刻我们的方法在所有情况下都显着优于空间雕刻基线换句话说，即使图像IΦ是从视点Φ渲染的，我们也将稍微扰动的视点Φ分配给该图像。最后，我们使用二进制图像Iφ和扰动的视点φφ来通过最小化等式11中描述的目标来重建3D形状。这是通过500步梯度下降来完成的。我们比较我们的方法具有空间雕刻基线，并在表1中报告估计占用网格的并集上的交集。我们的方法优于香草空间雕刻，即使在给定的视点不扰动，这证明了我们的方法的鲁棒性的视点扰动。图7示出了重构形状的定性比较。我们的方法以高保真度重建形状，保留细节和薄结构。另一方面，空间雕刻最终重建了具有缺失部分和粗糙结构的物体，如图7所示。使用捕获的图像进行重建。我们还使用从相机捕获的图像评估了我们的方法结果示于图6中。受试者是玻璃物体，我们拍摄了4个视图，这些视图以45°的水平旋转角度均匀间隔开，背景颜色均匀。然后我们使用[1]来去除背景并将每个图像转换为二进制轮廓形象我们比较结果使用我们的方法与标准的视觉外壳（即。空间雕刻）。正如可以观察到的，我们的方法导致平滑的重建和结果的对象看起来更自然。相比之下，视觉外壳结果包含改变视图周围的伪影和尖锐过渡，这将需要显著更多数量的视图来消除。4.3. 深度图像三维重建用于从深度图像进行3D重建的设置对于二进制图像是相同的，除了使用投影T_D而不是T_S。所有输入深度图像在[0，1]中使用指数在等式（8）中的映射我们分析了该方法的能力使用4个视图从受不同水平高斯噪声干扰的深度图像重建3D形状。结果可见于图8中。此外，我们分析了重建质量，而不同的视图数量。结果示于图9中。对于这些实验，我们保持非常高的噪声水平（σ=0. ①的人。我们注意到，即使在处理非常嘈杂的投影时，如果给出足够的视图，我们的5. 结论我们发现，通过结合深层图像或体积-具有可微投影算子的度量先验，信号1 30图7：具有扰动视点的从轮廓重建形状。空间雕刻基线的结果在第一行，我们的方法在第二行，地面真实形状在第三行。我们的结果是通过500个梯度下降步骤最小化方程11计算的我们的方法是能够更新的初始视点参数，并能够从不精确的视点分配恢复空间雕刻基线对视点扰动不鲁棒，这意味着它最终雕刻了体积的错误区域，导致重建不佳并消除了薄对象结构。σ=001σ = 0。02σ = 0。05 σ = 0。1图8：重建中噪声的影响。从同一物体的4个噪声深度图像重建的3D形状。高斯噪声的方差从左到右增加。形状先验可以重建高质量的形状，即使在相当大的噪声量。输入4 views 8 views 16 views 32 views图9：从深度图像重建中的视图数量的影响。 从非常嘈杂（σ = 0. 1）同一物体的深度图像在左侧，输入深度图像的示例如果提供足够的视图，我们的方法即使从高噪声输入也能够重建高质量的形状可以使用随机梯度下降从一些噪声投影测量中重建。该方法是免费学习的，可以用作通用先验。尽管如此，在相对简单的网络架构下，我们的方法在基于图像和体积重建任务中优于几种手工制作和程序化的先验。虽然我们提出了断层扫描和轮廓和深度图的形状重建的结果，该方法可以使用时，渲染或测量过程是可区分的。这些问题包括从阴影中估计形状和从多个阴影图像中估计几何形状。一个潜在的问题是使用体积表示的形状，这会导致高内存要求和更长的运行时间。一个可能的研究方向是研究更紧凑的3D表示（如点云或多视图）的形状先验。结合深pri- ors与可微计算机图形管道的工作开辟了应用这种方法解决反问题的可能性，在许多应用程序。致 谢。这 项工 作得 到了 NSF 资 助IIS-1749833和 IIS-1423082的部分支持。我们的实验是在麻省大学GPU集群中进行的，该集群是在麻省大学技术合作组织管理的合作基金下获得的。GT雕刻我们1 31引用[1] https://clippingmagic.com/网站。7[2] Stephen Boyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.通过乘数交替方向法的分布式优化和统计学习。Foundations and Trends in MachineLearning，3（1）：12[3] Antoni Buades，Bartomeu Coll，and J-M Morel.一种非局 部 图 像 去 噪 算 法 。 计 算 机 视 觉 和 模 式 识 别（CVPR），2005年。2[4] JH Rick Chang，Chun-Liang Li，Barnabas Poczos，BVKVi- jaya Kumar，and Aswin C Sankaranarayanan.一个网络解决所有问题，使用深度投影模型解决线性逆问题.arXiv预印本，2017年。2[5] Zezhou Cheng，Matheus Gadelha，Subhransu Maji，andDaniel Sheldon.深度图像先验的贝叶斯观点。在计算机视觉和模式识别（CVPR），2019年。二、三[6] 克里斯A科科斯科，瓦斯肯科洛基恩，雷米K-S关，G布鲁斯派克和艾伦C埃文斯。Brainweb：3D MRI模拟大脑数据库的在线接口。在NeuroImage，1997。4[7] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing，16（8）：2080-2095，2007. 2[8] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。欧洲计算机视觉会议（ECCV），2014年。2[9] David Eigen、Christian Puhrsch和Rob Fergus。使用多尺度深度网络从单个图像进行深度在神经信息处理系统（NIPS）的进展，2014年。2[10] Matheus Gadelha，Subhransu Maji和Rui Wang。从多个对象的2D视图的3D形状诱导2017年3D视觉国际会议（3DV）。3[11] Max Jaderberg，Karen Simonyan，Andrew Zisserman，and koray kavukcuoglu.空间Transformer网络神经信息处理系统（NIPS）的优势，2015年。3[12] 古斯塔夫·拉尔森迈克尔·梅尔格雷戈里·沙赫纳洛维奇。学 习 自 动 着 色 的 表 示 。 欧 洲 计 算 机 视 觉 会 议（ECCV），2016。2[13] Matteo Maggioni、Vladimir Katkovnik、Karen Egiazarian和Alessandro Foi。用于体数据去噪和重建的非局部变换域滤波器。IEEE transactions on image processing，22（1）：119-133，2013。二、四[14] Thu Nguyen-Phuoc，Chuan Li，Lucas Theis，ChristianRichardt，and Yong-Liang Yang. HoloGAN：从自然图像中无监督学习3D表示。2019年国际计算机视觉会议（ICCV）。2[15] J. Radon关于由函数沿某些流形的积分值确定函数。IEEE医学成像学报，5（4）：170-176，1986年12月。3[16] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-Net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。4[17] Leonid I Rudin，Stanley Osher，and Emad Fatemi.基于非线性全变分的噪声去除算法。Physica D：Nonlinearphenomenon，60（1-4）：259-268，1992. 2[18] 劳伦斯·A·谢普和本杰明·F·洛根。头部的傅立叶重建。IEEE Transactions on Nuclear Science，21（3）：21-43，1974. 4[19] Vincent Sitzmann，Justus Thies，Felix Heide，MatthiasNießne r， GordonWetzstein ， andMichaelZoll höfer. 深 度体素：学习持久的3D特征嵌入。在计算机视觉和模式识别（CVPR），2019年。2[20] 卡洛·托马西和罗伯托·曼杜奇。灰度和彩色图像的双边滤波。计算机视觉国际会议，1998年。2[21] Dmitry Ulyanov、Andrea Vedaldi和Victor S. Lempitsky深度图像先验。在计算机视觉和模式识别（CVPR），2018年。一、二、三[22] Pascal Vincent，Hugo Larochelle，Isabelle Lajoie，YoeliBengio，and Pierre-Antoine Manzagol.堆叠去噪自动编码器：使用局部去噪标准在深度网络中学习有用的表示。Journal of Machine Learning Research ， 11 （ Dec ） ：3371-3408，2010。2[23] Max Welling和Yee W Teh.贝叶斯学习通过随机梯度朗之万动力学。国际机器学习会议（ICML），2011年。第1、3条[24] Junyuan Xie，Linli Xu，and Enhong Chen.使用深度神经网络 进行 图像 去噪 和修 复。在神经 信息 处理 系统（NIPS）的进展，2012年。2[25] 李旭、策武路、易旭、加牙贾。通过L0梯度最小化进行图像平滑ACM Transactions on Graphics（TOG），30（6）：174，2011。2[26] Yan Yang，Jian Sun，Huibin Li，and Zongben Xu.用于压缩感知MRI的深度ADMM-Net。神经信息处理系统进展（NIPS）2016. 2[27] A.科斯拉湾于湖张X。唐军，肖志。Wu ，S.歌3DShapeNet：体形状的深度表示。在计算机视觉和模式识别（CVPR），2015。6[28] Richard Zhang、Phillip Isola和Alexei A Efros。彩色图像着色。欧洲计算机视觉会议（ECCV），2016。2[29] 丹尼尔·佐兰和亚伊尔·韦斯。从自然图像块的学习模型到 整 体 图 像 复 原 。 在 2011 年 国 际 计 算 机 视 觉 会 议（ICCV）上。2