基于先验信息的稀疏视图CT重建中的内隐神经表征学习

1928PINER：先验信息的内隐神经表征学习用于稀疏视图CT重建斯坦福大学bowens18@stanford.eduLiyueShen密歇根大学liyues@umich.eduLei Xing李磊斯坦福大学lei@stanford.edu摘要最近，深度学习已经被引入来解决重要的医学图像重建问题，例如稀疏视图CT重建。然而，所开发的深度重建模型在应用于未知域中的分布外样本时此外，隐私问题可能会阻碍源域训练数据的可用性，以重新训练或调整模型以适应目标域测试数据，这在现实世界的医疗应用中非常常见。为了解决这些问题，我们引入了一种无源黑盒测试时间自适应方法，用于基于先验信息的隐式神经表征学习（PINER）的具有未知噪声水平的稀疏视图CT重建该方法通过隐式神经表征学习生成不同噪声水平下的图像表征，并基于黑盒模型的推理和输出分析，在测试时我们在具有不同黑盒深度重建模型的多个解剖部位上进行了用于具有未知噪声水平的稀疏视图CT重建的无源测试时间自适应实验代码：https://github.com/efzero/PINER1. 介绍医学成像旨在根据物理传感器采集的测量数据重建计算图像，以可视化活体的内部结构[37，29]。例如 ， 投 影 数 据 被 测 量 用 于 计 算 机 断 层 摄 影 成 像（CT），而频率空间（k空间）数据被采样用于磁共振成像（MRI）。在实践中，通常期望减少重构高质量医学图像所需的测量次数。具体而言，稀疏视图CT能够降低患者*联合通讯作者而欠采样k空间数据加速了MRI扫描过程。然而，由于稀疏采样测量过程中的信息损失，稀疏采样图像重建成为一个不适定的逆问题，需要额外的先验知识来重建无伪影的图像。在深度学习时代之前，以前的方法集中于在优化对象（如压缩感知）中添加先验信息作为正则化项随着深度学习技术的发展，许多基于学习的方法被开发出来，通过学习从测量到图像域的映射函数来重建图像，先验信息来自大规模训练数据[3，14，49，33，34，36，54]。特别是，一些工作专注于将测量过程的物理约束纳入基于深度学习的重构模型[33]。然而，深度学习模型总是遭受数据分布偏移的性能下降[2]，这限制了训练模型到新测试领域的推广。例如，在诊所中，CT扫描仪和参数设置在不同医院之间变化很大此外，在不同的治疗过程中，不同患者的辐射剂量也可能不同，这导致测量数据的噪声水平不同实际应用中的所有这些变化因素对基于深度学习的重建算法的鲁棒性和通用性提出了重大挑战。此外，医疗应用中的另一个巨大挑战是数据隐私和稀缺性。一般来说，患者数据无法在不同的医疗中心轻松访问或传输，以进行模型开发或部署[47]。特定的模型结构也可以是私有的，并且由智能属性保护。因此，需要开发能够使黑盒深度重建模型适应未知测试环境而无需访问包括稀疏视图CT重建在内的许多医学应用中的训练数据的一般来说，这种黑盒测试时间适应的研究可以作为部署开发的深度学习的基础1929将模型应用于临床实践。在本文中，为了应对上述挑战，我们提出了一种新的两阶段无源黑盒测试-时间自适应算法稀疏视图CT recruitment与未知噪声通过事先知情的隐式神经表征学习（PINER）。第一阶段称为“输入自适应”，其目的是为黑盒模型构造一个好的输入。第二阶段被称为“物理一致性优化”，旨在从黑盒模型的输出中纠正物理偏差。与包括“即插即用”（PICCS）框架[1，46]和“先验图像压缩感知”（PICCS）框架[7，52]在内的相关先前方法相比我们的算法只使用一个测试时间样本。在第一阶段，我们提出了一种新的方法，使用隐式神经表征学习（INR）来构造自适应输入的黑盒模型推理。据我们所知，我们是第一个使用INR进行CT重建测试时间适应的公司。内隐神经表征学习（INR）是一种新兴的方法，它将图像或场景表示为由神经网络参数化的连续函数INR能够学习以各种分辨率表示图像或对象[35，21，16]。我们提出在训练过程中考虑隐式神经表征模型学习到的所有表征，并基于黑盒模型的推理自动检测最接近训练数据分布的最佳表征，而不是只使用图像的一个最终训练表征总之，我们提出了一个两步的方法来实现这一目标。在第一步中，我们尝试识别来自测试时间样本的噪声是否与训练时间噪声非常不同。在第二步中，我们使用原始测试时样本输入或相应地构造自适应输入我们假设黑盒模型应该为来自训练分布的输入产生我们的假设是，如果黑箱模型不能很好地概括训练集中看不到的噪声，那么当在训练数据分布的输入上添加分布外噪声时，它的输出将发生显著变化。因此，我们可以利用这个变化率来识别模型停止泛化的变化点，然后通过将表示图像馈送到黑盒模型中来选择良好的适应输入。其他一些作品采用类似的想法来检测分布外的样本，但它们仅限于分类任务[20，22]。在第二阶段，我们提出了一种方法，进一步优化模型输出的基础上，利用物理一致性的黑盒模型输出。在我们获得与适应输入相对应的黑盒模型输出之后，我们可以将模型输出嵌入到隐式神经表示网络作为先验图像，然后基于物理一致性进一步优化和细化最终重建。与之前的先验嵌入工作[32]相比，我们使用模型输出作为先验图像，而不是之前的扫描。特别地，我们使用一个早期停止策略，以获得最佳的重建过程中的优化。我们在具有不同解剖部位和不同黑盒深度模型的两个CT图像数据集上进行了实验，并证明了基线的显著我们的贡献可概括如下：• 我们提出了一种新的两阶段框架的黑盒测试时间适应稀疏视图CT重建未知噪声。我们的方法不需要访问源数据、地面真实测试图像和模型参数（仅使用模型API），因此它可以在很大程度上促进在实际临床应用中部署深度学习模型的通用性和鲁棒性• 我们的算法利用隐式神经表示（INR）的训练轨迹来构建黑盒模型的自适应输入据我们所知，我们是第一个使用INR进行稀疏视图CT重建的测试时间适应。• 我们在不同的数据集和不同的预训练模型上进行了实验，这些模型具有不断变化的噪声。我们的方法在图像重建质量方面比现有方法[52，12，14]产生更好的结果。2. 相关工作2.1. 深度学习自20世纪70年代初以来，计算机断层扫描（CT）已被用作检查物体内部结构的非侵入性工具特别是，稀疏视图CT重建任务旨在减少测量的数量，以使患者暴露于更低的辐射剂量。随着深度学习的兴起，已经提出了许多使用监督方法[13，15，33，45，54]或无监督方法[3，14，36]进行稀疏视图CT重建的方法。对于监督方法，常见的方法是对测量（sino- gram）应用反向投影以获得原始图像，然后将该原始图像映射到地面真实图像[13，15，54]，或者解决sino- gram修复问题，然后使用反向投影[18]，或者将两者结合[45，33，34]。对于无监督方法，通常通过生成模型学习图像先验，然后进行物理一致性优化[3，14]或sam。1930←−i−k2”[36]这是一个很好的例子。然而，这些深度反射方法可能会因分布外测试样本而导致性能下降[2，51]。2.2. 内隐神经表征学习内隐神经表征学习（INR）将图像表示为一个连续函数，该函数将坐标作为输入，将强度值作为输出。在自然图像处理中，INR已被证明对许多视觉任务非常有效，包括新视图合成[24]，3D表面重建[26]和数据压缩[11]。此外，最近的几项工作也证明了INR在医学图像重建中的成功应用[38，51，31，10，42，32]。具体而言，一些作品[51，31，10]提出使用INR来学习基于强度的图像表示，以用于具有测量数据的稀疏视图CT重建。Kim等人。 [16]建议使用INR进行零拍盲去噪。Vasconcelos等人[第四十二届]算法1黑箱连续测试时间适应未知噪声进行稀疏视图CT重建需要FBP函数B，图像坐标c，yt，h，A，超参数：k，α，学习率：λ1，λ2，迭代次数：N一曰： 随机初始化两个INRMθ，Mθ第二章： 对于i从1到N，3：θ←θ−λ1 <$θ||M θ− B（y t）||4：Ri←Mθ（c）5：d||h（Ri）−h（Ri−k）||如果i k>0||Ri−Ri−k||6：在d上运行变化点（增加）检测，并相应地构造适配的输入7：xadapted←h（Iadapted）第八章： 通过损失函数嵌入M ||M − x适应||9：估计测试时间测量的噪声水平为σ210：当VAR（A（M）−yt）>σ2时，←||AM− yt||2+α||M− xadapte d||第一章十一： 通过M（c）建议从INR净后验分布中采样-稀疏视图CT重建的工作权重Shenetal. [32]提出通过INR上的先验图像嵌入来增强稀疏视图CT重建的性能。然而，很少有作品解决模型自适应问题的CT重建使用INR。2.3. 测试时无监督自适应无监督域自适应（UDA）旨在提高模型测试时无监督自适应是UDA的一种特殊形式，由于隐私问题，它进一步限制了对源域训练数据的访问。自适应完全基于测试时间数据执行在更具挑战性的场景中，测试时数据分布可能会不断变化，这使得之前的测试时自适应方法不适用，因为违反了测试时数据来自一致分布的假设大多数现有的测试时无监督自适应工作仅限于分类，对象检测和图像分割任务。在医学图像重建中，有一些关于测试时间自适应的工作。Gilton等人 [12]提出了一种Zhang等人。 [52]提出了一种先验约束压缩感知方法，该方法使用预训练模型输出作为先验图像。然而，这些模型依赖于地面实况图像来调整超参数并假设固定的噪声水平，这在没有地面实况信息的连续变化的测试环境中是不期望的3. 我们的方法-Piner图1示出了所提出的方法（PINER）的框架。PINER主要包括两个阶段，以获得最终的重建图像。在第一阶段，我们要么构建一个适应性输入，要么使用黑盒模型的原始输入。这是通过利用内隐神经表征学习的训练轨迹来实现的然后，从对应于输入的黑盒模型推断获得输出。接下来，在第二阶段，黑盒模型输出被嵌入作为另一个隐式神经表示网络的初始化进一步执行物理一致性优化以微调网络权重并细化重建。最后，通过查询调谐后的网络得到重构图像。我们提出的算法总结在算法1中。我们提出这种两阶段方法的原因是，我们希望从数据驱动的角度和物理一致性的角度来提高重建质量。如果我们能够为黑盒模型提供更好的输入数据，同时通过修改输出来加强物理一致性，那么我们应该理想地减少黑盒模型的性能下降。3.1. 问题定义目标问题被定义为无源黑盒模型测试时自适应。具体而言，在基于深度学习的稀疏视图CT图像重建的背景下，我们的目标是使训练模型适应具有未知噪声的新测试域，而无需访问源域中的训练数据和模型参数（即，1931图1.我们的测试时间自适应方法（PINER）的框架：首先，我们通过滤波反投影（FBP）从测试样本中获得原始图像然后我们训练INR来拟合原始图像。 从INR的训练轨迹利用的表示进行分析，以构建一个自适应的黑盒模型的输入。然后将调整后的输出嵌入到另一个INR中，并通过物理一致性进一步优化以获得最终重建。我们只能访问该模型的API）。此外，我们假设在测试时间的噪声水平是未知的，并不断变化。因此，具有未知噪声的测试时输入被作为运行我们的自适应算法的唯一输入。具体地，假设x是由全视图无噪声CT重建给出的地面实况图像，A是前向算子（radon变换），其包括从x [4]沿着多个视角处的定义轨迹的X射线行进操作，并且y是由Ax + λ给出的噪声测量，其中λ是未知噪声。解决CT重建问题相当于从噪声测量y中恢复地面实况图像x。在基于深度学习的重建方法中，神经网络被训练为通过对成对图像和测量的训练数据集在这项工作中，我们专注于一系列特定的监督学习方法，该方法将从测量的滤波反投影获得的原始图像映射到地面真实图像。我们将xs、ys表示为来自训练数据（源域）的地面实况图像和测量值Xt、Yt被表示为测试时间的地面实况图像和测量，其中Yt具有在源域中看不到的连续变化的噪声电平将测量值转换为原始图像的函数（滤波-反投影）由B表示。黑盒模型的接口（API）由h表示。因此，在测试时来自黑盒模型h（B（yt））的输出经常由于目标域中的变化噪声而遭受性能降级[51]。因此，这里的测试时无监督自适应任务的目标是通过仅访问测试时输入和黑箱模型3.2. 使黑盒模型适应测试时间输入考虑到我们只有一个测试时图像作为输入，适应黑盒模型是具有挑战性的我们提出的解决这一挑战的关键思想是通过INR（implicit neural representation）拟合的训练轨迹来生成输入，并通过分析输出变化率来构造黑盒模型的最佳输入生成各种表示。我们提出了一种新的方法来利用隐式神经表征学习的训练轨迹来生成各种表征。具体地说，我们训练一个神经网络Mθ，它以图像坐标为输入，输出相应的强度，使得Mθ（c）=Ic，其中c是a坐标，θ是神经网络的参数，Ic是输入坐标对应的强度。在训练过程中，θ不断变化以优化网络参数以适应测试时图像，因此我们可以拍摄每个θ的像素强度的网络预测快照。我们将网络参数θ的一个这样的快照称为输入图像的我们选择SIREN网络[35]作为我们的隐式神经表示网络（INR）的主干，该网络已被证明能够保留图像的高频细节[35，16]。在训练过程中，INR网络拟合低频和无噪声信号的速度比图像中的噪声信号或信息更快[16，21]。通过利用此属性，我们能够获得具有不同分辨率和噪声水平的测试时输入的构建适应性输入。 在生成多个1932222˜我图2.一个使用我们提出的度量来检测包含分布外噪声的测试样本的例子。虽然我们可以从INR中获得表示，但我们仍然需要决定在测试时使用哪个理想情况下，如果测试时输入是3.3. 第二阶段的物理consideration优化我们提出了一种新的第二阶段的物理一致性优化，以进一步提高重建图像质量。具体来说，我们建议将黑盒模型输出作为先验图像嵌入按照[32]中提出的方法，将患者的先前扫描嵌入设M是一个神经表示网络，其中M是网络参数。我们首先通过学习表示适应的测试时图像来预训练网络，x适应于前一阶段的适应输出使得从训练分布中采样，我们应该使用最小值= arg ||M − x适应||2（二）原始输入;否则，我们需要构造自适应输入。如果测试时间样本的噪声与训练时间噪声非常不同，那么黑盒模型可能无法产生高质量的重建。在INR拟合过程中，我们先拟合干净信号，再拟合噪声。因此，很可能在INR拟合期间存在代表图像可以用作黑盒模型的良好适应输入的特定时段，因为它们的噪声可能接近于训练时间噪声。为了识别这些表示，我们建议通过将不同的表示馈送到黑盒模型中来这个想法是，当噪声变得分布外时，黑盒模型输出可能与噪声仍然分布时的输出显著不同。因此，如果我们观察到模型输出变化率开始增加，那么我们可能开始遇到分布外噪声。基于这一思想，我们引入了一个度量di，通过滑动窗口的原始测试时输入的神经表示来找出模型输出的变化率。ϕ我们建议进行基于物理一致性的先验嵌入优化，其中我们让来自黑盒模型的输出图像作为先验图像。由于对应于适应输入的输出图像实际上获得初始重建，因此我们假设先前图像和地面真实值之间的残差图像是稀疏的。我们的第二阶段优化目标是：最小值=argmin||AM−y||2+α||（M−xadapte d）||第一章（三）它由物理一致性损失项组成||2和先验一致性损失项α||（M − x经调整）||其中，网络参数Rk由Rk a初始化。||where network parameters ϕ is initializedby ϕ a.在获得数据后，我们将空间坐标将网格转换成M像素，以获得最终重建图像的基于像素的强度注意，我们在函数空间而不是基于像素的强度空间中优化物理一致性损失。通过这种方式，由于INR学习了底层图像表示，D=||h（Ri+k）−h（Ri）||||Ri+k−Ri||（一）在参数化连续函数中嵌入隐式正则化的语句，函数中的优化，空间可以提供更好的重建。其中h是黑盒模型，Ri是在不同的训练迭代中从B（yt）的学习神经表示推断的图像，并且k是用于比较两个表示的滑动窗口的大小。根据上述假设，当di开始增加时，Ri+k可能包含分布外噪声，而Ri可能仍然具有分布内噪声。因此，我们建议选择在第一个增加的变化点之前给出最小di的表示 设ch是di上的第一个递增变化点，我们建议选择R j，使得j=arg mindi作为自适应输入。如果没有这样i≤ch换句话说，我们可以使用原始输入。α是优化目标中的正则化超参数，用于平衡物理一致性和先验一致性。一般来说，我们希望α在相同的迭代次数内只会稍微增加物理一致性损失。我们将证明性能对α的变化不敏感。根据[16]中的思想，当物理一致性损失低于测试样本的估计噪声水平时，停止优化或训练过程。通过提前停止策略，去除了平滑项等可能模糊图像细节的正则化项。ϕ1933图3.来自不同适应方法的重建图像的示例关键图像结构用红色框注释并放大，其中关键差异用红色箭头指出。表1.采用不同预训练模型的LDCT数据集上自适应方法的性能（平均PSNR/SSIM）模型方法高斯噪声泊松-高斯噪声腹部头胸部腹部头胸部UNet [15]没有一28.67 /0.79926.58 /0.70726.68 /0.77127.21 /0.74925.94 /0.68325.44 /0.724英国石油公司[14]26.25 /0.76225.94 /0.74124.92 /0.73122.63 /0.65223.45 /0.67821.92 /0.630RnR [12]30.96 /0.92331.67 /0.93028.49 /0.87030.73 /0.91831.48 /0.92828.36 /0.867PICCS [52]30.79 /0.87031.07 /0.88528.26 /0.81230.05 /0.86930.52 /0.88027.89 /0.821PINER（Ours）33.06/0.93633.10/0.93130.11/0.89232.89/0.93932.94/0.93429.93/0.893DnCNN [53]没有一29.36 /0.80929.58 /0.83228.55 /0.83128.49 /0.80828.01 /0.79326.81 /0.786英国石油公司[14]25.77 /0.72325.45 /0.72724.80 /0.71222.16 /0.62623.03 /0.66121.50 /0.607RnR [12]27.84 /0.90128.58 /0.91926.33 /0.86527.78 /0.90128.15 /0.91426.11 /0.861PICCS [52]31.26 /0.87932.03 /0.91329.71 /0.86630.54 /0.88230.84 /0.89928.38 /0.837PINER（Ours）34.22/0.94834.40/0.94731.30/0.91234.10/0.95033.20/0.94330.89/0.9084. 实验我们分别针对黑盒预训练骨干模型，在不同噪声类型和不同噪声水平下，使用不同深度网络架构进行除了不同的网络架构，我们还研究了预训练骨干模型的不同训练策略对自适应性能的影响在下文中，我们首先将所提出的方法（PINER）的性能与先前的状态-最先进的算法然后，我们讨论了PINER模型的几个理想的测试时间特性，并对PINER模型中几个重要的子模块进行了烧蚀研究。4.1. 实验装置数据集和指标：我们考虑两个数据集的CT实验。第一个是肺部图像数据库对照（LIDC）图像收集数据集[9]，我们从40个病例中随机采样3200个切片，用于训练1934n黑盒模型，然后从10个广告案例中抽取100个切片进行测试。第二个是低剂量CT（LDCT）图像和投影数据集[25]，其中包含多个解剖部位的CT扫描，包括头部、胸部和腹部。我们从40名患者的所有三个解剖部位中抽取3480个切片用于训练黑盒模型，然后从其余10名患者中抽取300个切片，每个解剖部位100个切片用于评估。请注意，训练和测试数据是从不同的患者病例中独立采样的，没有重叠。所有图像的大小都是（256，256），切片的所有像素强度都被归一化到[0，1]的范围。通过峰值信噪比（PSNR）和结构相似度（SSIM）来评价算法的性能CT测量模拟和预训练模型：我们使用相同的训练数据预训练UNet模型和DnCNN模型。我们还通过用加性高斯噪声增强训练数据，用鲁棒的训练策略预训练UNet模型我们把这个基础模型称为“UNet+"。我们使用“torch- radon”软件包[30]，使用均匀分布在180度上的25个投影角，模拟具有平行光束几何结构的CT测量（正弦图）将标准偏差为0.0001的独立高斯噪声添加到UNet和DnCNN的LDCT训练数据集的采集测量值对于LIDC数据集，我们使用标准差为0.0005的高斯噪声作为UNet和DnCNN的训练数据。对于UNet+，我们添加另一个具有从U [0，0]均匀采样的标准去噪的高斯噪声。[0025]关于训练的措施。训练所有模型以将CT测量的滤波后的反投影图像映射到地面实况图像。为了测试，我们假设我们只能访问预训练的黑盒模型的API（即在这里，预训练的模型被认为是黑盒模型）。我们为LDCT测试数据集添加了一个泊松-高斯（信号相关）噪声，并我们还为LDCT和LIDC测试数据集添加高斯噪声，并不断改变不可见的噪声水平。对于LDCT数据集上的纯高斯噪声，噪声水平从U [0，0. 005]和U [0，0. 006]分别用于UNet和DnCNN。对于Poisson-Gaussian噪声，设P为Poisson分布，N为Gaussian分布，我们使用aP（nyt/a）+a N（0，0. 09），其中a从U[0. 005，0。013]，n=256。对于LIDC数据集，我们添加高斯噪声，其中噪声水平均匀地从U [0，0. 007]。然后，我们在不同的预训练模型上应用自适应方法，并比较不同噪声条件下的性能。基线： 我们比较了我们的方法与多重测试-表2.使用不同预训练模型方法UNetDnCNNPSNRSSIMPSNRSSIM没有一26.130.72426.670.792RnR [12]28.690.88527.260.876PICCS [52]27.790.81628.720.845PINER（仅输入）27.420.79828.140.825PINER（仅物理学）28.410.83828.500.839PINER（非注册）29.920.90030.860.914PINER（完整）29.960.90130.970.916CT重建任务的时间适应基线（BP [14]、PICCS[52]和RnR[12]）。这些基线要么将黑盒模型输出视为先验图像（BP，PICCS），要么使用PICCS和RnR的超参数基于随机测试时间样本进行调整，以与每个数据集和每个预训练模型的相应地面真实图像结合在一起。每个数据集和每个预训练模型的请注意，我们的方法不需要访问地面实况图像进行参数调整。实现细节：我们使用Pytorch [27]进行所有实现。对于INR的网络架构和超参数，我们遵循[32]中针对CT重建任务的设置。两个INR的最大训练迭代次数均设置为1000。 第一阶段输入自适应的学习速率对于LDCT数据集被设置为5e-5，对于LIDC数据集被设置为3e-5。学习率的设置是基于这样的想法，即我们希望缓慢增加图像拟合PSNR，以获得更细粒度的输入图像集合。由于隐私问题，我们只收集每20个epoch的对于所有场景，滑动窗口的大小被设置为7，使得对于大多数滑动窗口，在Ri+k和Ri之间存在可观察到的差异。为了平衡变点检测的准确率和召回率，变点检测的 惩 罚 项 被 设 置 为 di曲线的 BIC（ Bayesian Information Criterion ） ，BIC由 4σ2log（n）给出，其中σ为di的标准差，n为di中的数据点个数。第二阶段优化的学习率设置为1e-5，适用于[32]中设置的所有场景α被设置为1。5e-4。 我们将在附录中证明性能对α和k都不敏感。噪声水平估计和变点检测使用[6，39]中的软件包。4.2. 结果和分析我们的方法在所有解剖部位上使用不同的预训练模型在PSNR和SSIM方面都优于所有基线，如Ta中所示1935图4.不同测试时间高斯噪声水平下不同自适应算法的性能表3.在两个数据集（LDCT的泊松-高斯噪声和LIDC的高斯噪声）方法LDCTLIDCUNetUNet+UNetUNet+没有一26.2030.0526.1327.51RnR [12]30.1930.8028.6929.18PICCS [52]29.4931.3127.7929.04PINER（仅输入）28.2830.2727.4227.89PINER（完整）31.9232.7329.9630.17表1和表二、在视觉上，我们观察到PINER能够恢复原始黑盒模型输出中缺失的细节。PINER还能够重建更高质量的图像，具有清晰的器官边界、准确的骨骼细节以及减少的噪声和伪影。RnR可以通过重用黑盒模型来生成平滑和清晰的图像，但由于重用后黑盒模型输出的不可预测性，它也会生成不准确的图像结构。图4显示了每种自适应方法在具有不同预训练模型的每个数据集上的PSNR性能。我们发现PINER对不同的噪声类型和水平、不同的预训练模型和不同的数据集都具有鲁棒性。“即插即用”算法的性能例如，从图 。 4 ， 我 们 看 到 RnR 算 法 在 UNet 上 的 性 能 比 在DnCNN上的性能好得多。相反，PINER所做的唯一假设是黑盒模型应该在训练数据分布上表现良好。我们观察到PINER消融研究。为了研究PINER的每个模块对性能增益的贡献，我们对LIDC和LDCT数据集进行了消融研究图5.测试样本的真实噪声水平直方图在表2和附录中显示。我们将仅具有第一阶段模块的PINER表示为“PINER（仅输入）"，将仅具有第二阶段模块的PINER表示为“PINER（仅物理）"，将没有先前一致性损失的PINER表示为“PINER（no-reg）"，并且将完整的PINER算法表示为“PINER（full）"。我们发现，PINER（仅输入）和PINER（仅物理）与黑箱模型相比，在per-cycle方面有显着的增益。然而，PINER（full）和PINER（no-reg）的性能明显优于PINER（input only）和PINER（physics only），而PINER（no-reg）这一观察结果意味着输入自适应模块和物理一致性模块都对性能增益有显著贡献，而先前一致性正则化的影响仅是微不足道的。我们还研究了使用噪声增强输入（UNet+）训练的骨干模型的输入自适应模块的行为，如表3和图3所示。5.我们发现，输入自适应模块决定构造自适应输入的频率要低得多，特别是对于噪声水平接近增强训练集的测试样本，而PINER（仅输入）的性能增益显著降低。这一观察结果意味着PINER能够检测包含分布外噪声的样本5. 结论在这项工作中，我们介绍了PINER，一种新的无源黑箱测试时间自适应方法，用于测量噪声水平未知的稀疏视图CT重建。我们表明，PINER在黑盒CT重建模型自适应方面优于现有方法。与其他以前的方法相比，PINER不需要访问训练数据或地面真实测试图像来进行超参数调整。根据实验，PINER在不同的预训练模型、噪声和数据集上都有很好的泛化能力，我们认为这是测试时自适应算法的理想特性然而，这只是一个概念验证工作，没有使用真正的临床CT测量数据。尽管如此，我们相信，由于我们的方法对测量噪声的假设最小，我们将在未来的工作中对真实的临床测量数据进行实验。我们还将在今后的工作中将这项工作扩展到1936引用[1] Rizwan Ahmad ， Charles A Bouman ， Gregery TBuzzard ， Stanley H Chan ， Edward T Reehorst ， andPhilip Schniter.用于磁共振成像的即插即用方法。2019.[2] Vegard Antun ， Francesco Renna ， Clarice Poon ， BenAdcock，and Anders C Hansen.深度学习在图像重建中的不稳定性和人工智能的潜在成本。Proceedings of theNational Academy of Sciences，117（48）：30088[3] Ashish Bora，Ajil Jalal，Eric Price，and Alexandros GDi- makis.使用生成模型的压缩感知。在机器学习国际会议上，第537546. PMLR，2017年。[4] Thorsten M Buzug。计算机断层扫描。Springer医疗技术手册，第311-342页。Springer，2011.[5] EmmanuelJCan d`s和MichaelBWakin。压缩采样简介IEEE信号处理杂志，25（2）：21[6] 陈光永、朱凤源、彭安恒。一种有效的图像噪声水平估计统计方法。在IEEE国际计算机视觉会议论文集，第477-485页[7] 陈 广 红 ， 唐 杰 ， 冷 帅 。 先 验 图 像 约 束 压 缩 感 知（piccs）：一种从高度欠采样的投影数据集中精确地重建动态CT图像的方法。医学物理，35（2）：660-663，2008。[8] Kihwan Choi ， Jing Wang ， Lei Zhu ， Tae-Suk Suh ，Stephen Boyd，and Lei Xing.基于压缩感知的锥束CT一阶重建方法医学物理学，37（9）：5113[9] Kenneth Clark ， Bruce Vendt ， Kirk Smith ， JohnFreymann ， Justin Kirby ， Paul Koppel ， StephenMoore ， StanleyPhillips ， David Maffitt ， MichaelPringle，et al.癌症影像档案（TCIA）：维护和操作公共信息库。Journal of Digital Imaging，26（6）：1045[10] Abril Corona-Figueroa ， Jonathan Frawley ， Sam Bond-Taylor，Sarath Bethapudi，Hubert PH Shum和Chris GWillcocks。Mednerf：医学神经辐射场，用于从单个x射线重建3d感知ct投影。arXiv预印本arXiv：2202.01020，2022。[11] Emil ienDupont ， AdamGolin' ski ， MiladAlizadeh ，YeeWh yeTeh和Arnaud Doucet。Coin：使用隐式神经表示进行压缩。arXiv预印本arXiv：2103.03123，2021。[12] 戴维斯·吉尔顿格雷戈里·昂吉丽贝卡·威利特成像中逆问题的模型自适应。IEEE Transactions on ComputationalImaging，7：661[13] Yoseob Han和Jong Chul Ye。 通过深度卷积小框架构建u网：应用于稀疏视图ct。IEEE transactions on medicalimaging，37（6）：1418[14] Shady Abu Hussein Tom Tirer和Raja Giryes图像自适应gan基重建。InProceedings of theAAAI人工智能会议，第34卷，第3121-3129页，2020年。[15] Kyong Hwan Jin ， Michael T McCann ， EmmanuelFroustey，and Michael Unser.用于成像逆问题的深度卷积神经网络。IEEE Transactions on Image Processing，26（9）：4509[16] Chaewon Kim，Jaeho Lee，and Jinwoo Shin.通过隐式神经表示的零拍arXiv预印本arXiv：2204.02405，2022。[17] Rui Li，Qianfen Jiao，Wenming Cao，Hau-San Wong，and Si Wu.模型自适应：无源数据的无监督域自适应。在IEEE/CVF计算机视觉和模式识别会议论文集，第9641-9650页[18] 张文坤，王林源，蔡爱龙，梁宁宁，严斌，李磊。一种基于生成对抗网络的有限角度CT正弦图修复方法在第15 届 国 际 放 射 学 和 核 医 学 上 ， 第 11072 卷 ， 第345SPIE，2019年。[19] 梁健，胡大鹏，冯佳。我们真的需要访问源数据吗？用于无监督域自适应源假设转移。国际机器学习会议，第6028-6039页。PMLR，2020年。[20] Shiyu Liang，Yixuan Li，and R Srikant.提高神经网络中分布外图像检测的可靠性。在第六届学习代表国际会议上，ICLR 2018，2018。[21] David B Lindell，Dave Van Veen ，Jeong Joon Park 和Gordon Wetzstein。培根：多尺度场景表示的带限坐标网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第16252-16262页[22] Weitang Liu，Xiaoyun Wang，John Owens，and YixuanLi.基于能量的分布外检测。神经信息处理系统的进展，33：21464-21475，2020。[23] Michael Lustig，David Donoho，and John M Pauly.稀疏磁共振成像：压缩感知在快速磁共振成像中的应用。医学中的磁共振：An Official Journal of the InternationalSociety for Magnetic Resonance in Medicine，58（6）：1182 -1195，2007.[24] Ben Mildenhall，Pratul P Srinivasan，Matthew Tancik，Jonathan T Barron ， Ravi Ramamoorthi ， and Ren Ng.Nerf：将场景表示为用于视图合成的神经辐射场。欧洲计算机视觉会议，第405-421页。Springer，2020年。[25] Taylor R Moen ， Baiyu Chen ， David R Holmes III ，Xinhui Duan，Zhicong Yu，Lifeng Yu，Shuai Leng，Joel G Fletcher，and Cynthia H McCollough.低剂量ct图像和投影数据集。医学物理，48（2）：902[26] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf：学习连续符号距离函数用于形状表示。在IEEE/CVF计算机视觉和模式识别会议论文集，第165-174页1937[27] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。2017年。[28] Vishal M Patel 、 Raghuraman Gopalan 、 Ruonan Li 和Rama Chellappa。视觉域自适应：最近进展的综述。IEEE信号处理杂志，32（3）：53-69，2015。[29] Saiprasad Ravishankar ， Jong Chul Ye ， and Jeffrey AFessler.图像重建：从稀疏到数据自适应方法和机器学习。Proceedings of the IEEE，108（1）：86[30] 马特奥·朗切蒂 Torchra