有限视角下的动态CT重建：隐式神经表示和参数化运动场

22580有限视角下的动态CT重建：隐式神经表示和参数化运动场0awreed@asu.edu Hyojin Kim 20hkim@llnl.gov Rushil Anirudh0anirudh1@llnl.gov K. Aditya Mohan 20mohan3@llnl.gov0champley1@llnl.gov Jingu Kang 20kang12@llnl.gov Suren Jayasuriya 10sjayasur@asu.edu01亚利桑那州立大学2劳伦斯利弗莫尔国家实验室0摘要0重建动态的、时变的场景与计算机断层扫描（4D-CT）是工业和医学领域常见的一个具有挑战性和逆问题。现有的4D-CT重建方法适用于稀疏采样方案，需要快速CT扫描仪在场景周围进行多次快速旋转，以生成高质量的结果。然而，如果场景运动过快，则采样仅在有限的视角上进行，由于时空模糊而难以重建。在这项工作中，我们设计了一个重建流程，使用隐式神经表示结合新颖的参数化运动场变形来进行快速变形场景的有限视角4D-CT重建。重要的是，我们利用可微的分析合成方法以自我监督的方式与捕获的X射线正弦图数据进行比较。因此，我们提出的优化方法不需要训练数据来重建场景。我们证明了我们提出的系统能够稳健地重建包含可变形和周期性运动的场景，并与最先进的基线方法进行验证。此外，我们展示了将我们的场景连续时空表示重建并在优化后将其上采样到任意体积和帧速率的能力。这项研究为计算机断层扫描重建中的隐式神经表示开辟了新的途径。代码可在https://github.com/awreed/DynamicCTReconstruction找到。01. 引言0计算机断层扫描（CT）是一种成熟的成像技术，具有重要的工业和医学应用[20, 13, 8]。CT扫描仪通过0通过围绕物体扫描一系列角度来重建。然后，重建算法根据这些测量的正弦图估计场景。静态物体的2D和3DCT成像是一个经过深入研究的逆问题，具有理论和实际算法[21, 37, 1]。0然而，动态场景（即随时间变化的场景特征）的重建，即动态4D-CT，是一个严重的逆问题，因为正弦图在时间上聚合测量结果，从而产生时空模糊[12, 24, 51, 52,30]。类似于运动模糊，静态或准静态场景仅在正弦图的一个小角度范围内捕获（运动模糊类比：短曝光时间），而这种映射是场景运动量相对于CT扫描仪旋转速度的函数。传统的CT重建算法在解决4D-CT问题时能力有限，因为很难考虑到这种运动。然而，解决这些4D-CT问题对于从临床诊断到材料特性和计量的非破坏性评估等一系列应用至关重要。0文献中提出了一些4D-CT重建技术来处理周期性运动[33,24]以及更一般的非线性、可变形运动[51, 52,30]。尽管后一种方法在可变形运动方面达到了最先进的水平，但它们通常假设相对于扫描仪旋转速度的运动较慢。具体而言，这些算法假设对象的稀疏测量跨越完整的角度范围（0-360度），通常需要多次旋转来在每个时间步骤重建图像。这种方法在文献中称为稀疏视图CT[31]。然而，这种设置并不总是实际可行的，例如当对象运动过快以至于扫描仪无法进行多次旋转时。相反，一种替代方法是在单次旋转中收集部分角度范围内的测量数据，这是更具挑战性的有限视角重建[43]。即使在静态情况下，有限视角问题也很具挑战性，因为缺失的信息通常会导致显著的伪影[18]。2. Related Work22590运动场参数0估计0用运动扭曲模板场景0场0�� � (�, �, �)0�(�, �, �, � 0 ) �(�, �, �, � 1 ) �(�, �, �, � � )0在正弦图空间中计算损失1生成场景帧0�0场景中的样本INR0坐标0合成0测量0真实值（GT）0测量0场景到正弦图空间 �(�)0图1.给定一个正弦图，我们联合估计一个场景模板和运动场来重建4D场景。在这里，我们将一个3D SheppLogan模板扭曲以在时间上重建其线性平移。我们从这个4D场景中模拟正弦图测量，并使用给定的正弦图计算损失。这个损失被反向传播到隐式神经表示（INR）网络权重和运动场参数，直到收敛。0主要贡献：在本文中，我们提出了一种新颖的、无需训练数据的4D-CT重建方法，特别适用于有限视角的场景。我们的方法如图1所示，由一个隐式神经表示（INR）[29]模型作为静态场景先验，结合一个参数化运动场来估计随时间演变的3D对象。然后，使用可微分的Radon变换将重建结果合成为正弦图测量，以模拟平行束CT扫描仪。通过最小化合成和观察到的正弦图之间的差异，我们能够以自监督的分析合成方式优化INR权重和运动参数，从而获得准确的动态场景重建结果，无需训练数据。验证：我们主要关注无法将扫描对象冻结在时间中且运动动态是任意的（例如非周期性），并且无法预测的（例如[17]）的一般情况下的CT成像。然而，获取4D-CT数据具有挑战性，是4D-CT重建研究的主要瓶颈之一。虽然这部分是由于获取CT扫描仪和数据的费用和后勤问题，但也是因为在4D情况下获取真实值非常困难。虽然有一些真实的CT数据示例[51,52]，但这些数据集特定于特定的扫描仪和采样方案。为了在原位成像任务上评估我们的方法，并突出我们的方法在有限角度下解决4D场景的能力，我们引入了一个用于平行束CT的合成数据集。该数据集是使用精确的物理模拟器生成的，用于评估我们的方法和竞争的最先进方法。此外，虽然不是我们的目标应用，我们还评估了0我们的方法在使用来自真实胸部重建的模拟X射线测量进行重建周期性变形胸腔的医学成像任务上的表现。我们观察到我们的方法在我们的两个数据集上优于竞争基线。03D-CT稀疏和有限视角重建：传统的CT重建是一种成熟的成像问题，在安全、工业和医疗领域有应用。对于稀疏视角3D-CT，常见的技术包括代数重建技术（ART）和滤波反投影算法（FBP）[2,21]。针对有限角度情况，已经提出了基于模型的方法[18,49]。最近，基于深度学习的方法利用训练数据[14, 22, 19,53, 49, 3,25]来估计稀疏视角或有限角度下的场景。关于有限角度层析成像的更全面的描述，我们参考[10]。在本文中，我们对4D-CT问题感兴趣，特别是对有限视角采样的情况。周期性运动的4D-CT：在恢复周期性运动（例如临床患者的呼吸相位）时，有几种方法[24, 33,48]将测量结果分为相位/振幅周期，以帮助重建3D图像体积。这种分段限制了每个相位的角度测量次数，并且可能由于相位误差而引起运动伪影[41]。与我们的方法类似，这些方法有时包括更一般的非周期性运动（例如心脏+呼吸运动）的参数化运动模型[41, 38,40]。这些运动模型在估计的相位图像之间执行图像配准，但通常需要足够的相位分段测量或相对较少的pθ(r, z) =��σ(x, y, z, t)δ(x cos(θ(t))+y sin(θ(t))−r)dxdy,22600与此相反，我们的方法不需要相位信息进行重建。可变形运动的4D-CT：最先进的（SOA）4D-CT重建方法联合估计场景和运动场参数[51, 30,52]，以解决非周期性变形场景的问题。[30]的作者表明，快速旋转CT扫描仪并以交错方式采样稀疏角度视图可以捕获高保真度的图像。在[51]中，作者引入了低差异采样，并同时解决了运动流场和场景体积的问题。这项工作在[52]中得到了扩展，通过使用低差异采样并将重建算法调整为在运动快速改变测量对象时动态上采样时间帧。重要的是，所有这些方法都需要快速旋转CT扫描仪以捕获跨越360度的稀疏角度测量，这是我们不需要的约束。隐式神经表示（INR）：最近，基于坐标的多层感知器，或称为INR，在成像领域取得了成功。这些架构学习将输入坐标（例如 ( x, y, z)）映射到场景的物理属性（例如 ( x, y, z )处的密度）。这些网络结合可微分渲染器已经展示了估计3D场景的令人印象深刻的能力[29, 28, 27,54]。我们的方法受到[29]的启发，他们从有限的2D图像中估计连续的3D体积密度。最近，[6, 7, 9, 36,55]利用NeRF架构解决了视图合成、从不完整的3D数据中完成纹理、非直接视线成像识别等问题。在[34]中，作者介绍了一种方法，用于联合学习场景模板和通过时间变换模板的变形场。我们的工作在方法上类似，我们也学习了一个场景模板，然后通过时间连续映射。然而，我们的应用程序通过利用4D-CT测量并将可微分的Radon变换纳入我们的流程而与之有很大不同。与此同时，在撰写本文时，[45]中的最新工作展示了INR在层析成像领域解决不适定逆问题的潜力。然而，该论文只考虑了3D静态场景，而我们考虑了4D场景和有限视图采样。03. 4D-CT正向成像模型0本文的主要任务是从CT测量（即正弦图）中重建时间上的3D场景。在本节中，我们制定了正向成像模型和我们的算法从CT正弦图中重建场景所做的关键假设。接下来，在第4节中，我们讨论了从CT正弦图中恢复4D场景（即时间上的3D体积）的算法流程。在数学上，在平行光束CT配置中，三维Radon变换模拟了CT测量的过程。0在特定的视角下测量动态场景的方法如下：0其中 σ ( x, y, z, t ) 是场景在坐标 ( x, y, z ) 和时间 ( t )处的线性衰减系数（LAC），θ ( t ) 是时间 t 处的视角，δ (∙ ) 是Dirac δ函数[21]。这个变换的结果，p θ ( r, z)，是在视角 θ、探测器像素 r 和高度 z处对场景的LAC进行求和。换句话说，{ p θ ( r, z ) | ( r, z )∈ R 2 } 是三维体积 σ ( x, y, z, t ) 在视角 θ 和时间 t处的二维投影。我们假设场景的LAC在单个投影中保持不变，即 || σ ( x, y, z, t + dt ) − σ ( x, z, y, t ) || 1 = 0，其中 dt是CT扫描仪的曝光时间。03.1.建模假设：0在这里，我们讨论了我们的合成数据集和重建算法所做的主要假设。平行光束几何：我们的第一个关键假设是我们假设平行光束几何，这是同步辐射CT扫描仪通常使用的几何形状。同步辐射扫描仪在医学和工业应用中具有重要的应用[32,23,15]，我们期望我们的算法在这些领域中有用。我们的重建几何需要修改以从锥形束或螺旋测量中重建CT测量，这通常用于医学成像应用。所需的修改是用可微分的体积光线追踪器替换我们的Radon变换，例如[29,34]中所示的那些。我们将这个算法的修改留给未来的工作。数据预处理：我们假设CT测量经过预处理，以考虑束硬化和截断。首先，我们考虑为同步辐射系统开发我们的算法，该系统采用单色X射线源，因此不受束硬化的影响。在不可避免的情况下，存在许多方法来校正束硬化测量，并随后实现高质量的重建[16,4]。截断在科学和工业成像中并不常见，但在测量中存在时，存在用于校正的方法[50]。有限视图采样：以前的4D-CT方法假设要么基于相位信息，要么基于稀疏的角度采样来重建场景。然而，经历一般变形的物体不适合相位分组，而稀疏采样方案要求扫描仪旋转速度相对于场景运动来说要快。我们的方法放宽了这些假设-我们不需要专门的采样方案或相位信息来进行重建。相反，我们只假设场景在扫描仪曝光期间的起始角度和停止角度之间按顺序捕获，并且运动在静止状态下。012345678101101234567891011936001803600180Projection IndexProjection IndexView Angle (Degrees)View Angle (Degrees)001111Reconstruction at 𝑡 = 𝑡0𝑡 = 𝑡0𝑡 = 𝑡0Reconstruction at 𝑡 = 𝑡0�̸22610稀疏视图采样 有限视图采样0有限视图SART0稀疏视图SART0图2.左：基线方法使用的稀疏视图采样[30，51，52]。右：我们的方法解决的有限视图采样方案。从有限视图重建物体通常被认为比从稀疏视图更具挑战性。我们在图的最右边展示了Shepp-Logan幻影[42]从20个有限视图和20个稀疏视图中的SART[2]重建结果。请注意，在稀疏视图采样下，幻影的结构恢复更好。0时间。因此，我们的采样方法在单次扫描中需要更少的转台旋转次数，并且我们证明在这种采样方案下我们的方法优于现有方法。这个事实意味着我们的方法将使较慢的CT扫描仪能够以无法使用现有方法实现的保真度捕捉到移动物体。在图2中，我们说明了CT成像中有限视图和稀疏视图采样之间的差异。04. 系统架构0如前所述，有限视图4DCT是一个不适定问题，既由于场景运动，也由于从密集角度采样中捕获的不完整数据。我们的关键见解是利用隐式神经表示来联合学习场景体积及其随时间演变的连续函数。在本节中，我们介绍了由三个主要部分组成的算法流程：（1）使用INR估计静态3D体积LAC的模板重建；（2）使用参数化运动场将模板在时间上进行变形；（3）使用可微分Radon变换合成正弦图测量的估计值。通过自我监督的分析合成，该流程与地面真实正弦图测量一起进行联合优化。模板估计：为了估计我们测量体积的LAC的模板，我们使用了一个隐式神经表示架构，如图1左上部分所示。具体而言，我们使用一个多层感知机（MLP），记为函数˜σφ，将场景坐标（x，y，z）映射到场景LAC的模板重建˜σ(x，y，z)，使得˜σφ：(x，y，z) →˜σ(x，y，z)——我们将MLP的可调参数记为φ。注意，˜σ≠σ，即该模板重建与场景LAC的实际重建不相等，直到...0我们使用参数化的运动场来使模板与正弦图中给定的测量结果一致。在实现中，我们输入一个（x，y，z）坐标的网格。具体而言，设V∈Rβ3×3为场景的体素表示，场景边界定义为[−1，1]3。对于我们的实验，我们设置β=80，并用80^3采样我们的INR。0在每次迭代中，我们在线性间隔的坐标上进行采样。重要的是，我们随机扰动这些坐标，以确保INR学习场景的连续表示。我们的INR架构受到[29]的启发，我们使用4个全连接的MLP层和ReLU激活函数。我们使用高斯随机傅里叶特征（GRFF）[47]用正弦函数随机编码输入坐标。形式上，设v=(x，y，z)为输入网格中的坐标。其GRFF计算为γ(v)=[cos(2πκBv)，sin(2πκBv)]，其中cos和sin是逐元素执行的；B是从高斯分布N(0，I)中随机采样的向量，κ是带宽因子，控制INR输出的锐度。与[47]类似，我们发现调整κ参数可以正则化我们的重建。如补充材料所示，将κ设置得太低会阻止INR拟合场景中的高频内容。相反，将其设置得太高会导致INR拟合测量正弦图中的虚假特征，从而导致重建质量较差。运动估计：为了将估计的模板LAC映射到正弦图测量中，我们引入了一个参数化运动场，将模板变形到不同的时间值（即˜σ→σ(x，y，z，t0)，σ(x，y，z，t1)，...，σ(x，y，z，tN)）。具体而言，我们定义一个张量C∈Rβ3×k×3。该张量在β3中的每个场景体素中包含k个多项式系数，这些系数与空间维度（x，y，z）相关。接下来，我们在[0，1]内线性间隔生成N个时间样本，其中N是角度测量的数量，即ti=0∙∙∙N−1。为了将体素变形到特定时间ti，我们计算多项式W(C，ti)=C0t0i+C1t1i∙∙∙Cktki，其中W(C，ti)∈Rβ3×3是场景在ti时的变形场，Ck是C(:,k,:)。我们使用可微分的网格采样函数生成场景帧，如[35]中介绍的warpfn(W(C，ti)，ˆσ)=σ(x，y，z，ti)。通常，我们观察到k=5的多项式足以描述我们实证研究中存在的可变形和周期性运动。分层运动模型：我们观察到，尝试在β3的完整体积上估计变形场会导致运动重建效果不佳。为了解决这个问题，我们引入了一种分层的由粗到细的运动估计过程。具体而言，我们在基本分辨率α处有一个初始运动场，使得Cα∈Rα3×k×3，其中α<β。我们在训练过程中逐渐增加α（例如2^3→4^3→8^3→16^3→...），并使用线性上采样逐步扩大我们的变形场，如Cαi+1=U(Cαi)�22620其中U：Rα3i →Rα3i+1。这种策略鼓励我们的优化首先恢复简单的运动，然后逐步恢复更复杂的变形。可微分Radon变换：在通过应用我们的运动场W到LAC体积模板˜σ来估计一系列LAC体积σ(t0)，...，σ(tN)之后，我们将LAC体积通过CT正向成像模型投影，以合成CT测量。因此，我们可以将我们合成的测量与由捕获的正弦图提供的地面真实CT测量进行比较。为了强制执行损失，我们在一个启用了自动求导的软件包中实现了3DRadon变换，以使每个投影像素的强度对于视角的变化是可微分的。我们通过这个操作进行反向传播导数，并更新INR和运动场参数以进行分析合成。通过梯度下降更新INR的权重和参数化运动场的系数，以最小化我们的损失函数。0min φ, C λ1 ���� Rθ(t)(σ(x, y, z, t) − Rθ(t)(GT) ���� 10+ λ2 TV(C), t ∈ [0, 1]. (1)0我们损失函数中的第一项是合成测量和给定正弦图测量之间的L1损失。此外，我们通过惩罚系数的空间变化来规范化运动场。λ2的权重控制着运动场的允许空间复杂性。较高的值会产生更平滑的变形场，但可能对复杂运动拟合不足，而较低的值允许拟合复杂运动，但更容易产生噪声解。连续的体积和时间表示：由于内存限制，我们以80x80x80的分辨率对INR进行采样。0优化过程中的点。然而，与[29]类似，我们在每次迭代中随机扰动这些点，鼓励我们的INR学习从（x，y，z）到场景LAC的连续映射。这种连续映射的特性很有用，因为它允许我们在优化后以任意分辨率查询我们的INR。类似地，在优化过程中，我们在随机时间t上对我们的运动场进行采样，这鼓励多项式系数适应场景运动的连续表示。我们利用这一事实将我们的场景上采样到任意帧速率的后处理。由于运动场的参数化表示，我们只能使用简单的三线性插值来上采样场本身。我们发现这在实践中效果很好，但这是需要在未来的工作中解决的问题。使用上采样功能，我们展示了我们可以在一组相对低分辨率的测量（例如80x80x80）上优化我们的场景，然后将测量上采样到256x256x256x90（256x256x256x90），使我们的方法在实际中可行，同时绕过大量的GPU内存需求。我们在第6节和补充视频中展示了这一事实。05. 实现0数据集：我们在一个动态的4D-CT数据集上对我们的算法和竞争的SOA方法进行了基准测试，该数据集是我们创建的（D4DCT数据集）。该数据集代表了一个时间变化的物体变形，以展示由于机械应力随时间演化而引起的损伤演化，用于材料科学和增材制造的研究。由于损伤演化引起的变形提供了关于所研究材料的性能和安全性的关键信息，需要更准确、基于物理的模拟。为此，我们使用材料点法（MPM）[39]生成了数据集，以准确地表示不同加载条件下铝材的变形。然后，我们使用提供的角度范围为180度和720度模拟了4D正弦图数据，其中均匀间隔的投影数为90，探测器行数为80。地面真实体积的尺寸为80x80x80，用于算法评估的地面真实帧数为10。我们计划开源这个数据集，以鼓励4D-CT研究的可重复性。我们还在胸部CT数据[5]上对我们的算法进行了基准测试。该数据集包含了胸腔在10个呼吸相的体积重建。由于膈肌和心脏的周期函数，存在运动。我们将80x80x80体积的10个重建投影到介于0度和180度之间的90个均匀角度投影中，以模拟真实的正弦图数据。比较：据我们所知，我们是第一个在有限角度范围内提出解决4DCT问题的方法，而不需要运动相位信息。然而，我们在我们的有限角度数据集上与两种基准方法进行了比较，这些方法通常用于稀疏角度视图：TIMBIR[30]和Warp andProject[52]。TIMBIR使用稀疏角度视图和交错采样来恢复4D-CT重建。Warp andProject同时解决了运动和物体重建问题，使用稀疏角度视图。我们注意到，这些方法在我们的有限角度采样范围内的性能预计会很差，因为两者都是为时间稀疏采样而设计的。我们还使用静态3DCT的滤波反投影（FBP）方法对数据集进行了基准测试。该方法不适用于考虑运动，并且用于说明运动对重建性能的退化效果。我们注意到，我们使用了作者提供给我们的[30]和[52]的源代码来运行我们的实验。算法实现细节：我们的算法使用PyTorch实现，在两个Titan XGPU上每次从给定的正弦图中恢复一个80x80x80的LAC体积需要15分钟。我们使用傅里叶特征值κ=1或κ=1.5，以及ADAM优化器[26]，学习率为0.001，λ1=1，λ2=0.001，用于所有实验。在补充材料中，我们提供了完整复现所需的网络层和参数的详细列表。我们运行了22630真实值提出的方法无多项式正则化无粗到精0A B0消融实验的重建结果0图3.（A）我们的方法和竞争基线方法在我们的铝变形数据集中的两个物体（左：铝#1. 右：铝#2.）上的重建结果，分别显示了变形开始（T= 0.00）和结束（T =1.00）的情况。在左侧，两个板块压缩物体的中心质量，在右侧，两个杆子挤压物体的中心。在每个图块中，我们在左侧显示物体的3D渲染，在右侧显示一个包含物体中心的XY切片的白色2D进口。每个方法的每帧的PSNR以白色显示在每个图块的右上角。（B）关键运动场正则化组件的消融实验。0TIMBIR在一台P100GPU上平均每个80×3场景运行2分钟。Warp和Project在一台配备16GB内存的笔记本电脑上运行，大约需要6小时来重建80×3的场景。0我们数据集中的场景。06. 实验结果0在我们的D4DCT数据集和胸部数据集上，我们将我们的算法与基线进行了性能对比。虽然我们以80×3的分辨率显示这些结果以与我们的基线进行比较，但我们还展示了将结果上采样到更实用的CT分辨率256×3的能力。此外，我们在补充视频中展示了将我们的视频上采样到任意帧率的能力。最后，我们在本节末尾对我们的方法及其采样方案进行了消融实验。D4DCT数据集：如图3（A）所示，并在表1中总结，我们提出的方法在峰值信噪比方面显著优于竞争方法。0物体 我们的方法 TIMBIR[30] Warp[52] FBP0铝#1 22.68/0.95 10.95/0.08 15.12/0.72 9.29/0.080铝#2 24.50/0.96 10.74/0.04 14.22/0.65 10.65/0.070铝#3 26.47/0.98 11.23/0.06 16.01/0.76 14.82/0.120铝#4 26.01/0.98 11.06/0.04 15.65/0.77 9.76/0.060铝#5 26.56/0.98 11.39/0.06 16.31/0.76 13.00/0.110铝#6 24.66/0.97 10.98/0.04 15.37/0.72 9.03/0.050胸部 22.45/0.90 14.82/0.61 8.27/0.17 15.36/0.630表1.图3和图4中显示的结果的总结，将我们的算法与两种SOA方法和FBP方法进行了对比。我们报告了在10个重建的估计帧和真实帧上平均的PSNR/SSIM指标。铝#3-#6的结果在补充材料中展示。0我们在D4DCT数据集上评估了峰值信噪比（PSNR）和结构相似性指数（SSIM）。我们的方法准确地恢复了铝制物体的几何形状和变形。我们鼓励读者参考这些重建的补充视频，以查看随时间变化的完整变形。我们观察到我们的方法并非没有缺陷——22640第6阶段体积重建0真实值0图4.顶部行显示了三个不同呼吸阶段（即吸气和呼气状态）的胸腔的XY切片的真实值。中间行和底部行分别显示了我们的方法和TIMBIR的结果。在右侧，我们展示了胸腔的体积重建。请参阅补充材料以查看此重建的视频。0图5. INR模型在静态3D重建中优于传统的CT重建方法[21,2]。我们展示了Shepp-Logan的横向切片供查看参考。0我们的重建结果在铝制物体的表面存在伪影。然而，我们注意到图3（A）中的竞争方法存在更严重的伪影。这些伪影的存在是因为有限的视角采样方案阻止这些方法在每个时间步骤中构建足够的初始估计物体；这些算法期望稀疏的样本集以形成这些初始重建，如图2所示。我们认为我们的方法在这种采样方案中表现得更好，因为我们优化了一个通过时间扭曲的单一重建，这意味着我们的优化利用了完整的角度范围来减少伪影。胸部CT数据[5]：在图4中，我们展示了我们对胸部CT数据的3个呼吸阶段的重建结果。在每个横向切片的上半部分，膈肌的顶部逐渐上升，并在每个呼吸阶段占据更多的场景。0我们的方法恢复了胸腔的运动和整体几何结构。我们鼓励读者观看补充材料视频以查看完整的时间重建结果。与TIMBIR重建相比，我们观察到我们的方法保留了更锐利的细节，并获得了更好的运动估计。我们还在这些数据上对WarpandProject方法进行了基准测试，但重建质量较差，如表1中定量所示。这可能是因为其代码实现针对稀疏角度采样进行了优化，对有限角度采样不具有鲁棒性。06.1.消融研究0INR重建：在我们的重建流程中使用INR使我们具有几个关键优势。首先，我们观察到我们的INR在3D场景重建上优于传统的重建方法。在图5中，我们使用一个INR和两种传统的重建方法（SART和FBP），即我们的4D-CT基线使用的3D重建技术[52,30]，对一个3DShepp-Logan幻影进行重建。INR被实现为一个MLP，并以（x，y）坐标的GRFF特征作为输入，预测每个坐标处的LAC。场景通过Radon变换投影到正弦图空间，并与给定的有限视图测量进行比较，通过INR权重的梯度更新来强制执行损失。我们观察到INR给出了更好的重建PSNR。我们还在存在加性噪声的情况下测试了这种性能，并且在这些条件下仍然观察到更好的性能。我们相信这种性能差距延伸到4D问题，因为我们的4D重建结果明显优于使用SART和FBP的基线方法。其次，我们的INR允许我们在后优化阶段将场景上采样到任意分辨率，如图6所示。令人印象深刻的是，尽管在低分辨率80x80x80的数据上进行优化，我们的INR在高分辨率256x256x256上产生了类似地面真实数据的清晰结果。此外，我们观察到它在定性和定量上优于朴素的三线性上采样方法。然而，我们的方法并不完美，无法捕捉到高分辨率下的细节，如动脉。这可能是因为这些微妙的细节在优化分辨率80x80x80下已经被破坏得太严重，使得INR无法恢复这个结构。参数化运动场正则化：我们通过选择适当的多项式方程的阶数和分层运动模型来对我们的运动场进行正则化。在图3（B）中，我们展示了这些方法对场景最终重建质量的重要性。在这两种方法中，粗到精剪影对重建PSNR的改善影响最大，提高了6dB的性能。这个结果是预期的，因为运动场恢复是非常病态的，简化其初始估计可以确保运动场不会立即过拟合到噪声解决方案。角度采样对性能的影响：我们观察到，当我们增加角度范围时，我们测试的方法的重建性能得到了增强，而投影数保持不变（即使样本更稀疏）。例如，我们比较了我们的方法和TIMBIR对一个铝制物体（Alum#5）在180度内进行90次投影的重建结果，我们的方法的重建结果为25.30dB，而TIMBIR的重建结果为11.20dB。当我们将角度范围增加到720度时，我们的方法和TIMBIR的重建结果分别为27.69dB和16.28dB。我们在补充材料中提供了这个实验的可视化结果。2D Coronal View dB6 dB3D Coronal View25.27 dB25.44 dB22650估计的80x80x80分辨率0估计的256x256x256线性0估计的256x256x256MLP0图6.我们通过对我们的场景进行连续表示的INR进行采样，展示了将场景有效地上采样到任意分辨率的能力，并且这些上采样的场景优于使用三线性插值的朴素上采样。在这个实验中，我们使用胸部数据作为地面真实数据（第一列），并使用我们的方法进行场景重建（第二列）。在第三列中，我们展示了胸部数据在其本地分辨率256x256x256下的地面真实数据。从左到右的最后两列，我们展示了使用三线性插值对我们的80x80x80重建结果进行上采样，以及通过查询我们的INR（即MLP）在密集的（x，y，z）坐标上进行上采样。0对于Warp场多项式，我们观察到低阶多项式的参数化运动场对非线性运动的拟合不足，因此需要3阶或更高阶的多项式才能获得令人满意的性能。角度采样对性能的影响：我们观察到，当我们增加角度范围时，我们测试的方法的重建性能得到了增强，而投影数保持不变（即使样本更稀疏）。例如，我们比较了我们的方法和TIMBIR对一个铝制物体（Alum#5）在180度内进行90次投影的重建结果，我们的方法的重建结果为25.30dB，而TIMBIR的重建结果为11.20dB。当我们将角度范围增加到720度时，我们的方法和TIMBIR的重建结果分别为27.69dB和16.28dB。我们在补充材料中提供了这个实验的可视化结果。07. 讨论0我们证明了我们提出的算法在重建有限视图4D-CT测量的可变形运动方面优于SOA方法.这些结果有潜力使CT扫描仪能够以前所未有的准确度测量快速移动的场景.一般来说，这项研究有潜力在工业和临床环境中实现更高效的CT扫描. 我们还解决了我们工作的两个局限性.首先，我们只考虑了平行光束扫描几何.虽然这使得我们的方法直接适用于同步辐射扫描仪，但我们的方法需要修改以重建锥形束数据.其他几项研究提供了能够建模这种几何的可微分光线追踪器的实现.0几何 [ 46 ,  11 ]，但我们将这个修改留给将来的工作.其次，我们展示了在优化后对场景进行上采样的有希望的结果.然而，这种上采样的有效性需要进一步探索，并与在完整分辨率下运行优化进行比较.即便如此，我们相信我们展示的上采样结果是在内存密集型环境中实现超分辨率的一种有希望的方法 ——近期的一些研究也展示了使用INRs获得令人印象深刻的超分辨率结果.我们希望我们的工作能够引起对未来利用INRs进行动态4D-CT重建的兴趣.0免责声明0本文件是由美国政府机构赞助的工作的一部分.美国政府、劳伦斯利弗莫尔国家安全有限责任公司及其员工对所披露的任何信息、设备、产品或过程的准确性、完整性或有用性不作任何明示或暗示的保证，也不承担任何法律责任或责任.在此提到的任何特定商业产品、过程或服务，无论是以商标、商标、制造商或其他方式，都不一定构成或暗示其得到美国政府或劳伦斯利弗莫尔国家安全有限责任公司的认可、推荐或青睐.作者在此表达的观点和意见不一定陈述或反映美国政府或劳伦斯利弗莫尔国家安全有限责任公司的观点或反映，并且不得用于广告或产品认可目的.0致谢0这项工作是在美国能源部的支持下由劳伦斯利弗莫尔国家实验室根据合同DE-AC52-07NA27344进行的. LLNL-CONF-816780.第一作者由国防部国家国防科学与工程研究生奖学金资助. 这项工作部分资助来自ONRN00014-20-1-2330.22660参考文献0[1] Anders H Andersen. CT中的代数重建有限视图.《IEEE医学成像交易》, 8(1):50– 55, 1989.  10[2] Anders H Andersen and Avinash C Kak.同时代数重建技术（SART）: ART算法的一种优越实现.《超声成像》, 6(1):81–94, 1984.  2 ,  4 ,  70[3] Rushil Anirudh, Hyojin Kim, Jayaraman J Thiagarajan, KAditya Mohan, Kyle Champley, and Timo Bremer.通过隐式正弦图完成实现有限角度CT重建.在《IEEE计算机视觉与模式识别会议论文集》中, 页码6343–6352, 2018.  20[4] Rodney A Brooks and Giovanni Di Chiro.X射线重建层析成像中的光束硬化. 《物理医学与生物学》,21(3):390, 1976.  30[5] Richard Castillo, Edward Castillo, Rudy Guerra, Valen EJohnson, Travis McPhail, Amit K Garg, and Thomas Guer-rero.一个用于使用大型地标点集评估可变形图像配准空间精度的框架.《物理医学与生物学》, 54(7):1849, 2009.  5 ,  70[6] Wenzheng Chen, Fangyin Wei, Kiriakos N Kutulakos, Szy-mon Rusinkiewicz和Felix Heide.用于非直视成像和识别的学习特征嵌入. ACM Transactions onGraphics (TOG), 2020. 30[7] Julian Chibane和Gerard Pons-Moll.从部分3D数据中进行纹理补全的隐式特征网络. In EuropeanConference on Computer Vision. Springer, 2020. 30[8] Leonardo De Chiffre, Simone Carmignato, J-P Kruth,Robert Schmitt和Albert Weckenmann.计算机断层成像的工业应用. CIRP Annals, 63(2):655–677, 2014.10[9] Emilien Dupont, Miguel Bautista Martin, Alex Colburn,Aditya Sankar, Josh Susskind和Qi Shan. 等变神经渲染. InInternational Conference on Machine Learning. PMLR, 2020.30[10] J¨urgen Frikel和Eric Todd Quinto.有限角度断层成像中伪影的表征和减少. Inverse Problems,29(12):125007, 2013. 20[11] Cong Gao, Xingtong Liu, Wenhao Gu, Benjamin Killeen,Mehran Armand, Russell Taylor和Mathias Unberath.将空间变换器推广到投影几何并应用于2D/3D配准. InInternational Conference on Medical Image Computing andComputer-Assisted Intervention, pages 329–339. Springer,2020. 80[12] JW Gibbs, K Aditya Mohan, EB Gulsoy, AJ Shahani, X Xiao,CA Bouman, M De Graef和PW Voorhees. 生长树枝的三维形态.Scientific Reports, 5(1):1–9, 2015. 10[13] Gerhard W Goerres, Ehab Kamel, Thai-Nia H Heidelberg,Michael R Schwitter, Cyrill Burger和Gustav K von Schulthess.胸部PET-CT图像配准：呼吸的影响. European Journal of NuclearMedicine and Molecular Imaging, 29(3):351–360, 2002. 10[14] Yoseob Han和Jong Chul Ye.通过深度卷积框架进行稀疏视角CT. IEEE Transactions on MedicalImaging, 37, 08 2017. 20[15] Lukas Helfen, Feng Xu