MRI重建：主动采集下的不确定性优化方法

1利用主动采集Zizhao Zhang1，2，张梓昭 Adriana Romero2 Matthew J.Muckley3 Pascal Vincent2 Lin Yang1 MichalDrozdzal21佛罗里达大学2Facebook AI Research3纽约大学医学院摘要MRI重建的目标是从部分观察到的测量值恢复高保真度图像。这种局部视图自然会引起重建不确定性，只能通过获取额外的测量来减少。在本文中，我们提出了一种新的方法，MRI重建，在推理时间，动态选择测量采取和迭代细化预测，以最好地减少重建误差，因此，其不确定性。我们在大规模膝关节MRI数据集以及ImageNet上结果表明(1)我们的系统成功地优于主动采集基线;（2）我们的不确定性估计与误差图相关;（3）我们基于ResNet的架构在MRI重建任务中超越了标准的像素到像素模型。所提出的方法不仅显示了高质量的重建，而且为加速MRI的更适用的解决方案铺平了道路1. 介绍磁共振成像（MRI）是一种常用的扫描技术，其提供人体内器官和组织与计算机断层扫描相比，MRI的承诺是软组织对比度更好，并且没有电离辐射[49]。然而，其主要缺点是采集时间慢; MRI检查可能需要一个小时。采集在k空间（一个可以链接到图像的2D傅立叶变换的2D复值空间）中以硬件和生理约束控制的速度顺序执行因此，加速MRI是一个关键的医学成像问题，具有显著改善其可及性和患者体验的潜力。图1：我们建议的管道概述。MRI扫描器（1）在给定初始轨迹的情况下采集测量结果。填充零的图像重建（2）被馈送到我们的系统（3）中，该系统（3）输出重建、不确定性图和下一个建议的测量（红色）以进行扫描（4）。重复这些步骤，直到满足停止标准。从欠采样k空间的基本重建得到的图像通常表现出模糊或混叠效应[27]，使得它们不适合临床使用。因此，MRI重建系统的目标是减少上述伪影并恢复高保真图像。深度学习最近在卷积神经网络（CNN）的MRI重建中表现出了巨大的希望[13，36，49，11]。这些方法中的大多数被设计为与限定采样轨迹1的固定测量集合一起工作。我们认为，这种采样轨迹应适应飞行，这取决于重建的难度。图2描绘了通过将重建网络应用于大数据集获得的箱形图，减少k空间测量的数量是一个标准的方法，这是加快考试时间的一种不明智的方法然而，在这方面，* 在Facebook AI Research实习期间完成的1在整个论文中，我们使用水平笛卡尔采集轨迹，其中逐行采集k空间，并且我们使用测量来指代笛卡尔轨迹的整行。2049（k空间图像MRI扫描仪（网络系统（监测初始k空间轨迹下一个（红色）不确定度重建轨迹（- --2050三个加速因素，即：10 ×、5×和4×。如图所示，10×图显示最高变异性。随着我们引入更多的测量（通过减少加速因子），误差方差减小，从而突出了在固定采样轨迹时采集加速和重构误差方差之间的现有折衷。克服这种权衡的自然方式是经由主动采集2来定义数据驱动的采样轨迹，主动采集2通过顺序地选择接下来要测量k10x5x 4x加速因子部分测量自然会导致重建这是因为它们可能与多个同样合理的高保真度重建一致，这些高保真度重建可能对应于或可能不对应于来自完全观察到的k空间的重建。在实践中，这些重建最终可能会误导放射科医生。因此，量化和显示逐像素重建不确定性的能力是至关重要的。一方面，这种逐像素的不确定性可以允许放射科医生获得关于重建质量的额外见解，并且可能产生更好的诊断结果。另一方面，通过额外的测量来减少不确定性可以用作指导主动采集的信号。在本文中，我们提出了一种用于MRI重建的系统，该系统在推理时主动获取k空间测量值，并迭代改进预测，以减少误差，从而减少最终的不确定性（见图1）。为此，我们引入了一种新的评估器网络来评估每个k空间测量重建中的质量增益。该评估器与重建网络联合训练，重建网络输出高保真度MRI重建以及逐像素不确定性估计。 我们探讨了各种架构设计的重建网络，并提出了一个基于残差的模型，利用MRI重建的基本特征。我们在大规模膝关节MRI DICOM数据集和ImageNet上广泛评估了我们的方法[4]。我们的研究结果表明：（1）我们的评估器在两个数据集上的性能始终优于标准的k空间主动获取算法;（2）我们的重建网络改进了常见的逐像素预测网络;（3）不确定性预测与重建误差相关，并且因此可以用于触发停止信号以停止主动采集过程。总之，本文的贡献如下：• 我们介绍了一个重建网络设计，输出图像重建和不确定性预测，并训练联合优化。• 我们引入了一种新的评估器网络来执行主动采集，它具有推荐能力2请注意，在主动采集中，采样轨迹不仅决定测量次数，还决定其采样顺序。图2：表示不同加速因子的重建均方误差（MSE）为了获得这些图，我们将具有不同加速因子的随机k空间轨迹应用于一组图像，并将其馈送到重建网络。k-空间轨迹的MRI扫描仪，并有效地减少不确定性。• 我们通过广泛的评估显示所提出的方法的优越性能，突出其实用价值，并为加速MRI的改进的实际适用系统铺平道路。2. 相关工作MRI重建。有大量的文献解决欠采样MRI重建的问题最先进的解决方案包括信号处理技术（例如，压缩传感（CS））以及机器学习。一方面，基于CS的MRI重建已在文献中得到广泛研究[26、28、25、31、40]。这些方法通常导致过度平滑的重构，这涉及耗时的优化过程，限制了它们的实际可扩展性。另一方面，已经引入了基于深度学习的方法作为MRI重建的有前途的替代方案[42，36，24，13，35]。在[36]中，具有一致性层的级联CNN为保证动态心脏MRI重建中的测量保真度，在[13]中，Unet架构[35]用于脑图像重建，[24]提出了一种递归推理机用于图像重建。此外，根据最近的趋势，涉及图像细化机制的架构似乎越来越受到关注[36，38，24]。尽管所有前面提到的方法都能够改善反射误差，但人类对结果的感知仍然不令人信服。因此，最近的工作也集中在探索不同的训练目标，如对抗性损失[43，8，15]，以提高感知重建质量[38，46]。不确定性在计算机视觉文献中已经投入了大量的努力来提供不确定性估计[17]预言不确定性有两个可能的来源[20]：1）由于模型不完善而导致的模型不确定性MSE205122（认识的不确定性）和2）由于不完美测量的数据不确定性（任意的不确定性）。虽然模型的不确定性可以通过更好的模型来降低，但数据的不确定性只有在所有变量都具有无限精度的情况下才会消失 在医学成像中，不确定性通常用于显示可能的错误[3]，并且主要在图像分割的背景下进行研究[6，22]。分割错误（即错误标签预测）通常比重建错误（即，像素值的偏移），这可能潜在地误导诊断。因此，不确定性的研究是至关重要的MRI重建的背景下。在本文中，我们主要研究由部分观测的k-空间引起的数据不确定性.这种不确定性可以通过适当的模型参数化来捕获，例如：在回归任务中，经常假设高斯观测模型[17，18];这种假设可以放宽，允许使用任意观测模型，如[10]所述。主动采集。先前关于优化来自MRI通信的k空间测量轨迹的研究包括基于CS的技术[37，33，47，9]、SVD基础技术[51，30，52]和感兴趣区域技术[44]。重要的是要注意，所有这些方法在推理时都使用固定的轨迹。 相比之下[23]提出了一种基于动态特征值的方法，该方法适用于编码特定于对象的物理特性。然而，与我们的方法相反，它需要在推理时解决一个此外，由于我们联合训练了流水线的所有组件，因此我们的自适应采集结合了有关图像物理、被成像对象和重建过程的信息，以选择下一次测量。3. 背景和注释设y∈CN×N是表示全采样k-空间的复值矩阵。忽略磁场不均匀性和自旋弛豫等效应，年龄可以通过应用2D快速傅立叶逆变换（IFFT）x=F−1（y）从k空间数据估计，其中x∈CN×N是图像，F−1是IFFT运算。我们表示定义二进制采样掩码，k-空间笛卡尔采集轨迹作为S [49]。所获取的测量值被称为观察到的，而掩蔽的测量值被称为未观察到的。我们将欠采样的部分观测k空间定义为y=Sy，其中表示逐元素乘法。因此，基本的零填充图像重建被获得为x=F−1（y）。类似地，我们可以从侦察-图3：所提出的方法的训练管道。原始k空间测量，而是以DICOM格式存储幅度图像abs（x）∈R因此，我们通过将FFT应用于幅度图像y=F（abs（x））来模拟k空间测量。在下文中，我们不区分R或C中的图像的符号。我们利用FFT3的众多属性之一，即Parseval这意味着两个图像x（1），x（2）之间的l2-距离等价于它们在频域中的表示之间的l2-距离，即，||F（x（1 ））− F（x（2））||2=||x（1）−x（2）||二、4. 方法图3说明了我们的方法。该框架由（1）重建网络和（2）评估器组成。重建网络的目标是从欠采样的k空间测量值中产生高保真度的重建该网络以基本的零填充图像重建作为输入，并输出改进的图像重建及其不确定性估计。评估器网络的目标是对重建图像的每个对应的k空间行进行评级，其中分数应该指示它与真实测量的相似程度。评级分数指导测量选择标准：应首先获取评级最低的测量。4.1. 重建网络我们的重建网络具有由残差网络（ResNets）[12]组成的级联骨干，更准确地说是完全卷积ResNets（FC-ResNets）[7，2]，然后是数据一致性（DC）层[36]。DC层[36]4从网络的输入端x到其输出端f（x）建立直接的快捷连接，以在估计时强制保留观察到的信息其中F是快速傅里叶变换（FFT）。=F（x），进行重建。DC层在k空间中操作并且重建可以被正式定义为：值得注意的是，MRI图像x=F−1（y）是复值矩阵。 然而，大多数图片档案-医院的通信系统不存储3见第3章。[39]第四，要有一个完整的清单。4我们使用DC的无噪声版本，这使得F（x_n）完全保留在输出中，并带有硬拷贝。[36]详情请见。从以前的下一个二次抽样掩码残余块DC到光谱嵌入地图遮罩重建网络评估器速率记录质量膝关节DICOMMRI培养目标Rec. 损Eval. 损失输入图像不确定性图输出图像编码器解码器2052…2ENNNxN光谱图...…图4：图像分解为N个光谱图。r=DC （ x<$ ， S ） =F−1 （ （ 1−S ） <$F （ f（x<$））+S<$F（x<$））. （一）选择FC-ResNet后接DC层作为级联网络的构建块的基本原理是学习残差f（x）=r−x。因此，f（x）估计表示F（x）的未观察部分的图像，复对F（x∈ N）进行分。级联前面描述的构建块背后的基本原理深度监管[21]。总的来说，所提出的级联FC-ResNet （表示为c-ResNet）级联三个相同的微小编码器-解码器网络，与DC层交织。请注意，该网络让人想起在2009年提出的3D级联CNN。[36]具有较小的设计变化，并被赋予了深刻的监督。为了增强FC-ResNet模块之间的信息流，我们添加了一个快捷方式来链接相邻模块之间的残差块（图3）。因此，每个模块都可以重用其前任的表示，并通过进一步的网络容量增强表示（详细信息请参见补充材料）。4.2. 不确定性估计上一节中描述的FC-ResNet模块也经过训练，输出像素级不确定性估计u（x），我们将使用它来触发停止信号，以停止主动采集过程。具有不确定性估计的额外好处是，它们突出显示图像中可能包含较大重建误差的区域。 与[10，17]类似，我们对以下不确定性进行建模：像素的值作为以重建平均值r为中心的高斯分布，并且 具 有 方 差 u （ x≠ 0 ） ， 即 N（r ， dia g （ u（x∈）. 我们训练我们的重建网络以最大化平均条件对数似然，这相当于最小化：或者说是来自于重建。在训练重建网络时，我们将使用评估器作为额外的正则化，以鼓励重建图像具有幻影k空间行，这些行看起来好像来自真实测量行的分布。为了精通这项任务，评估人员必须能够捕捉图像中的微小结构差异，这些差异定义了真实观察到的测量值的分布。在我们的设计中，我们利用对抗学习的思想[8，32]，并训练一个类似判别器的评估器来对测量进行评分，同时鼓励重建网络产生与真实测量分布相匹配的结果。第一步，将重建图像r∈CN×N分解为N个谱图，每个谱图对应一个k空间行.为了得到这些谱图，我们首先将r变换成k空间表示y=F（r）.然后，我们屏蔽所有的k空间使用二进制掩码S_n（i），除了第i个之外，其余都是零。的重建输出的第i个频谱图被获得为M（r）（i）=F−1（S<$（i）<$F（r））。 类似地，M（x）（i）表示地面真值反射5的第i个谱图。该过程如图4所示。此外，它将采集轨迹S嵌入到6D向量中。最后，谱图和轨迹嵌入作为3D张量被馈送到CNN，其完整的架构细节在补充材料中提供。我们训练评估器，使其为对应于k空间的实际观察行的谱图分配高值，为未观察行分配低值。最简单的方法是训练一个机器人来区分观察到的行和未观察到的然而，我们发现这种策略并不奏效：评估者倾向于输出两极分化的分数（接近0或1），很难用来对未观察到的测量结果进行排序。而是将地面实况图像x和重建输出r两者分解成谱图，并训练评估器网络e（r，S）以拟合由以下内核给出的目标分数t （ r ， x ） i=exp （ −γ||M （ r ）（ i ） −M（x）（i） ||2）、其中γ是标量超参数。具体而言，e被训练以最小化以下目标：ΣN21Σ|ri−xi|21LE（r，x，S）=|e（r，S）i−t（r，x）i|第 二条、第四条我LR（x≠r，x）=N2i=1+log（2πu（x）i），（2）2u（x）i2其中e（r，S）i是测量i的得分。 注意当M（r）i类似于M（x）i时，t（r，x）i接近于1，其中，x是获取图像的作为网络的输入给出的重建，r是它输出的重建，并且N2是像素的数量。4.3. 评价者网络评估器网络e的作用是判断给定的k空间行是否可能是真正的k空间测度。k空间…N列N行2053我接近0，否则为6。注意，DC层总是确保对于k空间的观察行，M（r）i等于M（x）i。因此，对于观察到的测量，ti=1[5]注意，使用傅立叶变换的线性，可以写为：r=<$NM（r）（i）.6因此，ti可以被看作是一个能量函数[48]，我们期望最小化。通过更新重建网络的参数来实现。2054E方法MSESSIMpix2pix0.1000.61FC-DenseNet0.0720.70Unet0.0650.72ResNet0.0550.75我们的（c-ResNet）0.0500.77我们0.0520.76表1：kMA = 21%时的MSE/SSIM。0.140.120.100.080.060.040.020.90.80.70.6102030 4050102030 4050kMA（%）kMA（%）图5：描绘不同kMA值的MSE和SSIM的图。图6：不同重建网络的定性比较，包括重建结果和误差图（非线性）改进的可视化）。目标下方的二值图像是具有25%kMA的采样轨迹。4.4. 联合对抗训练遵循对抗训练的原理，使用评估器网络来更新重建网络，使用以下目标：ΣNLR（r，S）=|e（r，S）i−1|第 二条，第（五）项我这鼓励重建网络产生可以获得高评估器分数e（r，S）的重建。总的来说，重建网络是用以下目标训练的：4.5. 主动获取如图1所示，在推断时，使用评估器分数e（r，S）来选择要获取的下一个未观察到的测量。然后，相应地更新输入图像，并且该过程迭代，直到获取所有测量结果或者满足停止标准，例如，全球不确定性得分较低。5. 实验在本节中，我们将深入分析提议的主动采集管道的所有所有L（R，x，S）=1ΣKLk（rk−1，rk，x）+βLR（rK，S），（6）在大规模膝关节DICOM上进行实验RKk=1[45]以及ImageNet上的E数据集[5]。膝关节DICOM数据集由10k个体积组成。其中R=[r0，...，rK]，r0=x，rk（k≥1）是第k个级联块的输出计算评估器损失对全局目标的影响，K是重建网络中级联的FC-ResNet的数量。我们端到端地训练完整模型，通过像标准对抗训练方式一样交替重建和评估网络我们使用亚当解算器（β1=0。5，β2=0。999）[19]初始学习率为0。0006，50个时期。然后，学习率在另外50个epoch中每个epoch线性降低，直到它达到0。对于所有实验，我们设置β=0。1，K=3，γ=100。所有模型都使用6个TeslaP100 GPU进行训练，每个GPU的批量大小为48在我们的实验中，我们使用的数据集的一个子集和切片图像从三个轴上靠近中心位置的体积，导致11049训练图像和5048测试图像。在训练图像中，10%用于验证。用于超参数搜索。我们报告测试集的结果。所有图像的大小调整为128×128的分辨率。这些信号来自不同的机器，并且它们具有不同的强度范围。我们使用在相应体积上计算的平均值和标准差梅。为了评价重建的质量，作为下游分类任务，我们使用ImageNet数据集[5]。我们对数据集进行预处理，以获得128×128像素的灰度图像既然我们不能申请ResNetDenseNetUnetpix2pix我们的（c-ResNet）我们ResNetDenseNetUnetpix2pix我们的（c-ResNet）我们MSESSIM2055KMA所有可能测量值0.350.300.250.200.150.100.050.000.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14不确定性评分图7：MSE和平均不确定性得分之间的相关性图，每个点代表一个图像。任何现成的RGB预训练分类模型，我们在预处理的图像上训练ResNet50 [12]。训练获取轨迹S是按照笛卡尔采样通过在顶行和底行中固定10个低频测量并从剩余的测量中随机采样直到期望数量的测量来获得的。项获得。在我们的实验设置中，所需的测量次数在13到47之间随机选择。为了评估该系统，我们用观察到的k空间测量值的数量w.r.t.可能的测量的总数为kMA=获取的测量的数量8。 由于MRI中的采集时间与采集的测量次数成比例，因此加速因子计算为1。 因此，kMA越低，加速因子越高（例如，25% kMA意味着4倍的加速）。在本节的其余部分，我们分析了我们的模型的不同组成部分，突出了所获得的竞争性结果及其实用价值。5.1. 重建架构在本小节中，我们构建了重构架构的两个变体：（1）通过去除不确定性估计和评估器来训练vanilla c-ResNet，以最小化均方误差（MSE）;以及（2）如第3节所述，在整个管道内训练的c-ResNet。我们将这些架构与最先进的深度学习模型进行了比较，这些模型通常用于MRI文献（Unet [13]和CycleGAN [50]中定义的ResNet）和密集预测问题（FC-DenseNet 103 [16]，pix 2 pix [15，43]）。请注意，pix2pix包括额外的对抗性损失。我们使用MSE和结构相似性指数（SSIM）[41]作为评估指标。7我们使用以下实现：pytorchhttps://github.com//examples/tree/master/imagenet8对于DICOM数据，我们将所有可能测量的数量定义为N/2-由于傅立叶变换的共轭对称属性，我们的数据的真实自由度详见补充资料。为了公平比较，我们在所有模型中添加了DC层此外，我们发现，批量归一化（BN）[14]对于欠采样MRI记录效果不佳，而实例归一化（IN）[1]是改善结果的重要操作。我们的研究结果与[29]最近的工作一致，这表明IN学习对外观变化不变的特征，而BN更好地保留了内容相关的信息。因此，我们赋予所有模型IN而不是BN，并对其进行调整以提高性能。表1报告了所有上述模型在kMA =21%（105倍加速）时的MSE和SSIM性能。我们观察到基于ResNet的架 构优 于Unet 和FC-DenseNet 。 如表 所示 ，我 们的vanilla重建网络（Ours（c-ResNet））优于所有在MSE和SSIM方面的上述逐像素基线我们的完整方法（Ours）还优化了不确定性估计和评估器以执行主动采集，这阻碍了MSE的直接优化，从而导致性能略有下降。同样，pix2pix的弱性能可以用它的延迟来解释。图5描述了MSE和SSIM性能指标与kMA的函数关系。为了验证模型，我们通过从10%到50%kMA改变观测测量的数量来创建多个验证集。所有结果都是使用在随机采集轨迹上训练的单个模型获得的，kMA从10%到37%不等。从这些实验中，我们观察到与之前报道的相同的趋势，即对于所有kMA值，基于ResNet的架构更适合执行欠采样MRI重建。此外，我们可以观察到，所有测试的模型都可以优雅地扩展到看不见的kMA，即从38%到50%。最后，我们在图6中说明了一些定性结果。5.2. 不确定性分析本小节的目标是深入研究估计的不确定性估计及其与重构误差的相关性。我们选择了512张测试图像，应用随机的随机采集轨迹，kMA范围从[10%，95%]，将它们馈送到我们的重建网络，并输出高保真重建和不确定性图。接下来，我们计算所获得的重建和它们相应的地面真实值之间的MSE以及它们的平均不确定性得分。图7显示了结果相关性图。可以看出，平均不确定性评分与MSE良好相关。我们观察到，随着MSE和不确定性的增加，相关性变弱。这些结果表明，我们的系统的不确定性估计可能是有用的，以监测我们的积极收购过程中的重建质量。MSE2056图8：在推理时k空间获取的模拟左侧面板显示（从上到下）：重建结果、误差图、不确定性图和采样轨迹（DFT坐标）。初始掩码包括10个低频行（白色）。右侧的图监控不同kMA比率下的MSE和平均不确定性值。图9：不同k空间采集算法与我们在膝关节数据集上的模型的比较。该图将MSE描述为测量次数的函数。5.3. k空间主动捕获分析模拟MRI扫描仪的主动采集过程非常简单。给定一个具有一定采集轨迹的输入然后，我们选择下一个未观察到的行来获取并通过将其从地面真值复制到输入图像来测量它。之后，更新的输入图像被处理为：通过这些措施，重建质量得到改善，误差和不确定性降低;在kMA附近达到非常低的值=30%。请注意，不确定性集中在复杂的图像区域，通常包含高频信息。此外，较高的不确定性区域似乎具有较高的重建误差值。 请参阅sup-更多模拟结果的补充视频。与标准的主动采集算法进行比较。 我们将基于评估者的方法与几个基线进行比较，包括：• 随机+复制（C）：我们随机选择一个未观察到的测量值，将其添加到采集轨迹中，计算零填充重建。我们重复这个选择过程，直到完全观察到k• 随机+C+重建（R）：遵循Rand-dom +C选择策略，我们通过填充零的每次添加测量值时，我们的重建网络都能提供解决方案。• Order+C：我们按照从低到高的频率顺序选择测量。在复制策略之后，我们将测量添加到采集轨迹并计算零填充重建。我们重复这个选择过程，直到完全观察到k• Order+C+R：遵循Order+C选择策略，我们将零填充解决方案通过我们的recon。每次添加测量时，结构网络。我们的系统我们重复这个过程，直到满足停止标准或完全观察到k我们用从10次测量（7. 8%kMA），仅包含低频信息。主动采集过程如图8所示，其中包含不同kMA值下的定性中间结果（包括重建、误差图、不确定性估计和采集轨迹）以及测试集上平均不确定性评分和MSE的进展。如图所示，当我们引入附加措施时-图9分析了作为kMA函数的MSE。我们观察到，所有的方法有相同的初始MSE，并最终与零MSE时，所有的测量被收购。Rand-dom +C+R的性能明显优于Random+C，突出了应用重构网络的好处。然而，order+C（即使没有任何重构）的性能与random+C+R相当。这并不奇怪，因为低频包含了减少MSE所需的大部分信息。最后，与基线相比，我们的方法具有更高的测量效率。ImageNet模拟。 MSE无法反映出条第掩模叔叔地图误差图推荐结果kMA2057图10：不同k空间获取算法与我们在ImageNet上的管道的比较。该图描绘了作为测量次数的函数的MSE和准确度（前15）。在预训练的回归模型之上的回归网络。注意，这与对抗训练不同，因为回归网络不影响重构网络的权重比较结果如图11所示，其中不同评价者的评分被描述为kMA的函数。注意，仅考虑与未观察到的测量相对应的谱图的分数。一个好的评估者应该随着获得的测量值的增加而产生增加的分数（最大值为1）。同样，评价者图11：评价者评分与测量次数的函数关系。我们将评估器设计与两个基线进行比较：MSE回归量和对抗性损失用二进制标签训练。恢复诊断可能需要的语义细节。由于我们无法访问膝关节数据集上的分类信息，因此我们使用辅助分类数据集并测试我们的管道。通过均方误差和top-k分类精度对该方法进行了评价.结果示于图10中。不同采集几何学的MSE结果遵循与膝关节数据集中相同的模式。有趣的是，在分类准确性方面，random+C+R优于其他基线（在MSE方面更好e. G. order+C+R），实现与我们的方法相当的结果。这个实验表明，语义信息可以存在于图像的任意高频部分我们的方法在恢复图像质量和语义细节方面表现出良好的效果。评价者消融研究。最后，我们将4.3小节中描述的评估者训练策略与两种替代方案进行比较。首先，我们用二进制标签训练我们的评估器网络（在图像到图像转换网络的对抗训练之后[15]），即0对应于未观察到的测量（假）的光谱图，1对应于观察到的测量（真实）的光谱图。其次，我们调整了最近提出的[6]，以MSE为我们的谱图打分。这种方法训练了分数方差应当随着所获取的测量的数量而减小正如可以观察到的，我们的方法是唯一一个满足这两个要求，突出了我们的评估器设计的好处。6. 结论在本文中，我们提出了一种新的主动采集管道欠采样MRI重建，它可以迭代地建议k空间轨迹，以最大限度地减少不确定性。我们在大规模膝关节数据集和ImageNet上广泛验证了我们的方法，表明(1) 我们的评估器设计始终优于替代主动获取策略;（2）我们的不确定度估计与重构误差相关，因此，可以用来触发在干扰时刻主动采集的停止信号;（3）我们的重建结构优于以前介绍的结构。最后，我们认为，所提出的方法为加速MRI铺平了道路，从而确保了最佳的采集加速，同时保持了高保真度的图像重建，具有较低的不确定性。鸣谢：我们要感谢Jure Zbon- tar、Anuroop Sriram、Nafissa Yakubova 、 Mike Rabbat 、 ErichOwens 、LarryZitnick、FlorianKnoll、Jak obAsslaünder、 DanielK.Sodickson和fastMRI团队的每个人都对他们的支持和讨论表示感谢。最后，我们向Nicolas Ballas、AmaiaSalvador、Lluis Castrejon和Joelle Pineau表示感谢，感谢他们提供的有益意见。二进制标签MSE回归我们的2058引用[1] J. L. Ba，J.R. Kiros和G. E.辛顿层归一化。arXiv预印本arXiv：1607.06450，2016。[2] A.卡萨诺瓦湾Cucurull，M. Drozdzal，A. Romero和Y.本吉奥。语义分割的稠密连接表示层的迭代精化2018年CVPR研讨会[3] T. Ching，D. S.希梅尔斯坦湾K. Beaulieu-Jones，A. A.加里宁湾T.做吧，G。P. Way，E. Ferrero，P. M. 阿加波，M. Zietz，M. M. Hoffman等人深度学习在生物学和医学中 的 机 遇 和 障 碍 。 Journal of The Royal SocietyInterface，15（141）：20170387，2018.[4] J. 邓，W。东河，巴西-地索赫尔湖J. Li，K.Li和L.飞飞ImageNet：一个大规模的分层图像数据库。CVPR，2009。[5] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞 。 Imagenet ： 一 个 大 规 模 的 分 层 图 像 数 据 库 。CVPR，第248-255页[6] T. DeVries和G. W. Taylor.利用不确定性估计来预测分割质量。arXiv预印本arXiv：1807.00502，2018。[7] M. Drozdzal、E.沃龙佐夫湾Chartrand，S.Kadoury，以及C.伙计跳跃连接在生物医学图像分割中的重要性。MICCAI工作坊，2016年。[8] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在NIPS，第2672-2680页[9] B. 戈兹丘河K. Mahabadi，Y. H. Li，E. 伊利恰克库库河，J. Scarlett 和 V. Cevher 基 于 学 习 的 压 缩 MRI 。 IEEEtransactions on medical imaging，37（6）：1394-1406，2018。[10] P. Gurevich和H.斯图克通过深度神经网络学习回归任务中 的 不 确 定 性 。 arXiv 预 印 本 arXiv ： 1707.07287 ，2017。[11] Y. Han 和 J.C. 烨 k 空 间 深 度 学 习 加 速 MRI CoRR ，abs/1805.03779，2018。[12] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在CVPR，2016年。[13] C. M. Hyun，H. P. Kim，S. M.李，S。Lee和J. K.徐用于欠采样mri重建的深度学习。物理学在医学和生物学，2018年。[14] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移来加速深度网络训练。ICML，2015。[15] P. Isola，J.Y. Zhu，T.Zhou和A.A. 埃夫罗斯使用条件对抗网络的图像到图像翻译。CVPR，2017年。[16] S. 我也是M. Drozdzal，D. Vazquez、A. Romero和Y. 本吉欧。百层提拉米苏：用于语义分割的完全卷积密集网。在CVPR研讨会上，第1175-1183页[17] A. Kendall和Y.加贝叶斯深度学习在计算机视觉中需要哪些不确定性？在NIPS，第5574-5584页[18] A. Kendall，Y.Gal和R.西波拉使用不确定性来权衡场景几何和语义损失的多任务学习在CVPR，2018年。[19] D. P. Kingma和J. BA. Adam：随机最佳化的方法。见ICLR，2014年。[20] A. D. Kiureghian和O.迪特列夫森偶然的还是认识的？有关系吗2007年风险接受与风险沟通研讨会[21] C.- Y.李，S。Xie，P. W. Gallagher，Z. zhang和Z.涂。深度监督网络。在AISTATS，第38卷，2015年。[22] C. Leibig，V. Allken，M. S. Ayhan，P. Berens，and S.哇利用深度神经网络的不确定性信息进行疾病检测。科学报告，7（1）：17816，2017。[23] E. Levine和B.哈格里夫斯基于矩谱分析的线性磁共振成像动态自适应k空间采样。IEEE transactions on medicalimaging，37（2）：557[24] K. Lønning，P.Putzky，M.W. Caan和M.威林用于加速mri重建的递归推理机。在医学成像与深度学习，2018年。[25] M. Lustig、D. Donoho和J. M. Pauly.稀疏磁共振成像：压缩感知在快速磁共振成像中的应用。磁共振医学：AnOfficial Journal of the International Society for MagneticResonance in Medicine，58（6）：1182 -1195，2007.[26] M. Lustig、D. L. Donoho，J. M. Santos和J. M. Pauly.压缩感知MRI。IEEE信号处理杂志，25（2）：72[27] D. Moratal，A. 卢奇湖。 Mar t'este-Bonma t'este，和M. E. 布鲁默k空间教程：用于更好地理解k空间的MRI教育工具。生物医学成像和干预杂志，4（1），2008年。[28] R. Otazo，D.金湖，澳-地Axel和D. K.索迪克森压缩感知和并行成像的组合用于高加速首过心脏灌注mri。Magnetic Resonance in Medicine，64（3）：767[29] X. Pan，P.罗，J.Shi和X。唐一次两个：通过ibn-net增强学习和泛化能力。在ECCV，2018。[30] L. P. 帕尼奇角奥斯特尔湾P. Zientara和J.亨尼格动态成像中快速梯度回波svd编码技术的实现磁共振医学，35（4）：554[31] T. M. Quan，T. Nguyen-Duc和W.- K.郑使用具有循环损失的生成对抗网络的压缩感知mri重建IEEE transactionson medical imaging，37（6）：1488[32] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习ICLR，2016年。[33] S. Ravishankar和Y.布雷斯勒压缩感知磁共振成像的自适应采样设计医学和生物学工程学会（EMBC），第3751-3755页，2011年[34] O. Rippel，J. Snoek，and R. P·亚当斯卷积神经网络的谱表示。NIPS，第2449-2457页，2015年[35] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络在MIC-CAI，第234-241页2059[36] J. Schlemper，J. Caballero，J. V. Hajnal，A. N. 价格和D.鲁克特一种用于动态磁共振图像重建的深度级联卷积神经网络。IEEE医学成像学报，37（2）：491[37] M. 再见，H。尼基施河Pohmann，andB. Sch oülk opf.压缩感知k空间轨迹的最佳化。医学中的磁共振：AnOfficial Journal of the International Society for MagneticResonance in Medicine，63（1）：116 -126，2010.[38] M.Seitze r， G.Yang， J. 施伦普 河， O. 好吧，T。Wuürfl，诉Christlein，T.黄河，巴西-地Mohiaddin，D.Firmin，J.Keegan等人压缩感知磁共振成像重建的对抗性和感知性改进。在MICCAI，2018年。[39] R.塞利斯基计算机视觉算法和应用，2011年。[40] M.蒂格特河Ward和J.兹邦塔 用折叠刀和靴带压缩感知。arXiv预印本arXiv：1809.06959，2018。[41] Z. Wang，中国山核桃A. C. Bovik，H. R. Sheikh和E.西蒙·切利。图像质量评估：从错误可见性到结构相似性。IEEE图像处理学报，13（4）：600[42] L.徐，J.S.伦角，澳-地Liu和J. Jia.用于图像去卷积的深度卷积神经网络。NIPS，第1790- 1798页，2014年[43] G. Yang，S.Yu，H.Dong，G.Slabaugh，P.L. Dragotti，X.叶F. Liu，S.Arridge，J.基冈，Y.Guo等人Dagan：用于快速压缩感知MRI重建的深度去混叠生成对抗网络IEEEtransactions on medical imaging，37（6）：131