基于弱监督联合卷积稀疏编码的三维医学图像超分辨率和跨模态合成

16070基于弱监督联合卷积稀疏编码的三维医学图像同时超分辨率和跨模态合成黄亚文1，邵凌2，Alejandro F.Frangi11英国谢菲尔德大学电子与电气工程系2英国东英吉利大学计算科学学院{yhuang36，a.frangi}@ sheffield.ac.uk，ling. uea.ac.uk摘要磁共振成像（MRI）提供了高分辨率的体内成像和丰富的功能和解剖多模态组织对比。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战 在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码来同时解决超分辨率（SR）和跨模态图像合成问题。学习过程只需要几个注册的多模态图像对作为训练集。另外，可以使用较大的未配对图像1的集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对齐项通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域在联合学习过程中，使用未配对数据和额外的最大均值差异项来增强配对图像，这最小化了它们的特征分布之间的差异实验结果表明，该方法在超分辨率重建以及同步超分辨率和跨模态合成方面均优于现有技术1. 介绍随着磁共振成像（MRI）的快速发展，存在多种机制来产生与各种解剖结构相关的组织对比度。1未配对数据/图像：采集来自不同受试者，未配准。配对数据/图像：登记从不同模态获得的相同对象的采集。或功能特征。然而，获取高分辨率图像的完整多模态集面临与扫描成本、扫描仪可用性、扫描时间和患者舒适度相关的此外，ADNI [24]等长期纵向研究表明，扫描仪或采集协议随时间推移而发生变化。在这些情况下，从不同来源获得同一受试者的图像，或面临早期时间点的缺失或损坏数据的情况此外，高分辨率（HR）3D医学成像通常需要长时间的屏气和重复时间，这导致长期扫描时间在临床常规中具有采集低分辨率（LR）图像和/或从采集中跳过一些成像模态在所有这样的场景中，非常期望能够根据给定的LR模态数据从期望的目标模态生成HR数据该领域的相关文献可以分为单/多图像模态的超分辨率（SR）重建和跨模态（图像）合成（CMS）。一方面，SR通常与实现改善的视觉质量或克服所采集图像数据的分辨率限制有关。这样的问题通常是欠定和不适定的，因此，解决方案不是唯一的。 为了缓解这一事实，解决方案空间需要通过验证强先验来约束。先验信息以平滑假设的形式出现，例如，基于插值的SR[20，28]。现有的方法大多采用外部数据或内部数据来指导学习，ing算法[25，30]。另一方面，由于模态之间的最佳图像表示的变化，从一个模态数据学习的图像模型可能不是用于不同模态的最佳模型。如何揭示图像底层信息的不同表征之间的关系是一个有待探索的为了从一个模态中综合另一个模态，CMS中的最新方法提出利用非参数16071最近邻（NN）搜索[8]，非线性回归森林[19]，耦合字典学习[26]和卷积神经网络（CNN）[10]等方法，仅举几例。虽然这些算法取得了显着的效果，他们中的大多数遭受的基本限制与监督学习和/或基于补丁的合成。监督方法需要大量的训练图像对，这在许多医学成像应用中是不切实际的。基于补丁的合成遭受融合过程中发生的补丁重叠的区域中引入的不一致。在本文中，我们提出了一种弱监督卷积稀疏编码方法，并将其应用于神经成像，该方法利用一小部分注册的多模态图像对，同时解决了SR和CMS问题。不是将每个补丁分解成从在稀疏约束（稀疏编码）下构建的字典中提取的补丁的线性组合，或者需要具有完全配准的多模态图像对的训练集，或者需要相同的稀疏代码用于所涉及的两种模态，而是生成统一的学习模型，其自动学习异构数据的联合表示（例如，不同的分辨率、模态和相对姿态）。这种表示是在一个共同的特征空间中学习的，它保留了图像的局部一致性。特别是，我们利用两个域的纹理特征的同现流形排序方法从源域中最相似的主题中挑选目标域的特征。一旦建立了不同域中图像之间的对应关系，我们就直接处理本质上尊重局部邻域的整个图像表示。此外，学习映射函数，其链接所涉及的两个模态之间的表示我们 称 这 种 方 法 为 快 速 监 督 的 卷 积 稀 疏 编 码（WEENIE），并进行了大量的实验来验证其性能。本文的主要贡献如下：1）这是首次尝试使用弱监督联合卷积稀疏编码来联合解决3D医学成像中的SR和CMS问题; 2）为了在学习阶段利用来自不同域的未配对图像，提出了异域图像对齐项，其允许识别跨源和目标域的对应关系并且对姿态变换是不变的; 3）为了映射LR和HR跨模态图像对，提出了基于卷积稀疏编码的联合学习，其包括最大平均差异项; 4）最后，提出了广泛的前向映射，其包括最大平均差异项。实验结果表明，所提出的模型在重建误差和视觉质量评估措施方面都比现有技术的方法产生更好的性能。2. 相关工作为了将模态信息从源域传递到目标域，近年来，CMS中的操作，例如纹理合成[6，10，13]，面部照片草图合成[9，36]和多模态检索[23，29]，已经显示出有希望的结果。本文主要针对图像超分辨率和跨模态合成问题，对这两个方面的相关方法图像超分辨率：图像SR的目的是从其LR对应部分重建HR图像。根据图像先验，图像SR方法可以分为两大类：基于插值的、外部或内部数据驱动的学习方法。基于插值的SR工作，包括经典的双线性[21]，双三次[20]和一些后续方法[28，41]，通过局部邻居的加权平均值插值更密集的HR网格。大多数现代图像SR方法已经从插值转向基于学习。这些方法专注于学习一个紧凑的字典或流形空间来关联LR/HR图像对，并假设LR图像丢失的高频（HF）细节可以通过从外部数据集或内部自相似性学习来预测。外部数据驱动的SR方法[3，7，38]利用来自指定外部数据集的LR和HR图像对之间的映射关系。在弗里曼等人的先驱工作。[7]中，找到LR补丁的NN，以及相应的HR补丁，并用于估计马尔可夫网络中的HF细节。Chang等[3]将局部几何结构的多个NN从LR特征空间投影到HR特征空间以估计HR嵌入。此外，探索了基于稀疏编码的方法[27，38]来生成LR和HR补丁对的一对Wang等人[35]Huanget al. [14]进一步建议在特征空间中对LR和HR补丁之间的关系进行建模，以放松强约束。最近，在[5]中提出了一种有效的基于CNN的方法，该方法直接学习LR和HR图像之间的端到端映射，以执行复杂的非线性回归任务。对于内部数据集驱动的SR方法，这可以使用相似性搜索[25]和/或给定图像本身的尺度空间金字塔[15]来构建。交叉模态合成：同时，已经提出了各种CMS方法，用于从可用的源图像合成不可用的模态数据，特别是在医学成像领域[26，33，34]。Freeman等人提出的基于实例的学习方法是一种成熟的模态转换方法。[8]的一项建议。给定一幅测试图像，从源图像空间中选取几个具有相似性质的神经网络，利用马尔可夫随机场重建目标图像Roy等人[26]使用稀疏编码用于期望的MR对比度合成，假设跨模态补丁对具有相同的表示，并且可以直接用于训练字典以估计目标模态的对比度。模拟36072MMMMMM Y∈−XYK 21∗¨1K配对共同空间RKHS映射W卷积分解通过W卷积未配对图1.同时SR和跨模态合成的拟议方法（WEENIE）的流程图在[17]中也使用了ilar工作。在[1]中，提出了一种基于典型相关分析的方法，为了近似x，λ控制l惩罚，并且de-T注意2D卷积运算符。f=f1，.，fK和特征空间，可以得到共同注册的数据的底层公共结构，以便更好地关联字典对。z= zT，.，zTTK过滤器和特征图是否堆叠最近，已经提出了位置敏感的深度网络[33]，通过将图像强度和空间信息合并到深度网络中以用于合成目的，来明确地利用体素图像坐标。Gatys等人[10]介绍了一种CNN算法的艺术风格，即新的图像可以通过执行高级图像内容中的前图像搜索，以匹配示例图像的通用特征表示。除了上述方法之外，大多数CMS算法依赖于严格注册的对来训练模型。如[34]所述，最好使用无监督方法来处理输入数据，而不是确保数据始终耦合3. 弱监督联合卷积稀疏编码3.1. 预赛卷积稀疏编码（CSC）是在1998年引入的。作为单列向量。在这里，不平等-矢量化的fk的每列上的ity约束防止滤波器吸收系统的所有能量。类似于原始稀疏编码问题，Zeileret al. [39]建议在方程中求解CSC。（1）通过交替地优化一个变量，同时在空间域中固定另一个变量。最近快速卷积稀疏编码（FCSC）[2]的进展表明，通过将CSC纳入傅立叶域中的交替方向乘法器（ADMM）框架内，可以有效且显式地解决3.2. 问题公式化同步SR和交叉模态合成问题可以用公式表示为：给定模态1的三维LR图像X，任务是从X推断目标3D图像Y，其尽可能类似于理想模式2的人力资源基础事实。 假设给我们一组模态1的LR图像，即，m×n×t×P建立感受野模型的背景，X=[X1，...，XP] ∈R和一组HR图像一般化到图像处理，其中整个图像的表示是通过具有字典滤波器的集合卷积的和来计算的。CSC的目标是弥补传统的基于块的稀疏编码方法的缺点具体地，给定矢量化图像x，生成用于稀疏特征图的矢量化滤波器集合的问题通过最小化目标函数来解决，该目标函数组合了表示上的平方重建误差和l1范数惩罚：情态2，即，=[Y2，.，YQ]Rm×n×t×Q。 P和Q是训练集中的样本数量，m，n表示每个图像的轴向视图的维度，而t是图像沿z轴的大小。此外，在两个训练集中，源模态1的受试者大多与目标模态2不同，也就是说，我们正在处理少量配对数据，而大多数数据都是未配对的。因此，该问题的困难随着异质域图像而变化，例如，决议和方式，以及这两个领域如何配合。为了在异构表示之间架起图像外观的桥梁，我们提出了一种自动建立一对一表示的方法。¨1¨arg min？f，z2？ΣKk=1¨2¨+λ¨2ΣKk=1K11（一）首先在和中的数据之间建立一个相关性，然后利用对齐的数据来联合学习一对滤波器，同时假设存在映射函数F（·），S.T. fK}，关联和预测亲中的跨模态数据共同特征空间。特别是，我们想合成-其中x是矢量形式的m×n图像，fk是指矢量形式的第k个d×d滤波器，zk是对应于fk的稀疏特征图，大小为（m+d−1）×（n+d−1）人脑的大小MRI。我们提出的工作的概述1.一、表示法：为了简单起见，我们表示矩阵和3D im-m2。fzkk36073MMXi=1A·XY2222pA·−XYXYXY√32yx2111Σ2- −年龄为大写粗体（例如，图像X）、矢量和矢量化2D图像作为小写粗体（例如，滤波器f），以及作为小写的标量（例如，滤波器k的数量）。具有被称为源模态的模态1的图像属于源域，并且具有被称为目标模态的模态2的图像属于目标域。其中max（K（p，：））表示A的第p行的最大元素。我们进一步将max（K（p，：））设置为1，并且将所有空白元素设置为0。因此，A是一个二进制数。由于A是以特定于受试者的方式计算的，因此每个受试者只能连接到一个目标最相似的大脑结构因此，异域下的图像可以被视为配准对，3.3. Hebron域图像对齐即，Pi={Xi，Yi}P通过构建虚拟对应-¨2路线设计（）从到需要结合从LR/HR图像中提取公共分量和LR/HR图像之间的相关性的一些度量，两种模式。在SR文献中，通常通过分别从LR/HR图像中提取高频（HF）边缘和纹理特征来完成常见成分[3，38]。在本文中，我们采用一阶和二阶导数涉及水平和垂直梯度，以Xhf=G<$Xp作为LR图像的特征。证据：A（X，Y）=。3.4. 目标函数对于图像模态变换，耦合稀疏编码[18，38]具有重要的优势，例如对应字典对学习的可靠性和更少的分类成本。然而，与图像的小部分相关的任意对齐的碱基可能导致图像的移位版本。Σ1 2 Σp相同的结构或不一致的表示，G1，G1G=G1、G2，并且每个梯度G具有相同的长度重叠的补丁然后提出CSC [39]以生成基于整体当g1=[-1，0，1]，g2=g1T，g1=[2，1，0，1，2]，g2=g1T. 对于HR图像，HF特征通过直接减去均值得到，即，Yhf=Yp 平均值（Yp）。为了定义异质域图像对准项（），我们假设受试者的大脑MRI的内在结构在图像模态之间在HF空间中也是相似的，因为不同模态的图像更可能被描述为不同的。从特征上看。当获得两个域的HF特征时，可以建立跨模态数据对齐的方法（特别是，单侧跨模态匹配可以被认为是[16]中的特殊情况）。为此，我们将特定于对象的变换矩阵A定义为图像解决上述问题。由CSC启发，耦合稀疏性的好处[18]，我们在异域图像的弱监督设置中引入了联合卷积稀疏编码方法少量的原始注册对被用来携带之间的内在关系，而大多数的未配对的数据被引入，以利用和增强原始学习系统的多样性。假设上述对齐方法导致跨和，such每个对准的图像对具有近似相同的（或对于共同配准的数据相同的）信息。此外，为了便于以联合方式进行图像映射HFHFhfhf我们需要每对对应的稀疏特征图，K（X 1 ，Y 1 ）· · · K（X1 、YQ）使源图像和目标图像相关联。 那就是，超级-A=. . ..，（2）假设存在映射函数F（·），其中LRM1模态图像的特征图可以被转换为K（Xhf， Yhf）···K（Xhf， Yhf）P1PQ到他们的人力资源M2版本。 给定X和Y，我们建议其中K（Xhf，Yhf）用于测量距离学习具有对应特征图的一对过滤器，p q映射函数与对齐项一起，计算的每对HF数据之间的高斯核函数¨ ¨2¨K¨xxXhf−Yhf2argmin¨X− Fk∗Zk¨高频高频1− |pq|Fx，Fy，Zx，Zy，W2？？K（Xp ，Yq ）=的（e2πσ）2σ2，（3）¨1磅¨2Kk=1F+Y−2 ¨FyZy<$+βK¨2Z−WZ其中σ确定高斯核的宽度在或-在不同的地方建立一对一的对应关系，对于X的每个元素，最相关的图像¨k¨k=1F.KXk=1ΣyKKKFΣK2（五）保留来自Y的最大K，同时丢弃+λ<$Zk<$1+ZkWk其余元素：k=1¨k=1¨k=1136074+¨ Xhf−A Yhf¨2S.T. fx1克朗，A=max（K（1，：）） . .（4）2k2Xyk≥2≤。max（K（P，：））其中Zk和Zk是第k个稀疏特征映射，用于在卷积时估计对齐的数据项X和Y560751yxA X YyxP {}XYXyX1KKPKK¨利用固定空间支持的第k个滤波器Fx和Fy通过正则化Eq.（5）Eq. （6）、滤波器对Fx和k kykk={1，.，K}。 具体地，X表示对准的非线性。来自P的LR和M1模态的年龄;Y表示来自P的包含HR和M2模态的对齐图像。Fk的分布，并得到了实际对齐主题的分布在新的特征图下，对被画得很近。把综上所述，我们得到目标函数：卷积运算表示为卷积运算符，F·F·F表示被选择用于诱导Conf的Frobenius范数，arg min¨K--¨2KFx<$Zx<$+γKǁWǁF最小二乘近似解Fx和Fy用Z_x和Z_y表示源和目标的K¨Fx，Fy，Zx，Zy，W 2¨¨K+<$Y−2Kk=1¨2¨FyZyK¨乌克¨Fk=1ΣK2域，分别。（，）结合起来执行不成对的辅助主题的对应。 地图-ping函数F（Zx，W）=W Zx被建模为线性的¨k¨k=1F.ΣKXyKk=1ΣKKkFkxkykKyx T+λ<$Z <$+ λ <$Z <$+Tr（Z M（WkZ））Zk和Zk的投影Wk，通过求解一组最小k1k1kk平方问题（即，minΣKZ−W Z2 ）.啪k=1 ¨k=1¨k=1Wk=1kKkF+<$Xhf− AYhf<$2标准差 fx1克朗。参数λ、β和γ平衡了稀疏性、特征表示和关联映射。值得注意的是，i=Xi，Yi可能不是完美的，因为等式（1）中的HF特征对准。（4）不够好3.5. 优化2k2k≥2≤（八）对于非常不均匀的域自适应，通过匹配的一阶和二阶导数和平均值，这导致次优滤波器对和不准确的结果。为了克服这样的问题，我们需要额外的约束，以确保对齐产生的注册图像对的正确性。通常，当特征差异相当大时，即使在HF子空间中，也总是存在与目标子空间不特别相关的源域的一些因此，一个注册的主题对最近的工作[4，22，42]已经通过使用最大平均差异（MMD）标准测量数据分布发散来执行实例/域自适应。我们遵循这样的思想，并采用经验MMD作为非 参 数 分 布 测 度 来 处 理 再 生 核 希 尔 伯 特 空 间（RKHS）中的异域图像对失配问题。这是通过最小化对齐对象的分布之间的差异同时保持不相似的不一致分布）在稀疏特征图空间中分开1ΣP ΣK我们提出了一个有效的三步优化策略，在 Eq 中 精 确 地 处 理 目 标 函 数 。 （ 8 ） （ 称 为（WEENIE），在算法1中总结），考虑到这样的多变量和统一框架不能联合凸于F、Z和W。相反，它是凸的，同时固定其余的变量。3.5.1计算卷积稀疏编码通过初始化滤波器Fx、Fy和映射函数W（W初始化为单位矩阵）来解决仅涉及稀疏特征映射Zx和Zy的除了原来的CSC制定，我们有额外的条款与数据对齐和分歧reduc-ING 在共同的特征空间。当量首先将问题（8）转化为两个正则化的子CSC问题。不幸的是，每个问题约束的l1惩罚项不能直接解决，这不是旋转不变的。最近的方法[2，12]已经提出通过引入两个辅助变量U和S来加强分裂中固有的约束，从而在理论推导上解决这个问题 为了促进分量乘法，我们利用在ADMMs框架内导出的傅立叶域2中的卷积子问题[2]：2W（i）Z（i）−Z（i）¨ ¨2PKKkH1"K"2i=1k =1（六）min<$X−F<$ x<$Z<$ x<$+<$Xhf−AYhf<$KKK2019 - 05 - 25 01： 00ZyM（WkZx）T），¨Zx 2¨¨¨2k=1Fkk kk克雷奇k=1k=1+Tr（ZyM（WkZx）T）+β其中H表示RKHS空间，Zx（i）和Zy（i）是Kk=1克克k=1千法郎对于Pi={Xi，Yi}的成对稀疏特征映射，其中i=ΣK+λUS. t. <$Sx<$2≤1，Sx=ΦTF<$ x，Ux=Zx<$k，1、... P，Mi是M的第i个元素，而M表示MMD矩阵，可以计算如下K1k=1K 2Kk k k.，Zx（i），Zy（i）∈Pi-P 2，否则。2利用快速傅立叶变换（FFT）求解相关线性方程组，并证明了比在空间域中处理更好的渐近性能。12Mi=、（7）156076K←k+1k+1k+1k+1XyYCIMMyxZy¨2¨¨¨K2输入：训练数据X和Y，参数λ，γ，σ。000000000000¨ ¨21克算法1：WEENIE算法min是的，FyZy+<$Xhf−AYhf<$k=1Fxx x xΣKT1000- T克x¨2ˆy¨1初始化F0，F0，Z0，Z0，U0，U0，S0，S0，W0.2执行FFTZx→Zx，Zy→Zy，Fx→Fx，+Tr（ZkM（WkZk））+βk −WkZk？0 0 0 0 0 0k=1k=1FFy→Fy，Ux→Ux，Uy→Uy，Sx→Sx，KSy→Sy y2yTˆy yy0 0黑猩猩+λk=1Uk S.T. SkFk，Uk=Zkk，（九）3设Z0WZ0.4 而不收敛5修复其他变量，更新Zx，Zhaoyi和Ux，其中，应用于任何符号的符号表示离散傅立叶变换（DFT），例如X∈f（X），并且f（·）表示yk+1 （9）。k+1k+1k+1傅里叶变换算子阿达玛代表阿达玛6修复其他变量，更新Fxy k+1 和Sx，产品（即，分量乘积），ΦT是DFT逆矩阵，并且s将滤波器投影到小的空间上。yk+1Wk.由（10）与Zxyk+1xk+1yk+1 和端口 通过利用松弛变量Ux、Uy和Sx、Sy，7修复其他变量，更新W（11）与k k k kk损失函数可以看作是多个子概率之和lems，并添加了等式约束。x k+1xk+1y k+1yk+1xk+1yk+1xk+1yk+1得双曲正弦值.3.5.2培训过滤器8反向FFTFFTFFT→Fk+1yk+1 →Fk+1。类似于理论CSC方法，我们可选地优化基函数对Fx和Fy的卷积最小二乘项，随后是对应稀疏特征图Zx和Zy的l1正则化最小二乘项。与求解特征地图的子问题一样，配对可以用类似的方式学习。与Zx，Zy和9端部输出：Fx，Fy，W。3.6. 合成一旦训练阶段完成，生成一组k k的 滤波器对Fx，Fy和映射W，对于给定的测试Wkfixed，我们可以更新相应的滤波器对Fx，t将k图像X映射到域X中，我们可以合成其所需的HRfk为¨1磅¨2¨K风格的版本。这是通过计算-2个关于一组滤波器Fx的Xt的特征映射Zt，并通过W将Zt关联到期望的特征图Zt，min−FxZx<$+<$Y−KFyZyK¨¨Fx、Fy2？Kk=1¨ ¨¨2¨FKk=1i. 例如， ZtWZt. 因此，理想的HR2模式F图像则由K变换后的稀疏求和得到S.T. fxk2k2（十）特征图Zk与期望的滤波器Fk卷积（称为（SRCMS）总结在算法2中）：最佳化相对于Eq。（10）可以解决一个接一个的更新策略[35]通过一个增强的ΣKYt =ΣKFy Wk Zt =去你的。（十二）拉格朗日方法[2]。3.5.3学习映射函数最后，Wk可以通过固定Fx、Fy和Zx、Zy来学习：Kk=1算法2：SRCMSKKKk=1ΣK2KK. γKK K输入：测试图像Xt，滤波器对Fx和Fy，2映射W.最小值Z−WkZ <$+Wk0焕光k=1kFβΣKk=1F（十一）1初始化Zt。2设Zt<$WZt，Yt<$FyWZt.+Tr（ZyM（WkZx）T），U、FS、Z，U，UZ、Z，U，U、F、FS，S、FΣ.56077k+1KKKKβR3 而不收敛kktttk=14通过（9）用Y k和W更新Zk+1和Zk+1。其中Eq.（11）是具有正则化项的岭回归问题 我们简化正则化项（tr）=ΣKyx T5更新Yt6端部7通过（12）合成Ytˆtk+1Tr（ k=1ZkM（WkZk）），并解析地推导出这样的输出：合成图像Yt。解为W =（ZyZxT−R（tr））（ZxZxT+γI）−1，其中I是单位矩阵。←WZ.56078××××图3. 不同SR方法的性能比较。图2. 示例SR结果和相应的PSNR、SSIM（放大查看详细信息）。4. 实验结果我们使用两个数据集进行实验，即，IXI3和NAMIC脑多模态4数据集。在[11，35，38]之后，LR对应物通过双三次插值以1/2的速率从其HR地面真值直接下采样，边界被填充（具有八个像素）以避免傅立叶域实现的边界效应正则化参数σ、λ、β和γ根据经验分别被设置为1、0.05、0.1、0.15。考虑到[2]，优化变量F、S、Z和U随机初始化为高斯噪声。一般来说，更多的过滤器会带来更好的结果。为了平衡计算复杂性和结果质量，我们学习了800个滤波器[11]。在我们的实验中，我们通过应用一半的数据集（处理为弱共配准数据）进行训练，而剩余的用于测试来执行更具挑战性的划分。据我们所知，有没有以前的工作专门设计的SR和跨模态合成同时从弱监督的数据学习。因此，我们扩展了现有工作的范围作为公平比较的基线，可以分为以下两类：（1）脑MRI SR;（2）SR和跨模态合成（比较模型中的逐个策略）。对于评价标准，我们采用广泛使用的PSNR和SSIM [37]指标来客观评估合成图像的质量。实验数据：IXI数据集由578个在三个不同机制的医院收集了256256例MR健康受试者（即，Philips 3T系统，Philips 1.5T系统和GE 3T系统）。在此，我们使用180名质子密度加权（PD-w）MRI受试者进行图像SR，同时对所有受试者应用PD-w和配准T2加权（T2-w）MRI扫描进行主要SR-CMS。此外，我们进行SRCMS实验的处理NAMIC数据集，其中包括20128 128m的主题在T1加权（T1-w）和T2-w模式。如前所述，我们留下一半的数据集进行交叉验证. 我们随机选择了30个注册的受试者对3http://brain-development.org/ixi-dataset/4http://hdl.handle.net/1926/1687表1. 定量评估（PSNR和SSIM）：WEENIE与其他SR方法在IXI数据集的95名受试者上的比较。用于IXI，以及用于NAMIC的3个注册的受试者对，分别来自用于训练目的的相应数据集的一半，并处理提醒训练数据以取消配对。特别地，所有现有的关于脑成像中的跨模态合成的方法都要求预处理，即，颅骨剥离和/或偏差校正，如[34，26]中所我们遵循这样的过程，并进一步验证预处理（特别是颅骨剥离）是否总是有助于脑图像合成。4.1. 脑MRI超分辨率对于图像SR的问题，我们关注IXI数据集的PD-w子模型，以将所提出的WEENIE模型与几种最先进的SR方法进行比较：基于稀疏编码的SR方法（ScSR）[38]，锚定邻域回归方法（ANR）[31]，邻域嵌入+局部线性嵌入方法（NE+LLE）[3]、Zeyde我们使用缩放因子2执行图像SR，并在图1中的示例切片上显示视觉结果。二、不同方法的定量结果如图所示。3，所有95个测试对象的平均PSNR和SSIM列于表1中。在脑图像SR的情况下，所提出这些改进表明，MMD正则化的联合学习特性对CSC的影响比经典的基于稀疏编码的方法以及最新的技术水平更大。它指出，使用MMD结合联合CSC确实提高了学习滤波器对的表示能力。4.2. 同时实现超分辨率和交叉模态综合为了全面测试所提出的WEENIE方法的鲁棒性，我们对涉及六组实验的两个数据集执行SRCMS：（1）从LR PD-w采集合成SR T2-w图像，（2）反之亦然;(3)基于预处理数据从LR PD-w输入生成SR T2-w图像（即，头骨捆扎和偏置校正真实值（PSNR，SSIM）ScSR（31.60，0.9354）Zeyde（33.68，0.9544）ANR（34.16，0.9569）NE+LLE（34.12，0.9555）A+（34.70，0.9599）CSC-SR（34.75，0.9601）维涅（35.34，0.9632）公制（平均值）ScSR [38][40]第四十话ANR [31]NE+LLE [3]A+[32]CSC-SR [11]腊肠峰值信噪比（dB）31.6333.6834.0934.0034.5534.6035.1356079图4. 使用不同方法的合成结果的视觉比较公制（平均值）IxiPD−> T2T2−> PDPD−> T2+PRET2−> PD+PRE腊肠MIMECSWEENIE（注册）腊肠MIMECSWEENIE（注册）腊肠峰值信噪比（dB）37.7731.7730.6030.9333.4329.8530.2931.00SSIM0.86340.85750.79440.80040.85520.75030.76120.8595公制（平均值）NAMICT1−> T2T2−> T1MIMECSVe-USVe-S腊肠MIMECSVe-USVe-S腊肠峰值信噪比（dB）24.3626.5127.1427.3027.2627.8129.0430.35SSIM0.87710.88740.89340.89830.91660.91300.91730.9270表2.定量评估（PSNR和SSIM）：WEENIE与IXI和NAMIC数据集的其他综合方法由WEENIE（reg）表示（其可以直接证实涉及未配对数据的益处），以及在上述六种情况下使用针对MIMECS、V-US和V-S的所提出的方法的具有/不具有预处理的所有训练图像的结果，并在图11中展示示例。4用于目视检查。与MIMECS相比，我们的方法的优点表明，例如，在白质结构中，以及在整体强度分布中。我们在图中显示了定量结果图5. SRCMS结果：IXI数据集上的WEENIE与MIMECS。图6. SRCMS：Weenie vs. NAMIC数据集上的MIMECS。（4）反之亦然;（5）从LR T2-w对象合成SR T1-w图像，（6）反之亦然。前四组实验在IXI数据集上进行，而最后两个案例在NAMIC数据集上进行评估最先进的合成方法包括Vemulapalli的然而，Vem- ulapalli的方法不能应用于我们的问题，因为它们只包含在NAMIC数据集中使用的跨模态合成阶段。原始数据（ 未 经 降 解 处 理 ） 用 于 所 有 Vemulapallis 方 法 。MIMECS考虑到图像SR，采用两个独立的步骤（即：合成+SR）来解决问题。我们比较我们的结果只使用注册的图像对图5和图6，并分别在表2中总结了平均值。可以看出，我们的算法在两个完整的数据集上的性能是一致的，几乎所有的主题都达到了最佳的PSNR和SSIM。5. 结论本文提出了一种新的弱监督联合卷积稀疏编码（WEENIE）方法，用于3D MRI的同时超分辨率和跨模态合成（SRCMS）与传统的基于稀疏表示的监督环境下的联合学习方法不同通过设计异域对齐项，在一个公共特征空间中对一组滤波器对和映射函数进行联合优化。此外，我们将我们的模型与发散最小化项相结合，以增强鲁棒性。利用一致性先验，WEENIE直接使用整个图像，自然地捕获局部邻域之间的相关性。结果表明，该方法可以应用于脑图像SR和SR-CMS问题.广泛的结果表明，WEENIE可以实现对国家的最先进的方法优越的性能。带预处理的源源目标地面实况，目标地面实况MIMECS，WEENIE与前-WEENIE与前-腊肠预处理处理处理+仅注册处理T2-w -> PD-wPD-w -> T2-w56080引用[1] K. Bahrami，F.Shi，X.宗，H.W. 申，H.An和D.沈基于多水平cca和组稀疏度的3t mri类7t图像分层重建。在医学图像计算和计算机国际会议上辅助干预，第659-666页。施普林格，2015年。3[2] H. Bristow，A. Eriksson和S.露西快速卷积稀疏编码。IEEE计算机视觉和模式识别会议论文集，第391-398页，2013年三五六七[3] H. Chang，D.- Y. Yeung和Y.雄通过邻居嵌入实现超分辨率。计算机视觉和模式识别，2004年。CVPR 2004。2004年IEEE计算机协会会议论文集，第1卷，第I-I页。IEEE，2004年。二四七[4] L. 陈威Li和D.徐从rgb-d数据中学习识别rgb图像在IEEE计算机视觉和模式识别会议论文集，第1418- 1425页5[5] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络实现图像超分辨率。IEEE transactions on patternanalysis and machine intelligence，38（2）：295-307，2016。2[6] A. A. Efros和W. T.弗里曼。用于纹理合成和转移的图像绗缝。在第28届计算机图形和交互技术年会中，第341-346页。ACM，2001年。2[7] W. T.弗里曼，T. R. Jones和E. C.帕斯特基于实例的超分辨率。IEEE计算机图形学与应用，22（2）：56-65，2002. 2[8] W. T. Freeman，E. C. Pasztor和O. T.卡迈克尔学习低级视觉。国际计算机视觉杂志，40（1）：25-47，2000. 2[9] X. Gao，N. Wang，中国山杨D. Tao和X.李人脸素描-使用稀疏表示的照片合成与检索。IEEE Transactions onCircuits and Systems for Video Technology，22（8）：1213-1226，2012。2[10] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在IEEE计算机视觉和模式识别会议集，第2414-2423页，2016年。二、三[11] S. Gu，W.左角，澳-地Xie，黄胸拟谷盗D.孟，X. Feng和 L. 张 某 图 像 超 分 辨 率 卷 积 稀 疏 编 码 。 IEEEInternational Conference on Computer Vision ， 第 1823-1831页，2015年。7[12] F. Heide，W. Heidrich和G.韦茨斯坦快速灵活的卷积稀疏 编 码 。 2015 年 IEEE 计 算 机 视 觉 与 模 式 识 别 会 议（CVPR），第5135IEEE，2015年。5[13] A. 赫茨曼角E. Jacobs，N.奥利弗湾Curless和D.H.销售形象类比。第28届计算机图形和交互技术年会集，第327-340页。ACM，2001年。2[14] D.- A. 黄和Y.-C. 弗兰克·王。耦合字典和特征空间学习及其在跨域图像合成和识别中的应用在Proceedings ofthe IEEE国际计算机视觉会议，第2496- 2503页，2013年。2[15] J. - B. Huang，黄背天蛾A. Singh和N.阿胡佳从转换的自我样本的单一图像超分辨率。2015年IEEE计算机视觉与模式识别会议（CVPR），第5197-5206页。IEEE，2015年。2[16] Y. Huang，F.朱湖，加-地Shao，和A. F.弗兰吉基于rgb-d图像跨域学习的彩色目标识别。在机器人和自动化（ICRA），2016年IEEE国际会议上，第1672-1677页。IEEE，2016. 4[17] J. E. 伊格莱西亚斯 E. 科努科格鲁， D. 兹基奇， B.格洛克K. Van Leemput，和B.费歇尔合成mri对比度对模态间分析有用吗？在医学图像计算和计算机辅助干预国际会议上，第631-638页。Springer，2013. 3[18] K. Jia，X. Wang和X.唐 基于跨图像空间学习字典的图像 变 换 。 IEEE transactions on pattern analysis andmachine intelligence，35（2）：367-380，2013。4[19] A. Jog，S. Roy，A. Carass和J. L.王子磁共振图像合成通过补丁回归。2013年IEEE第10届国际生物医学成像研讨会，第350-353页。IEEE，2013。2[20] R.钥匙用于数字图像处理的三次卷积插值。IEEE声学、语音和信号处理汇刊，29（6）：1153-1160，1981。一、二[21] X. Li和M. T.果园新的边缘定向插值。IEEE图像处理学报，10（10）：15212[22] M.朗，G.丁俊晖，王俊太阳，Y. Guo和P.S. Yu.用于鲁棒图像表示的转移稀疏编码。IEEE计算机视觉和模式识别会议论文集，第407-414页，2013年。5[23] F. Monay和D.加蒂卡-佩雷斯跨媒体图像索引的语义方面 建 模 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，29（10）：1802 2[24]S. G. 穆勒M.W. 韦纳湖J. 塔尔河C. 彼得森C. Jack，W.Jagust，J.Q. Trojanowski，A.W. 托加，还有L.贝克特阿尔茨海默病神经影像学研究。北美神经影像临床，15（4）：869 1[25] F. Rousseau，A. D. N. Initiative等一种基于多模态先验的非 局部 图像 超分 辨率 方法。医学 图像 分析 ， 14（4）：594-605，2010。一、二[26] S. Roy，A. Carass和J. L.王子基于磁共振图像实例的对比度合成。IEEE transactions on medical imaging，32（12）：2348-2363，2013。二七八[27] A. Rueda，N. Malpica和E.罗梅罗使用过完备词典实现脑磁共振图像的单图像超分辨率。医学图像分析，17（