基于视觉词空间匹配的医学图像检索研究进展：基于位置的视觉词改善医学图像检索效率

沙特国王大学学报基于视觉词空间匹配的医学图像检索P. Shamna，V.K.Govindan，K.A.阿卜杜勒·纳齐尔计算机科学系，国家技术学院卡利卡特（NITC），卡利卡特，喀拉拉邦673 601，印度阿提奇莱因福奥文章历史记录：收到2018年2018年9月19日修订2018年10月5日接受2018年10月11日在线提供保留字：基于内容的医学图像检索基于空间位置的图像检索视觉文字编码技术空间金字塔A B S T R A C T基于内容的图像检索（CBIR）系统是近年来出现的最有前途和最好的图像检索范例之一。为了消除与CBIR系统相关的语义鸿沟，视觉词袋（BoVW）技术现在越来越多地被使用。然而，现有的BoVW技术未能有效地捕获视觉词的位置信息。提出了一种基于视觉词空间匹配的无监督医学图像检索框架。所提出的方法有效地计算空间相似性的视觉单词使用一种新的相似性度量称为跳过相似性指数。在三个大型医学数据集上的实验显示了有希望的结果。基于位置的视觉词的相关性有助于比最先进的CBMIR系统更准确和有效地检索解剖学上多样化和多模态的医学图像。©2018作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍医学图像检索的研究已经成为医生和放射科医生的粉笔马，特别是由于在最近的过去，在使用医学图像的prodigious增加。 医学成像技术的进步（Diekhoff等人，2017; Gherase等人，2017; Hussain等人，2017; Lord 等 人 ， 2017;Miwa 和 Otsuka ， 2017;Woz'niak 等 人 ，2018b;Xie等人， 2018）和自动诊断系统（Muhammad等人，2017;Wang等人，2018;Woz'niak等人，2018a;Woz'niakand Poznap ，2018）导致医院大量收集医学图像。现代医院以DICOM（医学数字成像和通信）格式存储医学图像。如今，医生依靠基于文本的DICOM属性从医学图像库中检索图像。然而，DICOM属性需要手工制作并手动注释-这是一个容易出错且昂贵的过程（Mustra等人， 2008年）。因此，一个可靠的基于内容的医学图像检索（CBMIR）*通讯作者。电 子 邮 件地 址 ： shamnapootheri@gmail.com （ P. Shamna ） ， vkg@nitc.ac.in（V.K.Govindan）、nazeer@nitc.ac.in（K.A. Abdul Nazeer）。沙特国王大学负责同行审查需要开发基于视觉线索的系统以更有效地检索图像。词袋首先应用于文档分类，后来适用于图像分类和检索等计算机视觉应用。BoVW（Csurka等人，2004）基于图像中视觉词的计数将图像表示为视觉词的直方图。近年来，基于BoVW的图像检索由于其较其他视觉特征选择方法更好的表达能力和语义区分能力而受到广泛关注。BoVW方法记录视觉词的计数以表示和从数据集中检索图像。空间金字塔匹配（Lazebnik和Schmid，2006）是最流行的BoVW方法，其将空间信息结合到无序直方图中。在空间金字塔映射中，图像被分成更小的块，并且计算每个子区域的BoVW。最近的图像检索系统采用高级视觉字 编 码 （ Huang 等 人 ， 2011; Sánchez 等 人 ， 2013; Suharjito 和Repubka，2017; Wu等人，2012）和主题建模概念（Blei等人，2010;Li等人，2015; Swamy和Holi，2013），以改善图像的语义表示。（Avni等人， 2011）采用了从CBMIR的医学图像的局部块生成的BoVW。（Haas等人，2012）使用基于SIFT的描述符使用基于超像素的兴趣点来创建用于CBMIR的BoVW。（Yang等人，2012）通过在感兴趣区域（ROI）中采用密集采样的原始强度值的BoVW来检索局灶性肝脏切片。（García Seco De Herrera等人， 2013）创建了Bag ofColors来分类和检索彩色医学图像。https://doi.org/10.1016/j.jksuci.2018.10.0021319-1578/©2018作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comP. Shamna等人/Journal of King Saud University59ωffiffiffi¼2pr2（ Foncubierta-Rodríguez 等 人 ， 2013 ） 实 现 了 主 题 建 模 技 术（Hofmann，1999），以从字典中删除琐碎的视觉单词，并使用更有意义的BoVW有效地检索图像。（Huang等人，2014）提出了一种分区学习方法，通过从放射科医生标记的肿瘤区域提取BoVW来检索图像。（Srinivas等人，2015年）提出了CBMIR使用BoVW和稀疏编码方法，通过将图像划分为不同的区域。（Cao和Cao，2016年）通过结合BoVW和主题建模（Hofmann，1999年）特征来对医学图像进行分类。CBMIR 方 法 依 赖 于 基 于 BoVW 的 计 数 （ Cao 和 Cao ， 2016年;Foncubierta-Rodríguez等人，2013年; García Seco De Herrera等人，2013; Haas等人，2012）忽略视觉词的区分位置信息，以计算图像之间的相似度。只有少数方法通过将图像划分为不同区域来考虑空间信息（Huang等人，2014; Srinivas等人，2015年; Yang等人，2012年）。分割方法是旋转变量的，并且不能分析和比较视觉词的全局空间细节-这是评估医学图像中解剖或结构相似性的基本特征。看来，最近的CMBIR方法采用BoVW不能有效地整合和比较视觉词的空间信息。从解剖学上多样化的多模态数据集中检索医学图像是一项具有挑战性的任务。医学图像大多是灰色的，单靠视觉文字的计数是不可能的。正确地表示或分析医学图像的解剖结构。利用视觉词的空间信息将有助于进一步增强医学图像的表示能力。在本文中，我们提出了一个基于位置的相关技术检索医学图像的数据集组成的不同的模态和身体区域。本文的主要贡献是位置特征：每个视觉词的空间位置表示为视觉词到图像中心的距离以及视觉词到参考轴的角度。顺时针排列的位置特征结合了图像中视觉词的旋转不变空间信息Skip Similarity Index：提出了一种新的相关性度量，Skip SimilarityIndex，用于计算变长位置特征向量的位置相似度。由于每个人的解剖结构的差异或成像条件的差异，属于相同类别的医学图像中的视觉词的计数可能不同。Skip Similarity Index通过跳过不匹配的位置特征，有效地度量了每个视觉词之间的顺序位置相似性，而不是比较视觉词的数量。本文的其余部分组织如下：第2节描述了拟议的方法。第3提供了实验结果和所提出的方法与国家的最先进的CBIR系统的比较。第4节通过强调这项工作的重大贡献和未来研究的范围来结束本文。2. 材料和方法提出的图像检索系统有两个阶段：1）离线位置特征提取和2）在线检索。图1显示了所提出的CBMIR框架的工作流程在位置特征提取阶段，从预处理（增强、对比度增强等）中生成字典和视觉词数据库中的图像计算每个视觉词的位置，然后从第一象限开始按顺时针顺序排列。这些位置特征被存储在在特征数据库中。在检索阶段，视觉词在查询图像中的位置估计。将查询图像中按顺序排列的位置特征与数据库中的位置特征进行比较。检索系统使用所提出的跳过相似性指数来计算查询图像和数据库图像（测试图像）中每个视觉词的位置相似性。最后根据位置跳过相似性指数对图像进行排名。现在，当要处理查询时，只从数据库中检索排名靠前的图像。2.1. 视觉词生成过程视觉词是图像重要区域（关键点）周围的补丁的有意义的视觉表示。视觉单词生成过程中涉及的四个主要步骤如下所示1. 关键点检测：我们使用尺度不变的斑点检测器-高斯差分（DoG）滤波器，在等式（1）中给出。（1）检测图像中的关键点。DoGx;y;rGx;y;kr-Gx;y;rωIx;y1其中，Gx;y;r=1 e-1 x2y2r =2r2表示高斯滤波器，Ix;y表示输入图像，并表示x和y处的卷积运算（Lowe，2004）。七种不同的尺度是从初始比例尺r11/4 2开始使用; 比例因子k =p2，最后一级r716、检测图像中的关键点。DoG滤波器通过去除代表噪声的高频分量和代表图像中均匀区域的低频分量来初始关键点（（x，y）图像像素坐标）被选择为DoG在两个附近尺度处的极值（最大值或最小值）通过丢弃低对比度关键点并从初始关键点中消除沿边缘定位的不稳定关键点来选择最终关键点（Lowe，2004）。图2描绘了胸部X射线图像中的检测到的关键点和关键点周围的补丁。2. 关键点描述：我们通过尺度不变特征变换（ SIFT ）描述符（Lowe，2004）描述了关键点周围的补丁SIFT是在最近的医学图像应用中使用的成功的局部特征描述符之一（Cao等人，2015;García Seco De Herrera等人，2013年; García Secode Herrera和Müller，2014年; Markonis等人，2014; Simpson等人，2015;Villegas等人， 2015年）。SIFT特征是在每个关键点的邻域中的8个方向（特征向量的128个元素）的4X4直方图3. 视觉词生成：视觉词通过使用K-Means聚类对SIFT描述符进行每个聚类中心代表字典中的一个视觉词。为了避免K均值聚类不佳，导致形成具有相似含义的视觉单词，我们使用简单聚类搜索（SCS）算法（SimpleClusterSeeking和Gonzalez，1974）以最小欧几里得距离（距离阈值）初始化聚类中心。由于用户在K均值中提供聚类数，因此必须提供距离阈值作为SCS算法的输入。最佳距离阈值是通过Calinski Harabasz方差比准则（Calinski and Harabasz，1974）评估随机选择的距离形成的聚类来选择的。4. 量化：图像中关键点周围的补丁与字典中最接近的视觉单词相匹配。BoVW（Csurka等人，2004）基于图像中视觉词的频率将图像表示为视觉词的直方图。图3描绘了视觉词生成过程和图像的BoVW表示中●●60P. Shamna等人/Journal of King Saud UniversityFig. 1. 建议的图像检索系统的工作流程。图二.胸部X射线中由高斯关键点检测器的差异检测到的显著图像区域（关键点）。The‘x’ symbol indicates the pixel coordinate position2.2. 该方法2.2.1. 位置特征视觉词的位置信息是基于图像的应用中的一个重要BoVW方法未能将视觉词的空间细节纳入图像中。我们提出了一个基于位置的相关技术的视觉词使用跳过相似性指数。该方法有效地捕捉视觉词位置的接近性，并更准确地检索解剖相似的图像视觉词“v”在图像中的位置如图所示。 四、“v”的位置特征这些位置特征从第一象限开始按顺时针顺序排列，以保持图像平面中视觉词位置的顺序。2.2.2. 跳跃相似性指数医学图像中的视觉词是从图像重要区域中提取的灰色斑块。这些视觉词的位置将有助于区分医学图像的解剖结构。所提出的方法估计位置-P. Shamna等人/Journal of King Saud University61图3.第三章。视觉词生成和视觉词袋（BoVW）表示过程中的不同步骤圆圈的颜色代表字典中的视觉单词，而基于视觉词的匹配，以提高检索性能的医学图像解剖不同的医学数据集。视觉词的位置特征向量的长度取决于视觉词在图像中的出现。我们提出了一种新的Skip Similarity Index来计算这些变长位置特征向量的位置相似度，通过跳过62P. Shamna等人/Journal of King Saud University●●← ←●●n●12ðÞ●MnMnMnMn如图2所示，两幅图像中视觉词的位置匹配。 六、算法1：在查询和测试图像输入：qLocationv：[qlv，qlv，●中视觉词v的定位特征1qlv，.. . ，qlv]2查询图像，其中M是查询图像中v的3M 占用率tLocationv：[tlv，tlv，tlv.. . ，tlv]视觉词v在测试图像中的位置特征，其中N是3n测试图像中v的出现。DT：偏差阈值输出量：位置之间允许的绝对差值见图4。图像中视觉词“v”的位置无与伦比的功能。图5示出了视觉词“v”在三幅图像中的位置特征。在查询图像和图像A中的视觉词“v”的计数当我们基于视觉词“v”的计数来计算图像的相似度时，查询图像与图像B匹配基于计数的方法无法分析查询图像和图像B之间的结构相似性。视觉词“v”在查询图像中的位置特征SSIv（Query，Test）跳过视觉词v在查询和测试图像中。1. 设m1，n1，从查询图像和测试图像的第一个位置特征开始.2. LocationMatch= 0初始化LocationMatch：位置匹配为零。3. 计算LocationDif f f作为位置qlv和tlv的归一化绝对差。4. if（locationDif f）then5.LocationMatch = LocationMatch + 1●匹配位置特征qlv和tlv，6. 其他7.SkipQueryDi f erence=与图像B中位置特征的匹配度高于图像A中的匹配度如图所示的图像所示。 5（b）和（c），计数qlv2011年1月1日和TLV由于人的物理结构或由于成像条件，视觉词“v”的“x”在具有相似解剖结构的图像中可能变化。为了更准确地编码这种可变长度的位置特征，我们提出了一个新的相似性指数称为跳过相似性指数。跳过相似性指数通过跳过额外或缺失的视觉词来关联位置特征8.SkipTestDi f erence =标准化绝对差qlv和TLVðmÞ ðnþ1Þ9.MinLocationDif参考= Min（SkipQueryDif参考，SkipTestDif参考）10.如果（MinLocationDif参考= DT）则11.if（MinLocationDif参考= SkipQueryDif参考）然后12.跳过qlv更新m = m +1所提出的基于位置的相关性的视觉单词使用跳过相似性指数的算法1中详细说明之间的匹配13.其他ðmÞ两个图像中的视觉词的位置是基于14.跳过TLV更新n = n +1偏离阈值偏差阈值决定偏差-15.end ifðnÞ在估计两个位置特征之间的匹配时，位置中允许的差异或差异。如果两个位置特征之间的归一化绝对差高于偏差阈值，则跳过位置。位置特征的顺时针排序保留了图像平面中视觉词的顺序排列。实验结果表明，跳跃因子（连续跳过的数量）限制为一个位置特征，通过考虑相似图像中位置的顺序，得到了更好的结果。通过位置特征的循环相关来保证位置特征的匹配，以计算跳过相似性指数。图图6示出了图5中给出的查询图像与图像A和B的所提出的位置相关性的示例。如果位置的归一化绝对差高于偏差阈值（20%），则我们跳过该位置（由红色阴影区域指示）。如果位置差异在偏差阈值范围内，则我们匹配位置（由灰色阴影区域显示）。查询图像和图像A之间的跳过相似性指数为25%（因为八个位置特征中有两个位置匹配查询图像和图像B之间的跳过相似性指数为89%（因为九个位置特征中有八个位置匹配建议的跳过相似性指数有效地计算16.LocationMatch = LocationMatch + 1●匹配位置特征qlv和tlv跳过其他位置特征17.end if18. end if19. m= m+1，n = n +1移动到下一个位置要素20. 重复步骤3至19，直到测试或查询图像的位置特征耗尽21. SSIv（查询，测试）=（2 *位置匹配）/（M + N）每个位置匹配中匹配的位置要素（qlv和tlv）基于查询和测试图像中的“v "的位置方式匹配的计数来计算查询和测试图像中的SSI中的视觉词”v"的跳过相似性指数（2））。该方法通过对字典中的所有视觉词的跳过相似性指数求和来估计查询图像和测试图像之间的总跳过相似性指数（TotalSSI），如等式（1）所示（三）、建议CBMIR系统排名和检索图像从数据库中的TotalSSI分数的基础上。排名靠前的图像具有更高的TotalSSI分数，表明与查询图像中的视觉词的基于位置的相关性更强。P. Shamna等人/Journal of King Saud University63;X图五.视觉词“v”在三个图像（a）图像A（b）查询图像（c）图像B中的位置特征。图中的“U”符号表示不匹配的位置，“U”符号表示图像A和B与查询图像的匹配位置，“U”符号的颜色表示位置中的对应匹配。图六、箭头附近的数字指示执行匹配的顺序红色箭头表示不匹配，绿色箭头表示位置匹配实线箭头指示匹配或不匹配，但不跳过位置特征。虚线箭头通过跳过位置特征来指示匹配或不匹配。红色阴影区域表示跳过的位置，灰色阴影区域表示匹配的位置。（a）跳过查询图像和图像A的相似性指数计算（b）跳过查询图像和图像B的相似性指数计算。查询图像和测试图像中按位置匹配的视觉词0v0的SSIv查询测试计数查询图像和测试图像中视觉词0v0的总数ð2ÞKTotalSSI查询;测试验证SSIv查询;测试验证3查询v1/4其中，K是字典中视觉单词的总数3. 实验和结果3.1. 实验工具和设计利用Matlab 2015b软件实现了该方法。从数据集中选择了包括10个类别的数千张图像，以优化系统参数-距离阈值和偏差阈值。使用距离阈值初始化K-means中的聚类中心（K），偏差阈值用于确定两个位置特征之 间 的 匹 配 。 我 们 使 用 简 单 聚 类 搜 索 （ SCS ） 方 法 （ Jesus 和Gonzalez，1974）来初始化K均值的固定聚类中心，以在每次运行中获得一致的结果SCS将确保字典中的聚类通过随机选择的距离保持初始化聚 类 ， 并 通 过 Calinski Harabasz 方 差 比 准 则 （ Calinski andHarabasz，1974）进行评估。基于评估，对于SCS，固定聚类之间的550欧几里德距离度量的距离阈值。在实验中，具有距离阈值550的SCS将多模态和Kvasir数据集的聚类数（K）初始化为55和50。基于64P. Shamna等人/Journal of King Saud University×在化学分析中，实验的偏差阈值设定为20%如果位置之间的归一化绝对差小于或等于20%，则我们匹配视觉词的位置。有关优化程序的更多详细信息，请参见附录A。3.2. 数据集描述与许多CBMIR系统的直接比较是不可能的，因为用于实验的图像不是公开的。我们评估了所提出的系统的性能与两个大的医学图像数据集组成的不同的身体器官。将所有图像的大小调整为512 -512，并将彩色图像转换为灰度格式进行评价。3.2.1. 多模态数据集多模态数据集是从公开可用的医学数据库中收集的，包括来自不同模态（MR、CT、PT、PET、OPT、X射线等）的7200幅图像根据人体器官，数据集分为24类，每类包含300幅图像。从癌症成像档案（“The Cancer Imaging Archive（TCIA）- A growing archiveof medical images of cancer，”2014）中选择22个类别选自Messidor数据集（Decencière等人，2014年）。关于23个类的更多细节在（Qayyum等人，2017年）。第24类为来自IRMA数据库的侧胸X射线图像（Lehmann等人，2004年）。图7呈现了来自多模态数据集的样本图像。3.2.2. IRMA 2009数据集IRMA数据库（Lehmann等人，2004）由如图8所示的不同模态和取向的不同身体部位的扫描灰度级X射线图像组成。IRMA图像的特点是对比度和强度的变化。IRMA中的图像包含主要伪影，例如人工植入物、X射线边界等。IRMA图像在类别内也有显著变化，并且两个类别之间具有实质性相似性。所有这些变化使得使用IRMA数据库自动检索医学图像成为一项具有挑战性的任务。3.2.3. Kvasir数据集Kvasir数据集（Pogorelov等人，2017）由医学专家注释的4000幅彩色内窥镜图像组成。根据解剖学、病理学或息肉切除过程，将图像分为8个不同类别（每个类别500张图像）图9示出了来自Kvasir数据集的样本图像。见图7。 来自多模态数据集的样本图像，包括不同的身体部位（a）大脑（b）肝脏（c）甲状腺（d）肾脏（e）眼睛。见图8。来自IRMA数据库的样本图像：（a）-（f）来自IRMA数据库的样本图像，由不同的身体部位组成;（g）P. Shamna等人/Journal of King Saud University65(a)（b）（c）（d）（e）图9.第九条。来自Kvasir数据集的样本图像，包括内窥镜图像（a）息肉（b）Z线（c）染色提升息肉（d）正常幽门（e）盲肠。3.3. 评价矩阵医学图像检索系统将使用基于等级的措施进行评估，因为医生可能只对分析检索到的图像的顶部结果感兴趣。我们已经评估了检索性能精度在L（P@L），平均精度（MAP）和精度召回曲线。对于一个检索系统，查准率和查全率值是根据方程计算的（4）和（5）。P@L表示由系统提取的前L个图像中精确度¼检索到的相关图像数量=检索到的图像总数为1000调用/4检索到的相关图像数量=相关图片总数5精确度和召回率值可以使用精确度-召回率曲线以图形方式表示，通过在图像的排名顺序中的每个位置处计算它们。平均精确度（Aver-age P）是通过对不同回忆水平下的精确度进行平均而得到的检索系统的MAP（平均精度）表示为所有查询图像的AverageP值的平均值。3.4. 与最先进方法的在最近的文献中，我们评估了建议CBMIR系统的监督和无监督技术。由于标准医疗数据集不可用于比较，我们使用深度卷积神经网络（DCNN）中采用的多模态数据集（Qayyum等人，2017），IRMA2009数据集（Ahmad等人， 2018）（Srinivas等人， 2015年）（格林斯潘和Pinhas，2007年）和Kva- sir数据集从事（艾哈迈德等人，2018年，2017年）框架。Qayyum等人提出了使用监督DCNN的CBMIR框架（Qayyum等人，2017年）。使用从多模态数据集中随机选择的5040个图像训练DCNN，并使用剩余的2160个图像评估检索性能。Qayyum等人使用两种策略评估了检索系统的性能：使用类预测的DCNN和不使用类预测的DCNN。我们用类似的多模态数据集评估了所提出的系统，其中所有23个类与DCNN中的相同（Qayyum等人，2017年）。DCNN中使用的第24类由公开不可访问的膝关节MRI图像（“Osirix，Pixmeo SARL，Geneva，”2010）组成，而不是我们还通过使用BoVW实现最近的基于内 容 的 检 索 方 法 来 评 估 所 提 出 方 法 的 性 能 （ Cao 和 Cao ，2016;Foncubierta-Rodríguez等人，2013; Li等人，2015;Suharjitoand Repubka，2017）. 图10和表1中的结果清楚地表明，与文献中最近的CBMIR系统相比，所提出的方法对于初始召回水平具有高准确率。见图10。提出的方法的精确-召回曲线，DCNN（Qayyum等人，2017）、使用Fisher向量的BoVW（Suharjito和Repubka，2017）、使用PLSA的BoVW（Cao和Cao，2016）、使 用 LDA 的 Bag of Topic （ Li 等 人 ， 2015 ） ， Meaningful BoVW （ Foncubierta-Rodríguez et al.， 2013）使用多模态数据集。我们使用深度学习方法（Ahmad）分析了所提出的系统与最近CBMIR 系 统 的 性 能例 如 ， 2018 ， 2017; He 等 人 ， 2016;Krizhevsky等人，2012;Qayyum等人，2017年）。我们使用经过充分训练的多模态数据集（Qayyum等人，2017）和迁移学习（He etal.，2016;Krizhevsky等人， 2012）深度学习网络。具有57个类别的IRMA-2009数据集（Tommasi等人， 2009）被用于将所提出的系统的检索性能与从卷积特征生成的紧凑二进制码（Ahmad等人，2018年）。使用包含彩色内窥镜图像的Kvasir数据集来评估所提出的系统的性能，该系统具有在（Ahmad等人，2018年、2017年）。二进制码卷积特征的精确度@50近似地从（Ahmad等人， 2018年）。使用从数据集中随机选择的查询图像来评估所提出的方法的性能表2中的总体结果表明，所提出的无监督方法比用于比较的深度学习方法实现了更好的检索结果。Srinivas等人提出了一种稀疏无监督字典学习方法（Srinivas等人，2015）使用来自八类IRMA 2009数据集的2600张图像。他们通过将图像划分为小区域来合并空间信息，如图11所示。稀疏字典学习方法（Srinivas等人，2015）使用从数据集中随机选择的14个查询图像实现了97.14%的P@10。我们通过实现两种非监督字典编码技术来评估所提出的系统在相同数据集上的性能：显著性编码66P. Shamna等人/Journal of King Saud University表1检索结果：P@L（L = 21、42、63）和MAP值（使用多模式数据集）。粗体表示每个类别中的最佳值方法P@21P@42P@63地图该方法80.50%73.60%64.80%69.70%DeepCNN（using class prediction）Qayyum et al. （2017年）71.50%百分之七十一点三69.50%百分之六十九DeepCNN（without using class Prediction）Qayyum et al. （2017年）53.90%53.6553.2553.20%BoVW使用Fisher矢量Suharjito和Repubka（2017）60.70%49.00%42.80%50.27%BoVW使用PLSACao和Cao（2016）71.62%65.32%百分之五十五点九五62.1%Bagof Topics using LDA Li et al. （2015年）53.27%48.28%39.54%47.00%Foncubierta-Rodríguez et al. （二零一三年）百分之七十三点三65.57%57.22%62.88%表2将所提出的方法与使用深度学习方法的最新CBMIR系统进行比较。粗体表示每个类别中的最佳值（随机选择的查询图像用于评估）。* 未指定：未指定查询图像或类的数量#Images #Query #类方法结果数据集多模态数据集（灰度图像）见图11。稀疏字典学习中使用的特征提取技术（Srinivas等人， 2015）通过将图像划分为小区域并将这些区域划分为具有相同面积的圆。(SC) 由Huang et al. （2011）和Wu et al. （2012年）。我们使用两级空间金字塔（Lazebnik和Schmid，2006）将空间信息纳入SC和GSC。表3描述了实验结果。该方法在检索前10幅图像时达到了100%的准确率。为了进一步分析具有金字塔的SC的性能（Huang等人，2011）、具有金字塔的GSC（Wu等人，2012），我们扩展了相同的实验，并对P@L（L = 20，30，40）和MAP值进行了评估。图中的结果。 12，表3表3所提出的方法的精度为10，稀疏字典学习（Srinivas等人， 2015）、使用金字塔的组显著性编码（Wu等人，2012）、使用金字塔的显著性编码（Huang等人， 2011）使用IRMA数据集。粗体表示每个类别中的最佳值见图12。所提出的方法的精确-召回曲线，具有金字塔的组显著性编码（Wu等人，2012）、具有金字塔的显著性编码（Huang等人， 2011）使用IRMA数据集。粗体表示每个类别中的最佳值。和4说明了与用于比较的分割方法相比，结合旋转不变空间信息而不分割图像的所提出的方法具有更好的图13描绘了查询图像的前10个检索图像。检索结果表明，检索前十名的图像，图13（a）中给出的所提出的方法在结构上非常类似于右膝的给定查询图像而SC和GSC检索图像，在图13（b）和（c）中给出，不仅从右方法P@10建议方法100%稀疏字典学习Srinivas et al. （2015年）97.14%GSCwith Pyramid Wu et al. （2012）96.43%Pyramid Huang et al. （2011年）左膝也起，头骨和手类。检索结果证实，所提出的基于位置的编码方法有效地捕捉医学图像的解剖相似性，与基于空间金字塔显著性的编码技术相（Huang等人，2011年; Wu等人， 2012年）。我7200216024该方法平均动脉压= 69.70%DCNN Qayyum et al. （2017年）MAP = 69.00%剩余网18层He et al. （2016年）平均动脉压= 51.03%AlexNet（Krizhevsky等人， 2012年）平均动脉压= 51.26%数据集IRMA 2009数据集（灰度图像）II14,41010057该方法50岁以下儿童=83.9%15,363* 未指定* 未指定二进制码-卷积特征Ahmad et al. （2018年）P@50磅77.00%数据集Kvasir数据集（彩色图像）III40001608该方法P@50 = 60.48%40004000* 未说明16088二进制码-卷积特征Ahmad et al. （2018）RestrictedConvolutional Features Ahmad et al. （2017年）P@5047%P@50 = 74.02%P. Shamna等人/Journal of King Saud University67查询图像（一）该方法查询图像(c)带金字塔的表4P@L（对于L = 20，30，40）和所提出的方法的MAP，组显著性编码，显著性编码，使用IRMA数据集。粗体表示每个类别中的最佳值方法P@20P@30P@40地图该方法百分之九十七点一四百分之九十五点四三百分之九十三点九三59.42%GSCwith Pyramid Wu et al. （2012年）91.07%88.64%85.21%百分之五十Pyramid Huang et al. （2011年）84.29%82.36%79.93%50.12%查询图像（d）其他事项带金字塔的图13岁在 蓝色边界框中给出的查询图像（右膝）的前10个图像的检索结果。（a）第一行表示所提出的方法的检索结果（b）第二行表示具有金字塔的GSC的检索结果（Wu等人，（c）第三行表示具有金字塔的SC的检索结果（Huang等人，2011年）。绿色边界框表示相关图像，红色边界框表示通过该方法检索的不相关图像见图14。GMM-KL（Greenspan和Pinhas，2007）和使用IRMA数据集的建议方法的精确度-召回率曲线。高斯 混合 模型 与Kullback Leibler （GMM-KL ）（ 格林 斯潘 和Pinhas，2007年）框架使用图像特征，如强度（I），纹理对比度（C）和像素位置（（x，y）cordi- nates）检索和分类图像。GMM-KL将空间信息作为空间坐标。我们使用GMM-KL框架使用的对称数据库进行比较，该框架具有13个类别，每个类别中有50个图像，来自IRMA 2009数据集。图14中的精确度-召回率曲线示出了与GMM-KL相比，所提出的方法的更好的检索性能。表5提供了拟定方法和GMM-KL方法的P@L（L = 15、30）和MAP值的比较分析。表5P@L（L = 15，30）和建议方法的MAP和GMM KL（Greenspan和Pinhas，2007年）。粗体表示每个类别中的最佳值方法P@15P@30地图该方法百分之九十五百分之九十一点二72.01%03 TheDog（2007）百分之九十一百分之八十七百分之六十三4. 讨论我们发现，与最先进的CBIR系统相比，视觉词的基于位置的匹配提高了医学图像的检索性能（Ahmad等人，2018; Cao和Cao，2016;Foncubierta-Rodríguez等人，2013; Greenspan和Pinhas，2007; He等人， 2016年; Huang等人， 2011; Krizhevsky等人，2012; Li等人，2015; Qayyum等人，2017; Srinivas等人，2015年; Suharjito和Repubka，2017年; Wu等人，2012年）。与空间分割方法相比，旋转不变的位置特征（角度和距离）有效地记录了视觉词的空间信息（Huang等人，2011; Srinivas等人， 2015年;Wu等人，2012年）。提出的跳跃相似性指数通过关联图像中可变长度位置特征的顺序来估计图像之间的相似性。提出的方法使用Skip相似性指数分析医学图像的结构，并且从解剖学上多样化的数据集中更准确地检索图像。我们比较了所提出的方法与最近的作品在文献中使用的多模态数据集consisting的不同的身体部位。所提出的基于位置的无监督技术比有监督的DCNN（Qayyum等人，2017年）初始召回水平的方法。该方法的查全率越高，查准率值越低68P. Shamna等人/Journal of King Saud University与具有类别预测的DCNN相比。在CBMIR中，初始等级的检索性能比后面的召回水平更关键。表1和图10中的结果表明，所提出的方法优于主题建模（Cao和Cao，2016年; Foncubierta-Rodríguez等人，2013;Li等人，2015）和基于Fisher矢量的编码（Sánchez et al.，2013年;Suharjito和Repubka，2017年）最近CBIR系统中使用的BoVW方法。视觉词的空间信息有效地捕捉了医学图像的解剖结构。此外，与最先进的方法相比，在查询结果的精度和MAP方面，检索质量也得到了提高（Cao 和Cao，2016;Foncubierta-Rodríguez等人，2013; Li等人，2015; Suharjitoand Repubka，2017）基于无序的BoVW。表2中的结果表明，与使用深度学习方法的现有技术CBMIR系统相比，所提出的方法更准确地检索医学图像（Ahmad等人，2018; He等人，2016; Krizhevsky等人，2012;Qayyum等人，2017年）。多模态和IRMA 2009数据集的实验结果证明，该方法在从由灰色医学图像组成的解剖学上多样化的数据集检索图像方面优于深度学习方法。完全训练的基于DCNN的方法需要大量的标记医学图像进行训练，以充分发挥其潜力。具有迁移学习机制的深度学习方法通过用医学图像微调预训练的DCNN（用自然图像训练）来克服这个问题。我们比较了所提出的系统与CBMIR方法的性能，CBMIR方法使用完全训练的DCNN（Qayyum等人， 2017）和具有迁移学习机制的DCNN（Ahmad等人，2018，20