基于裂纹敏感卷积神经网络的骨折自动检测系统

医学信息学解锁22（2021）100452基于裂纹敏感卷积神经网络Yangling Ma，YiX in Luo*中国科学技术大学，合肥，230026A R T I C L EI N FO保留字：裂纹敏感卷积神经网络Schmid滤波器更快的RCNNA B S T R A C T骨折自动检测是计算机辅助远程医疗系统的重要组成部分由于滑倒等意外损伤，人体任意部位的骨骼经常发生骨折。事实上，许多医院缺乏有经验的外科医生来诊断骨折。因此，计算机辅助诊断（CAD）减轻了医生的负担，并识别骨折。我们提出了一种新的分类网络，裂纹敏感卷积神经网络（CrackNet），这是敏感的断裂线。在本文中，我们提出了一个新的两阶段系统来检测裂缝。首先，我们使用Faster Region with ConvolutionalNeural Network（Faster R-CNN）检测X射线图像中20种不同类型的骨骼区域，然后使用CrackNet识别每个骨骼区域是否骨折。总共使用了1052张图像来测试我们的系统，其中526张是断裂图像，其余的是非断裂图像。我们用海口市人民医院的X线图像对系统进行了性能评估，达到了90.11%的准确率和90.14%的F-测度。我们的系统比其他两阶段系统更好。1. 介绍骨折经常发生在婴儿、老年人和年轻人身上，原因是跌倒、撞车、打架和其他事故[1]。许多医生使用医学图像来判断是否发生骨折。随着医学精密仪器的发展，有很多方法可以获得多种高质量的医学图像，如X射线、计算机断层扫描（CT）、磁共振成像（MRI）和超声[2]。这是一种常规的方法，通过目视检查X射线图像来确定骨折的存在和严重程度，并尝试接受适当的治疗[3]。一个有经验的医生需要花很多时间检查骨折发生在X光图像。然而，在许多医院中，缺乏有经验的放射科医师来处理这些医学图像。为了帮助医生进行骨折检测，计算机辅助诊断（CAD）已广泛用于医学图像的分析，近年来受到越来越多的关注[4]。以前的工作[3，4]在骨折检测包括三个主要步骤：（1）X射线图像去噪，（2）特征提取，（3）图像分类。这些先前工作的一个共同点是，它们集中于单一解剖区域或单一类型的骨折[3]，例如胫骨（开放性骨折）、手臂和股骨颈（细微骨折）。骨折）。这种方法[4]只能识别骨骼图像是否骨折，而不能识别骨折区域然而，在实践中，专家医生必须检测不同解剖部位的骨折因此，更实用的系统将有助于合理地检测人体中不同类型骨骼上的骨折。由于不同类型的骨之间我们提出了一个具有这种通用能力的系统在这项研究中，我们提出了一个系统，该系统采用了使用Faster R-CNN和Crack-Sensitive Convolutional Neural Network（CrackNet）来检测骨折的想法。对于医生来说，利用X线图像来诊断骨折发生的部位是非常重要的。以前的方法只能检测单个骨区域（如桡骨远端）的骨折[3]。然而，在X射线图像中存在不同类型的骨骼的骨折。我们首先使用Faster R-CNN来检测X射线图像中每个骨骼的边界并对骨骼进行分类。第二步是通过使用Crack-Sensitive CNN来检测不同类型骨区域中的骨折。这种两阶段系统可以在X光图像中获得可能的骨折区域，以减轻医生如图1所示，利用我们的系统得到了骨骼更多的结果在补充实验中得到解决。最重要的是，我们的贡献如下：* 通讯作者。电子邮件地址：seeing@mail.ustc.edu.cn（Y.Luo）。https://doi.org/10.1016/j.imu.2020.100452接收日期：2020年6月20日;接收日期：2020年9月21日;接受日期：2020年10月11日2020年11月17日网上发售2352-9148/© 2020由Elsevier Ltd.发布这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuY. Ma和Y. 罗医学信息学解锁22（2021）1004522Fig. 1. 用我们的系统得到了骨折部位的X线图像。中间图片中的每个边界框X所表示的类别对应于下面矩形中所写的类别，该矩形与边界框X具有相同的颜色。第三图像中的边界框X表示断裂区域。1. 本文提出的两阶段系统在X射线图像中得到可能的骨折区域，以减轻医生2. 提出了一种新的裂缝敏感卷积神经网络，该网络具有良好的骨折识别特征表达能力。正如我们在实验中所展示的，CrackNet可以更好地反映断裂线。3. 我们是第一个使用Faster R-CNN检测20种不同类型骨骼的公司。第一章简要介绍了第二章的相关工作二、在Chap.4、描述了基于Faster RCNN和CrackNet的骨折检测系统实验结果和结论见第三章。5、Chap。6，分别。2. 相关工作X射线，创建任何骨骼的图像，包括手，手腕，臀部，骨盆等，是临床医学中最古老和最常用的形式之一[2]。骨折是一种典型的骨骼疾病，当骨骼无法承受外力（如直接打击、扭曲损伤或跌倒）时发生骨折[1]。骨折是骨骼中的裂缝，被定义为骨骼连续性被破坏的医学状况[1]。骨折的检测和正确治疗被认为是重要的，因为错误的诊断通常会导致无效的患者管理，增加不满和昂贵的诉讼[5]。骨折检测是一项具有挑战性的任务，特别是在存在噪声的情况下。它不同于传统的目标检测在几个关键方面：1. X射线图像中的不同骨骼在其尺度方面变化很大[5]。在人体骨骼结构图中，有不同类型的骨骼，如头骨、手腕、桡骨等。不同类型的骨折具有不同的纹理和形状，包括横向骨折、开放性骨折、单纯性骨折、螺旋形骨折和粉碎性骨折。因此 对于识别不同类型骨的骨折至关重要[6]。在骨折检测的早期工作中，研究人员主要关注使用计算机图形学和机器学习来检测特定骨骼区域的骨折[7]。据报道，他们使用自适应窗口，边界跟踪和小波变换来提取骨盆的特征在以前的工作[13]中，使用基于熵的阈值方法将X射线图像中的骨骼与其周围的肌肉区域分割开。许多人发现人体的一根骨头骨折。在参考文献[14]中，作者提出了一种系统，通过使用滤波算法来去除噪声，使用边缘检测方法来检测边缘，使用小波和Curvelet变换来提取特征，并在使用X射线图像的手骨中建立分类算法，如决策树，来自动检测骨折。柴等人[15]提出了一种基于灰度共生矩阵（GLCM）的算法来检测股骨中是否存在骨折。 同样在参考文献[16]中，他们通过使用改进的Canny边缘检测算法提取股骨轮廓，从股骨轮廓测量颈干角，然后使用颈干角建立分类算法来检测股骨骨折。在参考文献[17]中，作者使用预处理、分割、边缘检测和特征提取方法等处理技术对X射线/CT图像进行预处理，然后使用不同类型的分类器，如决策树（DT）和神经网络（NN）以及元分类器对骨折和非骨折图像进行分类，在40张图像上获得了85%的良好准确率。论文[7]采用了一种基于熵的分割方法，结合自适应阈值轮廓跟踪定位断裂线，以便于可视化断裂，然后识别其方向。测量，并评估长骨的骨损伤程度数字X射线图像。Mahendran和Baboo [18]提出了一种融合分类技术，用于自动检测胫骨（腿部长骨之一）中是否存在另一项研究[2，19]采用深度卷积网络（ConvNets），通过CT图像自动检测脊柱后段骨折。这些方法仅检测特定骨骼的医学图像中的骨折[2，7，15-18 ]，然而，这些方法不能检测人体中不同类型骨骼的医学图像中的为了辅助医生进行骨折检测，需要确定X线图像中骨折的具体区域。首先，我们将医学图像中的每一块骨头分开。对于骨的分割，以前的工作使用分割熵定量评估（SEQA）[20]，经典的Canny边缘检测器[21，22]和遗传算法[23]来分割医学图像。同样在参考文献[24]中，他们使用2D和3D CNN进行了CT图像，然后使用配准的主动形状模型进行检测自动股骨近端 分割 在结构磁共振图像中。骨折[8]。或者Yu等人。[9]使用基于特征融合的堆叠随机森林来检测X射线图像中的骨折。在从骨骼中提取边缘和形状特征之后，将多个分类器（例如，反向传播神经网络、K-最近邻、支持向量机、最大/最小规则、乘积规则）融合以设计为组合分类器来检测骨折[10，11]。其中，数学形态学已广泛用于骨折检测[12]。这些方法基于整个图像来确定图像是否断裂[4，7，12]，但不能确定哪个骨骼区域断裂。然而，这些方法不能对不同类型的骨进行分类。在本文中，我们考虑与骨折相关的先验信息，然后将一些传统的方法如Schmid滤波器集成到CNN中，称为CrackNet，它对骨折线敏感。我们提出 一个两阶段的系统：首先，我们使用Faster RCNN来检测骨骼，然后使用CrackNet来识别骨折。3. 相关背景知识本章介绍了该方法中使用的一些基本概念Y. Ma和Y. 罗医学信息学解锁22（2021）10045233.1. R-CNN图二. 目标检测。识别图像中主要对象的类别，但也可以通过在其周围绘制适当大小的边界框来定位许多其他对象。目标检测在现实中有着广泛的应用。我们需要检测数字图像中物体的位置和类别。它要求我们建立一个模型，模型的输入是一幅图像，模型的输出需要圈出图像中所有物体的位置以及物体所属的类别，如图所示。 二、第一个基于深度学习的目标检测算法是基于区域的卷积神经网络（R-CNN）[25]。如图 3、它是RCNN的架构，它由三个步骤组成：1. 通过选择性搜索生成约2000个区域建议。2. 将每个区域传递到卷积神经网络中以获得其特征图。3. 将上一步的输出分为两部分：a利用支持向量机对每个区域进行分类。b通过线性回归来细化对象周围的边界boX（XR-CNN框架将训练网络分为多个步骤，相对繁琐。它需要微调CNN网络来提取特征，训练SVM来分类正负样本，并训练边界BOX回归器来获得正确的预测位置。此外，训练网络需要很长时间。因此，我们不使用RCNN框架进行骨骼检测。3.2. Faster R-CNN随着自动驾驶汽车、智能摄像头、人脸识别等数千种应用的出现，快速准确的目标检测系统市场正在蓬勃发展。这些系统不仅可以随着目标检测技术的发展，出现了多种检测框架。Fast R-CNN [26]和Faster R-CNN [27]是基于区域提议方法的。更快的R-CNN，图3.第三章。RCNN的架构，用于检测每一个 单一的骨头。这张照片来自Ref。[25].见图4。 用于检测每一个单一骨骼的更快RCNN的架构。图像经过CNN提取特征图，然后RPN获得可行区域。 最后，网络对这些区域进行回归和分类Y. Ma和Y. 罗医学信息学解锁22（2021）1004524×++××+图五. 剩余结构来自参考文献[29]。权重是指卷积网络中的卷积运算，加法是指单位加法运算。在R-CNN上显示了这些框架中最好的识别精度。首先，Faster R-CNN通过区域建议网络（RPN）找到区域建议，提取整个图像的特征向量，然后进行边界BOX回归和分类，如图4所示。最后，Faster RCNN输出包围对象的bounding-boX和该对象的相应类别更快的R-CNN网络有四个组成部分：1. 一组基本CNN层，由Conv Relu Pooling组成，用于提取输入图像的特征映射。通常，您可以选择具有13个卷积层的VGG16 [28]或具有101个卷积层的ReNet101 [29]。通过卷积层提取的特征映射用于RNP网络，以生成候选区域和全连接层，用于分类和边界回归。2. RPN（Region Proposal Network）的输入是前一个卷积层提取的特征图，输出是一系列候选区域。3. RoI池化层的输入是由卷积层提取的特征图和由RPN生成的候选区域RoI。其功能是将特征图中每个ROI对应的区域转换为固定大小的H W特征图，并将其输入到分类和边界回归的全连接层4. 该全连接层的输入是RoI池化层之后的H W特征图（RoI），并且输出是多维向量。然后，他们通过SoftMax和交叉判断每个ROI的类别从猫脑中发现了一个视觉神经元的局部反应效应，然后在输入图像上进行小尺寸核滚动和元素乘法的方法开始流行。这些可训练的内核被称为卷积内核，而越来越多的深度神经网络使用卷积内核（所谓的卷积神经网络，CNN）显示出强大的表示能力[30]。此外，CNN可以提取输入图像的局部和全局特征，因为卷积核的大小与CNN中的层之间的部分随着深度的增加而变大，这意味着它可以提取更多的“全局”特征。例如，浅层可以识别医学图像中的直线或弯曲曲线，而深层可以识别骨骼的整体形状，甚至是否骨折。因此，随着CNN深度的增加，提取的特征将越来越抽象，这可能是输入图像的潜在信息。在我们的系统中，我们使用ResNet [29]，它具有非常深的深度，表现出非常强大的表示能力，作为我们的识别体系结构。如参考文献[29]所述，该网络可以学习更细微的特征和更强的泛化能力。如图5所示，剩余部分（图的右侧）通常由两个或三个卷积运算组成。在我们的实验中使用的ResNet中的剩余部分是一个三层卷积。在ResNet中，xl可以具有与xl1不同数量的特征图。此时，您需要使用11卷积层（图5的左侧）来增加或减少维数。ResNet有许多类似于Fig.的结构。 五、4. 方法在本章中，我们首先介绍如何检测20种不同类型的骨骼，然后介绍如何识别它们是否骨折。4.1. 基于快速R-CNN的骨骼区域检测在诊断时，医生在一张X光片上判断是否发生了骨折之前，首先要认识到每种骨的类型及其在人体中的位置。我们的系统能够像有经验的医生一样检测每一块骨头，我们通过Faster R-CNN实现了这一点。4.1.1. 骨骼定位与识别首先，由于我们的任务是识别图像中的哪块骨头骨折，我们通过Faster R-CNN获得X射线图像中每一块骨头的位置和类型。然后我们可以提取骨骼区域的边界的每一个骨和做分类任务由一个更准确的识别系统。我们在系统中引入对象检测的想法是受到人类医生的启发。许多有经验的人类骨科医生会首先查看一个特定的骨骼，如头骨或胫骨，或其他类型的骨骼[31]。如果这一根骨头断了，他们会在上面做标记，如果没有， 他们会把视线移到别的地方，再次聚焦到另一块骨头上，然后递归地做同样的事情[12]。总之，医生每次都会针对某块骨头，判断是否骨折。因此，我们可以检测所有熵损失函数，并修改边界smoothL1损失函数。3.3. 卷积神经网络博X 通过通过Faster R-CNN一次识别特定的骨骼，并将其留给识别系统来推断其中哪些是断裂的。在我们的检测系统中，我们根据人体解剖学将所有人体骨骼分为20种不同类型的骨骼[31]，其中每一块骨骼在特定的骨骼区域都是相似的然而，与深度学习是当前最先进的机器学习技术。然而，传统的深度神经网络以向量为输入，在处理图像时效率较低。这一点的一些原因是，图像的像素通常在邻居中具有很强的关系，而向量输入不能正确地利用它，如果我们将图像扁平化为向量，则深度神经网络中的参数将太大而无法学习。科学家得到灵感任何骨骼在其他骨骼区域的长度，或厚度，或相对于整个身体的位置，或其他任何东西[31]。在我们的论文中，人体解剖学的20种不同类型的骨分别是头骨、锁骨、肩胛骨、肋骨、肱骨、桡骨、尺骨、掌骨、腕骨、指骨、指骨、椎骨、骨盆、股骨、髌骨、胫骨、腓骨、跟骨、跗骨和跖骨。通过这种方式，我们可以最大化每个骨骼区域之间的差异，这是一个很好的检测Y. Ma和Y. 罗医学信息学解锁22（2021）1004525e2σ2，R=x+y，（见图6。CrackNet：网络的输入是一个三通道图像。对于每个通道，使用由等式（1）获得的参数化滤波器核的卷积运算产生特征图。然后，根据最后一个维度将获得的二维特征图（三个通道）整合为三维特征图。最后，对新的特征图进行多层公共卷积层和分类全连接层，以获得最终输出（类别得分）。任务另外，骨骼我们使用Faster R-CNN作为我们的检测框架，因为它是对象检测中一种成熟的方法。4.2. 基于裂纹敏感卷积神经网络的在获得每个骨骼的边界框和类型之后，我们需要弄清楚该骨骼区域是否骨折。有很多传统的方法。例如，可以提取图像特征向量[15]，如纹理特征，边缘特征和波浪特征。然后，可以通过传统的机器学习算法（如SVM[11]和随机森林[9]。随着深度学习的发展，基于传统神经网络的图像识别算法逐渐占据主导地位。近年来，ILSVRC（ImageNet LargeScale Visual Recognition Challenge）中用于分类任务的最先进的神经网络是残差网络[29]。4.2.1. 传统纹理滤镜医生通过观察骨折线来判断骨折，骨折线是来自医学图像的图像纹理信息[1]。为了更好地区分裂缝和非裂缝，我们首先增强图像的纹理信息，然后通过ResNet进行识别图像纹理滤波器有Sobel滤波器[32]，Laplace滤波器[33]，Gabor滤波器[34]和Schmid滤波器[35]。通过实验验证，发现Schmid滤波器是最适合裂缝识别的滤波器。如参考文献中所述。[35]，Schmid滤波器具有旋转不变性，可以捕获不变的纹理描述。对于骨骼图像，Schmid滤波器可以该方法需要大量的实验验证以找到适合于骨折识别的参数值。并且容易出现过拟合现象。就像Refs一样。[36]，他们提出了称为Gabor卷积网络（GCN或Gabor CNN）的方法，将Gabor滤波器合并到深度卷积神经网络中，以增强深度学习特征对方向和尺度变化的抵抗力。在本文中，我们将Schmid滤波器融入卷积中，并在训练过程中通过链式规则更新两个超级参数的值[37]。对于骨折识别，我们提出了一个新的深度模型CrackNet，它从Schmid卷积层开始，并连接到常见的卷积层，如图6所示。图6中的Convs模块是ResNet。Schmid卷积层和普通卷积层之间的区别在于内核。一方面，Schmid卷积层获得的特征是方向性的。另一方面，Schmid卷积层的内核通过等式（1）仅具有两个参数。Schmid卷积层减少了用于生成卷积核的可学习参数的数量，并且可以加强对骨折线特征的提取。后面的实验结果证明，CrackNet加入Schmid卷积层提高了裂缝图像的召回率用于骨裂缝识别，常用的卷积模块是ResNet，因为ResNet有更好的特征表达。这样，我们就定义了裂缝网的前向传播.对于后向传播，通过链式规则更新Schmid核函数的参数.假设L是损失函数，w是每个卷积核，η是学习率，p是Schmid核函数的生成参数（σ和τ）。然后更新δ和更新后的参数P_i计算如下方程（来自Ref. [37]）：描述 的 骨 和 骨折 线 Schmid 过滤器主要δL通过核函数生成变换矩阵X，然后=p=wp，p=p-ηδ，（2）通过固定矩阵进行卷积运算。其核心功能如下：总之，我们可以通过Faster R-CNN获得所有不同类型的骨骼区域，并通过CrackNet识别它们是否骨折（2πτr）-r2√̅̅̅2̅̅̅̅̅̅̅̅̅2̅̅5. 实验其中，σ是高斯的标准偏差，τ是滤波器的高斯包络内的谐波函数的循环数，并且（x，y）表示piX el点的坐标位置。4.2.2. 裂纹敏感卷积神经网络σ和τ的值是通过人的经验获得的，因此使用Schmid滤波器可以获得更好的纹理描述然而，在这方面，在本章中，我们将评估基于Faster R-CNN的不同类型骨骼检测和基于CrackNet的区域分类的性能，以及使用所提出的两阶段系统的整体结果。F（r，σ，τ）=cosσY. Ma和Y. 罗医学信息学解锁22（2021）1004526===--表1Skeleton图像数据分布信息。类产品1产品2头骨3422下干483252上干484252上肢500263下肢500263总200110525.1. 数据集和指标5.1.1. 数据集在这项工作中，我们考虑了确定X射线图像中是否存在骨折的二进制分类问题，并检测其区域。数据集由3053张X射线图像组成，其中112张来自网站Radiopaedia [38]，其他来自医院DICOM文件。如表1所示，我们将整个数据集- 真阴性（TN）是指被正确标记为正常的正常（非骨折）图像。- 假阳性（FP）是指正常图像被错误地标记为断裂。- 假阴性（FN）是指被错误地标记为正常的断裂图像。在以下定义中，分别从准确度、精密度、灵敏度、特异性和F测量值方面评价了拟定系统的性能[39]。灵敏度表示被划分的所有阳性样本的比例，并衡量分类器识别阳性案例的能力，召回率与灵敏度相同。特异性表示被划分的所有阴性情况的比例，并且测量分类器识别阴性情况的能力。精确度表示在被划分为正情况的示例中实际为正的比例。F-Measure是一个综合评价指标，其值较高表明分类模型更有效。分成两部分。我们使用2001幅图像对目标检测网络和识别网络进行训练和测试，剩余的图像用于我们提出的两阶段系统与其他方法的比较。对于目标检测网络，我们使用了1800张来自于网络1的图像作为训练数据集，201张来自于网络1的图像作为测试数据集。对于识别网络，我们使用了194张来自于dataset 1的图像来获得20种不同类型的骨骼区域作为训练数据集，并使用48张来自于dataset 1的图像来获得20种不同类型的骨骼区域作为测试数据集。 如图 7、这些图像数据包含五大准确度TP+TNTP+TN+FP+FN精密TPTP+FP召回灵敏度TPTP+FNTN（三）（四）（五）身体的骨骼部分，即颅骨、上躯干、下躯干、下肢和上肢。图像分辨率为3052× 3052、1024×889专属性=TN+FP（6）等数据集信息见表1。5.1.2. 度量F措施2精确度召回率查全率+查准率（七）在区域块分类工作中，将分类器应用于任何实例上只有四种可能的结果。这些成果是：- 真阳性（TP），指的是被正确标记为已断开的已断开图像。IoU是物体检测算法预测的box与原始图像中标记的BOX之间重叠的度量，通过该值可以获得目标检测的准确性其计算公式如下：见图7。 外壳：（a）下肢，（b）下肢，（c）上肢，（d）上躯干，（e）下躯干，（f）头骨。Y. Ma和Y. 罗医学信息学解锁22（2021）1004527=图8.第八条。 外壳：（a）原始图像，（b）（ a ） 的人工标记，（c）使 用 Faste r R-CN N 的（a）输 出图 像 。IoU检测结果错误检测结果错误错误（八）首先，取每个点右侧的最大精度值，并将其连接成直线;直接计算平均精度（mAP）[40]是多个类别中AP的平均值。其值越接近1，检测框架越好。该指标是目标检测算法的重要指标。AP是由精确-召回曲线和横坐标包围的面积。AP值越高，分类器性能越好。Precision-Recall曲线主要是改变阳性样本的概率阈值，使分类器依次识别测试集，并根据不同阈值得到的Precision值和Recall值绘制曲线。横坐标是召回率值，纵坐标是精度值。在目标检测中，主要通过设置不同的IoU阈值来绘制精确度-召回率曲线，从而获得TP和FP。他在计算各品类的AP时，主要的计算方法是平滑曲线平滑曲线和调用轴（AP值）。在X射线图像中的骨定位工作中，我们使用常见的度量标准：平均精度（mAP）[40]。所有实验均在一台NVIDIA TITAN X中运行5.2. 基于快速R-CNNDICOM转换器软件用于将DICOM文件与医生对JPRG图像文件的诊断结论进行转换当医生发现骨折时，需要具体诊断骨折的类型。为了便于网络定位和识别骨骼，我们根据人体骨骼结构图将骨骼分为20种类型它们是指骨，掌骨，腕骨，尺骨，桡骨，Y. Ma和Y. 罗医学信息学解锁22（2021）1004528表2不同类型骨骼的平均精度表3区域分类的性能。classAPclassAP头骨0.9809指骨（四肢-手臂）0.7160拉普拉斯方法+ResNet索尔贝尔+ResNetGabor+ResNetResNetSchmid+ResNetCrackNet锁骨（上干）0.9011椎骨（上干）0.8958肩胛骨（上躯干）0.8182骨盆（下躯干）0.9242肋骨（上躯干）0.9013股骨（下肢）0.9960肱骨（上肢）0.9091髌骨（下肢）0.7435桡骨（上肢）0.8529胫骨（下肢）0.9091尺骨（上肢）0.7771腓骨（下肢）0.9477掌骨（上肢）0.7160跟骨（下肢）1.0000腕骨（上肢）0.8982跗骨（下肢）0.8974趾骨（下肢）0.7932跖骨（下肢）0.7273肱骨、肩胛骨、锁骨、肋骨、椎骨、颅骨、骨盆、股骨、髌骨、胫骨、腓骨、趾骨和跟骨。对于单个X射线图像，我们首先必须使用Faster R-CNN检测这20种不同类型骨骼的类别和位置。在训练之前，我们标记每个图像中每个骨骼的边界BOX，如图8所示。如图8所示，每个骨骼的位置由矩形框表示。有2001张X射线图像用于测量Faster R-CNN的性能，其中1600张用于训练集，200张用于验证集，201张用于测试集。在本文中，有21类（20种不同类型的人体骨骼，一个额外的类的背景）的目标检测。我们在Faster R-CNN中使用ResNet 101架构来提取图像特征。在训练过程中，最大迭代步长为70000，优化器为SGD，基本学习率为0.001，步长为50000。此外，我们使用微调策略来训练ResNet101。微调策略是我们在ImageNet数据集上训练ResNet101模型，然后保存其权重参数。在Faster R-CNN的训练过程中，ResNet 101使用这些权重参数进行初始化。如表2所示，测试集的mAP为0.82555，我们可以知道每个类别的平均精度。使用Faster R-CNN的图像测试性能如图8所示。根据这些结果，我们可以通过Faster R-CNN精确快速地定位每个骨骼并在图像上获取每个骨骼的区域。以前的工作只能分割骨骼，但他们5.3. 基于CrackNet在X射线图像中定位每个骨骼后，我们需要确定骨骼区域是否骨折。有242个原始X射线图像，这些图像来自评估Faster R-CNN的图像，用于训练和测试CrackNet。对242幅图像进行了骨块位置标记，得到了5743块骨块，其中骨折骨块723块。在这一分类中，骨折块是一个积极的例子。 在实验中，每类数据被分成五个相等的部分。其中三个被选为训练集，一个作为验证集，精度0.9195 0.9199 0.9131 0.9115 0.92380.9398精密度0.9583 0.9584 0.95590.96760.9614 0.9651灵敏度0.8729 0.8748 0.8660 0.8478 0.87970.9096特异性0.9638 0.9628 0.96020.97250.9657 0.96870.9136 0.9167 0.9087 0.8987 0.91840.9365其余的作为测试集。当训练时，为了平衡数据，通过旋转图像并改变图像的背景，将裂缝对于测试集，有145个骨折补丁和1004个非骨折补丁。然后，我们对每个模型进行五次训练，以减少偶然误差。在训练过程中采用随机梯度下降优化算法和微调策略，批量大小为50，初始学习率为0.001，权重衰减为0.0005。学习率降低到每4000次迭代的五分之一每个类别的数据都是排队的，并且在训练期间每个批次中的类别数据是我们报告了我们的算法在测试集上的性能，经过12，000次迭代，基于五次运行的平均值使用原始图像的ResNet，使用Gabor滤波器处理的图像的ResNet，使用Sorbel滤波器处理的图像的ResNet，使用Laplace滤波器处理的图像的ResNet，使用Schmid滤波器处理的图像的ResNet和使用原始图像的CrackNet进行比较。 如图 9、这四种纹理滤波都能反映X射线图像的骨折线信息，能较好地识别骨折。这些模型的试验结果如表3所示。除了ResNet模型，其他模型具有相同的计算复杂度。ResNet模型的计算复杂度最低。如表3所示，我们可以知道，首先使用采用纹理滤波对图像进行预处理，然后利用卷积神经网络进行分类，有利于裂缝识别。通过实验结果可知，四种纹理滤波算子对裂缝识别效果最好的是Schmid滤波器。另一方面，Crack-Sensitive CNN优于先用Schmid滤波器对图像进行预处理，再用ResNet进行分类的方法。从召回率来看，CrackNet最好，比其他网络高出3%。因此，Schmid褶积层对裂缝更敏感。从特异性的角度来看，ResNet是最好的，其他网络的效果是相同的。总之，CrackNet更适合骨折图像。更重要的是，很明显，召回率很低，如表3所示。其主要原因是裂缝种类繁多，每种裂缝图像的纹理信息不同。5.4. 两级系统通过本研究中提出的系统输入图像，图9.第九条。（a）锁骨 骨折的原始图像，（b）（a）的Schmid响应，（c）（a）的Gabor响应，（d）（a）的 Laplace响应，（e）（a）的Sorbel响应。Y. Ma和Y. 罗医学信息学解锁22（2021）1004529表4我们的系统和其他两阶段系统在X射线数据集上的性能方法更快的R-CNN+CrackNet（我们的系统）更快的R-CNN+Schmid+ ResNetFaster R-CNN+ResNet精度0.90110.89090.8859精度0.89730.89100.8861召回0.90490.89090.8859F-测量0.90140.89100.8860表5我们的系统和其他方法在Radiopaedia数据集上的性能图像，另一方面，我们比较我们的系统与其他方法上的Radiopaedia数据集。如表4所示，可以看出，最好的方法是使用更快的R-CNN和Crack-Sensitive CNN，其准确度高于90%，X射线图像的F测量值高于90%。如表5和表4所示，很明显，使用本文提出的系统显示出最佳结果。从召回可以看出，我们的系统对骨折线的敏感度更高。我们的系统可以更准确地识别骨折。如图10所示，通过本文提出的系统得到的图像，可以得到断裂区域。这有助于医生进行骨折检测，缩短诊断时间。此外，我们的系统的输入是包含任何不同类型的骨骼的图像。方法我们的系统更快的R-CNN+ Schmid+ResNet更快的R-CNN+ResNetResNet6. 结论准确度0.88390.8482 0.7679 0.8661精密度0.89090.8679 0.8000 0.87272004年12月31日在本文中，我们提出了一种新的系统来快速和系统地检测X射线图像中的骨折。我们第一次证明，深度学习技术的力量可以用来提供快速的F-测量2019年12月31日为医学图像分析的自动化提供了准确的解决方案。我们提出了一种新的分类网络，CrackNet，它对裂缝线敏感，更准确地识别裂缝。拟议图像中的断裂区域和区域位置。衡量该系统的标准是查准率、查全率、查准率和F-测度.另外，骨折部位标记正确的为阳性样本，其余为阴性样本。除了Faster R-CNN和ResNet之外，其他方法具有相同的计算复杂度。更快的R-CNN和ResNet具有最小的计算复杂度。测试数据集为DICOM文件转换的940张图像，其中470张为骨折图像，其余为非骨折图像，112张图像从Radiopaedia下载[38]，其中56张为骨折图像，其余为非骨折图像。一方面，我们在X射线系统不仅能够识别骨折骨，而且能够在X射线图像中定位该骨。它可以帮助医生快速发现骨折。在Radiopaedia数据集上进行的大量实验证实了该系统的有效性，达到了88.39%的准确率、87.5%的召回率和89.09%的精确率，在骨折检测任务上优于其他方法。将来，我们可以把这种两阶段制改为一阶段制。更快的R-CNN和CrackNet一起训练，而不是分两个阶段训练。见图10。外盖：（a）输入跟骨骨折的X射线图像，（b）输入尺骨骨折的X射线图像，（c）输入髌骨骨折的X射线图像，（d）由我们的系统检测到的（a）的骨折区域，（e）由我们的系统检测到的（b）的骨折区域，（f）由我们的系统检测到的（c）的骨折区域。Y. Ma和Y. 罗医学信息学解锁22（2021）10045210竞合利益作者声明，他们没有已知的可能影响本文所报告工作承认特别要感谢王世伟和海口市人民我们还要感谢中国科学技术大学数据科学实验室的支持附录A. 补充数据本 文 的 补 充 数 据 可 在 https ： //doi 网 站 上 找 到 。org/10.1016/j.imu.2020.100452。引用[1] BurrDB. 介绍-骨转换和骨折风险。肌肉和神经相互作用杂志2003;3（4）：408-9.[2] [10]王凯，王军，赖俊，刘军，谢一，李文。 深度学习和surf用于ct图像中跟骨骨折的自动分类和检测。Comput Methods Progr Biomed2019;171：27[3] E. Yahalomi，M. M.J. Werman，通过一小组X射线图像和更快的r-cnn训练的桡骨远端骨折检测。[arXiv：计算机视觉与模式识别]。[4] 李文，李文.使用深度卷积神经网络检测股骨转子间髋部骨折，具有骨科水平的准确性。Skeleton Radiol2019;48（2）：239-44.[5] M. 马加利奥，骨折检测。[6] Dhahir BM，Hameed IH，Jaber AR.根据创伤机制和骨折类型对骨折进行前瞻性和回顾性研究。ResJ Pharm Technol2017;10（11）：1994-2002。[7] Bandyopadhyay O，Biswas A，Bhattacharya BB.基于数字几何技术的数字x射线图像中长骨骨折检测。计算方法进展生物医学2016;123：2-14。[8] 吴J，Davuluri P，Ward KR，Cockrell C，Hobson R，Najarian K.创伤性骨盆骨折的ct检测。 J Biomed Imag 2012 2012：1.[9] [10]张文辉，张文辉.基于层叠随机森林特征融合的x射线图像裂缝检测。In：BiomedicalImaging（ISBI），2015 IEEE 12th international symposium on. IEEE;2015. p. 801- 5[10] Umadevi N，Geethalakshmi S.人体骨骼x光影像中骨折侦测的多重分类系统。在：计算通信&网络技术（ICCCNT），2012年第三届IEEE国际会议; 2012年。p.1-8号。[11] LumVLF，Leow WK，Chen Y，Howe TS，Png MA.骨的组合分类器X射线图像中的裂缝检测。In：Image Processing，2005. ICIP 2005。IEEE国际会议，卷。1.一、IEEE; 2005年。 I-1149.[12] 梁健，潘宝春，黄永华，范晓艳。X射线图像的裂缝识别。在：小波分析和模式识别（ICWAPR），2010年IEEE国际会议; 2010年。p. 六十七比七十三[13] Bandyopadhyay O，Chanda B，Bhattacharya BB.基于熵的数字x射线图像中骨骼的自动分割。在：国际会议模式识别和机器智能。Springer; 2011.p. 122比9[14] Al-AyyoubM，Hmeidi I，Rababah H. 在x射线图像中检测手部骨折JMPT（JManip Physiol Ther）2013;4（3）：155-68。[15] Chai HY，Wee LK，Swee TT，Salleh S-H，Ariff A，et al.灰度共生矩阵在骨折检测中的应用。 美国应用科学杂志2011;8（1）：26.[16] T. T. Peng等人，report X射线图像中股骨骨折的检测，新加坡国立大学理学硕士论文[17] T. Anu，M. M. R.陈晓，陈晓，等.计算机图像处理技术在骨折诊断中的应用.北京：科学出版社，2001，14（3）：117 -