深度学习Sine-Net：视网膜血管分割的全自动化工具优于文献提出的方法

工程科学与技术，国际期刊24（2021）271全文文章Sine-Net：用于视网膜血管分割I_ brahim AtliZhao，Osman Serdar Gedik土耳其安卡拉耶尔德勒姆贝亚泽特大学工程与自然科学学院计算机工程系阿提奇莱因福奥文章历史记录：2020年1月29日收到2020年5月4日修订2020年7月18日接受在线预订2020年保留字：全卷积神经网络血管分割深度学习Sine-NetA B S T R A C T血管分割是医学成像中的一个关键步骤，因为它是眼科、神经外科、肿瘤学、心脏病学和喉部等不同领域中许多疾病诊断的关键。用于血管分割的自动化工具可以帮助临床医生并有助于患者治疗计划。然而，由于图像中存在的病理、噪声和对比度差等各种情况，这仍然是一个具有挑战性的由于高度的上下文特征生成，深度学习架构本文介绍了一种用于全自动血管分割的深度学习架构我们提出了一种新的模型，称为正弦网络，首先应用上采样，然后下采样捕捉薄和厚血管功能，分别。我们还包括残差，以将更多的上下文信息带到架构的更深层次。如果输入经过适当的预处理，深度网络可能会表现得更好。因此，我们在对输入图像进行预处理和不进行预处理的情况下对我们的网络进行测试。我们目前的实验验证3个公开可用的数据库（STARE，CHASE_DB1和DRIVE）的视网膜图像，并比较结果的灵敏度，特异性，准确性和曲线下面积度量。我们的研究结果表明，正弦网络优于文献中提出的方法在一些指标。此外，该方法具有潜力由于其良好的执行时间、高准确性和鲁棒性，因此可用于临床应用©2020 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍血管是非常重要的，因为它们携带的氧气和营养物质对生命器官至关重要血管中的任何问题都可能导致器官营养不良，从而影响患者的生活质量血管属性（如宽度、长度、分支角度、迂曲度和分叉）的分析有助于早期发现许多领域的问题[1-它们可用作诊断指标[7]。为了有效地监测病理，主要在医学成像中进行血管分割[8]。虽然手动血管分割是可能的，但这是一项需要专业技能的繁琐和单调的工作;因此，就时间、劳动力和观察者的报告可变性而言，这不是一个可行的过程。因此，半自动化或全自动化系统成为*通讯作者。电子邮件地址：iatli@ybu.edu.tr（I_. Atli）。由Karabuk大学负责进行同行审查血管分割，以帮助临床医生和患者更好地安排治疗并节省时间[9]。然而，由于以下因素，这不是一项简单的任务：（1）血管形状不遵循简单的模式;（2）存在其他结构（病变和视盘）[10]和（3）各种成像条件（低图像对比度、噪声和病理原因）使得难以检测血管。已经提出了大量的工作用于分割血管，包括手工制作和监督的解决方案。手工方法依赖于血管结构的固有特性，而监督方法依赖于标记的地面实况。使用监督方法学习的特征达到了更有区别的特征，这些特征难以分析描述[10]，并且倾向于实现更好的分割性能。在监督方法中，深度网络架构通常相互竞争并实现最先进的性能[11]。虽然在视网膜血管分割方面已经取得了显着的成就，第一篇基于深度学习的论文发表于2016年[12]，但仍存在改善分割性能的开放性问题。相关文献中的研究大多只针对彩色图像，仅涉及视网膜血管分割或血管造影https://doi.org/10.1016/j.jestch.2020.07.0082215-0986/©2020 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchI_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271272×图像.此外，它们中的一些需要选择参数，并且它们中的一些花费相当多的时间用于分割。在这项研究中，我们的目标是开发一种快速，强大，全面和自动化的全卷积深度网络架构，称为Sine-Net，用于解决灰度图像中所有形式血管的血管分割问题。本文的主要目标是通过提供准确和稳健的分割来促进早期诊断，使用自动化工具减少观察者的报告变异性和临床医生的工作量，并最终提高患者的生活质量在文献中，有许多不同分类的血管分割方法。例如，[4]中把算法分为四大类，[13]中分为六大类，[5]中分为七大类。进一步的分类作为主要类别的子类别提供。对一些将不同方法结合在一起的方法进行分类可能并不简单因此，最好在两个主要类别中广泛地检查相关文献：监督和无监督解决方案，如最近的综述[8]中所提供的。无监督方法超出了本研究的范围，因为我们的方法属于监督方法分类，利用先验标记信息。在这里，我们介绍了最相关和性能最好的方法（最先进的方法），主要关注相关文献中的卷积神经网络在监督方法中，人工神经网络（ANN）模型在CNN进化之前很流行。例如，Liet al. [14]提出了一种人工神经网络架构，以找到映射函数，从而获得眼底图像的视网膜血管图块。该体系结构分为5层，以获得复杂的输入输出关系.在CNN评估之后，实现了非常复杂的映射。在[15]中，Wang等人提出了一种结合CNN和随机森林（RF）分类器进行视网膜血管分割的算法。CNN被用作分层特征提取器，然后RF利用这些学习到的特征。最后，集成学习实现了从多个RF的输出分割。 Khalaf等人[16]提出将CNN的输出修改为3类问题，以减少类内方差。研究中定义的类别是背景、小血管和大血管。此网络的验证仅在DRIVE数据库上完成。[17]中的CNN架构来源于整体嵌套边缘检测（HED）CNN结构[18]，并且具有4层而不是原始工作中的5层HED架构使用条件随机场（CRF）算法组成中间层的输出。在[19]中提出的多尺度CNN架构中遵循类似的方法[20]在不同的尺度上。近年来，研究人员通过以各种方式堆叠多个CNN层来创建更深层次的架构，以获得越来越复杂的关系。CNN的这种配置在文献中被称为深度学习（DL）架构虽然它们最初用于对象识别任务[21]，但它们可以成功地应用于医学领域并实现最先进的性能。Guo等人。[22]提出了一种由3个卷积层组成的浅DL架构，并将该网络级联多次（n = 5）以分类64个补丁大小的像素64例视网膜血管分割。Liskowski等人在[23]中提出了一种用于眼底图像中该体系结构对图像块的中心像素进行它们进一步改进了具有结构化预测（SP）定义的分割在该定义中，该架构为以大小为s的补丁为中心的窗口内的所有像素产生预测，而不是一次仅预测中心像素类似地，Dasgupta和Singh[24]利用SP的完全卷积架构来分割DRIVE数据库上的视网膜血管[9]中的方法使用局部熵采样来平衡负类和正类的数量CNN架构通常被称为完全卷积，如果完全连接的层在最后被删除，如[24，9，25，26]。然而，它们在其DL架构内使用最大池化和上采样层我们分别利用步幅卷积和转置卷积来代替最大池化层和上采样层，以使网络完全卷积。通过这种方式，网络在向下和向上采样操作的同时继续学习文献中的一些网络也带有层次性图层之间的要素，以丰富要素表达。例如，Huang等人。[27]引入了密集连接的CNN架构，该架构以前馈方式将特征从相应层携带到其他层。Feng等人。[28]提出了一种交叉连接的卷积神经网络（CcNet）架构，它在中间位置合并了一些层特征。U-Net[29]及其在[30]和[31]中提出的衍生架构遵循类似的方法，将前一层特征与下一层相结合，以提高网络的学习能力如果对DL架构进行适当修改，也可以在另一个问题中利用针对特定应用提出的DL架构。此外，来自预训练网络的权重可以被转移到新的架构中，并且可以应用微调过程以使网络适应新的任务。这在文献中被称为迁移学习。Jiang等人[25]的工作使用迁移学习方法来采用来自完全卷积AlexNet架构的已训练的网络权重Fig. 1.提出的正弦网络架构。蓝色箭头表示卷积操作，绿色箭头表示转置卷积的上采样，红色箭头表示步幅（步长= 2）卷积操作的卷积滤波器大小为3× 3，除了最后一层之外，每一层的激活函数都是ReLU是丹。最后，黑色箭头表示残差，它将较低级别的特征映射转移到网络的更深级别I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271273×××我我×我×我我在[26]中。他们调整区域补丁500 500从50 50放大眼底图像中的细节。通过这种方式，该架构可以捕获薄血管。血管分割任务仍然是文献中的热门任务，并且随着技术和技术的不断进步，研究人员提高了分割性能。在本文中，我们做出了以下贡献：介绍了一种新颖的全卷积深度学习架构尽管传统的编码器-解码器架构，我们提出的架构首先应用上采样，然后应用下采样操作。我们将该架构命名为Sine-Net，因为从抽象的角度来看，它类似于正弦波（见图1）。①的人。在同一网络上对输入图像进行预处理的效果进行了评价。这是第一次对视网膜血管分割进行如此广泛的比较为了推广血管分割任务，引入了跨数据库训练。提出了一种数据扩充的通用算法。它可以应用于其他形式的图像，如树突，计算机断层扫描图像，用于道路提取的卫星成像等。2. 材料据我们所知，存在9个公开可用的眼科数据库。然而，其中只有4个提供了由专家注释的地面实况图像，即DRIVE（用于血管提取的数字视网膜图像）[32]，STARE（视网膜结构分析）[33]，CHASE_DB1（儿童心脏和健康研究）[34]和HRF（高分辨率眼底）[35]。驱动，凝视和CHASE_DB1数据库通常是文献中的首选数据库因为这些病理图像中的一些还由于眼睛疾病而遭受清晰度降低和恶化。CHASE_DB1数据库[34]是CHASE（英格兰儿童心脏和健康研究）项目的一部分图像大小为999 960，质量良好，对比度良好，无症状。所有图像均使用固定目标捕获，并聚焦在待居中的视盘上每个图像的手动分割由2名专家完成。本研究中使用的视网膜数据库的统计学详细信息总结见表1。我们分别使用DRIVE、STARE和CHASE_DB1训练我们的网络。为了进一步推广血管分割，我们还使用称为CROSS-DB的所有组合来训练模型在所有数据库中，我们使用专家#1标签作为黄金标准（地面实况）。3. 该方法在这项研究中，我们提出了一种新的全卷积神经网络（FCNN）用于视网膜血管分割，本节介绍了该方法的核心组件，预处理和数据增强技术，损失函数，训练过程，最后是性能比较措施。3.1. 深度网络架构CNN是一种特殊类型的神经网络，其中神经元以三维（3D）网格（宽度，高度和深度/通道）组织。基本上，深度网络架构由堆叠这些3D CNN网格组成，非线性变换通过卷积运算实现，定义为：yl¼gl.Wlωgl-11真的，因为它们的质量都很好HRF数据库在血管分割文献中大多被忽略，因为它相对较新，图像分辨率约为4倍其中 * 表示卷积运算。Wl表示第i个卷积层的第i个滤波器，表示来自层的输入L lDRIVE和STARE数据库。DRIVE数据库[32]从荷兰的糖尿病视网膜病变筛查项目中获得，包含40个大小为565 584的标记视网膜图像。33幅图像属于健康受试者，而7幅图像具有病理（早期轻度疾病）。标记的图像是从400名25至90岁的糖尿病受试者中随机选择的。该数据集已经被划分为测试集和训练集，每个训练集由20张图像组成。所有图像都是彩色的，每通道8位分辨率。测试集由2名专家注释。STARE数据库[33]是加州大学由美国国立卫生研究院资助的名为STARE（视网膜结构分析）的项目的一部分。STARE数据集包含大小为700 - 605的400幅图像，只有20幅图像由2位专家手动标记。11幅图像显示病理学，9幅图像属于健康受试者。第二位专家标记的标签显示血管比第一位专家更薄。STARE数据库是所有数据库最后是g i 而y i 表示应用的非线性函数以及第i个滤波器的第l层的输出。我们提出了一种FCNN架构，称为Sine-Net，如图所示。1.一、我们更喜欢完全卷积的架构，因为它在自然图像分割方面表现出卓越的性能[26]。我们还希望在进行上下采样操作时继续学习过程，并且更喜欢放置涉及卷积操作的层，而不是最大池化和上卷积层。该架构是新颖的，因为我们首先应用上采样，然后下采样层分别捕捉薄和厚血管特征。然而，创建CNN模型的趋势正好相反，即。下采样操作首先进行。我们还包括残差，以将更多的功能从较低的级别传递到更深的架构以这种方式，网络可以恢复可能在上采样或下采样过程中丢失的特征。表1DRIVE、STARE和CHASE_DB1数据库的统计属性没有视场（FOV）的区别，图像中的所有像素都被考虑在内。驱动器凝视追逐_DB1数据库的属性训练测试图片数量图像尺寸565× 584× 3 565× 584× 3 700× 600× 3 999×960 × 3正像素数569，615 577，945 644，053 1，861，974负像素数6，029，585 6，021，255 7，825，947 24，991，146正像素百分比0.0863 0.0876 0.0760 0.0693负像素百分比0.9137 0.9124 0.9240 0.9307●●●●I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271274×××××-Ri-图1中描绘的正弦网络包含15个卷积层，每个卷积层的滤波器大小为3 3。除了最后一层之外，在每个卷积之后都使用整流线性单元（ReLU）作为激活函数。最终层激活是tanh，因为预测应该在0和1之间（非线性）由于最终激活的前一层是ReLU，tanh的输入要么是零，要么是某个正值，这迫使输出在0和1之间。图1中的黑色箭头表示将特征映射从中间层传输到架构的更深层。绿色箭头显示转置卷积的上采样操作，红色箭头显示步长为2的卷积的下采样。 以这种方式，网络通过更新不存在于最大池化或上采样层中的权重来继续学习分层表示。通道数在每次下采样和上采样操作后分别加倍和减半。表2给出了所提出的CNN架构的层结构和参数。以粗体突出显示的层表示从当前层到更深层的特征映射传输。Sine-Net的可训练参数总数为692737。我们提出的网络有一些优点。第一个优势-最大的缺点是它不包括用于血管分类的末端的完全连接的层该属性改善了预测的训练和响应时间，因为密集乘法通常存在于完全连接的层中。第二个优点是，由于448 - 448的较大的补丁大小作为输入，本地连接大大减少。与较小的补丁大小相比，这改善了图像的预测时间。连续增加块的大小是不可行的，因为网络往往会降低其分割性能，并需要更多的内存。在[25]中，500500比400表现更好400和600 600在训练阶段。第三个优点是，我们的网络在上一段提到的下采样和上采样操作期间继续学习特征。通过这种方式，提高了网络的学习能力。3.2. 预处理尽管深度学习架构在原始输入数据上表现良好，但适当的预处理操作可能会提高分割性能[23]。因此，我们进行了测试，并没有预处理，以澄清预处理的效果由于一些图像具有照明问题，例如较暗或较 亮 的 背 景 ， 因 此 我 们 利 用 对比 度 限 制 自 适 应 直 方 图 均 衡 化（CLAHE）算法[36]来提高图像的对比度我们还采用多尺度顶帽变换（MTHT）[37]来进一步增强图像对比度和细节通过直观地观察多个图像，我们已经决定应用MTHT后CLAHE。对一幅DRIVE数据库图像的预处理效果进行了可视化。 二、MTHT的磁盘大小范围是（3，19）。CLAHE夹限值为2.0。视网膜图像是彩色的，但我们更喜欢推广我们的模型对血管的分割，使它可以替代地应用于其他医学图像，如X射线血管造影，这是在灰度。我们还通过使用单个通道降低了模型的复杂性。输入图像使用（2）进行标准化，并在将它们馈送到架构之前在0和1之间进行缩放，无论是否进行预处理测试。ni¼x-li2其中，ni是在i处的归一化图像，li是平均值，ri 是训练集中i处图像的标准偏差。3.3. 数据增强DRIVE数据库已经分为训练集和测试集，每个集包含20张图像。STARE数据库有20个标记图像，我们将前70%和后30%的图像分别划分为训练集和测试集。最后，CHASE_DB1有28个标记的图像，我们遵循与STARE数据库相同的分割过程。深度学习架构在训练过程中需要大量的数据来进行更好的泛化，但是可用的公共视网膜数据库没有足够的训练图像，因此在这种情况下，为了克服过拟合，我们对图像应用旋转、平移和镜像操作来进行数据增强。旋转适用于根据- ing在45毫米 45毫米的范围内的图像的中心。<<然后在（3）中定义的间隔中随机地应用平移。txw-448;tyh-448<<其中tx和ty分别表示在x和y方向上的平移。w和h是图像的宽度和高度。在生成一个随机图像后，我们通过确定的旋转（90°，90°）和翻转操作将其增加到8个。我们使用这种技术为每个数据库随机生成10，000张图像。3.4. 损失函数损失函数表示在分类/回归问题中做出的不准确预测的成本。在机器学习中定义了许多损失函数来训练网络，例如表2建议的CNN架构和层的参数按顺序排列。用粗体字表示的层表明从当前层到更深层存在残余连接层ID类型通道数核大小输出形状激活函数可训练参数数0输入11 Conv2D 64 3× 3 448× 448×64 ReLU 6402 Conv2D 64 3× 3 448× 448× 64 ReLU3 TransConv2Dup 32 3× 3 896× 896× 32 ReLU 18，4644 Conv2D 32 3× 3 896× 896×32 ReLU 92485 Conv2D 32 3× 3 896× 896×32 ReLU 92486 Conv2D_down 64 3× 3 448× 448× 64 ReLU 18，4967 Conv2D 64 3× 3 448× 448× 64 ReLU 73，7928 Conv2D 64 3× 3 448× 448× 64 ReLU9 Conv2D_down 128 3× 3 224× 224× 128 ReLU 73，85610 Conv2D 128 3× 3 224× 224× 128 ReLU 147，58411 Conv2D 128 3× 3 224× 224× 128 ReLU 147，58412 TransConv2Dup 64 3× 3 448× 448× 64 ReLU 73，79213 Conv2D 32 3× 3 448× 448× 32 ReLU 36，89614 Conv2D 32 3× 3 448× 448×32 ReLU 924815 Conv2D 1 s 1× 1 448× 448×1 ReLU 33输出1I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271275. bXc。你好 ，-B图二、DRIVE图像#24的预处理效果（a）示出了原始彩色图像，（b）示出了（a）的灰度，以及（c）和（d）分别示出了（b）的CLAHE和MTHT预处理图像（e）是MTHT后接CLAHE，（f）是CLAHE后接MTHT。我们使用（e）是因为在网络训练中的高对比度均方误差、分类交叉熵、二进制交叉熵、余弦接近度、对数cosh等。为了训练我们的网络，我们使用二进制交叉熵，定义为：L CEy;yy klog y k1yk 原木1YK4K其中y和y分别对应于预测值和地面实况值。k表示训练集中的第k个3.5. 培训本节介绍了建议体系结构的培训详细信息。由于我们对这项工作进行了多次测试，因此获得了表格形式，以便清楚地显示并易于理解培训细节。我们利用在TensorFlow上运行的Keras[38]库来训练表3中给出的每个数据集。总共有八个培训过程。每个训练包含50个随机梯度下降（SGD）时期，然后是20个Adam优化器时期。这种方法提高了训练过程中的泛化性能，如[40]所示。在每个epoch中，训练集被洗牌，并且10%用于验证。SGD优化器的学习率为收到批量大小设置为10。所有培训过程都在Linux服务器上进行，至强（R）CPUE5-2667v4(3.20GHz）CPU、128 GB RAM和NVIDIA Tesla P100 GPU（Gra-phic处理单元）。每个数据集的训练时间见表2。3.6. 业绩计量准确度被定义为正确分类的像素与所有像素预测的比率。由于不平衡的类，仅凭它还不足以进行公平的性能比较。因此，研究包括敏感性和特异性测量。灵敏度和特异性是模型如何成功检测真病例和假病例的统计指标。具体而言，灵敏度是正确分类的血管像素的量度，特异性是正确分类的非血管像素的量度。除了这些指标之外，AUC是机器学习中的一个强大指标，可以通过指示模型能够在多大程度上区分类别来测试二进制分类器。AUC越高，模型在正确预测00s和10s方面越好。准确度、灵敏度和特异性表3本研究中使用的训练数据集的详细信息训练时间对应于70个epoch的总训练时间（20 Adam +50 SGD）。培训名称数据集包括数量的图像预处理（CLAHE + MTHT）训练时间驱动驱动10,000没有13 h大通CHASE_DB110,000没有13 h盯盯10,000没有13 h横驱动+凝视+追逐_DB130,000没有41小时驱动器驱动10,000是的13 hCHASEPPCHASE_DB110,000是的13 hSTAREPP盯10,000是的13 hCROSSPP驱动+凝视+追逐_DB130,000是的41小时I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271276表4人工分割视网膜血管的性能。第一个专家标签被接受为地面真理。平均项显示第二个专家对所有数据库的加权平均性能。精度灵敏度特异性数据库XRXRXR驱动0.96370.00330.77570.05960.98190.0055盯0.95680.01450.91820.03550.95890.0165CHASE_DB10.96350.00540.83390.02650.97920.0038平均0.96350.00760.81450.073109,7720.0117表5Sine-Net的单个数据库结果。表总结了平均值（x）和标准差（r）方面的评价指标。最高指标以粗体突出显示。训练名称末尾的PP表示预处理。准确度灵敏度专属性AUC培训xrxrxr驱动器0.9689 0.0030 0.7987 0.0545 0.9854 0.0041 0.9851 0.0039电话：+86-0531 - 8888888传真：+86-0531-8888888电话：+86-021 - 8888888传真：+86-021 - 888888880.9711 0.0108 0.6776 0.0828 0.9946 0.0018 0.9807 0.01220.0052 0.8011 0.0476 0.9815 0.0036 0.9833 0.00450.0053 0.7856 0.0519 0.9825 0.0035 0.9828 0.0050图3.第三章。建议网络的单个数据库预测这些图像分别属于DRIVE（测试图像#03）、STARE（图像#0255）和CHASE_DB1（图像#11L）数据库中的图像列依次显示原始灰度视网膜图像、其真实值、未经预处理的原始图像的网络预测和经预处理的原始图像的网络预测I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271277-×图四、Sine-Net的DRIVE训练中间层的一些输出见表2（a）示出了原始图像，（b）示出了来自网络学习边界提取的第1层的通道输出之一（c）是在上采样之前来自层的输出由于残余连接，在架构的更深层次中获得类似于输入的图像（d）和（e）是上采样部分和下采样部分的中间层输出（f）是最后卷积之前的层的输出之一表6Sine-Net跨数据库训练的分割性能。表总结了平均值（x）和标准差（r）方面的评价指标。每列的最高指标以粗体突出显示PP表示启用或禁用预处理准确度灵敏度专属性AUCPP培训xrxrxrxrN驱动0.9689 0.0031 0.7817 0.0558 0.9871 0.0039 0.9853 0.00400.9702 0.0127 0.6998 0.1031 0.9920 0.0050 0.9837 0.0079CHASE_DB10.9668 0.0047 0.7804 0.0570 0.9822 0.0035 0.9816 0.0043加权平均值0.96860.00600.76700.07130.98680.00510.98410.0050Y驱动0.9685 0.0028 0.7882 0.0541 0.9859 0.0041 0.9843 0.00390.9712 0.0124 0.6999 0.1248 0.9928 0.0027 0.9823 0.0104CHASE_DB10.9666 0.0053 0.7668 0.0613 0.9830 0.0037 0.9810 0.0050加权平均值0.9685 0.0060 0.7676 0.0770 0.9865 0.0049 0.9832 0.0057其中TP是真阳性，TN是真阴性，FP是假阳性，FN是假阴性。AUC是受试者工作特征（ROC）曲线下的面积。准确度：<$TP<$TN<$=<$TP<$TN< $FP <$FNSensitivity¼TP= ΔTPΔFNΔ;专属性<$TN=<$TN <$FP <$50每个训练的性能比较是用这里描述的四个指标完成的;即准确性、灵敏度、特异性和AUC。对每个数据库测试集中的每个图像评估度量。与其给出单个结果，我们更愿意以平均值（x）和标准差（r）的形式共享所有结果，以便清晰有效地解释它们或者，我们还使用统计度量Kappa（j）来测量两个类之间的一致性水平其计算公式为：jp0=pe=1-pe;6其中p0等同于准确度度量，并且pe是在类标签上随机做出决策的注释器的准确度。j可以取1和1之间的值1表示完全一致，0或更低这意味着达成协议的机会。4. 实验结果本节介绍了本研究中提出的Sine-Net架构表3中所示的单个和交叉数据库测试是用它们自己的测试集进行的我们还研究了预处理操作在本节中的效果。每个数据集中的图像大小不同，因此应注意，数据增强技术中的旋转和平移操作可能导致血管像素超出图像边界。因此，我们确定网络的输入大小为448 448这与我们的数据增强方法兼容。由于测试图像大于网络输入大小，I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271278图五、Sine-Net的跨数据库预测，无需对输入信号进行预处理操作这些图像分别属于DRIVE（测试图像#19）、STARE（图像#0291）和CHASE DB 1（图像#12 R）数据库中的图像列按顺序显示原始灰度视网膜图像、其真实值、使用单个数据库训练的未经预处理的原始图像的网络预测以及使用跨数据库训练的原始图像的网络预测我们将图像划分为最小数量的小块，以使每个小块适合输入。对于补丁中的重叠区域，我们在生成最终输出时对预测进行加权平均。4.1. 人类表现DRIVE（用于测试集）、STARE和CHASE_DB1数据库包括来自两个不同专家的注释图像在相关文献中在这项研究中，我们采用第一个专家STARE数据库专家的名字被标记为我们按字母顺序接受人体性能见表4，与其他网络的比较见表8。4.2. 单一数据库结果DRIVE数据库已经分为训练集和测试集。我们不修改数据库并按原样使用它STARE和CHASE_DB1数据库最初不是为测试集和训练集配置因此，我们应用3.3节中提到的除法程序。表5显示了正弦网络架构的单个数据库训练测试集的性能。带有预处理的STARE数据库训练具有最高的准确性和特异性，最低的敏感度。这意味着网络可以比血管像素更好地识别非血管像素。如前面第2节所述，由于对比度差，STARE数据库是最具挑战性的数据库，有些图像因一种导致血管样结构变形的疾病。标准偏差值也支持这一点，因为准确度和AUC指标的r值比其他指标高2倍或近3倍。还可以清楚地看出，除了CHASE_DB1数据库之外，预处理影响灵敏度增加。这是一个预期的结果，因为预处理操作增强了图像的对比度，血管变得更加可区分。在DRIVE数据库训练和预处理中获得最佳灵敏度和AUC值图3显示了Sine-Net的单个数据库训练的预测结果。有和没有预处理操作的预测结果非常接近。然而，当应用预处理时，该网络能够捕获薄血管;它在背景像素处产生更多的假阳性，并破坏了一些厚血管。 应该注意的是，该网络还学会了识别视网膜图像的边界，因为我们没有对边界过渡应用任何额外的步骤（见图1中的原始图像）。3）。I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271279我们从中间层产生一些输出，以显示和理解网络学习了什么。从图4b中我们可以看到，边界是在非常早期的层中提取的，网络通过剩余连接将特征带到更深的层次，图 4杯4.3. 跨数据库结果为了评估所提出的网络的通用性，我们同时使用来自DRIVE，STARE和CHASE_DB1数据库的图像进行训练。表6展示了交叉训练在每个数据库测试集上的性能。表6的前半部分示出了没有预处理的结果，而后半部分示出了具有预处理操作的结果。由于每个数据库中的测试图像数量不同，我们将相应网络的整体性能总结为表6中的加权平均值。表6明确支持STARE数据库是本研究中最具挑战性的数据库，因为其具有更高的R值。如果我们将结果与表5中的单个数据库测试进行比较，则指标略有增加和减少。AUC不是逐个比较每个指标，而是被视为用于比较的最终指标，因为它在其校准中同时包括真阳性率（TPR）和假阳性率（FPR）计算与单一数据库训练相比，在DRIVE和STARE数据库中交叉训练时 ， AUC 度 量 增 加 ， 无 需 预 处 理 操 作 。 但 是 ， 在 DRIVE 和CHASE_DB1数据库训练中，预处理操作的时间略有减少（参见表5和表6）。如果我们对表6中的交叉训练结果进行预处理和不进行预处理的比较，则在预处理操作的所有数据库训练中，AUC测量值略有下降。因此，我们可以得出结论，即使没有预处理，网络也可以产生成功的结果。图1和图2给出了无预处理和有预处理的跨数据库预测。分别为5和6 。 图 中 的 每 一 行 图 5 和 图 6 显 示 了 从 DRIVE 、 STARE 和CHASE_DB1数据库中随机选择的测试图像。读者可以参考本文的在线从这两个图中，我们可以看到网络产生的预测与相应的地面事实非常接近。应该注意的是，该网络对血管样结构敏感，并捕获一些未被专家标记或错误地将噪声背景像素预测为血管的薄血管因此，灵敏度和特异性值变得低于我们的预期。如果我们比较单个和跨数据库训练的结果，由于STARE数据库中的病理图像，网络错过了一些厚血管为了更好的可视化，我们在图7中示出了包含病理及其通过网络的预测的示例图像。我们还展示了网络捕捉图中专家未标记的细血管的能力。 八、4.4. 执行时间测试是在第3.5中提到的同一服务器和基于Linux的笔记本电脑上进行的，笔记本电脑具有以下硬件属性：Intel（R）Core（TM）i7-4700 HQ CPU @2.40 GHz和16 GB 1600 MHz DDR3 RAM。表7总结了所有数据库的平均执行时间，以提供有关实时应用程序中网络利用率的概念。最好记住，由于数据库的图像大小可变，网络为每个图像产生4个预测我们比较建议的网络与最新报道的作品在平均运行时间为一个单一的图像预测。表7显示正弦网络比Liskowski的工作快263倍[23]，比[20]的工作快3.14倍见图6。带预处理操作的Sine-Net的单个和跨数据库训练预测（未预处理的预测在图中给出）。 4相同的图像）。镜像分别属于DRIVE、STARE和CHASE_DB1数据库中的图像列按顺序显示单个和跨数据库训练结果。见图7。来自STARE数据库（im#0044）的图像，包含病理学及其网络预测。（a）示出灰度图像，（b）示出由第一专家标记的其对应的地面实况，（c）和（d）分别是针对单个数据库和跨数据库训练的没有预处理操作的正弦网络预测。对于GPU实现，比[19]中的算法快1.14倍。我们的工作比Li等人[14]发表的CPU实现的工作快大约7.5倍。[14]和[23]I_. Atli，O.S.Gedik/工程科学与技术，国际期刊24（2021）271280见图8。网络捕捉细血管的能力。顶行图像属于DRIVE测试图像#01，并且下面行图像属于DRIVE测试图像#16。各列分别显示原始数据、真实数据和未经预处理的DRIVE数据库网络预测表7网络单个图像的平均预测时间。请注意，由于图像大小可变，对于我们的情况，单个图像至少由4个子图像测试平均运行时间（秒）建议（服务器、GPU）0.3501拟议（笔记本电脑、CPU）9.3217Li等(CPU)[14个]70Mo等人（GPU）[19]92Hu等人（GPU）[20]1.1Liskowski等人（GPU）[23]0.4Feng等人（GPU）[28]0.063利用滑动窗口方法来预测血管图，这导致多次计算相邻像素。这些冗余计算降低了执行时间的性能。由于[28]中的层数较低，因此分割时间比我们的短。Sine-Net由于其完全卷积结构和选择更大的输入补丁大小而具有计算效率。与[23]中的工作相反，它一次预测所有像素，我们提出的网络可以与GPU一起用于现实生活中的临床应用，在近三分之一秒内产生分割图像。Sine-Net GPU实现比我们的设置中的CPU实现快26.6倍4.5. 比较在视网膜血管分割的相关文献中存在大量的工作，我们将我们的结果与专门基于DRIVE、STARE和CHASE_DB1数据库的最先进的工作进行由于我们的方法依赖于监督学习，因此我们主要关注监督解决方案以进行公平比较。此外，我们还包括人类的分割性能，以比较我们的网络分割能力，ity。除了表8中的单数据库测试和表10中的跨数据库测试之外，我们还在这里展示了我们的结果。我们将表8分为3部分，以比较相同的数据库结果。单个数据库结果的最佳值以粗体突出显示，每个指标的最佳值用w标记。对于DRIVE数据库，我们的网络在所有指标上都优于人类除了[15]的准确性之外，它在所有度量方面都超过了文献中提出的其他方法。值得注意的是，这可能是因为Wang等人[15]使用了FOV定义。特别是，Sine-Net通过预处理操作实现了更好的灵敏度，比[15]中提出的最接近的研究好约0.01。对于STARE数据库，该网络在特异性方面达到最佳结果，并在准确性和AUC指标方面产生接近最先进方法的然而，Hu等人在[20]中实现了与我们最接近的灵敏度度量，它超过了所提出的网络约0.077。这并不是因为我们的网络检测血管的能力较低，而是因为疾病和对比度差的训练图像样本数量较少。如果病理和对比度差的图像数量增加，网络将表现得更好。一些研究遗漏了血管并发症的图像，但我们没有删除任何一个。我们的网络对血管样结构敏感，因为DRIVE和CHASE_DB1结果在表8中的敏感性度量中支持这一点。该网络实现了CHASE_DB1数据库的最佳特异性和AUC它产生了与第二个观察者非常接近的准确性度量，第二个观察者在相应的数据库训练中得分最高。如果忽略这一点，该网络在准确性，特异性和AUC测量方面优于其他方法。此外，我们使用统计性能指标j（kappa），以测量网络的评价者内和评价者间的可靠性它是一个强有力的工具，用于比较当决策类特别不平衡时，评分员如何定量地同意相同的事情。较大的j（max =