生成对抗网络在不平衡胎心率信号分类中的应用

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）239www.elsevier.com/locate/icte用于不平衡胎心率信号分类的生成对抗网络Riskyana Dewi Intan Puspitasaria， M. Anwar MaAlhamidia，Kurnianingsihb，Wisnu Jatmikoa，a印度尼西亚Depok印度尼西亚大学计算机科学系b印度尼西亚三宝垄，三宝垄国家政治学院电气工程系接收日期：2021年3月19日;接受日期：2021年2021年7月9日在线摘要深度学习分类通常用于分析生物医学数据。其中之一是分析胎儿心率（FHR）信号数据，用于检查和监测母亲和胎儿的健康，并防止处于缺氧风险的胎儿的移动性和死亡率。数据中经常出现的问题是数据不平衡。时间序列生成对抗网络（TSGAN）解决了FHR信号中的数据不平衡问题，并生成更多数据和更好的分类性能。在这项研究中，使用GAN模型的增强获得了增加在质量指标上比其他机型高出3%c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍胎儿缺氧是由于高血压引起的胎盘供氧减少、分娩时脐带压迫胎儿、产程受阻或难产等因素造成的。分娩过程中伴随着胎儿缺氧会给胎儿造成严重的问题。如果没有发现或治疗不当，婴儿会有严重的残疾，甚至胎儿在出生后也会死亡[1]。产科医生和助产士对缺氧的早期发现和适当治疗无疑将减少胎儿畸形的风险，降低新生儿死亡率。缺氧检测可以通过外部CTG监测胎心率（FHR）来完成[2]。胎儿缺氧的自动检测有望帮助产科医生和助产士提供及时的治疗。就像在其他医疗问题上一样，胎儿缺氧发生率远小于多数班或正常班。在发展中国家，∗ 通讯作者。电子邮件地址：riskyana. ui.ac.id（R.D.I.Puspitasari），wisnuj@cs.ui.ac.id（W.Jatmiko）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.06.007每1000例新生儿中有2.3 ~ 26.5例患有HIE。与此同时，在发达国家，胎儿缺氧的病例会更低，1.5每1000名新生儿中有2.5例[3]。异常样本与正常样本之间的样本总数差距较大，也称为不平衡数据，是模式识别中的一个难题。在数据不平衡的情况下，少数类的识别结果总是低于多数类[4]。已经采取了几种方法来克服FHR数据中的不平衡数据。已经进行的大多数方法都集中在过采样，生成特征，并通过特征提取变换倍增实例。在[5]和[6]中进行过采样，其中训练数据的过采样过程在特征提取过程之后进行。使用SMOTE，46个少数类数据从剖宫产被复制到正常分娩类。在研究中也进行了过采样[7]。本文采用ADASYN方法对18个数据中增加的少数数据进行了胎儿酸中毒状况分类，进行了特征提取后的处理。如果在之前的三项研究中，过采样之后是使用机器学习的分类过程，那么在研究[8]中，过采样导致在600%的少数类实例中，然后通过深度学习模型进行分类过程2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。R.D. I Puspitasari，M.A.夫人Alhamidi等人ICT Express 8（2022）239240除了经典的过采样方法之外，另一种克服数据不平衡问题的方法是通过特征转换添加数据实例。这种方法由[9，10]和[11]进行，其中三项研究集中在FHR信号的基于图像的转换上。在时频域和2D矩阵中提取来自FHR数据的每个信号，以产生所需数量的图像。从已经采取的几种克服不平衡数据的方法来看，过采样方法可以很好地提高胎 心率 信 号 分类 的 性 能对 于 经 典的 过 采样 方 法 ，如SMOTE和ADASYN，由于它们是在特征提取阶段之后执行的，因此将进行过采样的数据不在原始数据中，但它已变为一种更结构化的数据形式。因此，尽管SMOTE和ADASYN仅检索少数数据周围的几个数据点，但生成的合成数据也可能与采样数据相似[12]。然而，在这个过程中，有必要选择能够正确表示数据的正确特征。至于使用信号到图像变换的实例的添加，该方法结合了同时执行的特征提取和过采样阶段。经典的过采样方法是在具有少量特征的实例上执行的，因此所需的时间相对较短。使用信号到图像变换来添加实例花费相对较长的时间，因为图像生成变换过程需要相当大的计算和资源。在这项研究中，我们进行了过采样胎心率信号，生成对抗网络（Generative Adversarial Networks）然后，我们使用深度学习模型对过采样数据进行分类。我们的主要贡献是为GAN创建一个新的框架，该框架可以适用于增强FHR数据，从而产生更好的质量指数。随着每个类的数据增加到3000个数据，我们的框架比其他模型提高了3%-44%的质量2. 材料和方法2.1. 数据集本 文 中 使 用 的 CTG 信 号 数 据 集 是 从 2014 年 发 布 的Physionet上的开放访问数据集CTU-UHB产时分娩分娩描记数据库获得的。该数据集由来自布拉格捷克技术大学（CTU）和布尔诺大学医院（UHB）的552条CTG记录组成。每个CTG数据包括两个信号分量，FHR信号和子宫收缩信号，其具有4Hz的采样频率。在本文中，所使用的焦点信号是FHR信号。缺氧标签该数据是根据所包括的元数据的pH值确定的根据pH值的测定，获得了105个缺氧类别和177个正常类别[13]。2.2. 方法整个过程包括：预处理、GAN数据扩充、分类和评价。预处理。使用体外CTG记录FHR信号具有局限性，其中母亲和胎儿FHR信号的搏动值范围从0到300。然而，FHR信号中的缺失搏动由0的出现指示。FHR信号的一些预处理阶段包括[14]：(i) 如果缺失的节拍长度大于15 s，则必须从信号中移除节拍，[x（t）.x（t+ n）]=- 是的(ii) 如果缺失的节拍长度小于15 s，则可以使用Hermite三次样条插值来计算损失的心跳。(iii) 在信号中未找到0值后，下一步是删除具有≥200bpm或≤50 bpm的不同搏动的离群值。图图1示出了预处理之前和预处理之后的FHR信号的差异。本研究中使用的信号持续时间长度为离信号结束还有15分钟。这是因为在预处理之后，该FHR信号在清洗信号之后，对训练数据进行欠采样处理。首先，数据串上的正常类是欠采样的，因此它与异常类具有相同的数量，即71个实例。这样做是为了在使用GAN进行过采样后，两个类具有相同的数据量时序GAN架构模型。本节解释了使用生成式广告网络的数据过采样方法。本文的过采样方法是从每个FHR类，缺氧类和正常类生成信号。时间序列GAN启发了本文中用于时间序列生成的GAN模型和架构[16]。在这个GAN中结合了两个体系结构模型。使用的模型是WGAN 1和WGAN 2。WGAN1是生成2D频谱图图像的GAN模型，而WGAN2是创建1D信号的GAN模型。这些GAN模型中的每一个都有其不同的生成器和鉴别器。在WGAN 1模型中，生成器相比之下，语音识别器的输入是频谱图图像，并且输出是关于输入频谱图图像的真实性的二元判定。在WGAN2模型中，来自生成器的输入是具有随机潜在向量的合成频谱图图像，并且输出是从生成器中的过程转换来自该传感器的本文中的GAN的结构和模型根据胎心率信号的参数和数据长度进行了调整。表1显示了本文中使用的每个网络中R.D. I Puspitasari，M.A.夫人Alhamidi等人ICT Express 8（2022）239241=图1.一、（ a）预处理前的FHR信号（b）预处理后的FHR信号。表1用于不平衡FHR信号增强的生成对抗网络（GAN）架构的详细信息。WGAN 1 WGAN 2发电机发电机图层类型参数输出图层类型参数输出ActFunc/Pad/Reg ActFunc/Pad/Reg1潜在噪声3ReshapeReLu/RP/BNn×1× 1024 3 Conv1D ReLu/RP/BNn×900 × 2564上采样1D5Conv1D ReLu/RP/6上采样1D7Conv1D ReLu/RP/8裁剪1D9上采样1D10Conv 1D ReLu/RP/11裁剪1D12上采样1D13Conv 1D ReLu/RP/14裁切1D15上采样1D16Conv1D ReLu/RP/17Conv 1D Tanh/RP/18整形19整形鉴别器鉴别器图层类型参数输出图层类型参数输出ActFunc/Pad/Reg ActFunc/Pad/Reg1输入层3Conv 1D泄漏Relu/RP/4Conv 1D泄漏Relu/RP/5Conv 1D泄漏Relu/RP/6Conv 1D泄漏Relu/RP/7展平8密集深度学习分类模型。分类是模式识别中最重要的阶段，在这个阶段，使用深度学习模型将数据分类到正确的类别中。使用的一些深度学习模型包括CNN-1D[17]，RenNet-1D[18]，ResNet 50 V2[19]，MobileNet[20]、DenseNet201[21]和EfficientNetB0[22]。其由真阳性（TP）、假阳性（FP）、真阴性（TN）和假阴性（FN）列组成。本研究中使用的一些指标包括：i. 准确度定义为真阳性和真阴性的数量除以数据总数为了测量分类结果的性能，从混淆矩阵获得评估过程，精度T P+T NT P+F P+T N+F N（一）R.D. I Puspitasari，M.A.夫人Alhamidi等人ICT Express 8（2022）239242=√表2利用GAN对过采样前后的评价结果进行了比较。数据分类器精度 灵敏度 特异性QICNN-1DResNet-1D 38.6 68.43 30.24 45.48表3GAN生成的数据的变异数比较的评价结果。数据分类器精度灵敏度特异性齐1000 @类 C N N -1D66.2667.6465.0966.35ResNet-1D57.3450.1358.09没有干ResNet50V2 22.3 100.0 0.01移动网络19.2 85.67 0.00 02000 @类 C N N -1D64.4567.6463.3665.46ResNet-1D42.3252.69高效NetB0 26.0 97.02 0.07 2.60DenseNet201 34.9 76.21 0.21 4.00CNN-1D 57.83 73.52 53.78 62.88ResNet-1D 57.53 50.34 58.32 54.18使用GANResNet50V2 37.95 79.41 27.27 46.53移动网络46.38 61.76 42.42 51.18效率NetB0 80.45 5.88 98.48 25.79DenseNet201 54.81 54.88 53.42 54.14表4CNN-1D与调谐参数的评估结果ii. 灵敏度或召回率衡量被归类为异常的异常数据的比例（真阳性率）TP（2）T P+ F Niii. 特异性用于衡量正常数据被归类为正常数据的比例（真阴性率）。T N特异性=T P+ F N（三）iv. QI测量特异性和敏感性之间的比例QI=Se· Sp（4）实验设置本节描述了在不平衡的FHR信号数据上进行的几个实验场景。有四个场景进行，包括，在第一种情况下，FHR数据的分类性能进行了比较之前和之后使用GAN过采样。在这种情况下，使用六个深度学习模型来对来自GAN增强的信号进行分类。在第二种情况下，基于数据生成的变化来比较GAN增强数据分类性能。这个场景中使用的深度学习模型在第三种情况下，调整最佳深度学习模型参数。在这种情况下要比较的参数包括批量大小、epoch和学习率。第三种情况下的最佳模型是基本的机器学习模型和第四种情况下的现有研究。表2至表5中示出了来自每个场景的每个实验结果。3. 讨论本研究的重点是从QI值的角度进行评价。QI值受灵敏度和特异性的影响此外，我们还查看准确度值来评估模型的整体性能。从表2中可以看出，GAN增强的分类结果比没有增强的情况下获得了更好的性能。在表2中，还可以看到CNN-1D和ResNet-1D具有比其他深度学习方法更好的度量值在表3中，可以看出，使用更多的增强数据会产生更好的性能。在表4中，对CNN-1D模型的批次大小和时期数进行了参数可以看出，对于批量大小，最佳数量是每批32个数据。至于批次批量越大，获得的评价结果越低。对于所有实验设置，学习率的值为0.0001。在表5中，最佳建议模型与我们重新运行以适应本文环境的其他研究进行了比较。在该重新实验中，使用的数据被均衡，这是在信号结束时的15分钟，欠采样后的量与使用GAN过采样前的量相同。对于[10]和[24]方法，使用10倍验证，因为异常数据的量是太小了如果未执行k折验证，则两种方法所得的灵敏度值均为0。与其他方法相比，本研究的结果明显更好。结论本文提出了一种新的框架，过采样方法使用时间序列GAN不平衡胎心率信号数据。当数据增加到每类3000个数据时，我们的模型通过质量指数获得的分类评估结果比其他模型提高了3%-44%。这证明GAN成功地增强了数据，提高了深度学习的分类性能。3000 @类 CN N -1D68.0770.5867.4268.98ResNet-1D61.3463.5452.8157.92批次大小精度灵敏度特异性齐3266.2667.6465.0966.356468.6755.8871.9763.42100 12870.4847.0576.5160.0025660.8473.5257.5765.0651268.07258.8270.4564.373268.6752.9472.7262.056469.8867.6470.4569.03300 12868.0764.7168.9366.7925668.6767.6468.6468.1451266.8673.5265.1569.213271.0867.6471.9769.775006466.2673.5264.3968.8012865.6655.8868.1861.7225669.2773.5268.1870.8051264.4573.5262.1267.58R.D. I Puspitasari，M.A.夫人Alhamidi等人ICT Express 8（2022）239243+正+ ++表5评价结果与其他研究进行比较信号过采样FCN [23] CTU-UHB 50.21 93.34 7.13 25.79信号高斯朴素贝叶斯[24] CTU-UHB 65.91 67.27 66.00 66.63信号增强学习[24] CTU-UHB 60.91 50.18 61.27 55.44建议方法CTU-UHB 71.08 67.64 71.97 69.77CRediT作者贡献声明Riskyana Dewi Intan Puspitasari：概念化，方法论，软件，验证，调查，数据处理，形式分析，写作-原始草稿，可视化。M.安瓦尔·马桑：概念化，验证，形式分析，写作-评论编辑&. 马赫穆德河 Alhamidi：概念化，写作-评论&编辑。Kurnianingsih：写作-评论编辑。Wisnu Jatmiko：概念化，写作-评论编辑，监督，项目管理，资金获取。竞合利益作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。确认[8] P. Fergus，C. Chalmers，C.C. Montanez，D. Reilly，P. Lisboa，B.Pineles，使用一维卷积神经网络对分段心脏分娩描记术时间序列信号 进 行 建 模 ， 用 于 早 期 检 测 异 常 出 生 结 局 ， 在 ： IEEETrans.Emerg。Top. Comput.内部：2020年，第页。1比11[9] Z. Zhao，Y. Zhang，Z. Comert，Y.邓，结合递归图和卷积神经网络的胎儿缺氧计算机辅助诊断系统，前沿。Physiol. 10（2019）1[10] Z. Cömert，A. 1996年，基于图像时频特征和遗传算法的胎儿缺氧评估预后模型，计算机。Biol. Med. 99（2018）85[11] Z. Zhao，Y. Deng，X.张丽Shao，Deepfhr：基于卷积神经网络的胎儿心率信号智能预测胎儿酸血症，BMC Med. 告知。戴西斯麦5（2019）1[12] A. Fern，S. Garc，SMOTE从不平衡数据中学习：进步和挑战，纪念15周年，J. ArtificialIntelligence Res. 61（2018）863-905。[13] V. Chudá，M.布尔沙湖 Hruban，M. 胡普蒂奇湖 Lhot-ská，开放获取产时CTG数据库，见：BMC妊娠分娩，2014年。[14] Z. Cömert，A. Sengür， Budak，A.F. Kocamaz，预测我们要感谢印度尼西亚大学的Publikasi2020年05月05日，支持本文。引用[1] 泰勒，每个孩子都活着，迫切需要结束新生儿死亡，联合国儿童。基金，2018年。[2] L.H.妈，M。亚历山大，D.你，L。阿尔克马联合国Group，M.1990年至2017年期间新生儿死亡率的国家，区域和全球水平和趋势，以及到2030年的基于里约热内卢的预测：系统分析，2019年，pp。710-720[3] K.A. 艾伦，D.H. Brandon，Hypoproteinischemic encephalopathy：Patho-physiologyand experimental treatments，NIH Public Access 11（3）（2012）125-133.[4] A.L. Heureux，G.S.成员，大数据机器学习：挑战和方法，IEEEAccess 5（2017）7776-7797。[5] P. Fergus，M.塞尔瓦拉伊角Chalmers，机器学习集成建模，使用心脏分娩描记图对剖腹产和阴道分娩类型进行分类，计算。生物医学93（2017）（2018）7-16。[6] S. Saleem，S.S. Naqvi，T. Manzoor，A. Saeed，N. Bichtman，“阴道与剖腹产”分娩分类策略：心脏分娩记录的双变量经验模式分解，Front。Physiol.10（2019）1-18.[7] P. Fuentealba，A. Poudel，F. Ortmeier，研究心脏分娩描记分类的最佳信号时段长度，DeGruyter 6（3）（2020）1-4。产时胎儿缺氧考虑特征选择算法和机器学习模型，治愈。INF. Sci.系统7（1）（2019）1[15] S. Pereira，E. Chandraharan，在心电图（CTG）上识别慢性缺氧和预先存在的胎儿损伤：迫切需要超越指南，Porto Biomed。J. 2（4）（2017）124[16] K.史密斯，A.O. Smith，Conditional GAN for timeseries generation，2020，pp. 1-15，arxiv.[17] H.I. 法 瓦 兹 湾 Forestier ， J. Weber ， L. Idoumghar ， P. Muller ，Deepneural networkensemblesfortimeseriesclassification ，IEEEInternationalJoint Conference on Neural Networks（IJCNN），2019。[18] M. Kachuee，S. Fazeli，M. Sarrafzadeh，ECG心跳分类：一种深度可转移表示，在：IEEE国际医疗保健信息学会 议 ECG，2018年，pp. 0比1[19] K.他，Z。香玉河Shaoqing，S. Jian，Deep residual learningforimage recognition ， in ： IEEE Conference on Computer VisionandPattern Recognition（CVPR），2016。[20] A.G. Howard ， W. Wang ， MobileNets ： Efficient convolutionalneuralnetworksfor mobile vision applications，2012.[21] G.Huang，K.Q.Weinberger，Denselyconnectedconvolutionalnetworks，in：CVPR，2017。[22] M. Tan，Q.V. Le，Efficientnet：重新思考卷积神经网络的模型缩放，在：ICML 2019，2019。[23] M.A. Ma'sum，R. D. Intan Puspitasari，W. Jatmiko，A.A. 克里斯那迪，N.A. Setiawan，I.M.A. Dwi Suarjaya，改进深度学习分类器，用于心脏分娩力描记信号中的胎儿缺氧检测，在：IWBIS2019，2019，pp. 51比56[24] R.D. Intan Puspitasari ，硕士夫人，N. Alfiany，W. Jatmiko，A.Kekalih，A. Bustamam，Enhancement learning versus deep learningforhypoxiadetection in CTG signal，in：IWBIS 2019，2019，pp. 57比62方法 *数据集精度灵敏度特异性齐信号+组合特征+LS-SVM [10]CTU-UHB64.0161.9065.3663.61