基于Wasserstein GAN的新一代人工智能小样本增强

工程5（2019）156研究人工智能-文章基于Wasserstein GAN的新一代人工智能小样本增强：生物学刘宇飞a，b，d，袁舟b，刘欣a，方栋b，王畅a，王紫红ca华中科技大学生命科学与技术学院，湖北武汉430074b清华大学公共政策与管理学院，北京100084c华中科技大学机械科学与工程学院，武汉430074d中国工程院战略研究中心，北京100088阿提奇莱因福奥文章历史：收到2018年2018年6月2日修订2018年11月7日接受在线预订2019年1月11日关键词：人工智能生成对抗网络深度神经网络小样本量癌症A B S T R A C T利用基于大数据的深度学习算法实现新一代人工智能至关重要。深度学习的有效利用在很大程度上依赖于标记样本的数量，这限制了深度学习在小样本环境中的应用。在本文中，我们提出了一种基于生成对抗网络（GAN）与深度神经网络（DNN）相结合的方法。首先，将原始样本分为训练集和测试集。用训练集对GAN进行训练，生成合成样本数据，扩大了训练集。接下来，使用合成样本训练DNN分类器。最后，利用测试集对分类器进行测试，通过指标验证了该方法在小样本多分类中的有效性。作为一个经验案例，该方法被应用于识别具有小标记样本大小的癌症的阶段。实验结果表明，该方法比传统方法具有更高的准确性。该研究尝试将基于原始样本的经典统计机器学习分类方法转化为基于数据增强的深度学习分类方法这种方法的使用这项研究也有望为新一代人工智能的全面推广做出贡献©2019 The Bottoms.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 导言和背景人工智能的概念于1956年首次提出[1]，此后，基于信息技术和数据规模增大的人工智能发展发生了深刻变化[2]。这些变化在某些领域尤为突出，如移动互联网、大数据、超级计算、传感器网络、脑科学等。中国国务院于2017年7月发布的《下一代人工智能发展规划》[3]该计划概述了新一代人工智能将如何在*通讯作者。电子邮件地址：zhou_yuan@tsinghua.edu.cn（Y. Zhou）。以深度学习、跨界融合、人机协作、人群智能和自主智能为特征这些技术的基础是大数据驱动的方法论[4]。Pan[2]也曾将大数据智能描述为新一代人工智能的基本方法和重要发展方向。由Hinton和Salakhutdi-nov[5]开发的深度学习已经成为大数据智能的关键技术[6]，并导致了重大突破，如智能驾驶[7]，智慧城市[8]，语音识别[9]和信息检索[10]。与经典的统计机器学习方法相比，深度学习作为大数据智能方法的核心，具有相对复杂的模型结构。数据集的大小和质量会显著影响深度学习分类器。需要大规模带注释的样本数据，https://doi.org/10.1016/j.eng.2018.11.0182095-8099/©2019 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。目录可在ScienceDirect工程杂志主页：www.elsevier.com/locate/engY. Liu等人/工程5（2019）156157以充分优化模型参数并获得优异性能[11]。换句话说，在现有框架下，深度学习模型的性能取决于标注数据的规模和质量;这种情况也影响了新一代人工智能的然而，在许多实际应用中，获取标记的样本数据既困难又昂贵例如，需要一系列长期和昂贵的实验[12]来生成生物学中的训练样本，然后可以用于训练高精度的分类器。在计算机数控（CNC）机床领域，积累足够大的注释数据集需要数十年的时间，而CNC某些特定情况下的数据很少[13]。与此同时，在CNC中实施大数据方法在中国可能更加困难，CNC仍处于发展阶段。在战略情报分析中，样本的标记需要来自多个领域的杰出专家之间的密切和无缝合作[14除了成本高之外，数据特征复杂，存在高维数在这种情况下，原始特征空间的维数近似等于或大于样本数，这被称为在小样本的情况下，深度学习受限于良好的泛化性能。此外，新一代人工智能的发展是有限的，因为小样本量的领域比大数据环境的领域要多得多[22在以前的研究中，已经有几种过采样方法，这是为了解决数据规模不足的问题。这些方法的主要优点是它们是自给自足的.在早期阶段，如果不同类别的示例不平衡，则可以通过复制少数类别的训练示例来扩大训练集，或者通过向现有数据集添加人工噪声来创建新的数据集[27]。2002年，Chawla et al.[28]提出了一种经典的过采样方法，称为合成少数过采样技术（SMOTE），它涉及创建合成少数类数据集。在SMOTE方法的基础上，Han等人[29]提出了两种新的少数过采样技术，分别考虑相邻实例和仅考虑边界附近的少数实例。2008年，He et al.[30]提出了自适应综合抽样方法，根据学习难度对少数类实例Barua等人于2014年提出了多数加权少数过采样技术[31]。该方法旨在通过识别难以学习的少数类样本并根据其与最近的多数类实例的欧几里得距离分配权重来然后使用聚类方法生成合成实例。已经开发了更多的方法来满足数据集的需求。2015年，Xie et al.[32]提出了一种基于低维空间中局部密度的少数过采样技术，以解决影响早期方法的维数问题;该技术涉及将训练样本映射到低维空间并分配权重。在2017年，Douzas和Bacao[33]提出了一种自组织地图过采样方法，其中人工数据用于某些分类器。大多数上述方法都集中在不平衡学习上，其中通过向少数类数据集添加过采样实例可以实现更好的性能然而，许多领域的数据集在每个类别中仍然不足，而不是不平衡为了解决小样本问题，除了SMOTE之外，还提出了一些传统的方法。在1995年，Bishop[34]提出了用噪声训练可以得到好的结果;这个概念相当于Tikhonov规则。2004年，基于神经集成的决策树方法C4.5由Zhou和Jiang[35]介绍;这种方法首先训练神经网络，然后使用它来生成新的训练集。Li和Lin[36]在2006年引入了一种基于内化核密度估计的虚拟样本生成方法;该方法涉及确定样本的概率密度函数，然后用于生成训练样本。2009年，Li和Fang[37]再次提出了一种使用群发现和超球参数方程的非线性虚拟样本生成技术。然而，这些方法无法利用样本的固有特征，导致训练模型的局限性。近年来，随着新一代人工智能和大数据的快速发展，基于深度神经网络（DNN）的生成对抗网络（GAN）的使用为创建解决数据问题的新方法提供了机会。它还使深度学习在小样本情况下的应用成为可能GAN是一种强大的生成模型[38]，由Goodfellow等人于2014年引入[39];它可以用于生成与真实数据具有相同分布的合成样本，以解决注释数据不足的问题[40]。GAN由生成器和学习器的两个深度架构函数组成，它们可以同时以对抗的方式从训练数据中学习[41]。在学习过程中，生成器捕获真实数据的潜在分布并生成合成样本，而训练器尽可能准确地区分真实样本和合成样本。最近的工作表明，GAN可以成功地应用于图像生成，语言处理和监督学习，而训练数据不足。从图像生成的角度来看，Santana和Hotz[42]提出了一种生成与真实驾驶场景具有相同分布的图像的方法。沟[43]利用GAN从真实和合成图像中学习，以提高眼睛检测的准确性。从语言处理的角度来看，Li等人。[44]利用GAN来捕获对话的相关性并生成相应的合成文本，而Pascual等人。[45]提出了一种基于GAN的语音增强框架。这些研究表明，由GAN生成的合成样本符合原始样本的分布。此外，GANs在各个领域的成功应用表明，该生成模型不依赖于精确的领域知识，这有利于该方法在其他领域的应用。从训练数据不足的监督学习的角度来看，现有的大多数研究都是针对类不平衡的问题，而GAN通常被用作过采样方法。Fiore等人[46]利用GAN生成合成非法交易记录，并将这些合成记录合并到增强训练集中，以提高信用卡欺诈检测的有效性。Douzas和Bacao[47]利用GAN为各种不平衡数据集的少数类生成合成样本;结果表明GAN的性能优于其他过采样方法。这些研究表明，使用GAN的数据增强比传统的过采样方法在提高数据质量方面更有效。此外，大多数标准的增强方法已集成到Augmentor中，Augmentor是一种具有高级应用程序编程接口（API）的公认数据增强工具[48]。尽管GAN在平衡数据集方面取得了显着的成功，但令人惊讶的是，据我们所知，它们在小样本多分类中的应用尚未得到研究。通过数据增强来扩大数据规模，可以提高基于DNN的监督机器学习在各个领域的性能。总而言之，GAN提供了解决小样本所带来的问题的机会，从而改善了多分类。158Y. Liu等人/工程5（2019）156Pi<$1;j<$1nij为了解决小样本所带来的多分类问题，我们提出了一种将GAN与一个DNN本研究首先将原始样本分为训练集和测试集。利用GAN方法作为数据扩充，生成合成样本数据，扩大肿瘤生物分期训练集规模，满足DNN模型训练条件。接下来，DNN方法使用合成样本进行训练，并使用测试集进行测试。最后，通过比较几个指标与经典的监督机器学习方法DNN、SMOTE和GAN的组合，验证了该方法在小样本多分类中的有效性。本文提出的方法是将基于原始样本的经典统计机器学习分类方法转变为基于数据增强的深度学习分类方法的一种尝试。此外，本研究还有助于探索以深度学习为代表的新一代人工智能的应用范围和可靠性潜力。这是第一次尝试利用结合GAN和DNN的方法，以提高癌症分期的多分类的有效性。2. 方法2.1. 研究工作流程为了解决小样本情况下的监督学习问题，扩大深度学习的应用范围，提出了一种将GAN与DNN分类器相结合的多分类方法。这种方法可以概述如下（图1）。 1）：(1) 将原始样本分为训练集和测试集。使用训练集来训练GAN并调整其超参数。(2) 使用GAN的训练生成器生成合成样本，并使用过滤器过滤这些样本。(3) 使用合成样本训练DNN分类器，使用测试集测试DNN分类器。2.2. 生成对抗网络原始GAN的训练过程是一个极大极小博弈，优化目标是达到纳什均衡[40]，这就提出了消失梯度问题[50]。与原始GAN相比，WGAN使用Wasserstein距离而不是使用Wasserstein距离，WGAN的训练过程比原始GAN更稳定，更快[52]。在所提出的方法中，使用WGAN生成合成样本的过程包括两个阶段。首先，当生成器和训练器的损失函数经过数万次训练后收敛时，生成器开始生成原始合成样本。 其次，根据GAN换句话说，当一个合成样品被鉴定为真实的，合成样品愚弄了鉴定者。最初的合成样品被当作最终的合成样品。2.3. 深度神经网络本研究使用DNN作为分类器，DNN是一种基于深度学习的深度架构分类器。DNN分类器可以利用几个计算模型来学习具有多层抽象的数据表示;模型由多个处理层组成。DNN分类器使用WGAN生成的大量合成样本进行训练该方法利用测试集对DNN分类器进行测试，以检验分类器的为了测试DNN分类器的性能，我们使用了三个基于混淆矩阵的多分类度量（图2）：准确度，F-度量和G-均值。准确度表示正确预测的比例，F-度量表示精确度和召回率的调和平均值[54]，G-均值表示召回率的几何平均值[55]。精确度、F-测量和G-均值在等式中定义。（1-3）。Wasserstein生成对抗网络（WGAN）[49]用于生成本研究中的合成样品，因为L准确度1niið1ÞFig. 1. 小样本多分类方法的工作流程。Y. Liu等人/工程5（2019）156159公司简介PL.YP图2.多分类混淆矩阵图。低于15%[56]。早期治疗可有效提高肝癌的5年相对生存率。尽管如此，早期HCC的识别研究仍然受到缺乏具有分期信息的样本的限制。糖基化是最广泛的翻译后修饰之一，在各种生物过程中起着至关重要的作用[58许多癌症相关过程，包括致癌转化[59，61]、肿瘤进展[62]和抗肿瘤免疫[63]，与蛋白质的异常糖基化相关。此外，各种肿瘤标志物是血清糖组学改变的糖蛋白[64因此，糖基化数据是预测癌症分期的有效手段。在本节中，我们将讨论使用WGAN结合DNN来识别HCC的分期，这对HCC的诊断和治疗具有重要意义。2PL R iPLP iF-测量i¼1I1/1i¼1Pið2Þ3.1. 数据收集本研究采用同济医院（Tongji Hospital，Tongji）G-平均值¼L1/11=LRið3Þ华中科技大学医学院）作为实验数据。N-聚糖是数据增强的特征，它首先从人血清在这些等式中，L表示类号;nii和nij分别表示被正确预测为类Ci和被错误预测为类Cj的类Ci样本的数量;并且Ri和Pi分别表示类Ci的召回率和精度，其定义如下：nii在固相全甲基化方案之前，通过PNGase F对样品进行纯化[68]。接下来，对全甲基化N -聚糖的质谱（MS）峰分布及其相对强度进行了分析（图11）。 3）使用4800 Plus MALDI（AB SCIEX，Concord，Canada）检测。使用Data Explorer 4.5进一步处理所获得的MS数据，并将列出m/z值和MS强度的.txt文件以.Ri1niiL第1页尼伊杰恩吉ð4Þð5ÞASCII Spectrum （ ASCII Spectrum ） 根 据 肿 瘤 淋 巴 结 转 移（TNM）进行分期。通过上述生物学过程，获得60例HCC患者（TNM I期21例，TNM II期24例，TNM III期15例），每例包含42个特征，并以18例健康人作为对照组。每个样本根据其峰值分布被表示为42维特征向量3. 实证分析与讨论由于需要保护患者隐私，病理数据的获取是昂贵的，并且相应的数据注释是困难的。因此，病理学研究经常遇到样本量小的问题。因此，数据扩充在病理学领域的应用是典型的。肝细胞癌是一种常见的恶性肿瘤，其相对生存期为顺序和相对强度，如图所示。 3. 如表1所示，将HCC病例分为训练集（60%）和测试集（40%）。3.2. 结果分析根据所提出的方法，我们首先使用TNM I期、TNM II期、TNM III期和对照组图3. 使用MALDI质谱法的HCC样品的N-聚糖谱P¼Pi！160Y. Liu等人/工程5（2019）156表1本文中使用的数据集概述HCC原始样本总训练集测试集健康11718TNM I13821TNM II141024TNM III9615总473178训练WGAN，然后使用训练好的WGAN生成相应的合成样本。GAN的超参数是通过一系列实验确定的。生成器有一个包含32个整流线性单元（ReLU）的隐藏层，42个S形单元用作输出层。噪声向量z的维度被设置为15。该引擎还有一个隐藏层，包含64个ReLU;一个没有激活功能的单元被用作输出层。每类训练样本的WGAN超参数相同。WGAN的开发环境是TensorFlow1.1，并通过图形处理单元（GPU）进行训练。WGAN培训过程包含30万次迭代。在WGAN训练的每次迭代中，迭代器首先迭代100次，然后生成器迭代一次。在生成HCC病例的合成样本之后，这些样本用于训练DNN分类器。DNN分类器是一种多层感知器（MLP），然后使用HCC测试集进行验证。在DNN上进行了一系列实验后，确定了超参数。分类器的输入维数为42，等于HCC样本中的特征数。分类器有三个隐藏层，每个包含32个ReLU; softmax函数用作输出层，交叉熵用作损失函数。使用TensorFlow1.1和GPU来训练DNN分类器，迭代次数设为3000次。为了评估合成训练样本量对DNN分类器性能的影响，我们使用不同数量的合成样本来训练DNN分类器，然后使用真实样本来测试准确率、F-测量和G-均值三个指标从每个类的20个合成训练样本中，每次生成超过20个合成样本来训练DNN分类器。在超过100个合成训练样本的情况下，每次生成超过100个合成样本来训练DNN分类器。准确度、F-测量值和G-平均值的变化如图所示。第四章随着合成训练样本量的增加，准确率逐渐提高。在100个合成训练样本的情况下，准确率达到51.61%。当合成训练样本量为1000时，准确率大于0.6（64.52%），当合成训练样本量为2000时，准确率为67.74%。然而，在此之后，增加合成训练样本量并没有带来准确率的提高，准确率继续在67%左右波动。当合成训练样本量达到4000时，准确率稳定在70%左右。此外，随着合成训练样本量的增加，F-测度的变化趋势与准确率的变化趋势基本一致，说明各类别真实样本的预测准确率而且，对肝癌的各个分期都能进行有效的预测，误诊率极低。图第四章DNN分类器性能随着合成训练样本量的增加可以获得用于在小样本量中识别HCC阶段的DNN分类器。特别地，当WGAN生成的合成样本的数量为4000时，真实样本的测试准确度为70.97%（在31个原始样本中，22个被正确预测），F-测量为70.07%，G-均值为68.39%。表2列出了所有阶段的DNN预测结果。 对照组中的所有健康样本均被正确预测。在八个TNM I期测试样本中，五个样本被正确预测，两个被预测为TNM II期，一个被预测为III期。在10个TNM II期测试样本中，7个样本被正确预测; 2个被预测为健康，表明有误诊的风险; 1个被预测为健康。是TNM III期在6例TNM分期为III期的真实病例中，只有3例被正确预测，其余均被预测为TNM分期I，准确率只有50%。这降低了DNN模型的整体性能。因此，在未来的研究中应增加原始TNM III期样本的数量，以提高DNN模型对TNM III期的特异性。TNM I期和II期具有相似的临床特征，可以分为一个单一的类别，称为“早期癌症”。因此，根据早期肝癌（TNM I期和II期）的识别结果，所提出的方法的准确性达到77.78%。这种准确性水平对于HCC的早期识别和治疗具有重要意义，因为目前的一项研究[69]发现早期治疗可显著提高HCC患者的生存率。Holzinger等人[70]最近的一项研究表明，如果病理学家通过机器学习方法增强，数字病理学将极大地改变医疗工作流程。因此，我们的综合方法与准确的预测具有潜力促进肝癌发病机制的进一步研究表2HCC分期识别的混淆矩阵。低根据准确度、F-测量和G-平均值，III期9 8 9 5 31当合成训练样本量为4000时，预测总健康TNM一阶段TNM第二TNMIII期真正健康70007真正的TNM一阶段05218随着合成样本数量的增加，真正的TNM207110仍然略低于准确度，但与第二总的来说。这一发现表明，误诊率仍然存在，真正的TNM03036Y. Liu等人/工程5（2019）1561613.3. 结合DNN为了测试所提出的方法在有限数量的样本中对HCC的TNM分期进行分类的有效性，使用经典的统计机器学习分类器和数据过采样方法进行比较。随机森林（RF）是一种集成学习方法，具有比其他机器学习模型更高的准确性和更好的泛化能力[71]，而朴素贝叶斯（NB）分类器具有简单的原理和稳定的分类性能[72]。这两种算法被选为经典统计机器学习分类器的代表.如果HCC的真实样本数量有限，则深度学习方法无法有效应用由于缺乏足够的HCC数据，然而，经典的统计机器学习方法对数据集的要求相对较低，因此可以使用该方法。在经典的统计机器学习实验中，使用原始样本对分类器进行训练，然后使用测试集进行测试。在过采样实验中，采用SMOTE算法，通过使用所有阶段的过采样HCC训练集来然后用过采样样本训练RF、NB和DNN接下来，使用HCC测试集对训练的分类器进行验证。在提出的基于WGAN的框架中，使用WGAN生成的大量合成样本来训练RF、NB和DNN分类器。然后使用真实样本对分类器进行验证。如表3所示，使用训练集和测试集的准确率相对较低，分别为54.84%和32.26%，F-测量值分别为56.73%和12.20%，G-均值分别为45.50%和0。NB指数显著低于RF，这表明在所考虑的数据集的情况下，NB比RF更敏感。这些结果表明，误诊率高，许多肝癌病例没有被区分。因此，给定有限的训练集，经典的机器学习模型无法有效地训练。相比之下，用SMOTE生成的4000个过采样样本训练的RF和NB模型在所有指标方面都表现得更好这些结果表明，SMOTE改善了经典的机器学习模型的性能，并在一定程度上降低了误诊率使用SMOTE生成的4000个过采样样本训练的DNN模型在所有指标上都有显著改善：准确率提高到64.52%，F-测量提高到66.05%，G-均值提高到63.32%。这些结果表明，深度学习模型的性能优于经典机器学习模型。用WGAN生成的4000个合成样本训练的RF和NB模型表现出不同的性能变化。 RF模型的各项指标都比用过采样样本训练的模型差，而NB模型的各项指标都有较大幅度的提高。这些结果意味着，使用WGAN生成的合成样本，经典的机器学习模型确实表3不同分类策略的性能。精度F-测度G均值RF0.54840.56730.4550NB0.32260.12200带SMOTE的0.58060.62540.4811带SMOTE的0.54840.56000.5233带SMOTE的0.64520.66050.6332带WGAN的0.29030.29310.2627带WGAN的0.61290.62600.6043DNN与WGAN0.70970.70070.6839没有提供好的结果。在所提出的框架中，具有来自WGAN的合成样本的深度学习模型DNN在所有考虑的分类器中表现最好。与SMOTE产生的过采样样本相比，该方法的准确率从64.52%提高到70.97%，F-度量值从66.05%提高到70.07%，G-均值从63.32%提高到68.39%，表明该方法有效地解决了HCC分期识别问题.最重要的是，这些发现表明，深度学习方法可以成功地应用于样本数量有限的多分类问题。3.4. 讨论实验结果表明，WGAN与DNN相结合可以用于HCC的分期识别，与传统方法相比，WGAN具有更好的性能这一发现对癌症研究具有重要意义。对大多数癌症的研究受到样本量小问题的阻碍;具有准确分期信息的样本特别罕见。这一问题导致癌症的早期诊断和治疗进展缓慢，而且影响了对癌症发病机制我们基于WGAN的数据该方法不仅可以解决HCC分期问题，还可以使用监督学习解决小样本问题因此，选择了基于血清样本的癌症分期由于深度学习的特点，所提出的框架不依赖于癌症的精确领域知识因此，所提出的方法在其他生物学研究领域中成功应用的障碍较低，并且一旦性能得到优化，甚至可以应用于更广泛的领域此外，WGAN与DNN的结合具有将缺乏样本的领域带入智能时代的巨大潜力[26，734. 结论在本文中，WGAN方法结合DNN提出了用于在小样本量的基础上的癌症分期识别通过精度、F-测度和G-均值等指标，证明了该方法与经典的机器学习方法和过采样方法相比，随着合成样本数的癌症的早期识别由于特征选择不依赖于专家的精确领域知识，因此基于小样本量的监督式深度学习方法有可能为各个领域中涉及小样本量的其他问题提供有效的解决方案。因此，这种方法可以很容易地用于促进其他领域的智能发展。这种新的方法有力地推动了人工智能的新阶段在未来，所提出的方法将应用于来自各个领域的更多数据集，以不断改进我们的研究[76，78]。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 （ 91646102 ， L1724034 ，L16240452，L1524015，20905027），MoE（中国教育部）项目，162Y. Liu等人/工程5（2019）156人文社会科学（16 JDGC 011），中国工程院260 ） 、 沃 尔 沃 支 持 的 清 华 大 学 绿 色 经 济 与 可 持 续 发 展 项 目（20153000181）和清华大学创新研究项目（2016THZW）。遵守道德操守准则Yufei Liu、Yuan Zhou、Xin Liu、Fang Dong、Chang Wang和Zihong Wang声明他们没有利益冲突或财务冲突需要披露。引用[1] 克雷维尔湾人工智能：寻找人工智能的动荡历史。纽约：基本图书公司; 一 九 九三 年[2] 潘Y。走向人工智能2.0。Engineering 2016;2（4）：409-13.[3] 中华人民共和国国务院下一代人工智能发展计划北京：www.gov.cn。[2018年3月5日]。可查阅：http://english.gov.cn/policies/latest_releases/2017/07/20/content_281475742458322.htm。[4] 中华人民共和国国务院新闻办公室《下一代人工智能发展规划》的政策解读[ 互 联 网 ] 。 北 京 ： www.scio.gov.cn 。 [2018 年 3 月 5 日 ] 。 可 查 阅 ：http://www.scio.gov.cn/34473/34515/Document/1559231/1559231.htm 。 中文.[5] HintonGE，Salakhutdinov RR. 用神经网络降低数据的维数。Science2006;313（5786）：504-7.[6] Zhuang Y，Chen C，Pan Y.挑战与机遇：从大数据到AI 2.0中的知识Front InfTechnol Electronic Eng2017;18（1）：3-14.[7] Al-Qizwini M，Barjasteh I，Al-Qassab H，Radha H.使用GoogLeNet的自动驾驶深 度 学 习 算 法 。 In ： Proceedings of the 2017 IEEEIntelligent VehiclesSymposium; 2017 Jun 11-14; Los Angeles，CA，USA. NewYork：IEEE; 2017. p.八九比九十六[8] Wang L，Sng D.深度学习算法及其在智能城市视频分析中的应用2016年：arXiv：1511.06434。[9] 放大图片作者：Mohamed A，Dahl G，Hinton G使用深度信念网络的声学建模。IEEE TransAudio Speech Lang Process 2012;20（1）：14[10] 琼 斯 N. 军 事 情 报 研 究 所 推 出 免 费 的 科 学 搜 索 引 擎 [ 互 联 网 ] 。 Heidelberg ：Springer Nature. c2018 [ 引 用 日 期 2018 年 3 月 5 日 ] 。 可 从 以 下 网 站 获 得 ：https://www.nature.com/news/artificial-intelligence-institute-launches-free-science-search-engine-1.18703。[11] Goodfellow I，Bengio Y，Courville A.深度学习剑桥：麻省理工学院出版社;2016年。[12] 庄芳，罗萍，庆红，石忠。迁移学习研究综述 J Software2015;26：26-39. 中文.[13] ChenJ，Yang J，Zhou H，Xiang H，Zhu Z，Li Y，et al. 使用一种基于修正域的方法对数控机床工作过程进行CPS建模。Engineering2015;1（2）：247-60.[14] 杨文，李文.欧洲、中国和印度之间的风能技术转让和技术合作：从南北合作到南北合作？能源可持续发展2015;28：29-40。[15] Zhou Y，Zhang H，Ding M，Su J.公共示范项目如何影响新兴产业的出现：中国电动 汽 车 示 范 项 目 的 实 证 研 究 。 In ： Proceedings of the 2013 SuzhouSiliconV a l l e y - B e i j i n gI n t e r n a t i o n a lI n n o v a t i o nC o n f e r e n c e ;2 0 1 3 年 7 月 8 - 9 日 。 NewYork：IEEE; 2013. p.234- 9[16] Zhou Y，Minshall T.打造全球产品，参与创新竞争：中国大学衍生企业的作用和所需的创新能力。Int JTechnol Manage 2014;64（2）：180-209.[17] 徐刚，吴勇，闵绍泰，周勇。探索跨科学、技术和商业的创新生态系统：中国3D打印案例。TechnolForecast Social Change 2017;136：180-221.[18] 李新，周英，薛玲，黄丽.产业崛起和创新差距的路线图：中国OLED产业的专利分析。Int JTechnol Manage 2016;7（1-3）：105-43.[19] 李新，周英，薛玲，黄丽.整合文献计量与路线图方法：以中国染料敏化太阳能电池技术产业为例。2015年，《社会变迁预测》;97：205-22。[20] Zhou Y，Pan M，Urban F.比较中国风能和太阳能光伏产业的国际知识流：专利分析及其对可持续发展的影响。可持续发展2018;10（6）：1883。[21] 库特鲁姆巴斯·西奥多·斯模式识别第3版奥兰多：学术出版社，2006年.[22] 张旭，周英，张晓.创新核心、创新半外围与技术转移：以风能专利为例。能源政策2018;120：213-27。[23] 潘M，周Y，周DK。通过专利视角比较中国和欧洲风力涡轮机企业的创新战略。环境创新社会转型。Epub 2017 Dec 27.[24] 周勇，潘梅，周东康，薛玲。 绿色制造技术扩散中利益相关者的风险和信任感知：来自中国的证据。 J EnvironDev 2017;27（1）：46-73.[25] 周毅，李翔，雷玛R，乌尔班F.比较亚洲和欧洲风力涡轮机公司的知识基础：专利轨迹，网络和全球化。科学公共政策2016;43（2）：476-91。[26] 陈丽，徐军，周勇.规范制造业中小企业的环境行为：企业间联盟作为促进者。 JCleaner Prod 2017;165：393-404.[27] DeRouinE，BrownJ.NeuralNetworkTrainingonUnequivalentRepresentedClasses. New York：ASME Press.[28] Chawla NV，Bowyer KW，Hall LO，Kegelmeyer WP. SMOTE：合成少数过采样技术。J Artif Intell Res 2002;16（1）：321-57.[29] 韩红，王伟英，毛秉宏. Borderline-SMOTE：一种新的不平衡数据集过采样学习方法。见：黄DS，张XP，黄GB，编辑。 智能计算的进展。Berlin：Springer; 2005.p.878-87.[30] 何华，白英，加西亚EA，舒涛L. ADASYN：用于不平衡学习的自适应合成采样方法。In：Proceedings of the 2008 IEEEInternational Joint Conference on NeuralNetworks; 2008 Jun 1-8; Hong Kong ， China. New York ： IEEE; 2008.p.1322-8。[31] Barua S ， Islam MM ， Yao X ， Kazuyuki M. 用 于 不 平 衡 数 据 集 学 习 的M W M O T E - 多 数 加 权 少 数 过 采 样 技 术 。 IEEE跨知识数据工程2014;26（2）：405-25.[32] 谢志，姜丽，叶婷，李晓.低维空间中基于局部密度的非平衡学习综合少数过采样方法。In：Renz M，Shaanxi C，Zhou X，Cheema M，editors.用于高级应用程序的数据库系统。Cham：Springer; 2015. p. 3比18[33] Douzas G，Bacao F.自组织映射过采样（SOMO）用于不平衡数据集学习。 专家系统应用2017;82：40-52.[34] 主教CM。带噪声的训练等价于Tiknonov正则化。神经计算1995;7（1）：108[35] 周志，姜毅。Nec4.5：基于C4.5的神经集成。IEEE跨知识数据工程2004;16（6）：770-3.[36] 作者：Li DC，Lin YS.利用虚拟样品生成在制造早期阶段建立管理知识。欧洲手术研究杂志2006;175（1）：413-34。[37] 李丁，方Y。 利用群发现和超球参数方程的非线性虚拟样本生成技术。实验系统应用2009;36（1）：844-51。[38] 王K，苟C，段Y，林Y，郑X，王芳。生成对抗网络：介绍与展望。IEEE/CAA JAutom Sin 2017;4（4）：588-98.[39] [10] Goodfellow I，Pouget-Abadie J，Mirza M，Xu B，Warde-Farley D，OzairS ， et al. 生 成 对 抗 网 。 In ： Ghahramani Z ， Welling M ， Cortes C ，LawrenceND，Weinberger KG，editors.神经信息处理系统进展。神经信息处理系统基金会; 2014年。p. 2672- 80[40] Creswell A，White T，Dumoulin V，Arultiaran K，Sengupta B，Bharath AA.生成对抗网络：概述。IEEE Signal Process Mag2018;35（1）：53-65.[41] 李文辉，李文辉.使用深度卷积生成对抗网络进行无监督表示学习。2015年：arXiv：1512.03131。[42] Santana E，Hotz G.学习驾驶模拟器。2016年：arXiv：1608.01230。[43] 郭C，吴Y，王K，王芳，季勤.通过合成学习实现精确的眼睛检测。In：Proceedingsof the 23rd International Conference on PatternRecognition; 2016 Dec 4 -8;Cancun，Mexico. New York：IEEE; 2017.p. 3362- 7[44] 李J，门罗W，施T，让S，里特A，Jurafsky D.神经对话生成的对抗学习。2017年：arXiv：1701.06547。[45] Pascual S，Bonafonte A，Serrà J. SEGAN：语音增强生成对抗网络。2017年：arXiv：1703.09452。[46] [10] 杨 文 ， 杨 文 . 使 用 生 成 对 抗 网 络 提 高 信 用 卡 欺 诈 检 测 的 分 类 效 率 。 InfSci2019;479：448-55.[47] Douzas G，Bacao F.使用条件生成对抗网络进行不平衡学习的有效数据生成。专 家系统应用2017;91：464-71。[48] 杨伟杰，王伟杰，王伟Augmentor：用于机器学习的图像增强2017年：arXiv：1708.04680[49] Arjovsky M，Chintala S，Bottou L.沃瑟斯坦河2017年：arXiv：1701.07875。[50] RatliffLJ，Burden SA，Sastry SS. 连续博弈中局部纳什均衡的刻画与计算。在：第51届Allerton通信，控制和计算年会论文集; 2013年10月2日至4日;蒙蒂塞洛，IL，美国。New York：IEEE; 2