混合池辍学：卷积神经网络正则化研究

沙特国王大学学报卷积神经网络正则化Brahim AitSkourt，Abdelhamid El Hassani，Aicha Majda摩洛哥非斯Sidi Mohammed Ben Abdellah大学科学技术学院计算机科学系阿提奇莱因福奥文章历史记录：2020年12月18日收到2021年5月5日修订2021年5月7日接受2021年5月20日网上发售保留字：深度神经网络混合合并-脱落最大合并丢弃A B S T R A C T深度神经网络是文献中使用最多的机器学习系统，因为它们能够以非常有效的方式用大量参数训练大量数据然而，这种网络面临的问题之一是过度拟合。有很多方法可以解决过拟合问题，其中之一是使用dropout函数进行正则化使用dropout的好处是在一个架构中使用不同网络的组合，并防止单元以过度的方式共同适应已知dropout函数在全连接层和池化层中工作良好在这项工作中，我们提出了一种新的方法，称为混合池辍学，适应辍学函数与混合池策略。dropout操作由二进制掩码表示，每个元素独立于伯努利分布绘制实验结果表明，无论保留概率如何，我们提出的方法都优于传统的池化方法以及最大池化-丢弃版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍卷积神经网络（CNN）是在深度学习时代产生重大影响的深度神经网络之一。它们以处理图像数据集的特殊能力而闻名。CNN已经被证明在几个任务中是非常成功的，例如图像分类（Sun等人，2020），人脸识别（Kumar和Singh，2020），物体检测（Bochkovskiy等人，2020）、图像分割（Skourt等人，2018），并将其扩展到音频处理（Hourri等人，2020年）。此外，CNN被广泛用于不同的领域，例如医 疗 领 域 （ El Hassani 等 人 ， 2021 年 ） ， 农 业 （ Kamilaris 和Prenafeta-Boldú，2018年）等。标准CNN由卷积和池化的交替层组成与具有类似大小的层的普通神经网络相比，CNN在卷积层中的连接和参数要少得多，这使得它们不太容易受到过拟合的影响。尽管CNN具有所有这些品质，但仍然遇到过拟合相对较小的数据集的问题。*通讯作者。电子邮件地址：brahim. usmba.ac.ma（B. Ait Skourt）。沙特国王大学负责同行审查制作和主办：Elsevier然而，这个问题可以在执行正则化方法时得到解决，例如L1（Ng，2004）、L2（Ng，2004）、Dropout（Srivastava等人，2014），数据增强（Wong et al.，2016年）等。辍学已经显示出非常有希望的结果，减少神经网络中的过度拟合，特别是CNN。至少在实际上是标准人工神经网络的全连接层中。丢弃的机制在于随机丢弃隐藏层或输入层中一定数量的单元以及所有传入和传出的连接。事实上。每个单元都以独立于其他单元的固定概率随机保留。该概率的选择可以在使用验证集的同时完成，或者简单地设置为0.5，这已经被经验证明对于包括CNN在内的许多不同网络是最佳的（Srivastava等人，2014年）。丢弃并不是专门针对隐藏单元执行的。事实上，它也扩展到输入层，但由于几乎所有输入单元对于学习过程的重要性，这些层的最佳保留概率更接近1而不是0.5（Srivastavaet al.，2014年）。该方法不仅在显著地减少过拟合方面非常成功，而且在有效地提供组合许多不同神经网络的方法方面也非常成功。 然而，在CNN中执行时，dropout的主要限制之一是它只覆盖完全连接的层。因此，过拟合问题仍然是一个有效的问题。尽管如此，CNN的一个有趣的特征是池化操作提供了一种形式的平移不变性，以解决从特征图生成的位置敏感性，因此支持泛化，从而减少过拟合。池化层在https://doi.org/10.1016/j.jksuci.2021.05.0011319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comB. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报4757CNN架构由于许多其他原因。一方面，池化层用于降低输入特征图的维度，这有助于降低模型的计算成本（Ranzato等人， 2007年）。另一方面，池化层在提取相关特征和消除不相关特征方面也很有用尽管如此，单靠池化层还不足以克服过拟合问题。因此，扩展正则化函数以到达CNN中的特征提取层是一种有效的解决方案。事实上，在（Wu和Gu，2015）中，Wu等人提出了一种名为Max-Pooling-Dropout（MaPD）的新方法，该方法包括将dropout函数推广到也覆盖池层。最大池化丢弃的效果是非常有效的，这是由于其在基于关于保留概率p的多项分布的采样激活中的性质。这种方法只在训练阶段使用，而在测试阶段，则采用所有可能的最大池化退出训练网络的平均值，称为概率加权池化。max-pooling-dropout与随机池非常相似（Zeiler和Fergus，2013），因为它们都是基于多项分布随机采样激活在本文中，我们提出了一种新的方法称为混合池-Dropout（MiPD），它包括在完全混合池化层上执行dropout函数，该层完全混合了最大池化和平均池化操作。此外，我们在上面提到，在Zeiler和Fergus（2013）中，他们在测试时间中采用了概率加权然而，在本文中，我们在测试时采用了为了完成这项任务，在这项工作中，我们专注于CNN在医学领域的应用。更具体地说，我们将使用我们的CNN架构进行脑肿瘤图像分类。脑癌是世界范围内男性和女性死亡的第10大原因到2020年，估计将有18，020人（10，190名男性和7，830名女性）死于原发性癌症肿瘤。神经胶质瘤是最常见的脑肿瘤，它们在预期寿命为多年的患者中被认为是侵袭性较低的，或者在预期寿命为至多两年的患者中更具侵袭性 手术是治疗脑肿瘤最常用的方法。此外，放疗和化疗通常用于控制无法手术切除的肿瘤的生长。磁共振成像（MRI）是用于诊断不同肿瘤的最常见的测试之一，它提供了器官的早期发现此类肿瘤可降低确诊患者的死亡率因此，除了医生的专业知识，计算机辅助诊断（CAD）系统有助于使用MRI图像早期检测脑肿瘤。 为此，在这项工作中，我们正在执行脑肿瘤分类作为CAD系统的一个步骤。实验结果表明，我们提出的方法的最大池辍学方法的一个显着的保证金。本文的其余部分组织如下;下一节介绍相关工作。第3节中描述了两个版本中的拟定方法。在第4节中，提供了实验结果和最后是第五节的结论。2. 相关工作Dropout是一种正则化方法，在克服深度神经网络中的过拟合方面表现出非常有前途的结果。如Srivastava等人，2014年，N。Srivastavaet.例如，它通过在给定保留概率的情况下随机禁用/丢弃多个单元来在全连接层中操作。drop-out函数已经在许多流行的作品中被采用，大多是 ImageNet 竞 赛 的 获 奖 作 品 ， 如 AlexNet （ Krizhevsky et al. ，2017），Inception（Szegedy et al.， 2016），SENet1https://www.cancer.net/cancer-types/brain-tumor/statistics。（Hu等人，2018年，还有更多。dropout函数被扩展到池化层，如Wu和Gu（2015）所示，使用所谓的max-pooling-dropout。正如他们在论文中所声称的那样，在执行最大池操作之前，激活是基于多项分布选择的，以随机选择输出，而不仅仅是选择最强的激活。与max-pooling-dropout 一 样 ， Stochastic pooling （ Zeiler andFergus，2013）是一个基于多项分布选择池单元的dropout启发函数。这种方法相当于卷积层的dropout，以减少过拟合对训练卷积神经网络的影响。另一项工作的灵感来自dropout，称为drop-connect（Wan等人，2013），其不是将一组单位随机设置为零，而是将一组随机选取的权重设置为零。使用这种方法的动机是解决dropout所带来的问题，dropout存在于防止网络权重相互协作以记住训练示例中。在另一项与dropout相关的工作中，提出了一种名为maxout（Azuaje，2017）的新方法，该方法增强了dropout函数的优化和采用dropout函数在池层中执行是提高所选特征的质量以获得更好的学习方案的一种方式。然而，还有另一个操作也有同样的目的，它以许多不同的方式混合了两个池函数，max和average。混合池（Yu等人，2014a）是由Yu et.在CNN中随机执行最大或平均池化函数。某些池化操作的选择与随机值有关，该随机值在最大值的情况下可以取1，在平均值的情况下可以取0。然而，最终结果是在层中执行最大池化还是执行平均池化，这对所选特征的质量没有显著影响Lee等人在他们的论文中介绍了（Lee等人， 2017）三种混合池化方法来解决这个问题，混合最大平均，门控和树池化。这些方法实际上混合了最大池化特征和平均池化特征，而不是上面提到的混合池化。Mixedmax- average pooling函数采用与mixed- pooling相同的策略，只是比例值可以取0到1之间的任意换句话说，结果是最大池化特征的百分比与平均池化特征的互补百分比混合然而，这种方法缺乏响应性，换句话说，它不适应池化区域中的可用特征。因此，作者提出了第二种方法来解决这个问题。选择池化特征的机制依赖于与池化区域具有相同空间维度的学习门控掩码，然后从该门控掩码和被池化区域的内积生成标量然后通过sigmoid函数将该比例馈送到混合比例。Lee等人（2017）提出的第三种方法结合了这两种方法。二叉树的学习方面以及最大和平均池化特征的混合。与二叉树一样，这种学习的两个方面都是以每个叶子与在训练期间学习的池化过滤器当考虑树的内部节点时，每个父节点与输出值相关联，该输出值是子节点的输出值的混合，根节点对应于树产生的总输出，并且每个混合物都是响应性学习的。3. 混合合并脱落Mixed-pooling-dropout是dropout函数与mixed-pooling层的组合，mixed-pooling层是以特定方式混合的最大池和平均池在我们进一步讨论B. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报4758JðÞJp;q=2RijKKðωÞKKKKð Þ ð ÞPkkRJ1我nJIJð Þ¼X¼：关于我们提出的方法的细节，我们将简要介绍CNN架构的基本组件。标准CNN架构由具有激活函数和池化操作的连续卷积层组成，然后是用于区分目的的全连接层。一般来说，任何池化函数都可以由以下公式表示：a l1¼ Poolal;.. . ;一个大的;.. . ; al;a i2 Rl1其中Rl是第l层的第j个池化区域，其中池化区域在第l层上滑动步幅s，并且n是池区。池表示在池化区域上执行的池化函数。 图 1说明了池函数如何zlMωylFig. 1. 如何执行池化操作。ð7ÞK K一般情况下，输入表示层l，红色region是一个池化区域Rl，其中j在这种情况下是1，并且输出JX在公式中是l= 1，并且在该示例中步幅s是2池化操作可以是最大的，并且它取池化区域中的最大（2），平均值，并且它取如等式（1）所示的合并区域上的平均值。（3），或如等式（3）中的最大值和平均值两者的混合。（四）、最大xxkij最大xxkij最大2其中M是二进制掩码，具有与y相同的维度，独立于伯努利分布生成。是二进制掩码中元素的逐元素乘法，池区。这里可以从（Eq.（4））在完全混合平均和最大池化之后丢失的情况下，或者它可以取平均（等式（4））。（3））或Max（Eq. （2）在脱落的情况下，在将它们两者混合之前进行。采用这种方法，最大/平均值是输出-put不是唯一有效的可能性，还有其他值，Avg x1jRij jxkijRijð3Þ可以与训练过程相关，有机会被选中，给定保留概率p1-q，q是概率。至于随机联营，它是由多项分布的方程表示的，在Eqs. （5）和（6）。池化操作的使用具有处理平移不变性的有益效果。它还通过丢弃不相关的图像特征来降低模型的计算成本。在完全混合池中添加dropout操作可以获得更好的结果，这是由于引入了随机性和特征多样性。一方面，在这项工作中采用的池化操作是完全混合池化，并且可以在数学上表示如下：ylfMaxxkfAvgxk4其中xk表示池化区域覆盖的位置处的元素，f表示1x 1卷积滤波器，并且我们使用表示两个操作的输出的深度级连一个值被丢弃的能力。在全连接层中使用dropout的情况下，“平均网络”（Hinton等人，2012），以帮助减少误差。该网络包含所有隐藏单元，但其传出权重减半。在Wu和Gu（2015）中，他们采用了这种池化方案是训练过程中所有可能训练的最大池化退出网络的平均值。在我们的例子中，我们将池化函数的输出与保留概率p相乘，如以下公式所示：dlp：Maxxk p：Avgxk8推杆另一方面，由于每个输出单元关于dlpyl是二进制的，保留概率，在这项工作中使用的dropout操作是k k由二进制掩码表示，每个元素独立绘制ð9Þ一个Bernoulli分布根据Wu和Gu（2015），在应用dropout后执行池化函数被认为是从多项式分布中采样激活。多项式分布描述如下，我们首先计算每个区域的概率p等式（8）是用于在混合池化输出之前执行dropout的公式（来自等式（2），Avg xk，来自等式 （3）和Eq。（9）是混合最大值和平均值后的辍学率公式池化特征（y=l）（4））。这种方法相当于在全连接层中采用的“平均网络”方案。它帕阿伊5显示了有希望的结果，将在即将I¼一个小女孩2J则基于p从多项式分布中采样激活a1：s ja l 其中l ~ P ≠ p1... pk6我们可以通过两种方式将dropout操作包含在所采用的池化函数中：首先，我们可以在从完全混合的池化函数生成输出之后执行dropout。其次，我们可以对每个池化操作（最大值和平均值）执行dropout操作，然后执行混合策略。无论哪种方式，dropout函数都可以用以下公式表示：路段在我们实证证明我们提出的方法的优越性之前，我们将首先提供为什么我们提出的方法优于传统的池化方法和最大池化退出。 来自不同来源的特征（最大值和平均值）的组合以包括更多特征对于CNN准确性方面的性能是有益的（Yu等人，2014年b）。然而，也包括一些不相关的特征，这对模型产生了负面影响。因此，必须将其排除在外。在我们提出的方法中，我们使用dropout函数来随机丢弃那些不相关的特征。这种方法使我们的模型能够随机增强生成特征的质量。我们的激活被认为是从多项分布中产生的。B. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报47594. 实验结果为了进行我们的实验，我们使用了脑肿瘤的MRI图像数据集。获得的数据首先确定了120名患者，然后排除了10名患者，因为他们没有可用的基因组聚类信息。因此，数据集的最终版本包含从五个不同的患者中收集的110名患者。机构（Mazurowski等人，2017年）。101例患者具有所有可用序列，9例患者缺失造影后序列。不同患者的切片数量从20到88不等为了确定肿瘤的原始生长模式，他们只分析了术前数据。肿瘤形状的评估是基于液体衰减反射恢复（FLAIR）异常，因为肿瘤很少在低-图二、实验采用的三种架构混合池-dropout第一版（a）、第二版（b）和最大池-dropout（c）。B. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报4760级别胶质瘤（LGG）。通过在每个切片上绘制FLAIR异常来手动注释FLAIR图像，以形成用于自动分割算法的训练数据为此，使用了当地开发的软件然后，一名合格的放射科医生审查了所有注释，并修改了那些注释错误的注释每个用例的所有图像数据以及相应的分割掩模可通过以下链接公开获得：https://www.kaggle.com/mateuszbuda/lgg-mri-segmentation/version/2。对于我们的研究，我们只使用图像数据及其相应的标签（阳性和阴性诊断）进行图像分类。至于我们在工作中使用的计算能力，我们在NVIDIA TESLA P100 GPU上训练了我们的模型。CNN在分类任务中非常有吸引力，因为它们能够处理大量数据，用于检索复杂和有用的特征，如（Skourt et al.，2019年）。这种架构的构建块，如卷积和池化，使其非常高效。在这项工作中，我们检查了池化层在提高CNN准确性方面的作用。我们引入了一种新的池化方法，称为混合池化-丢弃，并将其性能与传统池化方法进行了比较，然后与最大池化-丢弃我们提出的池化层有两个版本。第一个版本由最大池化层和平均池化层组成，每个池化层后面都是一个1x1卷积，然后是深度连接层，然后是一个dropout层，如图所示。 2（a）. 另一方面，第二个版本由每个池化层（最大值和平均值）之前的dropout层组成，然后每个池化层之后是1x1滤波器的卷积层，然后是级联深度，图。第2段（b）分段。整个架构如下所示：64个过滤器的卷积层，具有3x 3形状和ReLU激活函数，然后是批量归一化层，然后是我们提出的混合池化-丢弃层（第一模型），具有2x2窗口和最大和平均池化中的步幅2，图2（a）。第二个架构具有相同的参数配置，除了池化区域，我们使用我们提出的表1与最大值、平均值和随机合并相比，拟定方法方法，图2（b）。此外，图2（c）呈现了最大池化退出方法。它由所有其他架构中使用的相同数量的层组成，除了池化层之外，而是使用最大池化丢弃。为了训练我们的网络，我们使用了50个epoch，其中32个epoch作为批量大小，我们使用Adam作为优化算法。4.1. 混合池-辍学与最大，平均和随机池我们提出的方法是基于池化的方法，因此必须将其性能与传统的池化层（如Max，Average和Stochastic Pooling）进行比较，以显示其经验优势。我们包括随机池，因为它与我们提出的随机选择激活的方法相似，它显示了有希望的结果，如Wang等人所示。（2018）和Zhang etal. （ 2018年）。在本小节中，我们将传统的池化方法与我们提出的方法的两个版本进行比较。最大、平均和随机池化方法的架构描述与上述其他架构相同，即相同数量的层和超参数。唯一的区别是用于下采样的池化策略（在这种情况下是最大、平均或随机）。在文献中，最大池和平均池都用于不同的计算机视觉任务，它们都表现良好。换句话说，在最大池化和平均池化之间的选择并不是很重要，因为它们都可以达到相同的（略有差异）准确性水平。如表1所示，我们提出的方法的两个版本在准确性、灵敏度和特异性方面优于所有的最大值、平均值和随机池化。正如所推测的那样，最大池和平均池的性能略有相同，随机池的性能略优于最大池和平均池。4.2. 混合合并脱落与最大合并脱落我们描述了每个架构（我们的和max-pooling- dropout）。现在，我们将提供实验结果，将我们提出的方法与 max-pooling-dropout进行比较。图3显示了我们提出的方法在两个版本和最大池化丢弃中的准确性和损失图表。我们提出的方法在两个版本中的性能都优于第二个模型的max-pooling-dropout方法灵敏度特异性精度达到最高的精度和最低的损耗。表2列出Max0.8430.8490.850我们提出的方法的模型精度结果（两种模型）Avg0.8500.8440.855和最大池化退出。可以观察到，两种模型的随机0.8580.8540.864我们提出的方法优于max-pooling-dropout，显著性差异，MiPD第二模型在训练中达到0.926，在测试中达到0.908，MiPD第一模型在训练中达到0.888图3.第三章。我们提出的dropout-pooling方法（v1和v2）和max-pooling-dropout的模型精度和损失图Mix First（MixFirst）0.8840.8740.888Ours（Drop First）0.9180.9200.926B. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报4761¼¼最后，最大池化丢弃率在训练中为0.868，在测试中为0.831除了准确性，我们提出的方法达到了更好的灵敏度和特异性，如表2所示。此外，表2还显示了三种方法的损失如经验所示，我们提出的方法的第二个模型优于第一个模型，即使两个模型包含相同数量的层和参数 。唯 一 的区 别是 第 二个 模型 中 的 dropout 在 我们 包括 max 和average pooling操作之前执行了两次。而在第一个模型中，我们只执行一次dropout函数，并且是在平均和最大池化层的串联我们所提出的方法的第一和第二模型之间的结果差异可以通过以下事实来解释：在第二模型中两次执行dropout函数，选择多样化和显著特征的概率高于我们在第一模型中对生成的池化特征执行dropout函数一次时此外，三种方法的时间性能（以秒为单位）也列于表2中。我们提出的方法表2我们提出的方法（两个版本）与max-pooling-dropout的模型方法MAPDMix First（MixFirst）Ours（DropFirst）训练精度0.8680.8880.926灵敏度0.8580.8840.918特异性0.8610.8740.920训练损失0.3690.3380.274测试精度0.8310.8640.908时间性能810.521853.940846.687表3平均网络与平均策略在测试时，我们提出的方法。方法Mix First（MixFirst）Ours（DropFirst）平均网络精度0.8640.908平均精度0.8580.897与max-pooling-dropout相比，这需要更多的时间，这主要是由于在同一层中混合了max和average pooling。池化操作之前/之后的dropout确实有助于降低时间性能，因为它随机禁用了一定数量的对训练模型无用的单元此外，我们使用卷积层和1*1滤波器来减少生成的特征图的数量，以达到与dropout函数相同的目的，并有助于降低时间性能。如第3节所述，我们在测试时采用了 根据Hinton et al.（2012）这种方法比取许多独立模型预测的平均值更有效。此外，经验证据表明，在测试时使用平均网络优于平均策略，见表3。我们提出的方法在医学图像中表现出了很好的性能。然而，我们提出的方法推广到其他应用程序是本研究的独家新闻。然而，我们提出的池化块由最先进的块（例如dropout、max-pooling、averagepooling和1 x 1卷积）组成，这些块在各种应用中显示出非常有希望的结果（Lin等人，2013; Szegedy等人，2016）（包括医疗领域（Winkels和Cohen，2018）），它们以某种方式的组合已经被证明对不同的应用领域有效（Nandin等人，2021年）。鉴于此，我们可以假设我们提出的方法可以推广到其他应用。4.3. 辍学率dropout函数引入了一个额外的超参数（保留概率）p。经验证明，该超参数直接影响脱落的强度和有效性（Srivastava等人，2014年）。当p>1时，意味着没有单位脱落，p值越小意味着脱落的单位越多。对于我们的实验，p1意味着我们提出的方法变成了混合池，而max-pooling-dropout变成了简单的max-pooling。我们在以前的工作中表明（Skourt等人，2021），混合池化层给出了有前途的结果相比，传统的最大池化。在全连通层中使用dropout是非常有效的，对于隐层，不同的p值在0.5之间图四、通过保留我们提出的混合池化-丢弃方法（v1和v2）和最大池化-丢弃方法的概率来提高训练精度B. Ait Skourt，A.El Hassani和A.Majda沙特国王大学学报4762¼¼和0.8，但最佳值为0.5。对于输入层，选择通常取决于我们处理的数据类型。根据Srivastava等人（2014），输入图像数据的最佳值为0.8.鉴于Srivastava等人（2014）进行的实验，并且由于我们没有对输入层使用dropout函数，因此我们假设最佳保留概率值为p0： 5。因此，在上述实验中，我们使用p0： 5作为三种架构的保留概率。为了验证我们的架构中p的选择，我们对所有架构的不同p值进行了 图4.保留概率对三种方法精度的影响。对于不同的保留概率值，我们所提出的方法的第二个模型给出了最好的结果，达到最高的精度，同时保留50%的单位。对于高p值，我们提出的方法（两种模型）表现不佳，而对于小值，性能相对较好，但最佳保留概率为p = 0.5。对于max-pooling-dropout，它是相反的，p = 0.5仍然是该方法的最佳值。无论不同的保留概率值，我们提出的方法优于最大池辍学。5. 结论为了帮助CNN解决过拟合问题，我们扩展了dropout函数的使用，以特定的方式到达CNN中的池化层。在这项工作中，我们提出了一种新的池为基础的方法，包括辍学作为概率函数的选定的激活，我们称之为混合池辍学。所选择的激活是基于在训练期间给定保留概率的伯努利分布来挑选的另一方面，在测试期间，采用了“平均网络”，并有效地首先，我们将我们提出的方法的两个版本与传统的池化方法（最大平均和随机池化）进行了比较，然后与最大池化-丢弃进行了比较，我们表明它们以显着的幅度超过了它们。此外，我们比较了我们所提出的方法的性能给定的不同值的保留概率，它显示了良好的性能与0.5作为保留概率。MiPD方法是由最大和平均池化生成的特征与dropout函数和1x1卷积滤波器相结合的混合，与最大池化dropout相比显示出更好的结果。鉴于它的构建块和一些以前的工作的基础上，我们可以假设，我们提出的方法可以推广到其他应用领域。这是本研究的独家新闻，它将被认为是在未来的工作。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认这项研究没有从公共、商业或非营利部门的资助机构获得任何具体的资助。引用Azuaje，F.，2017.癌症研究中预测药物反应的计算模型。简报18，820-829。Bochkovskiy，A.，王角是的，Liao，H.- Y.M. 2020. Yolov 4：物体检测的最佳速度和准确性，arXiv预印本arXiv：2004.10934。El Hassani，A.，Ait Skourt，B.，Majda，A.，2021.基于卷积神经网络和离散余弦变换的高效肺结节分类方法。Int.J. Adv. Comp. Sci. Appl.辛 顿 ， 通 用 电 气 ， Srivastava ， N. ， 克 里 热 夫 斯 基 ， A. ， 萨 茨 克 弗 岛 ， 巴 西 - 地Salakhutdinov，R.R. 2012.通过防止特征检测器的共同适应来改进神经网络，arXiv预印本arXiv：1207.0580。Hourri，S.，Nikolov，N.S.，Kharroubi，J.，2020.一种将卷积神经网络集成到说话人识别中的深度学习方法。国际语言技术杂志胡，J，沈，L.，Sun，G.，2018.压缩-激励网络。在：IEEE计算机视觉和模式识别会议论文集，pp。 7132- 7141Kamilaris，A.，Prenafeta-Boldú，F.X.，2018. 卷积神经网络在农业中的应用综述。J. 农业。Sci.克里热夫斯基，A.，萨茨克弗岛，巴西-地辛顿，通用电气，2017.使用深度卷积神经网络进行图像网分类。Commun. ACM 60，84-90.库马尔，S.，Singh，S.K.，2020.利用bag of cnn的遮挡热人脸识别。IEEE信号处理。Lett.李角，澳-地是的，Gallagher，P.，Tu，Z.，2017.在cnn中推广池函数：混合，门控和树。IEEE Trans.模式肛门。马赫内特尔40，863-875.Lin，M.，陈昆，Yan，S.2013年。网络中的网络，arXiv预印本1312.4400.Mazurowski，M.A.，克拉克，K.，新墨西哥州查内克Shamsesfandabadi，P.，彼得斯，K.B.，萨哈，A.，2017.低级别胶质瘤的放射基因组学：在一项使用癌症基因组图谱数据的多机构研究中，算法评估的肿瘤形状与肿瘤基因组亚型和患者结局相关。 神经肿瘤学杂志。133，27-35。Nandin，G.S.，Kumar，A.S.，Chidananda，K.，2021.基于极端学习机的图像分类丢弃技术。全球过渡流程Ng，A.Y.，2004.特征选择，l1与l2正则化，以及旋转不变性。在：第二十一届机器学习国际会议论文集，p. 78岁Ranzato，M.，Poultney，C.，Chopra，S.，Cun，Y.L. 2007.高效学习稀疏表示与基于能量的模型，在：神经信息处理系统的进展，pp。1137-1144.Skourt，文学士，El Hassani，A.，Majda，A.，2018.基于深度神经网络的肺部ct图像分割。Procedia计算Sci. 127，109-113.Skourt，文学士，Nikolov，N.S.，Majda，A.，2019.肺结节检测的样本提取方法：一项比较深度学习研究。在：2019年智能系统和先进计算科学国际会议（ISACS），pp。1比6Skourt，文学士，El Hassani，A.，Majda，A.，2021.卷积神经网络的池化层比较研究。马赫目视和应用Rev.Srivastava，N.，Hinton，G.，克里热夫斯基，A.，萨茨克弗岛，巴西-地Salakhutdinov河，2014. Dropout：防止神经网络过拟合的简单方法。 J·马赫。学习. Res. 15，1929-1958.Sun，Y.，薛，B.，张，M.，Yen，G. G.，吕，J.，2020.使用遗传算法自动设计cnn架构进行图像分类，IEEETransactions on。控 制 论塞 格 迪 角 ， 澳 - 地 Ioffe ， S. ， 范 霍 克 ， V. ， Alemi ， A.2016 年 。 Inception-v4 ，inception-resnet and the impact of residual connections on learning ， arXivpreprint arXiv：1602.07261.万湖，加-地Zeiler，M.，Zhang，S.，（1991），中国农业科学院，Le Cun，Y.，弗格斯河，巴西-地2013.使用dropconnect正则化神经网络。在：机器学习国际会议，pp。1058-1066年。王世文H、吕，Y.- D、Sui，Y.，Liu，S.，王世文J.，张玉- D、2018.通过数据增强和卷积神经网络与随机池的酒精中毒检测。J. Med. Syst. 42，1-11.Winkels，M.，科恩，T.S. 2018.用于肺结节检测的3d g-cnns，arXiv预印本arXiv：1804.04656。黄南柱，Gatt，A.，Stamatescu，V.，McDonnell，医学博士2016理解分类的数据增强：何时扭曲？2016年数字图像计算国际会议：技术和应用（DICTA），IEEE，pp. 1比6吴，H.，顾，X.，2015.卷积神经网络正则化的最大池化丢弃。在：神经信息处理国际会议，Springer，pp。 46比54Yu，D.，王，H.，陈佩，魏，Z.，2014年a。卷积神经网络的混合池。在：粗糙集和知识技术国际会议Springer，pp。 364-375.Yu，D.，王，H.，陈佩，魏，Z.，2014年b。卷积神经网络的混合池。在：粗糙集和知识技术国际会议Springer，pp。 364-375.Zeiler，医学博士，弗格斯河2013.深度卷积神经网络正则化的随机池，arXiv预印本arXiv：1301.3557。张玉- D、Muhammad，K.，唐角，澳-地2018.基于gpu平台的随机池化多层深度卷积神经网络茶叶分类。多媒体工具应用77，22821-22839。