EEG情感特征分类中的卷积神经网络超参数调整

智能系统与应用18（2023）200212用于EEG情感特征分类的卷积神经网络的实用超参数调整Samia Mezzaha， Abdelmalek Tariba阿尔及利亚贝贾亚，贝贾亚大学精密科学系LIMED实验室B ENSTI，Amizour，贝贾亚，阿尔及利亚A R T I C L E I N F O A B S T R A C T保留字：情绪识别效价分类卷积神经网络超参数整定鲁棒试验基于EEG的情绪状态识别是一个活跃的研究方向，最近出现的智能系统和智能环境的应用。然而，准确的基于EEG的情感识别仍然具有挑战性，即使使用最近最有效的方法，如深度学习。虽然许多研究表明卷积神经网络可以在这一领域取得良好的效果，但它们并没有为后续研究人员设计专用网络提供一般性指导。为了在情感感知系统中实际部署深度神经网络，需要一种高效的设计方法，即超参数选择工具。本文研究了卷积神经网络的设计过程的简化，该网络应用于二进制和主体依赖的情感效价分类。该方法基于这两个关键的解决方案是网络架构模块化和过程调优方法。建议的调整方法估计，在给定的搜索空间，超参数可调性定义为其主要效应分类的准确性。搜索空间由选定的超参数水平和分数正交表根据田口稳健设计的EX实验方法来描述。在这项研究中，我们包括与神经网络架构和训练过程相关的12个超参数。重要性通过统计方差分析验证了估计的超参数可调性。实验结果允许确定最佳性能超参数组合，确认了一些训练超参数的良好效果，并揭示了池化层类型在我们案例中的重要性1. 介绍基于EEG的情绪的自动识别被广泛使用，尽管这些电生理信号具有 复 杂 的 性 质 （ Liu 等 人 ， 2021 ， Hu 等 人 ， 2019 ， AlarcaoFonseca，2019，Klonowski，2009）。形成EEG信号复杂性的主要特征是非平稳性（Alarcao Fonseca，2019，Shen Lin，2019），这是由于大脑在切换和参与任务中的复杂操作模式。因此，存在大量的神经生理反应差异，导致个体内和个体间的差异，即个体不太可能共享对应于相同情绪状态的共同EEG分布，这意味着很难获得通用分类器，需要受试者相关分类器。特征提取和选择以找到信息量最大的EEG谱带特征和通道集，从而最大限度地提高分类准确性是一项非常苛刻的任务。因此，许多研究都致力于基于深度学习的方法，其中情感*通讯作者。特征可以由神经网络自动学习（Zhang等人，2020年）。相关研究表明，各种深神经元，从深度信念网络（DBN）转变为基于深度信念网络（DNN）。到2D和3D卷积神经网络（CNN）、递归神经网络（RNN）和混合模型（Liu等人，2021年）。此外，报告的文献表明，CNN不仅是主要使用的模型，而且是当前识别情绪的最佳架构的核心（Cho Hwang，2020）。此外，CNN是特别有趣的，因为它更适合于实时嵌入式系统中的硬件实现（Huang等人，2019，Fang等人，2019年）。尽管如此，尽管CNN很有前途，但它仍然严重依赖于广泛的超参数选择，这可能会低估它们的能力，特别是对于受试者相关的应用。超参数调整通常由专家经验结合试错优化进行。随着CNN复杂性的增加，近年来自动调谐方法变得越来越流行（Michelucci，2018，FeurerHutter，2019）。在这电子邮件地址：samia. univ-bejaia.dz（S. Mezzah），tari@ensti.dz（A. Tari）。https://doi.org/10.1016/j.iswa.2023.200212接收日期：2022年4月17日;接收日期：2023年1月31日;接受日期：2023年3月7日2023年3月16日网上发售2667-3053/© 2023作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsS. Mezzah和A.Tari智能系统与应用18（2023）2002122关于这一点，开发了许多技术以通过随机和结构方法执行搜索来自动优化超参数（例如，网格搜索），以及模型驱动的方法（例如贝叶斯优化）（Feurer Hutter，2019）和进化算法（例如遗传算法）（Cabada等人，2019年）。大多数现有的超参数整定方法都有局限性，如计算成本和模型的鲁棒性。比如说， 贝叶斯优化是一种最广泛使用的自动化超参数调整方法，它试图以最少的步骤找到全局最优值。然而，贝叶斯优化的结果高度依赖于代理模型的质量为了减少上述自动调整的复杂性，我们提出了使用田口设计的EX实验（DoE）的方法，可以实现更少的调整时间和竞争力的性能相比，其他繁重的优化方法和耗时的方法的权衡。DoE是一种通常用于各种工程领域的实验设计方法（Mahajan等人，2019年，Fei et 例如，2013年，Wang等人，2018年，Vempati等人，2018年，Mrsachan等人，2019年，Terzioglu，2020年），它采用了一个分数搜索空间，包含最具代表性和平衡的实验，从整个可能的实验集。所提出的框架自动化超参数调整的CNN应用到一个主题相关的效价识别问题，使用功率谱密度（PSD）的功能。DoE方法与统计分析的应用允许量化参数本文的其余部分组织如下。第2节提供了简要比较介绍了EEG和基于CNN的情感特征分类的相关工作以及用于超参数调整的方法。第3节描述了田口实验设计方法的背景知识，并介绍了所使用的模块化架构。在第4节中，我们描述了与所使用的数据库、计划的实验和性能度量相关的实验设置。第5节报告了实验结果和超参数效应分析的讨论。最后，在第六部分对全文进行了总结，并给出了结论。2. 相关作品相当多的研究考虑了使用EEG和CNN的情绪识别（Zhang等人，2020年）。许多作者使用了现有的深度网络架构，如GoogLeNet（GargVerma，2020），Resnet（Cho Hwang，2020）和InceptionV2（CimtayEkmekcioglu，2020）。 这种模型的使用减少了设计工作量，但它通常是不适应的在计算负担方面。此外，即使这些架构在计算机视觉领域的图像分类方面表现良好，但它们不一定适合非常不同的EEG特征图。因此，大多数研究人员设计了一个专门的CNN用于情绪识别任务。在这篇简短的CNN调优方法综述中，我们展示了一个相关作品的样本，这些作品代表了输入特征映射结构（表1）、CNN超参数选择值以及用于调优它们的方法（如果提到）方面的主要趋势。 所有的工作都是关于价态识别的。使用生理信号（DEAP）数据集（Koelstra等人，2012年）。该数据库的32通道EEG信号使用图1所示的国际10/20电极定位系统。1.一、大多数作者介绍了他们设计的CNN，但没有明确说明超参数值的选择。Wang et al.（2020）构建了一个CNN用于主题依赖的情感识别任务。在没有详细说明超参数选择细节的情况下，他们采用了由1个卷积层，4个残差块，4个最大池化层，2个全连接层和一个Softmax分类层。 该网络使用批归一化和dropout进行过拟合拟合。作为训练超参数，他们使用Adam优化器，熵损失函数，学习率设置为0.0001。Li等人（2016）设计了一种混合卷积递归神经网络（C-RNN）。为Fig. 1. 10-20 DEAP使用的电极放置系统以及数据集中的通道顺序。不同灰度表示通道顺序指数（T：颞，O：枕，F：额叶，P：顶叶，C：中央）。在CNN部分，他们分别采用了8个和16个滤波器的两个堆叠卷积层，平均池化。第一个卷积层中的卷积滤波器设置为32X1，用于挖掘跨通道相关信息。第二个卷积使用16个大小为1X 1的滤波器。使用数据增强以通过添加高斯白噪声来避免过拟合。所有这些超参数值都是在没有任何理由的情况下提出的。同样，Yang et al.（2018）和Li et al.（2019）没有提出他们的超参数调整方法来实现CNN的情感识别应用。Yang等人（2018）选择了一种无池化架构，由4个不同滤波器数的卷积层和1个1024个节点的全连接层组成对于学习过程，操作中断的概率为0.5。增加了0.5的 L2正则化，以避免过度拟合并提高泛化能力。Li et al.（2019）设计了一个CNN，它有四个卷积阶段，没有池化，可以从几个3D特征图中提取特征。他们使用1个具有dropout操作的全连接层进行最终情感分类。提交人声称不需要包括池化图层，因为2D要素的大小地图相对较小。Topic和Russo（2021）没有提供有关所用CNN的超参数值调整的详细信息，该CNN结合了2个卷积层（30和10个滤波器）以及从多个时间和频谱EEG特征生成的全息和地形输入图像。对于特征分类，作者使用了SVM分类器，并将初始学习率、L2正则化和mini-batch大小分别设置为0.001、0.04和32很少有其他作者使用试错超参数优化。Chen等人（2019）研究了许多输入映射的性能，如表1所示。对于超参数调整，他们探索了一个由卷积层的数量（从1到3），全连接层的数量（1到2）和卷积滤波器的数量（23到27）定义的研究空间。为了简化搜索过程，许多超参数被固定，例如批量大小（20），丢弃率（0.85），池化核大小（2X 2）和卷积核大小（与输入特征映射相关的5X5，20X 5，20X根据他们的实验结果，获得的最佳架构是结合2个卷积层（128-64个滤波器）和2个全连接层。 Yanagimoto和Sugimoto（2016）通过比较准确性来调整CNN架构具有不同层数和过滤器的模型的初步实验。他们观察到随着卷积层数量的增加，分类准确性呈上升趋势，然而，为了计算时间限制，总层数设置为5（分别为72，100，134，182和141个滤波器）。将提取的特征图应用于S. Mezzah和A.Tari智能系统与应用18（2023）2002123表1输入被引用作品的特征图。工作输入贴图大小表2架构超参数搜索空间。超参数描述测试值Wang et al.（2020）Li et al.（2016）Yang etal. （2018年）32X 64：(EEG通道）X（光谱特征）32X32：(EEG通道）X（小波尺度特征）9X 9X 4：（通道X-位置）X（通道y-位置）X（EEG子带的离散熵：EEG，EEG，EEG，EEG）���������卷积块的数量{1，2，3}������������全连通区块的数量{1，2，3}���卷积滤波器的数量{32，64，128}���������������激活函数的类型{ReLU，eLU，PReLU}���������������池的类型{max，average，convolutional}���������卷积核的大小{4，5，6}Li等人（2019）几种尺寸的空间拓扑保持映射：6X6X 4，9X 9X 4和17X 17X 4：(EEG子带的原始数据：、）���������������池化内核的大小{2，3，4}主题和罗素（2021）Chen等人（2019年）Yanagimoto & Sugimoto（2016）200X 200X 3地形和全息RGB图像表示几个EEG子带信号特征：分形维数，Hjorth活动，流动性和复杂性，峰峰值，均方根，频带功率，离散熵、功率谱密度;(1) 128X 32：（归一化EEG原始数据）X（EEG通道）(2) 64X 32：（频谱特征）X（EEG通道）（3）64X 32X 2：（特征）X（EEG通道）X（频谱/原始特征通道）16X 512(EEG通道）X（未经处理的原始EEG）输出层使用交叉熵损失函数通过Softmax函数将特征向量分类为负或正价类。卷积块由卷积层、批归一化层和激活函数层组成。填充机制与卷积层一起使用，以保持层输入的相同分辨率。卷积块的数量决定了网络的深度，并反映了其特征提取的能力。由于卷积运算考虑了输入元素的邻域，因此可以通过使用不同的滤波器大小来探索不同的相关性水平。同样，不同大小的过滤器封装了提取信息的不同粒度级别。因此，卷积块的数量是1000，卷积滤波器的数量是1000。1个平均池化层和2个全连接层。训练超参数分别设置为100、94、0.0001和0.5，用于训练时期、批量大小、学习率和辍学率。从被引用的文献中，我们可以看到网络体系结构的多样性，以及缺乏关于网络设计和超参数调整方法的有用信息。CNN超参数的选择指导的缺乏使得结果难以重现。因此，我们研究了一个程序的调整方法超参数设置使用DoE的方法。3. 方法从实现的角度来看，卷积神经网络的设计涉及许多超参数设置，这些超参数设置规范了神经网络架构并控制训练过程。设计具有可以重复多次的固定拓扑块的神经层，可以很容易地为不同的任务或不同的目标定制神经网络（Khan等人，2020年）。3.1. 超参数选择3.1.1. 模块化CNN架构超参数模块化CNN是由重复的细胞或块组成的神经网络结构。与手工构建的架构相比，调整这种CNN元架构的超参数具有两个主要优点：搜索空间的大小减小，并且通过调整模型内使用的单元的数量，可以更容易地将块转移到其他数据集（Elsken等人，2019年）。在这个基线调查中，我们将使用简单的块神经网络，用小批量梯度下降训练方法训练。因此，我们实现了一个CNN，它由两个完全相同的卷积块和两个完全相同的全连接模块组成，它们被放置在一个顺序的配置中，如图所示���二、输入层是由z分数方法归一化的DSP特征图（表示为灰度图像），该方法包括减去平均值并除以数据集的标准差。我们在这里注意到，一些作者报告说，特征归一化不能帮助使伽玛带区分。这是因为伽马波段功率低于其他波段（Dasdemir等人，2017年）。然而，我们的初步研究，有和没有输入归一化，表明最好的分类性能实现了归一化的输入数据。卷积核大小和卷积核大小是考虑进行调整的三个第一个超级参数。���������������除了卷积层之外，卷积块还包括非线性、池化和批归一化批处理层。常用的激活函数包括整流线性单元（ReLU）和E× ponential线性单元（eLU）。一些作者报告说，使用参数化整流线性单元（PReLU）作为激活函数，增强了基于EEG的情感识别的特征学习（Yanagi-motoSugimoto，2016）。因此，测试这三个函数以调整激活函数类型。���������������下采样特征图是CNN实现更好性能和更快训练的重要一步。它可以使用池化层或跨越卷积层（卷积池化）来执行。虽然通常使用最大和平均池化，因为CNN来自计算机视觉应用，但图像和DSP特征图以及其他值得研究的池化方法之间存在许多差异。此外，最大和平均池类型最初被设计为丢失空间信息，并用于识别图像中的对象，无论其位置如何。与之不同的是，卷积池化可以保持有用的位置信息，反映信道和频率分布（Ayachi等人，2019年）。池化层的超参数包括池化类型和池化内核大小。因此，池型���缓冲区大小和池化内核缓冲区大小是另外两个考虑进行调优的超参数。最后，模块化CNN架构的顶部由多个完全连接的层组成，这些层被附加以组合所有提取的特征。������������������������最后一个架构超参数是考虑优化的架构超参数。隐藏层中的节点数量等于卷积滤波器的数量，以简化搜索过程。表2显示了所选超参数的搜索空间。3.1.2. 学习过程超参数学习超参数对分类性能也有很大的影响考虑了五个关键的超参数进行调整：初始学习率调整、优化器调整、L2正则化参数调整、优化器参数调整和权重调整方法������������������������.神经网络是监督学习算法。由于最小化深度学习中的损失函数是一个非凸优化问题，因此需要非常鲁棒的优化算法。因此，神经网络通常是通过随机梯度的变化来训练的S. Mezzah和A.Tari智能系统与应用18（2023）2002124������∑表3图二、模块化CNN结构。考虑过程何时应该是稳健的以及高效的。阿尔-学习超参数搜索空间。超参数描述测试值������初始学习率{0.0001，0.001，0.01}网络优化器{SGDM，RMSprop，Adam}������������L2正则化参数{0.00001，0.0001，0.001}������优化器参数{0.9，0.95，0.99}���������������加权平均法{glorot，narrow-norm，He}梯度下降（SGD）算法使用学习率LR，这是一个非常重要的超参数。存在若干其他优化算法。RMSprop和Adam是自适应学习率优化算法的示例。这些算法基于收敛加速参数，例如SGDM的动量，RMS prop的平方梯度衰减因子，Adam的梯度和平方梯度衰减因子为了防止过拟合，存在几种有效的正则化技术，例如数据增强、参数范数惩罚添加和dropout（Khan et al.，2020年）。为损失函数的权重添加参数范数惩罚是非常常用的，并且取决于正则化因子和正则化函数。在我们的研究中，我们将测试三个优化器，SGDM，RM- Sprop和亚当与几个值的相关优化参数学习率和学习率如表3所示。这是一个有条件的hyper-虽然噪声因素由于其随机性而难以控制，但是可以使用统计数据分析来最小化它们对性能的影响。在将DoE方法应用于CNN的设计时，控制因素可以是层数、激活函数类型、学习速率、优化算法等。而噪声因素代表过程干扰的潜在来源，可以是纯随机初始权重设置、训练数据量等。田口方法要求对过程知识有很好的熟悉，以便对因素及其感兴趣的水平进行明智的选择。要进行的实验（要测试的因子组合）使用表示为由实验数（数组行的数目）表示，其中实验数是实验的数目（数组行的数目），因子数是选择的因子的数目（数组列的数目），因子数是表示因子值的水平的数目。 在我们的例子中，超参数被视为因子，并将被分配到正交数组的列，其中每行代表CNN的特定设计。正交数组具有平衡特性，即每个因子水平出现的次数相同，实验中所有其他因素的水平。例如，一个标准的正交表E14（23）可以用于三个控制因素的两个水平（图3.a）。104数组只指定了4个实验，但目的是找到存在的23个组合中的最佳组合参数，因为它取决于另一个超参数，它代表SGDM的动量，Adam和RMSProp的平方梯度衰减。 将使用L2正则化，并将在三个值下测试其因子L2正则化（表3）。������������除了优化策略外，我们还将测试三种权重初始化方法：Glorot，窄常态和He。3.2. 基于田口DoE方法的DoE方法用于开发基于因素的过程或需要优化时。可以使用三种类型的DoE：一次一因子、全因子和部分因子（Fei等人，2013年）。田口提出了一系列分数因子实验矩阵，称为正交表，减少了所需的实验数量，同时仍然保留了重要的因子效应和相互作用。因此，单个因素的影响可以独立于作为主要影响因素的其他因素的影响田口方法将过程的设计因素分为控制因素和噪声因素。控制因素是工艺性能主要依赖的参数。噪声因素，代表任何不可控的因素，一个良好的性能应该是（图3.b）。在这个例子中，我们可以看到，在每个因子水平测试期间，其他两个因子的水平1和水平2出现相同次数（一次）。因此，在一个水平下，一个因子的主要效应是在该水平下所有实验响应的平均值，如方程所示。������������������������（一）并示于图3.c.���������������=���中国（1）���∈���其中，我包含了在水平1000处具有因子1000的实验的索引。可以通过使用信噪比（SNR）来评估该过程的稳健性。SNR计算所需的数据可以通过将控制因子的内部正交表和噪声因子的专用外部正交表相结合的复合实验（Terzioglu，2020）或通过仅使用控制因子的正交表的实验重复来信噪比是一种特殊的数据汇总，它能够根据优化目标使用多个模型将性能均值和标准差合并为一个度量。在我们的情况下，对于SNR的计算，用于性能优化问题的SNR模型称为“越大越好”或“越大越好”。 使用LB是因为对于CNN设计，我们希望有更好的分类准确性。LB模型的SNR表达式由等式给出（二）、S. Mezzah和A.Tari智能系统与应用18（2023）2002125（∑图3.第三章。田口正交表的例子（a）与研究空间的三维表示（b）和因素的主要影响图（c）。���������= 10���������1���1���个1������2（二）这里，n表示实验的重复次数，而rn是性能的观察值。目标是更高的SNR值。因子显著性基于根据评价的方差分析（ANOVA）结果获得的P值，并计算每个控制因子的贡献百分比（可调性）。根据统计结果和主效应分析，通过确定产生最高SNR的重要控制参数的水平来获得最佳组合。图4中详细描述了该过程的实现。4. 实验设计在这项工作中，超参数调整是按类别逐步进行的，即选定的超参数在体系结构和学习类别中描述并单独调整。实验装置使用L27正交阵列设计，用于学习和架构超参数调整（Terzioglu，2020）。该正交试验包括13个列，可用于在3个水平上进行最多13个因素的试验。正交表由PASS 2021软件生成。在DEAP数据集上进行了EX实验，该数据集已被广泛用于近十年来使用生物医学信号验证情绪分类模型。分类准确性被用作CNN性能的衡量标准。4.1. DEAP数据集描述DEAP数据集是用于使用电生理信号和面部视频分析视觉状态的多模态数据集（Koelstra等人，2012年）。多模态信号收集自32名健康参与者（年龄在19-37岁之间; 50%女性），同时以随机顺序观看40个具有不同情绪兴奋的视频剪辑用于引发高水平和低水平的唤醒和效价的音乐视频的持续时间为60秒，并因其引发情感的高能力而被特别选择40个刺激包括20个视频中的两个目标诱发价态。每段视频之后见图4。超参数调整程序。试验中，参与者给出了关于他的水平的反馈（主观评级）， 价和其他度量的。化合价以1至9的连续标度表示，分别对应于低（负）和高（正）化合价。效价评级是对试验中整个情感体验的评估。原始EEG信号以512 Hz的采样率记录。在这项工作中，我们使用了可用的预处理的EEG原始数据，这是原始EEG信号已被下采样的结果）S. Mezzah和A.Tari智能系统与应用18（2023）2002126图五. 离散化之前（a）和之后（d）的价评级（PV：正价，NV：负价）。对视频刺激（b）和受试者（c）的评级的统计特征。视频1到20是正效价刺激，21到40是负效价刺激。到128 Hz，带通滤波到4-45 Hz，公共参考平均并处理以去除眼部伪影。每次试验中预处理EEG信号的持续时间为63秒，包括试验前3秒的基线记录。因此，为了特征化，3-s的预试验信号被丢弃，并且我们仅考虑60-s的有效内容信号。我们注意到，我们针对所提出的调优方法的性能调查进行了基线研究，这是因为我们只考虑了数据库中的一个主题，以便将该调查扩展到所有数据集主题4.2. 输入要素地图对于输入层，我们使用基于PSD的特征图，通过连接所有32个通道的PSD矢量，这些通道以原始数据的原始顺序排列。因此，在每个通道中的EEG信号被划分为1秒长的时间段使用非重叠汉宁窗口。然后， 64点PSD-Welch算法应用于每个EEG通道的时间段以提取频率特征。最后，我们只考虑4-45 Hz的谱带，这给出了 尺寸42（PSD特征点）X32（通道）。来自受试者的40次试验的输入数据集的总数是2400个图（40次试验X60秒）。4.3. 数据标注为了进行预期的二元效价分类，我们调整了受试者的原始数据标签，其中包括如图所示的效价连续评级5.a，其中垂直轴表示从1到40的胶片剪辑（刺激）指数，并且水平轴表示从1到32的主体指数。图5.b和图5.c的BOX许多方法被用于离散化价空间评级，以使用尺度中值将包括在1和9之间的原始评级转换为正和负价类别（Chen等人，2019年）。因此，使用量表中位数5作为阈值对评级值进行分类：评级大于5的阳性效价类别和评级值小于或等于5的阴性效价类别。基于该离散化标准，对标签进行了修改，新的分类标签如图5.d所示。然后，我们随机抽取30%的脑电样本作为测试数据，其余70%的数据用于训练网络。4.4. 实验表我们方法的第一阶段包括使用初始基线CNN架构和表3中给出的搜索空间来调整学习过程的五个选定超参数。初始基线CNN由1个卷积块和1个全连接层组成。小批量大小固定为50。在卷积块中，2D卷积层使用16个具有4X4内核大小的卷积滤波器。然后，我们应用一个2D批量归一化层，然后是一个ReLU激活函数和2D最大池化层。在概率为0.5的dropout层之后，应用双atten操作将最终特征转换为作为全连接块的输入的1D向量。两个输出全连接层预测每个输出的输出概率。S. Mezzah和A.Tari智能系统与应用18（2023）2002127表4学习超参数整定实验表。EX实验操作LR OPREGp Winit123456789101112131415161718192021222324252627sgdmsgdmsgdmsgdmsgdm0.0001 0.90.0001 0.90.0001 0.90.000010.000010.00001glorot窄法线他0.001 0.950.001 0.950.001 0.950.00010.00010.0001glorot窄法线他0.01 0.990.01 0.990.01 0.990.0010.0010.0010.0010.0010.001glorot窄法线他rmsproprmsproprmsproprmsproprmsproprmsproprmsproprmspropadamadamadamadamadamadamadamadam亚当0.00010.00010.00010.950.950.95glorot窄法线他0.0010.0010.0010.010.010.010.990.990.990.000010.000010.00001glorot窄法线他0.90.90.90.00010.00010.00010.00010.00010.00010.0010.0010.001glorot窄法线他0.00010.00010.00010.990.990.99glorot窄法线他0.0010.0010.0010.010.010.010.90.90.9glorot窄法线他0.950.950.950.000010.000010.00001glorot窄法线他课表4显示了在243种可能的因子组合中测试的27种组合。通过使用来自搜索空间的学习参数的每个组合来训练所描述的基线架构，通过方差分析具有最佳分类性能的学习参数被保留用于超参数调整的第二阶段。在调优的第二阶段，根据表5中给出的27个架构超参数组合测试几个架构。5. 结果和讨论总共进行了405次实验（第一阶段270次，第二阶段135次），以分析所提出的方法对DEAP数据库（表示为S1）的随机主题的各种参数对分类准确性的影响。对于每组实验，27个实验以随机顺序进行多次，并随机选择几组训练数据以考虑噪声效应。鲁棒性度量是用SNR类型越大越好来计算的（等式10）。①①）。所有的实验都是在Matlab 2019b和NVIDIA GeForce GTX 1070 GPU上进行的。本研究采用Ellistat软件对实验结果进行统计分析。本节涵盖了所获得的结果和相关讨论。5.1. 学习超参数可调性根据实验表5进行第一实验10次。对于每次试验，CNN被训练120个时期以保证收敛。我们在epoch 100之后将学习率降低10倍。计算了试验分类准确度方面的性能指标，并制成表格，如表6所示。第一个明显的陈述是最好和最坏的因素组合，分别为（adam，0.001，0.9，0.001对于实验：22，23和24）。24）和（SGDM，0.01，0.99，0.001用于实验：7，8和9），而不管使用的输入权重初始化器。为了量化每个超参数的可调性，使用ANOVA如表7所示。各因子对总变异的贡献以百分比表示。考虑到95%置信区间，可以得出结论，该参数对响应表5架构超参数调优实验表。EX periment������������������������������������������������������������������������123456789101112131415161718192021222324252627111111111RELU MAXRELU MAXRELU MAX1113242645312864elu平均elu平均elu平均2 322 644523212864卷积的普雷吕卷积3333333242645312865644222222222333333333ReLU雷卢雷卢平均日均3264128423埃卢普雷卢普雷卢雷卢埃卢埃卢普雷卢prelu卷积的卷积1 325416462342334234234212222223331111284最大最大最大卷 积 卷 积 最大值最大平均值平均3264128326412832641283264128564645645645当P0.05.因此，可以看出，正如预期的那样，最有效的参数是初始学习率，贡献率为39.4%。可以观察到，Op和LR因子对测试分类准确度的总变异有很大且显著的贡献。在影响因素中，肥胖是第三大因素。这当然是由于所使用的自适应梯度下降优化。������������由于使用了具有正则化效应的dropout和batch normalization，因此，与其他分析因子相比，然而，输入权重初始化因子的贡献微不足道。���������������最后一个因素的影响可以忽略不计，主要是由于使用了批量归一化以及Adam和RMSProp求解器的初始权重的影响降低。另一个有用的图形表示的因素在连续性是多元图。图6显示了LR和OP这两个最可调因子的多变量图。该图形表示总结并表示了两个因子水平的每个组合在进行的实验中的测试准确度均值。因此，对于每个LR水平（0.0001，0.001，0.01），我们绘制了每个OP水平相关实验的平均值。此外，每个组合的准确度用密度迹线绘制，显示响应批次的分布特征。该图显示，RMSprop和adam求解器在低学习时具有相同的性能。学习率，但亚当求解器通过提高学习率来表现得更好。SGDM求解器提供了较低的精度，并且其与高学习率的组合导致模型的非学习行为。然而，SGDM与其他求解器相比显示出更少的分散性基于P值，可以说，除了权重初始化因子之外，所考虑的所有学习超参数都对分类准确性有显著影响。基于这些结果，可以从图7中所示的主效应图确定最佳组合。学习超参数值的最佳组合被最终确定为初始学习率为0.001，Adam优化器的平方梯度衰减为0.9衰减，并且最佳 学习因子 为0.00001。��������� 权重初始化器将被设置为glorot的默认值。���������������对该最佳组合进行了评价，以验证分类准确度的提高，如表8所示。得到的最佳准确度为76.1%，这几乎等于由实验获得的平均准确度的最大值（76.3%）。S. Mezzah和A.Tari智能系统与应用18（2023）2002128表6使用计算的准确度平均值和信噪比（dB）获得每次试验的测试准确度（%）实验编号试验1试验2试验3试验4试验5试验6试验7试验8试验9试验体10平均SNR170,7669,0071,4971,3568,1373,3972,3772,5171,4972,5171,3037.06271，78 69，73 71，92 72，66 68，86 73，54 75，44 73，98 72，37 71，78 72，21 37.162019 - 01 - 22 00：00：00 00：00 00：00 00：00 00：00 00：00 00：00 00：00 00：00 00：00 00：00 02019 - 05 - 22 00：00 0571，19 69，00 71，92 70，61 68，86 72，08 72，51 71，35 69，88 70，18 70，76 36.992019 - 07 - 22 00：0050，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 33.98100，00 50，00 52，48 50，00 50，00 50，00 50，00 50，00 50，25 34.0250，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 50，00 33.9810 73，09 70，46 73，83 72，66 70，47 74，85 76，61 74，42 73，68 71，35 73，14 37.2711 74，70 72，07 74，56 74，85 69，59 74，71 75，88 73，98 75，58 73，39 73，93 37.3712 73，97 69，73 73，83 73，54 71，05 72，95 75，29 74，42 74，42 71，49 73，07 37.2713 74，85 74，26 75，00 72，22 71，64 75，44 77，49 76，17 76，46 73，54 74，71 37.4614 75，29 72，22 76，61 74，27 69，74 74，56 78，22 77，49 76，75 73，54 74，87 37.4715 75，00 72，95 74，71 75，73 70，76 73，98 78，07 75，88 73，98 75，15 74，62 37.4516 68，42 65，35 68，86 69，88 67，84 69，15 71，78 70，32 69，15 68，86 68，96 36.7717 70，02 68，12 69，74 69，30 66，23 69，01 71，20 69，30 69，44 68，86 69，1218 69，44 65，64 69，44 70，18 67，84 70，47 70，61 69，44 69，01 70，32 69，2419 71，49 69，73 74，27 73，98 70，03 73，83 76，75 73，98 72，51 73，10 72，97 37.2520 74，26 71，92 74，56 73，68 70，91 75，58 76，90 74，42 74，42 73，68 74，04 37.3821 73，53 71，19 73，54 71，20 71，20 73，39 76，32 73，54 74，71 73，54 73，22 37.2922 75，58 73，24 75，58 76，02 73，68 75，29 77，63 77，49 78，07 75，88 75，85 37.5923 77，77 72，51 78，66 77，34 72，51 77，19 79，24 77，19 75，29 76，02 76，37 37.6524 77，77 71，34 75，00 77，34 73，68 75，58 76，90 76，61 76，32 75，88 75，64 37.5725 71，34 66，66 73，10 69，88 66，52 69，88 72，66 73，25 69，59 69，74 70，26 36.9226 71，49 70，76 70，32 71，35 68，13 73，54 73，39 73，54 72，08 69，59 71，42 37.0727 73，68 68，12 70，03 71，20 69，59 71，20 71，93 72，37 72，51 70，32 71，10 37.03表7方差分析ANOVA结果的因子贡献（学习超参数