基于潜在码的Volterra神经网络方法的多模态数据融合

智能系统与应用18（2023）200210基于潜在码的融合：一种Volterra神经网络方法Sally GhanemSunday，Siddharth Roheda，Hamid Krim电气和计算机工程系，北卡罗来纳州立大学，罗利，NC，27695，美国A R T I C L E I N F O A B S T R A C T关键词：稀疏学习计算机视觉信息融合子空间聚类我们提出了一种使用Volterra神经网络（VNN）的深度结构编码器，以寻求多模态数据的潜在表示，其特征由子空间的联合来共同捕获。所谓的潜码的自表示嵌入导致了由类似构造的解码驱动的简化融合。Volterra滤波器架构实现了参数复杂性的降低，这主要是由于高阶卷积代替广义激活函数引入了受控非线性。在两个不同数据集上的实验结果表明，与传统的卷积神经网络（CNN）自动编码器相比，VNN自动编码器的聚类性能有了显着提高。此外，我们还表明，所提出的方法比基于CNN的自动编码器具有更高的样本复杂度，具有强大的分类性能。1. 介绍由于传感器技术的最新进展，多模态数据已变得广泛可用和有用。附加模态通常可以提供关于感兴趣的目标/类别的补充信息。本文还期望多模态传感器数据的原则性整合来提高所提取特征的质量和贡献。多模态融合已经广泛地用于不同的应用中，包括但不限于图像融合（ Hellwich Wiede-mann ， 2000 ） 、 目 标 识 别 （ Korona Kokar ，1996）（Ghanem等人，2018）（Ghanem等人，2020）、说话人识别（Soong Rosenberg，1988）和手写分析（Xu et al.，1992年）。此外，卷积神经网络（CNN）已被广泛用于多模态数据分析，如Ngiam等人（2011），Roheda，Riggan等人（2018），Roheda等人（2020）和Roheda，Krim等人（2018）。然而，实现多模态融合网络的复杂性仍然存在。CNN已被广泛用于深度学习，用于在许多应用中分析视觉图像这些应用包括但不限于图像处理和分割。然而，实现CNN的复杂性和成本在许多应 用中可能是有 限的有效的和 最近提出的 Volterra 神经网 络（VNN）（Roheda Krim，2020）旨在主要解决这些限制，并克服CNN的参数化问题。为了控制网络中有意引起通讯作者。电子邮件地址：ssghanem@alumni.ncsu.edu（S. Ghanem）。https://doi.org/10.1016/j.iswa.2023.200210介绍了数据的延迟输入样本之间的相互作用。Roheda和Krim（2020）提出的级联实现与传统神经网络相比，显着减少了训练网络所需的参数数量。除了降低网络复杂度外，Volterra神经网络（VNN）还具有更简单，更易于处理的结构。这与Zoumpourlis et al.（2017）和Kumar et al.（2011）的工作有很大的不同，因为卷积策略加上对朴素方法固有复杂性的理解导致了这种新观点的成功。这些现有方法将非线性度限制到一定值，以避免爆炸性的复杂性，但由此挫败了克服现有CNN的限制的初始目标。Roheda和Krim（2020）中的级联实现已被证明可以通过重复应用二阶滤波器来缓解这一限制，直到达到所需的阶数。Wray和Green（1994）将Volterra级数与神经网络联系起来，证明了一类人工神经网络与Volterra级数是等价的。受VNN在深度学习中的成功启发（Roheda Krim，2020，Li等人，2022，Saneifard等人，2022，Martire等人，2022），我们提出了一个有效的实现深度多模态子空间聚类（Abavisani Patel，2018），使用Volterra滤波器。更具体地，CNN被替换为VNN，其目标是经由高阶卷积而不是使用例如在Abav中执行的高度非线性激活函数来接收日期：2022年9月2日;接收日期：2023年2月10日;接受日期：2023年3月1日2023年3月9日网上发售2667-3053/© 2023由Elsevier Ltd.发布 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。目录可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications*S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002102∑���������−���∑∑2Fig. 1. 深度多模态子空间聚类（DMSC）。Isani and Patel（2018）.此外，我们提出了额外的技术来显著降低VNN启发的多模态子空间聚类自动编码器的复杂性，其参数数量仅为CNN使用的一小部分，同时保留了更好的聚类性能3.2. Volterra滤波器自动编码器在本节中，我们提供了我们提出的方法的基本原理，我们称之为Volterra多模态子空间聚类自动编码器（或VMSC）。我们的框架学习了多模态数据的有效潜在表示，其特征应该由子空间的联合来共同捕获。我们的方法受到Volterra级数（Volterra，1959）的启发，Volterra级数是线性卷积的推广，包括高阶项，非常像泰勒级数。Volterra级数表示非线性和时不变系统的函数展开它与泰勒级数的不同之处在于它能够捕捉记忆。换句话说，泰勒级数可以用来近似一个非线性系统的响应，如果输出严格依赖于在该特定时间的输入与此相反，输出取决于系统在所有其他时间的输入。Volterra滤波器（VF）是基于Volterra级数，VF通过高阶卷积描述非线性系统。Volterra滤波器的输入和输出之间的关系可以表示如下，（Abavisani Patel，2018）。论文的其余部分如下：在第2节中，我们概述了DMSC（AbavisaniPatel，2018），该概述基于���−1111=0���−11+1，2=022001年，2002年������−���1������−���2 +……CNN 在第3节中，我们提供了问题公式，���−1公司简介������−��� ������-���-������−���（二）提出的方法，即Volterra多模态子空间聚类自动编码器（VMSC-AE）。在第4节中，我们提出了一个实质性的价值-101，102，...，最大值=0一， 二，12第5节提供了结论性意见。2. 一种多模态子空间深度聚类算法在本节中，我们简要概述了Abavisani和Patel（2018）提出的深度多模态子空间聚类（AFDMSC）。AFDMSC网络由三个主要部分组成：多模态编码器、自表达层和多模态解码器。编码器的输出有助于所有模态的公共潜在空间AFDMSC利用自我表达的道具，这在Elhamifar和Vidal（2013），Bian和Krim（2015）中提出该属性寻求获取潜在的空间结构，该结构揭示每个聚类中的数据点（公共特征）之间的关系。自表示属性需要表示每个样本作为来自相同子空间/聚类的所有其他样本的线性组合它通过编码器和解码器之间的完全连接层来实施解码器对输入数据的重构产生以下损失函数以确保自表达网络的正确训练，min∥��� ∥ 2 + ���∑∥��� ( )−������ (���) ∥ 2 +���∑<$L（���）− L（���）���<$2，（一）其中，f是滤波器存储器中的项数（也称为滤波器长度），���f是第二������阶项的权重的前面等式中的线性项实际上类似于CNN中的卷积层。一般来说，CNN中的非线性通常由激活函数引入，而不是在卷积层中，而VNN在卷积层中引入非线性。这种Volterra神经网络（VNNs）结构最近被提出来控制网络中引入的非线性，并克服CNN的参数化问题。非线性激活函数，如Relu和Sigmoid，通常在CNN中用作神经元输入和输出之间的门。然而，在某些情况下，CNN中这些激活函数引入的不必要的非线性会导致网络中过度无用或不相关的信息在这项工作中，我们提出了一个基于VNN的多模态自动编码器，以寻求一个潜在的多模态数据表示的特征，至少联合捕获的子空间的联合。用VNN取代我们网络中的CNN以控制引入的非线性的能力增强了数据点到潜在空间的映射，该潜在空间非常适合用于无监督学习的子空间聚类VMSC利用Elhamifar和Vidal（2013）以及Bian和Krim（2015）中提出的自我表达属性来获取潜在的空间结构，揭示每个聚类中数据点之间的关系在下面-���闪烁计数=0=12=1接下来，我们详细阐述了基于Volterra结构的多模态自动编码器。如前所述（AFDMSC）（Abavisani其中，表示自表达层的参数是到编码器的输入，其中，k（k）表示解码器的输出，L（k）表示编码器的输出。和是正则化参数。DMSC方法的概述如图所示1.3. Volterra滤波子空间聚类3.1. 问题公式化我们考虑一组索引为 = 1，2，...， ，并假设T个数据模态，索引为 =1，2，3，...， 。每种数据模式������������������（������（���）]∈��� ×���。我们的目标是将x2（x2）划分为clus-可 以 用 低 维 子 空 间 很 好 地 表 示 的 点 从数 学 上 讲 ， 这 相 当 于 将partitioning���（���）划分为{ 1（���），���2（���），.， ������[���]的（）} ，其中���是索引为的簇的数量 ，使得存在dim（（））的线性子空间 ���（���）��� ������ 。&Patel，2018年），该网络有3个主要组成部分，即多-模态编码器、自表达层和多模态解码器。这项工作中的编码器用Roheda和Krim（2020）开发的Volterra神经网络（VNN）取代了标准CNN。多模态编码器由多个并行Volterra神经网络组成。编码器的每个分支处理模态之一并提取相关特征。随后，将这些特征映射连接起来，以实现获得公共潜在空间的目标。自动编码器的第二个组件是自表达层，其目标是在级联特征中强制执行自表达属性（Elhamifar Vidal，2013）。这是由一个全连接层来执行的，该层对编码器的级联输出进行最后一级是解码器，它从自表达层的输出重构输入数据通过该近似网络寻求的目标泛函在等式（3）中被反映，图1中2.S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002103‖ ‖���闪烁计数=02=12自动编码器网络由自表达层PA支配，图2. Volterra神经网络自动编码器。min∥��� ∥1 +���∑∥��� (���)−��� ��� (���) ∥2 +��� ∥ L������������������ − L������������������ ∥2,���������������������(3)编码器网络训练所需的参数总数其中，表示对应于模态的重构数据的参数，数量 级为1/2（1/2），其中1/2是样本数城市景观得双曲正弦值.LL（1），L（2），.，L（ ），和L（ ）de-在数据集中。因此，这可能导致更长的训练时间，并需要大量的计算资源。在第4条中，我们建议重新-描绘对应于模态SNR的编码器的输出。这是稀疏权重函数，用于连接连接的特征。上述成本函数在张量法中使用自适应基于动量的梯度下降法（ADAM）（Kingma Ba，2014）进行优化。。1是的 1范数���，它是它的绝对列和的最大值。在数据实现的适当排列/置换下，���������如果每个样本仅由来自同一子空间的其他样本表示，则稀疏系数矩阵x是具有零对角的×块对角矩阵x。更准确地说，������=0每当索引������对应于来自不同子空间的样本时，使得结果���稀疏。选择与Abavisani相似的R2和R3，（−3）���������������������������������������������通过随机修剪自表达层中一定比例的边缘来减少所需的参数数量通过消除适当数量的边并将它们设置为零，聚类性能不应受到高度影响。其原因是自表达系数矩阵X，x是稀疏的，并且具有块对角结构。因此，大多数边最终将等于零。在第4节中进一步讨论，第二种方法被称为循环稀疏连接（CSC）层（Hosseini等人，2019年）。采用这种方法是为了有效地替代全连接（FC）层，因为数量FC层中的参数的最大值，即λ（λ2），可以支配整个深度模型参数，Patel（2018），其中，n=1且n=1010因为它表明，rameters。CSC层由支持层组成，这些参数的选择不会在很大范围内影响模型的最终性能。为了继续以无监督的方式区分各种类别，我们首先如下评估匿名矩阵=其中，n∈n���×n。随后，我们使用Ng et al.（2002）中详细描述的谱聚类来找到多模态数据背后的聚类。算法1Volterra多模态子空间聚类初始化： （ ）、 和 。当不收敛时：update（ ）and（ ）for = 1，2，.，连接CSC层的输入和输出。稀疏连接的层由一系列分层组成：输入层，中间的10- 1层称为支持层，以及输出层。假设有n个节点，每个节点的扇出和每个层的扇入都等于n。因此，CSC层结构中的边缘 的总数量，=（五）CSC结构中的每一层都由邻接矩阵定义，公司 简介 = 1，.， ，其长度和宽度等于 ，其中 （ ， ）表示连接输入节点和输出节点的边数2更新node . 因此，每个邻接矩阵X的n个元素中的n个元素= 0对应于一个支撑层的所有层的值等于1，并且对应于一个支撑层的其余层的值等于1。元素为零。连通性，k，被定义为+1=end while计算a矩阵X为：=3.3.降低模型复杂性在本小节中，我们将介绍两种不同的解决方案，以进一步减少训练自动S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002104图输入和输出层中任意对之间的路径。因此，我们有：=(6)从Eqns（5）和（6），可以推导出复杂度从（2）降低到（）。边的数量和节点的数量之间的关系如下，S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002105=0=0=0=0图三. 样本图像来自增强的EX tended Yale-B数据集。=邻接矩阵X ���是为CSC层中的每个支持层定义���的，我们使用它来替换全连接层。每个支持层都有一个生成多项式 ���（���），它由���生成块长度的循环邻接矩阵x的项���组成，如Hosseini等人（2019）所述。对应于每个支持循环矩阵X的生成多项式构造第一行，矩阵X的每一个下一行都是其前一行的循环右移在Hosseini et al.（2019），提出了两种不同的因子分解方法来构建支持层。对于我们的问题，我们假设连通性，，等于1。我们遵循Hosseini等人（2019）提出的第一种方法来构造生成多项式������（���）=∑��� −1，如下所示，识别。斯托克斯参数S0、S1、S2和S3通常用于表示偏振态信息（Hu等人，2016年）。通过测量通过以不同角度旋转的偏振器透射的辐射强度来收集它们。S0表示传统的总强度热图像，S1捕获水平和垂直偏振信息，S2捕获对角偏振信息。S1和S2捕获正交但互补的极化信息。线性偏振度（DoLP）描述了电磁波的线性偏振部分所有图像在空间上针对每个受试者对齐。我们还将图像的大小调整为32× 32像素。来自该数据集的样本图像如图所示。第四章���−1���−1���−14.2. 网络架构∑������ =Σ������（���）���.���.������（���）=∑���������.���，������=������.（八）CSC层由多项式函数通过将each ���（���）分配给每个支持层来描述 。 ���是跨距值，指定层的支持矩阵x的第一行中值为1的元素之间的距离 。4. 实验结果4.1. 数据集描述为了证实所提出的方法的有效性以及各个步骤，我们选择了两个不同的数据集。第一个是E× tended Yale数据集（Lee et al.，2005年）。该数据集已广泛用于子空间聚类，如Elhamifar和Vidal（2013），Liu等人（2012）。该数据集由38个个体在不同光照条件下的64幅正面图像组成。在这项工作中，我们利用了Abavisani和Patel（2018）中使用的增强数据，其中左眼，右眼，鼻子和嘴巴等面部成分已被裁剪以代表四种额外的模式。对应于每种模态的图像已被裁剪为32× 32的大小。每种模态的样本图像如图3所示。第二个验证数据集，使用的是偏振面部数据集（Hu等人，2016年，由陆军研究实验室慷慨提供。它是由60个人的面部图像在可见光域和四个不同的偏振态。该数据集是使用偏振长波红外成像仪收集的，以促进交叉光谱人脸识别研究。热辐射的不同偏振态提供了额外的面部几何和纹理细节，可用于改善面部对应的编码器。编码器将输入模态投影到特征空间中。特征从每个模态独立地提取，并且随后在通过自我表达层之前被连接自我表达层的输入表示数据模态Volterra滤波器自动编码器的第二个该层的目标是利用对合并的特征进行操作的完全连接的层，在从每个数据模态提取的特征之间实施自我表示属性。最后一级是解码器，它从自表达层的输出重构输入数据，并具有与编码器相同的结构。我们实现了VNN-AE与张量流和使用自适应动量的基础上，梯度下降法（ADAM）（Kingma Ba，2014）最小化方程（2）中的损失函数，ARL数据集的学习率为10−3，EYB数据集的学习率为10−4对于DMSC，我们使用Abavisani和Patel（2018）中描述的相同网络结构。我们将进一步详细说明为两个数据集的VNN-AE构建的网络。4.2.1. ARL数据集ARL数据集由五种数据形式组成，因此，自动编码器有五个编码器分支，一个自表达层和五个解码器分支。每个编码器分支由单层VNN（相当于2阶滤波器）组成。VNN由一个多通道实现组成，其灵感来自于初始数据集（Szegedy等人，2015年）。在我们的实现中，我们使用3通道1X 1滤波器和2通道3X 3滤波器。解码器具有与编码器相同的结构。对于这两个数据集，对应于每种模态的数据都进入S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002106表1EYB数据集的融合结果。见图4。 来自ARL偏振数据集的样本图像。表2ARL数据集的融合结果。ACCAriNMI参数数量ACCAriNMI数量的参数VFSC百分之九十八点八二百分之九十九点三四百分之九十八点零八百分之九十八点六三百分之九十八点八一百分之九十九点一五2,367,4002,332,800VFSC百分之九十七点五九百分之九十九点九五百分之九十七点五三百分之九十九点九百分之九十九点四二百分之九十九点九四4,667,7204,666,6504.2.2. EYB数据集对于EYB数据集，我们使用五种数据模态，因此，我们为每种模态提供了一个编码器，一个自我表达层和五个解码器分支。每个编码器由单层VNN（相当于2阶滤波器）组成。每个编码器由7个通道组成，1X 1滤波器，7通道3X 3滤波器和6通道5X 5滤波器。4.3. 融合结果我们评估了我们提出的Volterra滤波器自动编码器对基于CNN的DMSC网络的性能。稀疏解决方案提供了关于数据点之间关系的重要信息，这些信息可用于将数据分割成驻留在公共子空间中的各个聚类。来自每个物体的观测可以被看作是跨越一个子空间的数据点。解释基于子空间的语义 基础上，我们继续进行什么相当于模态融合。对于聚类 ，我们应用了与我们之前在3.2节中演示的相同的谱聚类方法。我们使用了75%的数据来学习多模态数据背后的聚类结构。我们利用三个聚类指标来评估性能; clus-排序准确率（ACC）、归一化互信息（NMI）（Vinh等人，2010年），和调整后的兰德指数（ARI）（兰德，1971年）指标。EYB和ARL数据集的结果分别见表1和表2。从结果中可以看出，VMSC-AE优于DMSC网络，同时减少了执行聚类任务所需的参数数量这种改进背后的原因是VMSC-AE保持了一个易于控制的结构，该结构控制了系统中引入的非线性，而CNN网络则会引入不期望的有限非线性。4.4. 用更少的数据进行我们继续评估所提出的Volterra滤波器自动编码器的性能任何深度神经网络的一个主要挑战可能是可用性不足数据来训练网络。在下文中，我们将在训练期间数据可用性有限的情况下，将我们提出的数据融合网络与类似相关的卷积深度神经网络DMSC进行比较。我们使用可用数据的部分来训练自动编码器结构，即，25%、40%、50%、60%和75%。结果描绘在表3和表4中分别针对ARL和EYB数据集。从结果来看，很明显，使用VMSC-AE融合数据显著提高了在使用比DMSC更少的参数的情况下提高了聚类精度。在ARL数据的情况下，VMSC-AE仅使用520 K参数和25%的数据，并且仍然优于使用4.5M参数和75%的数据进行训练的DMSC模型。另一方面，对于EYB数据集，仅具有854 K参数和40%数据的VMSC-AE的性能与具有240万参数和75%数据的DMSC实现的性能相当。请注意，参数的数量随着训练数据量的减少而减少，因为自我表达层的大小直接取决于用于训练模型的样本数量 因此，这些结果表明，VMSC-AE是更强大的，在训练过程中有限的数据可用性不太敏感。ARL和EYB数据集的VFSC和DMSC性能之间的比较如图1A和1B分别为5和6。4.5. 随机删除边从表1和表2中可以清楚地看出，所需的参数总数由自表达层参数决定，其阶数为（2），其中是数据集中的样本数。在本小节中，我们通过随机删除自我表达层中边缘的比例。除了用更少的数据训练网络之外，我们还通过将这些边缘的固定比率设置为等于零来减少需要训练的边缘数量，并在训练时忽略它们，就好像它们不存在一样。图在图7和图8中，我们分别示出了从ARL和EYB数据集的自表达层中结果是10次试验的平均值根据结果，我们得出结论：S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002107表3ARL数据集：用更少的数据进行训练。Dataset/比率VFSC序号参数DMSC序号参数ACC ARI NMI ACCARI NMIARL 25% 99.32% 98.19% 99.72% 519，450 93.33% 88.25% 97.86% 520，520ARL 40% 99.42% 99.49% 99.78% 1，328，154 94% 91.98% 98.5% 1，329，224ARL 50% 99.56% 99.63% 99.86% 2，074，650 94.17% 92.7% 98.6% 2，075，720ARL 60% 99.9% 99.88% 99.94% 2，987，034 95.69% 93.87% 98.64% 2，988，104ARL 75% 99.95% 99.95% 99.95% 4，666，650 97.59% 97.53% 99.42% 4，667，720表4EYB数据集：用更少的数据进行训练。数据集/比率VFSC号参数DMSC参数数量ACC ARI NMIACC ARINMIEYB 25%95.58% 94.42%333,78493.33% 86.83%92.34% 368 384EYB 40% 97.25% 96.81% 97.9% 854，144 94% 93.21% 96.34% 888，744EYB 50% 98.4% 96.9% 98.26% 1，322，000 94.17% 95.05% 97.41% 1，356，600EYB 60% 98.96% 97.99% 98.97% 1，893，824 95.69% 97.18% 98.47% 1，928，424EYB 75% 99.34% 98.63% 99.15% 2，332，800 97.59% 98.08% 98.81% 2，367，400这是由于编码器和解码器中的参数数量较少，从而在样本数量较少时防止过拟合。4.6. 使用循环稀疏连接层的在下文中，我们评估CSC层以进一步修剪自动编码器网络。如第3节所述，CSC层通过将each������（���）分配给每个支持层而由多项式函数描述 。在我们的实验中，我们假设 =1，并且给定 ，我们相应地使用等式n计算每个支持层中的边的数量。（5）.对于ARL数据集，我们假设= 1和=2，而对于EYB数据集，我们假设= 1。我们发现这种结构在保持高压缩率的同时实现了最佳性能。表5和表6分别描述了ARL和EYB数据集我们利用不同的数据比率来训练自动编码器网络，然后将VMSC-AE网络的结果与DMSC网络的结果进行比较。此外，我们还列出了图5. ARL数据集的VFSC和DMSC之间的比较。见图6。 EYB数据集的VFSC和DMSC之间的比较。与DMSC相比，VMSC-AE对自我表达层连接的变化更鲁棒。当我们从自我表达层中删除边缘时，VMSC-AE的性能下降更加优雅。此外，与DMSC网络相比，Volterra滤波器自动编码器对具有较少数据的训练不太敏感，训练具有完全连接的自表达层的自动编码器所需的参数的数量与训练利用CSC层的自动编码器所需的参数的数量。结果也示于图1A和1B中。ARL数据集和EYB数据集分别为9和10从结果中，我们可以得出结论，在使用CSC层结构修剪自表达层之后，VMSC-AE的性能明显优于基于CNN的自动编码器DMSC。VMSC-AE可以实现非常有竞争力的性能，几乎1%-2%的准确性损失作为完全连接的网络的兼容性。此外，模型复杂度降低了>90%。5. 结论本文提出了一种用于多模态数据融合的高效Volterra神经网络自动编码器。引入的框架提取的基础嵌入的数据自我表示的假设下，每个数据模态。实验结果表明，Volterra神经网络在聚类性能方面比卷积神经网络自动编码器有显著提高。此外，VMSC-AE可以减少执行聚类任务所需的参数数量，因为VMSC-AE保持了一个易于控制的结构，该结构控制了该系统与CNN网络相反，CNN网络可以引入不必要的非线性。此外，我们评估了所提出的Volterra滤波器自动编码器的性能与有限的训练数据。因此，实验结果表明，VMSC-AE是更强大的，在训练过程中有限的数据可用性不太敏感另外我们S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002108图第七章在使用ARL数据的不同部分时修剪自动编码器网络。表5ARL：在使用较少数据进行训练时CSC层的影响数据集|完全连接的数量。参数CSC层数参数ACCAriNMIACCAriNMIARL DMSC百分之九十三点三三百分之八十八点二五百分之九十七点八六520,520百分之九十二点三四百分之八十五点一百分之九十七点五四56,840ARL VFSC 25% 99.32% 98.19% 99.72% 519，450 99.03% 97.19% 99.16% 55，770ARL DMSC 40% 94% 91.98% 98.5% 1，329，224 93.2% 90.24% 98.13% 117，320ARL VFSC 40% 99.42% 99.49% 99.78% 1，328，154 98.75% 97.67% 99.27% 116，250ARL DMSC 50% 94.17% 92.7% 98.6% 2，075，720 93.67% 92.05% 98.22% 174，920ARL VFSC 50% 99.56% 99.63% 99.86% 2，074，650 99.48% 99.01% 99.55% 153，690ARL DMSC 60% 95.69% 93.87% 98.64% 2，988，104 95.66% 92.89% 98.4% 203，960ARL VFSC 60% 99.9% 99.88% 99.94% 2，987，034 99.77% 99.53% 99.71% 202，890ARL DMSC 75% 97.59% 97.53% 99.42% 4，667，720 97.55% 97.81% 99.47% 282，920ARL VFSC 75% 99.95% 99.95% 99.95% 4，666，650 99.91% 99.8% 99.93% 281，850表6EYB数据集：使用较少数据进行训练时CSC层的影响数据集|完全连接的数量。参数CSC层数参数ACCAriNMIACCAriNMIEYB DMSC 25%百分之九十三点零三86.83%百分之九十二点三四368,384百分之九十二点七五82.25%91.74%84,900EYB VFSC 25% 95.58% 94.42% 96.8% 333，784 95.14% 91.85% 95.92% 50，300EYB DMSC 40% 93.42% 93.21% 96.34% 888，744 93.01% 86.43% 93.41% 98，040EYB VFSC 40% 97.25% 96.81% 97.9% 854，144 96.33% 96.12% 97.43% 63，440EYB DMSC 50% 97.34% 95.05% 97.41% 1，356，600 94.89% 88.43% 94.78% 114，000EYB VFSC 50% 98.4% 96.9% 98.26% 1，322，000 98.33% 96.71% 98.22% 79，400EYB DMSC 60% 98.72% 97.18% 98.47% 1，928，424 95.51% 91.59% 95.72% 199，272S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）2002109EYB VFSC 60% 98.96% 97.99% 98.97% 1，893，824 98.68% 97.42% 98.5% 131，840EYB DMSC 75% 98.82% 98.08% 98.81% 2，367，400 96.29% 96.93% 98.32% 224，200EYB VFSC 75% 99.34% 98.63% 99.15% 2，332，800 99.07% 98.09% 98.81% 174，400S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）20021010图第八章在使用EYB数据的不同部分时修剪自动编码器网络。图9. 性能vs. ARL数据集的VFSC CSC和DMSC CSC的参数数量。评估了多种方法以进一步修剪网络结构并降低多模态子空间聚类自动编码器方法的模型复杂度。结果表明，VMSC-AE对自表达层连接的变化更具鲁棒性，与DMSC相似，因为我们从该层随机删除边缘。然后，我们使用循环稀疏层进行评估，以进一步修剪自动编码器网络。实验结果表明，我们提出的方法提供了更好的样本复杂度比基于CNN的自动编码器，并表现出强大的分类性能。建议未来的工作包括调查不同的噪声源扰动的集群，ter结构。图10. 性能与EYB数据集的VFSC CSC和DMSC CSC参数的数量。CRediT作者贡献声明所有作者都参与了数据的概念和设计;起草重要知识内容的文章;以及最终版本的批准。竞争利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。S. Ghanem，S. Roheda和H. Krim智能系统与应用18（2023）20021011数据可用性我们使用公开的数据集。引用Abavisani，M.，帕特尔河M. （2018年）。深度多模态子空间聚类网络。 IEEEJournal ofSelected Topics in Signal Processing，12，1601-1614。Bian，X.，&Krim，H.（2015年）。鲁棒子空间恢复的双稀疏追踪算法。在2015年IEEE图像处理国际会议（ICIP）上，3535-3539）。IEEE。Elhamifar，E.，维达尔河（2013年）。稀疏子空间聚类：算法、理论与应用应 用 . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 35 ， 2765-2781.Ghanem，S.，Panahi，A.，克里姆，H.，&凯雷克斯河A.（2020年）。鲁棒组子空间恢复：多模态数据融合的新方法。IEEE Sensors Journal.Ghanem，S.，Panahi，A.，克里姆，H.，凯雷克斯河一、&Mattingly，J.（2018）.基于信息子空间的车辆分类融合。在2018年第26届欧洲信号处理会议（EUSIPCO）上，1612-1616）。IEEE。Hellwich，O. &Wiedemann角（2000年）。从高分辨率多传感器图像数据中提取目标。第三届地球数据融合国际会议，Sophia Antipolis。Hosseini ， M. ， Horton ， M. ， Paneliya ， H. ， 卡 拉 库 里 大 学 ， Homayoun ， H. ，Mohsenin，T.（2019年）。具有循环稀疏连接层的稠密层的复杂度从O（n 2）降到O（nlogn）。2019年第56届ACM/IEEE设计自动化会议（DAC）1-6）。IEEE。Hu，S.，肖特，N。J.，里根湾美国，戈登角，Gurton，K.P.，Thielke，M.，Gurram，P.， &Chan，A. L.（2016年）。用于人脸识别研究的偏振热数据库。在IEEE计算机视觉和模式识别研讨会会议论文集（pp. 187-194）。Kingma，D.P.，Ba，J.（2014年）。Adam：一种随机优化方法检索来自arXiv预印本，arXiv：1412.6980。Korona，Z.，Kokar，M.M. （1996年）。基于模型论的融合框架及其在多传感器目标识别中的应用。在1996年IEEE/SICE/RSJ智能系统多传感器融合与集成国际会议上，号96TH8242）（pp. 9-16）。IEEE。库马尔河，Banerjee，A.，韦穆里湾C.的方法，&P.菲斯特，H.（2011年）。可训练卷积滤波 器 及 其 在 人 脸 识 别 中 的 应 用 。 IEEE Transactions on Pattern Analysis andMachineIntelligence，34，1423-1436。李，K. C.的方法，何杰，&Kriegman，D. J.（2005）。获取线性子空间用于变光照下的人脸识别。IEEE Transactions on Pattern Analysis and MachineIntelligence，27，684-698.Li，T.，Zhou，G.，邱，Y.，&赵，英-地（2022年）。从Volterra卷积的角度理解卷积神经网络。Journal of Machine LearningResearch，23，1-50.Liu，G.，Lin，Z.，Yan，S.，Sun，J.，Yu，Y.，&马，Y。（2012年）。低秩表示子空间结构的鲁棒恢复。IEEE Transactions on Pattern Analysis and MachineIntelligence，35，171-184.Martire，A. L.，孔热多湾一、&Cenci，M.（2022年）。分数阶Volterra积分方程：神经网络方法，卷。 1.Ng，黑冠草A.是的，Jordan，M.一、&Weiss，Y.（2002年）的报告。关于谱聚类：分析和算法。在神经信息处理系统的进展（pp