智能系统与应用16（2022）200112审查用于预测铣削过程Cheick Abdoul Kadir A Kountaa，b，*，Bernard Kamsu-Foguema，Farid Noureddine a，Fana TangarabaAgatoireG'eniedeProduction，E'coleNationaled' In g'enieurs de Tarbes，47 Avenue Azereix，B.P. 1629，F-65016TarbesCedex，法国b巴马科科学、技术和工艺大学科学和技术学院，学士。E：423，巴马科，马里A R T I C L EI N FO保留字：深度学习多模态数据处理异构数据融合非结构化数据制造工艺粗糙度A B S T R A C T在本文中，我们使用多模态深度学习来预测最佳切削参数（切削速度，切削深度和每齿进给率）的选择以及适当的切削刀具，以再现相同表面状态的现有工件，同时考虑切削刀具留下的足迹。我们使用铝板的表面状态的图像，考虑到工具的足迹，切削参数，和粗糙度仪获得的粗糙度平均值（Ra）来驱动我们的模型。我们用两个网络建立了一个后期多模态融合模型，一个是卷积神经网络（CNN），另一个是具有长短期记忆层（LSTM）的递归神经网络。第一个网络由第一个分支和接收输入图像的卷积网络组成。在第二个网络中，由LSTM网络执行建模以接收数字输入数据。这提供了一个框架，以整合来自两种模态的信息，以确保加工过程中的表面质量。这种方法的目的是帮助选择适当的切削刀具和切削参数，以自动复制加工件使用的图像和粗糙度的一个已经存在的件。据观察，多峰模型的性能优于单峰模型的图像数据。准确性在两个集合（训练和验证）上继续提高，多模态模型最终达到了良好的准确性结果。与单峰模型相反，单峰模型无法在验证数据集上推广训练。当应用于工业生产过程中的铣削活动1. 介绍传感器技术在工业中的进步导致了加工过程任务的自动化，这导致了传感器在机械化生产线中的使用越来越多（Broo等人，2021年）。这些任务的自动化已经扩展到汽车和制造业之外。工业4.0基于物联网、识别解决方案、网络安全、水平和垂直系统的集成、云计算、3D打印、增材 制 造 、 大 数 据 、 商 业 分 析 、 增 强 现 实 和 机 器 学 习 （ de la PenaZarzuelo et al.， 2019年）。深度学习与图像捕获技术相结合的发展这为图像内容分析的自动化开辟了道路，可能会提取相关功能。所使用的学习系统基于人工神经元，其结构的实体是连接在一起，形成不同深度的许多层。在第一层中，这些架构允许在几个尺度上对数据进行分层处理。此外，层次越深，网络的响应越稳定.因此，这些深度神经网络可以在多模态数据分析中发挥重要作用，特别是更好地理解描述所研究对象表面质量水平的特征。多模态融合已经在多模态数据处理中产生了极大的兴趣，并且在研究人员中引起了普遍关注（Bayoudh等人，2021年）。多模式融合包括早期基于特征的融合、后期基于决策的融合以及组合两种先前模式的混合融合（Baltr u.2017年）。为了解决学习前各模态原始数据信息不一致的问题在决策级融合方法方面，*通讯作者：AtomatoireG'eniedeProduction，E'coleNationaled' In g' enieurs de Tarbes，47 Avenue Azerei x，B.P. 1629，F-65016TarbesCedex，France.电子邮件地址：ckounta@enit.fr（C.A.K.A.Kounta）。https://doi.org/10.1016/j.iswa.2022.200112接收日期：2022年4月8日;接收日期：2022年7月19日;接受日期：2022年8月10日2022年8月18日在线提供2667-3053/© 2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsCA Kounta等人智能系统与应用16（2022）2001122Fig. 1. 基本CNN模型。信息分解为不同的基本模型，然后对这些模型的结果进行均衡融合决策。混合多模态融合将特征级融合和决策级融合相结合，具有更灵活的结构。工件的加工是工业生产系统的持续需求。某些原始零件的复制或新零件的实现是一种制造技术，必须同时考虑表面粗糙度、切削条件、切削工具、尺寸和振动信号（Hu等人，2019年）。在这种情况下，CNC加工的三个主要组成部分是机床，工件和刀具。具体来说，铣削是通过切削刀具从工件上去除材料，并伴随着几何形状和物理参数的一系列变化，如切削阻力、切削温度、刀具磨损等，在规划加工工艺时，刀具和切削参数是决定性因素。正确选择切削刀具和切削参数可以显著降低加工过程的能耗和生产时间（Chen等人， 2019; Okokpujie等人， 2018年）。降低车削加工机床的能耗在促进可持续制造业方面，环境保护至关重要。研究表明，选择最佳切削参数是降低加工中切削能耗的有效途径（Chen等人，2021年）。为了说明这一点，特别感兴趣的是铣削，这是一种制造工艺，其中以切屑形式去除材料是由两种运动的组合引起的：一方面是切削刀具的旋转，另一方面是工件的前进在铣削加工中，表面质量是评估所制造部件的最这种方法的目的是帮助选择适当的切削刀具和切削参数，以自动再现加工件的图像和粗糙度。首先从精细数据的获取入手，用异构元素构成数据库.在该数据库中，已在各种模式之间建立了联系，以促进在所考虑的工业背景下拟议的融合方法的以下步骤。我们的提案的独创性在于两个层面：i）文本数据与注释图像的对齐，以获得更好的多模态数据采集; ii）几种模态的组合，以提高关键参数（切削速度，切削深度和每齿进给速度）的预测，以确保良好的表面质量。在此介绍之后，第2节介绍了深度学习和多模式应用程序的架构和优化功能的一些最新技术。第3节给出了多模态融合学习的方法。案例研究详见第4节。第0节包括分析和讨论的结果。最后，第6给出了一个结论。2. 现有技术2.1. 深度学习：架构和优化基于机器学习，深度学习使分层计算网络能够学习和表示具有多个抽象级别的数据。因此，深度学习使用几个连续的变换、特征和表示，模仿大脑学习和理解多模态信息的方式，其自动捕获大规模数据的复杂结构（Litjens等人，2017年）。这是一种新兴的方法，已广泛应用于人工智能的传统领域，如语义分析（Bouwmans et al.，2019），迁移学习（Lu et al.，2015; Palade等人， 2021）、自然语言处理（Hochreiter和Schmidhuber，1997）、计算机视觉（Wang等人， 2018年）。深度学习引起了研究人员的兴趣，原因如下：首先，随着图形处理器的出现，计算能力的增加，可以负担得起的硬件，计算平台的质量以及网络连接速度的增加，这大大减少了算法的执行时间。第二，它处理日益增加的数据量的能力。第三，以无监督的方式提取特征，即，在没有人类专业知识的情况下（Zhao等人，2019年）。深度学习正在一个大的方法家族中发展，包括神经网络，分层概率模型以及各种无监督和监督特征学习算法。有几种深度神经网络架构，如卷积网络（CNN），在计算机视觉应用中非常引人注目。在这些网络中，各层是鲁棒地形成的。深度学习模型广泛用于故障排除（Duan et al.，2018年; Chen等人，2019; Siyu等人，2020）、剩余寿命的预测（Yan等人， 2018; Qin等人，2020; Luo和Zhang，2022），并监测机械设备的状况（Xiang等人， 2022年）。CNN由三个主要层组成，即卷积层、池化层和全连接层，其中每个层扮演不同的角色（Indolia等人，2018年）。前一层提取通用特征，后一层提取特定特征，并且所追求的目标可以是分类（离散输出值）或回归（连续输出值）。在CNN中，提取的特征通过分层采样层来学习，并通过减少参数的数量来堆叠。分层模型学习具有高计算复杂度（Wen等人，2015年）。一个基本模型显示了运行CNN的过程如图所示。1.一、该网络接收一系列图像作为输入子采样由最大池化层在卷积层之间执行，以通过仅保留最重要的特征来减小下一个卷积层的图像大小。通过堆叠多个卷积和最大池化层，应用全连接层来在网络中的更高级别进行全连接层连接到前一层的所有输出。则CA Kounta等人智能系统与应用16（2022）2001123图二、 递归神经网络的 架 构 （Wang等人， 2018年）。图3.第三章。优化器如 何 在人工智能模型上工作。在网络中通过将矩阵相乘来计算激活函数。最后，用损失函数计算预测值与实际值的差值。损失函数用于进行预测。这些模型中的层数取决于输入数据的复杂性。递归网络是一种神经网络，其中信息从第一层的深层来回分布。 通过循环连接，这些网络可以将信息保存在内存中，并在任何给定时间考虑过去的几个状态。出于这个原因，RNN更适合于时间序列的处理，例如学习和信号生成（Emmert-Streib等人，2020年）。RNN只能存储最近的过去，并在大约50次迭代后开始忘记。这种信息的双向传输使得学习变得更加困难，直到最近才开发出有效的方法，例如LSTM（长短期记忆）。这些大型的长短期记忆网络已经彻底改变了语音识别（Graves等人，2013）或自然语言处理文本的理解和生成（Wen等人， 2015年）。递归网络是一种神经网络，其中信息是分布在两个方向上，从深层到第一层。由于经常性的连接，这些网络可以将信息保存在内存中，并在给定时间内考虑几个过去的状态。因此，RNN最适合处理时间序列，如学习和信号生成。RNN应用规则来更新每一步的隐藏状态计算。如果我们采用图2中的示例，则顺序输入被认为是向量。因此，我们可以通过激活函数在两个阶段中计算当前隐藏状态。第一方输入层是用输入计算的，而第二方是从上一步中的隐藏层获得的。预测可以通过softmax函数用当前隐藏层计算。为了改进模型，我们将模型的预测值与实际值进行比较：这是模型的损失函数。然后，一种称为优化器的算法扮演着纠正模型算法（例如感知器的权重）的角色，以便下一次它可以预测更接近现实的值优化器的作用至关重要，它将定义AI系统如何进化（学习）以适应训练数据。图3显示了优化器是如何工作的。2.2. 工业应用有几种方法能够整合来自多模态传感器的信息，以提高监测、诊断和预测性能。多模态数据融合是应用于各种工业部门及其跨学科领域（诸如自动化、制造和机器人）的非常动态的研究领域（Bokade等人，2021年）。主要目标是处理来自多个CA Kounta等人智能系统与应用16（2022）2001124见图4。 基于整体学习的多模态决策融合模型（Che等人， 2020年）。异构源来估计机器的结构、功能和行为状态的几乎精确的视图这些国家的观察为该行业的专家和专业人士 它可以提供一系列推理工具，有时在识别场景时提供数字交互服务（Gupta等人， 2021; Alkhalaf，2021）和人机交互（Cuaya'huitl，2020; Liu等人， 2018年）。事实上，在某些复杂的环境中，有必要使用多种方式，提供关于同一情况的额外信息，并为解决问题提供很好的机会。多模式程序的机制也已被证明可用于缺陷的检测和诊断（Ma等人， 2018）、失效力学（Yang等人， 2021），剩余使用寿命（RUL）估计（Al-Dulaimi等人，2019年）的系统在工业组织。基于剩余使用寿命（RUL）数据的方法可用于在铣削过程期间估计切削工具（Kumar等人，2022年）。我们可以想象使用RUL来补充我们的方法，以收紧或放松切削条件的公差约束。在反映工具的长寿命预期的大的RUL的情况下，要求可以是高的，而在反映工具的低寿命预期的小的RUL的情况下，可以减轻工具要求的在缺陷诊断 的背景下，作者提 出了一种深度耦合自 动编码器（DCAE）模型，其捕获属于可测量空间的多模态传感信号，例如声音和振动数据，并将多模态数据的特征提取毫不费力地结合到用于故障模式诊断的数据融合中（Ma等人，2018年）。在故障诊断学的背景下，作者提出了一种基于构建包含三个分支的多分支DNN的方法：（i）成像分支，其使用CNN模型从图像中提取特征;（ii）文本分支，使用CNN模型从检查记录中提取特征，以及（iii）数值数据分支，具有数值信息的向量使用前馈神经网络（Yang等人，2021年）。关于剩余使用寿命（RUL）估计，作者提出了一种混合深度神经网络模型（HDNN）结构，该结构包括两个并行模型（一个LSTM和一个CNN），然后是一个完全连接的多层神经网络，融合每个模型的输出以形成所追求的RUL。LSTM用于提取时间特征，同时CNN用于提取空间特征，然后将其组合以给出 的 规则。 到 解决 的 问题 的 常规 滚子轴承寿命预测方法，侧重于预测精度，在忽略成本和时间的情况下，作者提出了一种新的预测方法，通过融合一维卷积神经网络和一个简单的递归神经网络。为了从信号中提取特征它们使用一维卷积神经网络的功能。最大全局池化层用于替换全连接层。在预测部分，建立并行输入网络以构建传统递归神经网络（RNN）的串行操作融合模型（AlZubi et al.，2021年）。其他作者提出了一种多模态特征提取计划，从原始振动信号和当前的enchie得到层次表示。首先，它们形成两个全连接（FC）层，以快速降低输入维度并学习主要特征。然后，两个卷积层被堆积起来，以学习每个模型的特征的更紧凑和更好的表示。然后将提取的特征重构为若干个向量，每个向量将隐含地编码一个故障特征。最后，将动态路由算法实现为融合模块和分类器的集成。在训练阶段期间，偏置注入的振动信号和转换的电流信号在不同的输入处被馈送到网络中。接下来，动态路由过程将各种源与不同的故障模型相关联，然后执行预测（Fu等人，2020年）。多模态机器学习有一些挑战，例如表示，sentation，translation，alignment（Yu等，2022）、融合（Frost等人， 2016）和共同学习（Rahate et al.，2022年）。尽管存在交叉现象，但这些挑战似乎各不相同。它们通常联合应用于使用多模态深度学习模型执行多个操作。例如，为了执行多模态融合，有必要应用表示来获取附加的和复杂的信息。一些作者提到了在工业环境中一种基于多模态功能融合的深度学习方法，用于旋转机器的在线诊断（Zhouet al.，2018年）。最后通过仿真和实际算例验证了该方法的有效性。将该方法与未进行特征融合的基于卷积神经网络的方法进行了比较与非融合方法相比，观察到融合方法的性能增加对多模态学习的兴趣源于它可以提供的三个主要优势首先，可以使用多种形式，这一现象可以导致更强大的预测。第二，访问多个模态可能使我们能够捕获在单个模态中独立不明显的额外信息。 第三，多模态系统在模态之一缺失时仍然可以起作用，例如，可以在没有音频信号的情况下利用视觉信号识别现象的特征。我们可以在图中看 到 。 4多模态融合模型用于诊断CA Kounta等人智能系统与应用16（2022）2001125=1∑（）+（1-）（1-）#（1）iiii∑̂图五、 拟议方法图。轴承故障，它由四个部分组成：多模态数据采集，功能层面的多模态融合，深度学习模型的训练和优化，以及决策层面的多模态合并。将灰度图像样本和时间序列样本分别送入CNN和深度置信网络（DBN），形成多个隐层，优化模型参数，得到轴承故障诊断的基本通过多模态决策融合获得完整的故障诊断结果，多模态决策融合通过几种不同深度学习模型的集成学习来执行。通常应用于图像处理的CNN用于处理灰度图像，而DBN用于形成时间序列样本。在决策层，不同深度学习模型的组合旨在实现全面的故障诊断结果。为了预测端面铣削的切削力，一种建模方法是提供关于切削力与切削条件（如切削 速 度 、 切 削 深 度 和 切 削 速 度 提 前 ） 之 间 关 系 的 信息 和 知 识（Charalampous，2021）。实验在三轴数控铣削中心上进行通过收集数据集随机进行铣削试验以创建预测切削力模型。应用程序对该模型的评估是有效地计算切削力，并建议切削条件，以减少铣削过程中产生的应力场。这篇文献综述提供了一些令人鼓舞的观察结果。人工智能的一些理论工作旨在设计和实现新的方法。目标是改进某些方法，使其更加稳健，更通用、更快或降低其复杂性。另一项旨在应用人工智能或大数据算法来满足应用需求或社会挑战的工作在文献中观察到，大多数处理多模态的行动都面向医疗和社会应用，但很少有与工业框架相关的工作我们还注意到，多模态机器学习的潜力在工业世界中仍处于起步阶段，但其相关性是毋庸置疑的。这一点特别被最近的工作所强调，该工作使用多分支神经网络来基于多模态数据预测故障（Yang等人，2021年）。在融合策略方面，早期融合策略提出了关于异构数据的这种级联对所获得的性能的影响的问题。因此，我们将选择一种后期融合策略，在融合这些模型以获得最终分类之前，为每种模态执行单独的学习模型。此外，与工业领域专家的互动使我们能够引入先验信息，以确定通常的加工条件。阐明这些信息可能会对培训模型过程产生积极影响3. 多模态融合学习方法3.1. 方法步骤在本节中，我们将解释拟议的工作方法。它包括数据采集与准备、处理模型的选择、模型融合、融合模型的训练和结果的解释六个步骤数据收集和编制：从铝板上的铣削过程中收集数据，并将其放入加工所需的适当格式中。这些实验产生了两种类型的图像和数字数据集。对齐：它是一个将两个或多个模态的元素进行匹配的过程。在该阶段确定来自实验的每个图像与它们的切割条件（数字数据库）之间的关系。处理模型的选择：这一步骤包括创建一个适合于每种类型数据处理的模型。在这种情况下，提出了一个CNN来处理图像，一个带有LSTM层的RNN来处理数字数据。模型融合：它允许我们利用几种模态来解决同一问题。提出了一种后期融合模型， 在模型级进行融合以执行训练。模型训练：这是深度学习的特定方面，具有构建的多模态神经架构。该步骤包括确定融合模型的损失函数、优化器、主题、技巧和训练时间结果的解释：它包括提供关于所用数据和学习过程的结果信息：训练和验证曲线。结果解释使用最流行的性能指标：分类精度和损失率。准确性允许简单有效地传输数字信息。损失率是准确性的重要补充。损失函数基于交叉熵的计算。它量化了两个概率分布之间的差异。可以忽略的损失率表示更好的模型性能。损失的交叉熵函数如函数1和2所示nL y log y y logyni-1nL= -yi log（yi）#（2）i=1·······CA Kounta等人智能系统与应用16（2022）2001126图第六章 两个 网络LSTM和CNN的融合过程。CA Kounta等人智能系统与应用16（2022）2001127=+（，n）=∑1（n=）#（4）iî××图第七章铣床上的数据采集过程。模型的输出层由n个节点定义（每个类一个节点），损失函数的值越接近0，它就越可靠。准确度是正确预测的类的数量与样本总数输出，只保留必要的信息。所有的特征都保持在为融合操作准备的平坦层中。图6示出了该方法的CNN模型的详细架构3.2.2. LSTM模型精度TPTNTP+ TN + FP + FN#（3）nLSTM模型由一个输入层和两个堆叠的LSTM层组成，用于从数字数据中提取特征。每一层都包括一个64个神经元的结构，第三层是扁平层（见图1）。 7）。在这一部分中，对数据进行了规范化操作，精度y y1yyni=1y i是第i个样本的预测值，y i表示实际值，n是样本的数量。其中TP、TN、FP和FN代表真阳性、真阴性、假阳性和假阴性。这种方法的这些步骤示意性地示于图11中。五、3.2. 方法学的学习模式3.2.1. CNN模型在网络的学习阶段对图像数据进行归一化处理。由于原始图像具有可变的维度，并且RGB通道的每个pixel在范围[0，255]中。这种标准化将把pixel值缩放到相同的水平。在深度学习模型中，每一层的输出都是下一层的输入。 在输入处的归一化将使学习更容易，并且为了获得更好的学习性能，它在每个层的输入处完成该模型由五个CNN层组成，用于从图像中提取特征。在每个卷积层的输出处，使用batch_normalization层执行归一化过程。堆叠的CNN层由最大池化层进行分析，最大池化层通过将一层中的神经集群的输出组合到下一层中的单个神经元中来降低数据维度。CNN层由3个大小为（33）的滤波器组成。聚类层的最大过滤器大小为（2 2）。我们再加两层，一个dropout层 关闭神经元的随机部分，使网络适应信息的缺乏，并添加一个扁平层，将我们拥有的所有图像（矩阵）收集到一个（长）向量中。CNN模型通过卷积层接收一系列尺寸为250*166的图像作为输入，然后进行归一化操作。然后，剩余的卷积层后面是最大池化层，以压缩它们的引入网络。3.2.3. 融合过程CNN-LSTM模型的融合引起了不同领域研究人员的关注（Kim和Kim，2019）。（Mou等人，2021）提出了一种CNN-LSTM融合模型来检测驾驶员的压力水平。该方法的结果优于最先进的模型，平均准确度为95.5%。另一方面，（Hatami et al.，2022）在医学领域使用LSTM-CNN融合来预测中风患者的临床结果。为了提高有效提取并避免EEG信号上的信息丢失（Li等人，2022）用CNN提取空间特征，用LSTM提取时间特征，然后融合它们的输出。该技术提高了EEG的准确性。LSTM-CNN融合已被证明是有效的诊断齿轮箱故障。这种融合使得确定断层的类型、位置和方向成为可能（Shi等人，2022年）。在此基础上，设计了一种多模态LSTM-CNN融合模型来处理数据。在现有的融合方法中，我们使用融合的水平，分类器模型称为后期融合，因为我们并行地对两个模型进行特征提取，然后融合这些模型的输出，形成具有输出向量的端到端网络，该输出向量的分量是切削刀具类型和切削条件参数。第一部分接收数值数据的LSTM模型的输出，输出为192个特征神经元，第二部分接收图像的CNN网络的输出，输出为162688。LSTM模型（图6的左侧）和CNN模型（图6的右侧）的输出与级联函数合并，然后在合并时应用激活函数（relu）。一个全连接层增加了128个单元，形成网络输出。每个参数都有自己的输出层来执行每个输出的评估。具有数值的参数的预测通过使用均方误差（MSE）和平均值的回归技术来CA Kounta等人智能系统与应用16（2022）2001128=-表1VF 1机器的特性描述指标最高主轴转速8100 rpm最大主轴扭矩122.0 Nm（2000 rpm）最大铣削速度16.5 m/min快速横移速度X-Y-Z 25.4 m/min最大力X-Y-Z 11343 N换刀能力30最大刀具直径89 mm内部托盘257 cmX 251 cmX 257 cm外部X内部托盘249 cm× 232 cm× 254 cm主轴转速8100 rpm主轴功率22.4 kW绝对误差（MAE）损失函数作为度量。只有切削刀具是用softmax激活函数（HSS和碳化物）、分类交叉熵损失函数和精度作为指标来预测的。这种融合可以在图中看到。第六章4. 为例专用工具机，如数控铣床，已成为加工中心的重要组成部分，因为它们能够加工复杂形状而无需拆卸零件。精密加工的铣削过程涉及切割金属以设计精密机械零件。铣削过程由CNC助手执行，包括四个步骤。第一步是使用自动CAM（计算机辅助制造）或CAD（计算机辅助设计）编程软件从界面对计算机进行编程。编程过程是通过在执行适当的计算后输入一系列数字和字母来完成的。一旦编程，待加工的材料和所需的切削刀具根据要进行的切削类型放置，下一步是开始进行精密加工的铣削过程。使用深度学习技术，该系统将能够预测切割条件，通过图像和工件的算术平均粗糙度来复制现有工件。由于有数以百万计的工具组合，因此不可能通过眼睛做出这样的预测。所开发的方法可以用作决策支持系统，以确定适当的切割条件，为现有件的复制。4.1. 铣削过程表2. 使用HSS刀具进行数控加工时，输入设置随粗糙度的变化。VcFz120（m/min）140（m/min）160（m/min）180（m/min）200（m/min）0.011.136微米1.16微米1.052233微米1.065微米0.87微米(mm/齿）0.021.208微米1.27微米1.170333μ m1.121微米0.957微米(mm/齿）0.031.548微米1.33微米1.487微米1.345微米1.25微米(mm/齿）0.041.668微米1.593微米1.522微米1.495微米1.487微米(mm/齿）0.051.76微米1.614微米1.61微米1.5032微米1.505微米(mm/齿）表3.金属硬质合金刀具数控铣削时输入参数随粗糙度的变化。VcFz120（m/min）140（m/min）160（m/min）180（m/min）200（m/min）0.01（mm/1.142微米1.146微米0.981微米0.956微米0.8166μ m齿）0.021.145微米1.188微米1.019微米0.982微米0.8161μ m(mm/齿）0.031.271微米1.217微米1.128微米1.022微米0.9261μ m(mm/齿）0.041.312微米1.482微米1.257微米1.254微米1.0617微米(mm/齿）0.051.595微米1.515微米1.46微米1.356微米1.152微米(mm/齿）通过粗糙度计计算粗糙度。通过该计算，可以利用所使用的切削参数（粗糙度、进给速度、切削速度、每齿进给速度）的值来构建数值数据库。 表2和铣削过程是一种使用旋转刀具的机械加工操作，VcFz 120（m/ min）140（m/min）160（m/min）180（m/min）200（m/min）在给定的块上的材料。在这项研究中，铣削是在数控铣床（哈斯VF 1型），数据收集通过实验上的AU4G铝板（2017 A）使用不同的切削条件，以实现几个表面光洁度。表1为我们提供了0.01（mm/齿）0.02(mm/齿）1.136μm1.16μm1.052233微米1.208μm1.27μm1.170333微米1.065μm0.87μm1.121μm0.957μm铣床的特点。在板上使用两种切削工具（碳化钨和HSS）进行铣削（如图7所示）。使用几种切削速度（120、140、160、180和200），对于每种切削速度，每齿的进给速率变化（0.01、0.02、0.03、0.04和0.05），并且进给速率在整个操作中保持恒定。 将切削速度的每个值与使用切削工具的每齿进给速率的所有值组合。这些操作产生了几种表面条件，作为本研究的数据库0.03(mm/齿）0.04(mm/齿）0.05（mm/齿）1.548微米1.33微米1.487微米1.345微米1.25微米1.668μm1.593μm1.522μm1.495μm1.487μm1.76微米1.614微米1.61微米1.5032微米1.505微米4.2. 数据收集和编制在实验过程中获得的铝板样品使得有可能获得两种类型的数据，加工表面的图像和这些表面的算术平均粗糙度值。使用切削条件的每个组合来获得表面状况和表面的算术平均值CA Kounta等人智能系统与应用16（2022）2001129表3显示了两种切削刀具的切削条件的可能组合，包括切削速度（Vc，单位为m/min）、每齿进给速度（Fz，单位为mm/齿）和算术平均粗糙度。在Fz/Vc线上，我们找到切削速度的值，柱代表每齿的进给速率，中心代表算术粗糙度的值。例如，当Fz 0.01和Vc 120,则Ra的值为1.136。由于原始数据的尺度非常不同，因此已将其归一化。所有值都在以下范围内减少CA Kounta等人智能系统与应用16（2022）20011210=#（5）表4来自两个来源的数据的表示。图像Ra（μm）Fz（mm/齿）Vc（m/min）工具1.1360.01120HSS1.2080.02120HSS1.5480.03120HSS1.0650.01180HSS1.1210.02180HSS1.50320.05180HSS0和1。变量尺度数据是分析中的难点之一，数值范围在0和1000之间的数值变量在分析中比值在0和1之间的变量更庞大，这将导致随后的偏倚问题为此，每个值都被归一化如下：在加工过程中留下的用于加工工具识别的图像上的压痕以及从数字数据中提取的特征。最后，我们确定了连接这两个数据源的特征的直接关系（见图9）。一方面是数字数据， 除了加工表面的图像之外，该过程的目的是将每个图像与其粗糙度值和其切削条件相关联。我们可以在表x中看到这个过程，每个图像和加工的切削条件（粗糙度，每齿进给量，切削速度和切削刀具）之间的联系在CSV文件中形成了每个图像的矢量（见表4）。4.4. 所得结果我们首先使用包含单个输入（图像）和切削条件参数（切削速度、进给速度、切削深度）的数据集，x范数x-xminx最大-x最小将是要预测的值。为此，我们实现了一个CNN架构，其中包含卷积和最大池化层，其作用是此过程仅使用最小值和最大值进行归一化。然后，这些样本被转换成几个系列的图像由一个108MP相机，以获得一个数据库的图像与最佳分辨率，使印刷留下的工具是可识别的。每一个都标有其Ra值和切割条件的参数，以建立两个源之间的联系。表3和表4中的切削条件参数的每个组合对应于铣削表面。我们可以在上面的图84.3. 对准我们经历了一个调整多模态数据的过程，这个过程包括链接每个模态的相应特征。在我们的例子中，这个过程首先通过确定工具的特性来完成第3款. 该CNN是通过将用于分类的全连接层替换为与代表每个待预测值的节点完全连接的其他三个层来创建的这些完全连接的层被赋予线性激活函数，用于回归我们的切割条件参数（见图10）。然后，我们用均方误差（mse）损失函数训练CNN模型来预测连续值。我们可以使用学习曲线来评估机器学习模型的行为。在我们的例子中，模型已经用线性激活函数和MSE损失函数训练了60个epoch。在图11中，我们可以注意到左侧的曲线，该曲线表示训练和验证数据的准确度的动态，尽管两个数据库之间存在差距，但该曲线运行得非常好。在右边，我们有一条损失曲线，在上面我们发现验证损失高于训练损失。在这种情况下，它表明训练数据集比验证数据集更容易预测模型。这图八、铝板上 的加工图 像 。见图9。 ：多模式数据的对齐。CA Kounta等人智能系统与应用16（2022）20011210图10. 单峰回归的详细架构。表明单峰模型的泛化能力较弱且不可靠。为了纠正由于过度拟合引起的这个问题，我们应用了一种称为早期停止的方法，该方法通过在模型的性能在选定的验证数据集上不再进步时，在一定数量（等待）的时期之后停止训练来验证深度学习模型（Naushad et al.， 2021年）。事实上，在整个训练过程中，模型的最佳权重会被保持和更新。在这项工作中，早期停止被设计为监控验证损失曲线，并在验证损失不再持续4个epoch（等待4个epoch）时停止训练。在训练过程中，只要验证损失的值降低，就保留最佳模型权重 在这种配置中，模型的训练在最初计划的60个时期中的17个时期后停止（图11）。 12）。在LSTM-CNN的“训练和验证精度“部分中，在融合模型中，蓝色曲线表示训练数据的准确度，橙色曲线表示测试数据的准确度（见图13）。在深度模型（或深度神经网络）的训练期间，可以在每次迭代（时期）评估模型。在深度模型（或深度神经网络）的训练期间，可以在每次迭代（时期）评估模型。一方面，它在训练数据集上进行评估，以了解模型的学习情况，即，模型的学习能力。另一方面，也可以在验证数据集上评估模型，这给出了其泛化能力的概念（Kawaguchi等人，2017年）。在我们的工作中，验证数据集中的样本不是我们模型训练数据的一部分，即，这两个数据集是不同的。损失曲线的形状显示了验证损失中的拐点，该拐点可能是训练可以停止的点，如CA Kounta等人智能系统与应用16（2022）20011211图十一岁 训练CNN单峰模型时获得的结果。图12个。 提前停止：训练在epoch 17停止 ，此时验证损失的性能停止下降，即使训练损失正在下降。在这一点之后的实验将可能导致模型的过拟合。当在验证阶段读取损失曲线时，我们观察模型的稳定性，直到第13个时期，这是反射点。我们注意到，两个集合（训练和测试）的精度都在不断提高，这使我们能够避免过度拟合数据。在第二部分“训练和验证损失”中，训练和验证损失曲线同时经历下降、下降阶段和稳定阶段。我们可以在表5中观察到，多模态融合模型在适应训练和验证数据集的能力方面优于单峰模型。因此，我们证明我们的论点，多模式的选择是优于单峰模式。多模态系统比单模态系统捕获更多的信息。虽然单峰模型表现良好，但它们不考虑模态之间的信息。在融合前提取单一模态的重要特征，没有考虑多模态交互的一致性和互补性，影响了最终的决策。 换句话说，一种模态可以向另一种模态提供附加信息，并且两者的融合特征使得不同的模态可以被识别。对最终决定的贡献。由于我们数据集中的训练样本量非常有限，图像数据集上的CNN模型在验证数据集上遇到过拟合阶段，数值数据集上的LSTM模型在训练集和验证集上都无法收敛，但多模态融合模型获得了更好的性能，这表明其具有更好的泛化能力。为了显示训练的有效性，首先，数据集的分布从训练（70%）和验证（30%）集变为训练（50%），验证（20%）和测试（30%）集。然后我们为每个参数分配一个输出层，如图6所示。具有数值的参数的预测通过使用均方误差（MSE）（等式5）和平均绝对误差（MAE）损失函数作为度量（等式6）的回归技术来执行。只有切削刀具是用softmax激活函数（HSS和碳化物）、分类交叉熵损失函数和真实度作为度量来预测的。图14中的曲线示出了在Vc和Fz输出上使用MAE度量的16个时期内训练集和验证集之间的偏差，其中批量大小为16。这个差距是由MAE损失函数通常用于回归计算。CA Kounta等人智能系统与应用16（2022）20011212=1∑-#（5）（）ii图13岁 训练LSTM和CNN模型时获得的结果。表5单峰模型与多峰模型的比较NMSE y y2Ni=1模型类型训练训练验证验证N数据丢失率准确度丢失率准确度MAE=1∑|伊伊伊|#（6）数字数据图像数据LSTM 0.7281 0.4701 0.6971 0.4667美国有线新闻网0.0013 0.9667 1.8527 0.9000Ni=1我们在图中注意到，MAE函数在VC输出比Fz。在训练开始时，我们发现两组之间有很大的差距，但从10个epoch开始，两组变得更接近。数字- 图像数据CNN-LSTM2019年12月31日图图15显示了MSE函数针对Fz和Vc绘制的训练和验证曲线。图15示出了与Mae曲线相比，Fz和Vc输出的错误率的降低。MSE函数非常强调大误差，而MAE对离群值不敏感图图16显示了刀具输出的损耗和精度曲线。该模型能够对刀具进行分类，精度超过见图14。 使用mae评估器对Fz和Vc进行训练和验证曲线。CA Kounta等人智能系统与应用16（2022）20011213图15个。 使用mse评估器对Fz和Vc进行训练和验证曲线。表6图16. 训练工具分类的验证损失和精度曲线。97%和非常低的损失率，该步骤的值总结在用于评估回归输出的工具。输出损耗MSE MAE准确度Vc 0.013 0.00027 0.013-Fz 0.34 0.34 0.50-工具0.017--0.97表6.表6显示了测试集上的评估指标值用于测试的指标是
