AMLBID：自动解释的自动机器学习工具，用于大工业数据

软件X 17（2022）100919原始软件出版物AMLBID：一个自动解释的自动机器学习工具，用于大工业数据Moncef Garouania，b，c，Adeel Ahmada，MouradBouneffa，Mohamed Hamlichba大学Littoral Coteb摩洛哥卡萨布兰卡哈桑二世大学ENSAM CCPS实验室c摩洛哥卡萨布兰卡HESTIM工程和管理研究中心ar t i cl e i nf o文章历史记录：接收15六月2021收到修订版2021年11月22日接受2021年11月22日关键词：机器学习AutoML元学习决策支持系统可解释人工智能工业大数据a b st ra ct制造业环境中基于机器学习（ML）的解决方案通常需要熟练的资源。因此，需要更实用的非专家软件解决方案来增强ML算法的可用性。算法选择和配置是制造专家等用户最困难的任务之一以自动方式识别最合适的算法在本文中，我们提出了一个自动解释的大工业数据自动化机器学习工具（AMLBID），以更好地应对大工业数据演变带来的突出挑战。它是一个基于元学习的决策支持系统，用于自动选择和调整ML算法的隐含超参数。此外，该框架还配备了一个解释器模块，使结果对于性能良好的ML系统来说是透明和可解释的版权所有©2021作者。由爱思唯尔公司出版这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。代码元数据当前代码版本v0.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-21-00111Code Ocean computecapsulehttps://codeocean.com/capsule/9828764/tree法律代码许可证MIT许可证使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖性Python 3.x; xmlyter; dash; sklearn;参见需求文件如果可用，链接到开发人员文档/手册https://github.com/LeMGarouani/AMLBID/blob/main/README.md问题支持电子邮件mgarouani@gmail.com1. 动机和意义工业大数据是指由网络实时连续产生的大量多样化数据工业设备[1]。制造业的持续数字化转型导致ML解决方案的广泛采用[2]。尽管在许多工业领域，通讯 作 者 ： LITTORAL COTE D'OPAL ， UR 4491 ， LISIC ， APPLICAToired'Informatique Signal et Image de la Cote D'OPAL，F-62100 Calais，France.电子邮件地址：moncef. etu.univ-littoral.fr（Moncef Garouani）。https://doi.org/10.1016/j.softx.2021.100919机器学习充分地辅助了用于决策目的的大数据分析，但是经常需要人工干预。领域专家更好地掌握应用领域。例如，领域专家能够提供应用程序的特征，这可以帮助提高算法的性能。但是，他们不一定是ML专家。因此，大量可用的ML算法和超参数配置可能导致不可行的搜索执行。因此，在这种情况下，非常需要数据科学家的专业知识来识别最合适的算法配置[3，4]。选择一种算法或一系列算法，这些算法更有可能在给定的组合上执行得更好，2352-7110/©2021作者。由爱思唯尔公司出版。这是一篇开放获取的文章，使用CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxMoncef Garouani，Adeel Ahmad，Mourad Bouneffa etal.软件X 17（2022）1009192数据集及其评估措施是一项关键任务[3]。ML算法通常具有两种参数：模型在学习阶段期间基于其正常行为自动超参数（分类和连续），通常在模型训练开始之前手动设置。在制造业的背景下，一个主要的挑战是选择可行的ML算法和调整相关的超参数。算法选择及其配置（超参数的调整）是一个复杂的过程，因为ML算法被用作性能受数据集的特征和算法超参数的配置影响[5]。由于在建立多个配置时普遍存在的缺陷，适当算法的选择和配置是容易出错且耗时的过程。因此，它强调需要使这一过程自动化。自动机器学习（AutoML）[6]是一个决策支持系统，部分或完全自动化机器学习管道。该研究领域的主要目标是使非专家ML开发人员能够有效地利用在其核心，AutoML努力实现性能标准（例如准确性，召回率，F1分数），以解决相应的ML任务，如分类，回归或聚类。在此期间，AutoML优化给定的性能标准[9]以解决与数据集相关的特定任务由于AutoML的巨大潜力，已经提出了多种方法来解决上述问题[9在这方面，研究界有几种工具可用，如Auto-sklearn [5]，TPOT [12]和AutoWEKA [14]。还有几个商业工具，如RapidMiner [15]，H2O Driverless AI [16]，Data Robot [17]和MATLAB ML工具箱[18]。我们观察到许多工业参与者正在围绕机器学习自动化的目标展开竞争[19]。他们大多专注于处理监督学习的各种有限任务。然而，他们通常提出黑箱解决方案，缺乏对预测性能因素的有效解释还值得注意的是，由于所涉及的计算复杂性和生成推荐所需的时间，这些解决方案的成本往往更高[3]的文件。通常，在大多数现有的AutoML系统中，可见性仅限于输入和输出参数的突出显示。它们反而掩盖了它们之间相反，AutoML系统中自动结果的透明度可以增加用户的信心AutoML系统中的用户信心是重要的，因为传统上AutoML系统被用作决策支持系统（DSS）。因此，AutoML支持系统的可接受性和信任因素高度依赖于推荐生成过程的透明度[20]。在本文中，我们提出了AMLBID，这是一种透明的，可解释的和可自动解释的基于元学习的工具[21]，它可以为给定的ML配置2. 软件描述通常很难基于ML为工业问题构建准确的预测模型，因为非专家ML开发人员很容易解释[6，22]。透明和可自动解释的AutoML愿景背后的关键思想是通过同时使用两个模块将建议与解释分开，如图所示。1.一、推荐模块（AMLBID）用于推荐，解释模块（AMLExplainer）用于解释。第一个模块用于为给定问题提供最合适的ML配置。其目的是最大化所要求的预测指标（例如准确度、召回率、精确度）。第二个模块用于提供推荐的ML配置背后的原理以及自动生成的解释，以便通过交互式多视图工具以可解释的方式更好地理解模型的内部工作原理。2.1. 软件构架拟议的自解释AutoML系统的工作流程由两个主要部分组成：AutoML组件，它在从ML配置的建议到细化的不同抽象级别上呈现AutoML和解释性的，它允许用户检查决策生成的过程和推荐的ML模型的内部工作。在以下部分中，我们将简要详细地讨论这些模块2.1.1. 推荐模块大工业数据AutoML工具（AMLBID）是一个基于Meta学习的系统，用于自动化算法选择及其配置问题。它使用一个推荐系统，是引导与知识库。当前的知识库来自于对400个真实世界制造分类数据集进行的大量实验，这些数据集是从流行的存储库中收集的，例如OpenML、1UCI2和Kaggle3。它积累了一代超过400万个评估的ML配置（管道）。每个流水线由ML模型的选择及其超参数的配置组成。该系统能够识别有效的管道，而无需执行昂贵的计算分析。为此，系统探索数据集的元特征（特性）与管道拓扑之间的交互。推荐阶段以数据集的出现作为AutoML过程的新输入开始。 在此阶段，用户选择要用于分析的预测分析指标（例如，精密度、准确度、召回率）。然后，AMLBID自动提供一组ML算法及其相关超参数的推荐配置，从而使预测性能成为一流的性能。2.1.2. 解释器模块AMLExplainer和AMLBID是按照客户端-服务器架构实现的。服务器协调AMLExplainer和AutoML推荐工具之间的交互。客户端脚本管理可视化用户界面，包括推荐模型的多个级别上的数据汇总的可视化。与此同时，AMLExplainer引导问题. 它还解释了rec背后的基本原理可追溯性，嘉奖该工具作为决策支持系统，能够模拟ML专家的角色，因为它基于元学习方法。1 https://www.openml.org/网站。2 https://archive.ics.uci.edu/网站。3 https://www.kaggle.com/网站。····Moncef Garouani，Adeel Ahmad，Mourad Bouneffa etal.软件X 17（2022）1009193Fig. 1. AutoML的白盒内部结构的工作流程表1ML算法和超参数的配置在当前实验中进行了调整。 ML算法调优超参数Logistic Regression（LR）C，Penalty，Fit_intercept，Dual Stochastic GradientDescent（SGD）Loss，Penalty，Alpha，Learning_rate，拟合截距、L1比、Eta0、Power t支持向量分类器（SVM）核，C，Gamma，度，Coef0决策树（DT）Min_simple_leaf，Min_simple_split，Criterion，Max_features随机森林（RF）额外树（ET）N_estimators、Min_simple_split、Max_features、Min_simple_leaf、Min_weight_fraction_leafAdaBoost（AB）N_estimators，Learning_rate，算法，Base_estimator_max_depthGradient Boosting（GB）N_estimators，Learning_rate，Criterion，Loss，Max_depth，Min_simple_leaf，Min_simple_split最终用户，以提高预测性能，在不满意的结果的情况下。因此，它可以提高AutoML DSS的透明度，可控性和可靠性。2.2. 软件功能AMLBID的当前版本可以在PyPI包索引中以Python包4的形式提供，以方便其分发和使用。它提出了一个基于元学习的框架主要目标是自动化算法选择过程和监督ML中超参数的调整以及合理的可追溯性。可用的文献证明，大多数最先进的工具通过在推荐之前在给定数据集上实际执行它们来评估一组管道。据观察，这种执行可能需要相当长的计算时间，同时根据其可用性消耗宝贵的资源[22]。所提出的系统（AMLBID）立即产生一个列表的潜在的顶级管道使用其知识库在一个不可察觉的计算时间，因此它显着节省了资源和临时可用性的成本。AMLBID目前的可用版本支持来自流行的基于Python的ML库Scikit-learn的8种不同的分类算法。表1给出了支持的算法和调整的超参数的详细描述。从广义上讲，AMLBID是一个交互式工具，用于指导最终用户改进AutoML过程的实用性和可用性，具有以下突出功能：它通过使用协作知识库，自动（准确）选择最合适的ML算法和相关的超参数配置。4 https://pypi.org/project/AMLBID/网站。通过运行更多的任务，知识库不断得到改进。它使AMLBID更聪明，通过实现更多的经验，基于不断增长的知识库。当AutoML返回不令人满意的结果时，它提供帮助，以提高预测性能。这通过评估算法超参数之间的重要性和相关性来实现。该框架配备了一个解释模块，它允许最终用户使用各种解释技术来理解返回的ML模型特别地，解释工件允许最终用户：– 研究AutoML建议生成过程背后的推理，– 并探索推荐的预测，通过图形、表格或文本信息形式的链接视觉摘要，以获得更高的信任。因此，AMLBID使最终用户能够询问一系列假设场景，同时探索使用预测模型的机会。它可以改善结果并降低各种任务的成本，例如领域专家和数据科学家的3. 说明性实例AMLBID主要有两个模块：AMLBID_ Recommendation模块和AMLBID_Explainer模块。AMLBID_Recommendation模块推荐并构建高度调优的ML管道，而AMLBID_Explainer模块用于拦截生成的管道的内部工作。在以下部分中，我们将进一步详细讨论这些模块···Moncef Garouani，Adeel Ahmad，Mourad Bouneffa etal.软件X 17（2022）10091943.1. 推荐模块清单 1 总结了 使用AML-BID 推荐管 道所需的交 互。随后 ，AMLBID为所选管道评分，并将最佳管道导出到动态存储的.py文件中。如 第 5 行 所 示 ， 我 们 定 义 了 要 加 载 的 数 据 集 的 根 目 录recommend函数（如第8行所示）初始化元学习过程，以根据所需的性能标准找到得分最高的管道。然后，在所提供的样本的训练集上训练推荐的流水线在执行这段代码之后，使用export函数（如第15行所示）动态生成Recommended_pipeline.py（如清单2它包含优化管道的相应Python123412345678910111213141516174. 影响清单3：recommendation_explainer模块的说明性代码示例。56789101112131415清单1：推荐模块的说明性代码示例。12345678910111213141516171819202122232425清单2：生成的python文件。3.2. 解释器模块AMLBID_Explainer模块允许用户检查推荐模块和决策生成过程的见解。清单3说明了它的用法。它提供了几个抽象层次的解释，如特征的重要性和特征对个体预测的贡献（在SHAP工具[23]的帮助下，该工具可以找到对某些预测的贡献的形状值），“假设”分析，个 体 决 策 路 径 的 可 视 化 ， 超 参 数 的 权 重 和 相 关 性 。AMLBID_Explainer组件的部分视图如图所示。 二、ML建模过程通常作为一个高度迭代的探索过程运行。在现实中，不存在一种通用的模型解决方案，也就是说，不存在可以用于实现最高精度的单一模型或模型。在某个应用程序域中的所有数据集。因此，采用大量具有不同超参数配置的ML算法将不会产生实际的解决方案，相反，它将是一个低效，繁琐和耗时的过程。在这种情况下，AMLBID的应用是双重的：它使非数据科学专家（从业者和研究人员）能够构建强大的ML管道，而无需专家帮助或干预，甚至不必编写一行代码。随后，所提出的AutoML工具的白盒特性使得可以交互式地检查ML预测模型的内部工作，而不必依赖数据科学家来生成和解释所有极端图和表。AMLBID的主要目标一直集中在设计一个决策支持系统，以支持非专业从业人员和研究人员。因此，我们打算将其用于工业4.0领域[24]，以最大限度地利用ML技术来优化自动化制造流程。在我们以前的作品[25，26]中，我们研究了推荐模块对于制造业问题的ML选择和参数化的有效性。评估结果回答了基本的研究问题，即如何进一步改善一些ML面向制造业的工作，简单地通过使用一个更好的ML算法配置使用AMLBID。由于AMLBID是建立在元学习的概念，在更广泛的意义上，它不仅有利于制造业的参与者和研究人员，而且对许多其他领域。然而，AMLBID对于学术目的是有用的，帮助学术界构建和理解ML预测模型的行为。5. 结论基于机器学习的应用程序由于其对大数据分析的鲁棒性而越来越受欢迎。此外，他们可以快速集成多个领域的“现成”解决方案。然而，非专家数据分析师更倾向于采用基于ML的解决方案，这些解决方案在不同的算法中更容易说服，并有助于其合理的可追溯性。我们认为，基于ML解决方案的强大决策支持系统的适应性可以在有关推荐管道及其见解的全面说明的帮助下进一步增强。因此，在本发明中，从AMLBID。recommender从 AMLBID导入加载程序导入#加载数据集数据、X_train、Y_train，X_test，Y_test=load_data（“数据集. csv“）#生成的最优配置模型=AMLBID_Recommender。推荐（数据，metric=“准确度“，mode=“Recommender”）模型 f i t （X_train，Y_train）print（model .score（X_test，Y_test））#导出配置 的对应Python代码模型export（'Recommended_pipeline. py '）进口 numpy as NP进口熊猫如pd从sklearn treeimport Deci s i o n Tree C l a s i f ierfromsklearn.指标导入目录s i f i c a t i o n_r e p o r t从sklearn model_selectionimport t r a i n _ t e s t _ s p l i t data =pd . read_csv（“数据集。csv“）X = 数据drop（ axis =1）Y = data [X_train、X_test、Y_train、Y_test=t r a i n _ t e s t _ s p l i t（X，Y，te s t_s i z e = 0。3，random_state=42）model= Deci s i o n T r ee C l a s i f ier（c r i t e r i o n =max_features =0.5672564，min_samples_leaf =5，min_samples_split =20）模型f i t（X_train，Y_train）Y_pred= model . predict（X_test）评分=模型 score（X_test，Y检验）print（c l a s i f i c t i o n _ r e p or t（Y_test，Y_pred））print（ '管道特斯特准确度：%. 3 f' %得分）从 不听使唤。推荐器 导入AMLBID_Recommender从 不听使唤。 解释者 进口AMLBID_来自AMLBID的解释器。加载程序导入#加载数据集数据，X_train，Y_train，X_test，Y_test=load_data（“数据集. csv“）#生成的最优配置model，config =AMLBID_Recommender .推荐（数据，metric=“Accuracy“，mode=“Recommender_Explainer“）模型 f i t（X_train，Y_train）#生成的 在特拉克蒂韦 解释性破折号解释器= AMLBID_解释器。explain（model，config，X_test，Y检验）解释者。 dash（）Moncef Garouani，Adeel Ahmad，Mourad Bouneffa etal.软件X 17（2022）1009195图二、A M L B I D _ E x p l a i n e r 的 功能仪表板显示预 测 实 例 的决策路径。使它们更值得信赖，而不是黑箱解决方案。 在这项工作中，我们提出了AMLBID，一个新的透明和自动解释AutoML支持系统。它还包括一个交互式可视化模块（AMLBID_Explainer），允许ML专家和新手轻松检查和分析AutoML决策支持系统的自动结果。我们建议使用Au- toML系统的一般解释方法;AMLBID在性能方面的优势来自于显著的时间增益和资源瓶颈的预防。在这种情况下，当代基于机器学习的解决方案需要在生成推荐管道列表之前从头开始为新数据集训练多个机器学习模型。它在制造业等对延迟容忍度较低的领域与最先进的AutoML系统竞争。同时，AMLBID特别解决了这一挑战，使用其协作知识库迅速生成潜在的顶级ML配置列表。在实际应用中，AMLBID的知识库由数据集的元特征而不是实际数据组成，这一事实反映了所分析数据集的机密性目前，我们正计划扩展AMLBID以支持回归算法、深度学习和分布式ML库（例如，Spark ML [27]），因为我们正在处理工业大数据。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢作者感谢法国欧泊尔滨海大学（ULCO）、摩洛哥工程与商业科学技术学院（HESTIM）和摩洛哥国家计算机研究中心提供的部分资金支持，以及由SCoSI/ULCO（欧泊尔滨海大学信息系统服务中心引用[1]米 尔 曼 ·N 大 数 据 释 放 工 业 物 联 网 的 价 值 。 ComputerWeekly.Com 2015.https://www.computerweekly.com/opinion/Big-data-to-unlock-value-from-the-Industrial-Internet-of-Things.[2]陶F，齐Q，刘A，库西亚克A.数据驱动的智能制造。制造系统杂志2018;48：157-69。http://dx.doi.org/10.1016/j.jmsy.2018.01.006，智能制造特刊。[3][10]杨文，李文. AutoGRD：通过图形数据集表示的模型推荐。第28届ACM信息与知识管理国际会议（ACM International Conference on Information andKnowledge Management）New York，NY，USA; 2019，p.821-30 网址：//dx.doi.org/10.1145/3357384.3357896网站。[4]Muñoz MA，Sun Y，Kirley M，Halgamuge SK.黑箱连续优化问题的算法选择 ： 方 法 和 挑 战 的 调 查 。 InformSci2015;317 ： 224-45.http://dx.doi.org/10.1016/j.ins的网站。2015.05.010。[5][10]张文辉，张文辉.高效和强大的自动化机器学习。第28届神经信息处理系统国际会议论文集，第2卷。2015年，p. 2755-63[6]Reif M，Shafait F，Goldstein M，Breuel T，Dengel A.为非专家自动选择分类 器 。 Pattern Anal Appl 2014;17 （ 1 ） ： 83-96. 得 双 曲 正 切 值 .doi.org/10.1007/s10044-012-0280-z网站。[7]Hutter F，Kotthoff L，Vanschoren J，editors.自动化机器学习：方法、系统 、 挑 战 The springer series on challenges in machine learning ， 2019 ，http://dx.doi.org/10.1007/978-3-030-05318-5。[8]放大图片作者：Waring J，Lindvall C，Umeton R. 自动化机器学习：回顾医疗 保 健 的 最 新 技 术 和 机 遇 。 Artif Intell Med 2020;104 ： 101822.http://dx.doi.org/10.1016/j.artmed.2020.101822网站。[9]Drori I，Krishnamurthy Y，Rampin R，Lourenço R，One J，Cho K，Silva C，Freire J. AlphaD3M：Machine learning pipeline synthesis.在：ICML的AutoML研讨会。2018年[10]胡士泰H，莱顿-布朗K.一般算法配置的基于顺序模型的优化。在：CoelloCAC，编辑.学习和智能优化。计算机科学讲义，柏林，海德堡;2011,p.507-23.http://dx.doi.org/10.1007/978-3-642-25566-3.[11]杨文伟，李文伟. RankML：一种基于Meta学习的方法，用于对机器学习管道进行预排名。2019年，arXiv：1911.00108。[12]Olson RS，Moore JH. TPOT：一个基于树的流水线优化工具，用于自动化机器学习。In：Hutter F，Kotthoff L，Vanschoren J，editors.自动化机器学习：方法、系统、挑战Springer机器学习挑战系列，2019年，第151-60页。网址：//dx.doi.org/10.1007/978-3-030-05318-5网站。[13]李L，Jamieson KG，DeSalvo G，Rostamizadeh A，Talwalkar A.高效超参数优化与无限多武装匪徒，第16卷。2016，CoRR，Abs/1603.06560。Moncef Garouani，Adeel Ahmad，Mourad Bouneffa etal.软件X 17（2022）1009196[14]Kotthoff L ， Thornton C ， Hoos HH ， Hutter F ， Leyton-Brown K. Auto-WEKA：WEKA中的自动模型选择和超参数优化。 In：Hutter F，KotthoffL，Vanschoren J，editors.自动化机器学习：方法、系统、挑战Springer机器学习挑战系列，Cham; 2019年，第81-95页。http://dx.doi.org/10.1007/978-3-030-05318-5.[15]RapidMiner，数据科学机器学习平台。https：//rapidminer. com.[16]H2O.ai，AI云平台。https://www.h2o.ai/网站。[17]DataRobot，AI云-下一代AI。https://www.datarobot的网站。com/.[18]机 器 学 习 与 MATLAB.https://fr.mathworks.com/solutions/machine-learning.html。[19]Guyon I，Sun-Hosoya L，Boullé M，Escalante HJ，Escalera S，Liu Z，Jajetic D，Ray B，Saeed M，Sebag M，Statnikov A，Tu W-W，Viegas E.分析2015- 2018年自动化挑战系列。自动化机器学习：方法，系统，挑战。2019年，第177-219页。http://dx.doi.org/10.1007/978-3-030-05318-5.[20]Samek W，Müller K-R.可解释的人工智能。可解释的人工智能：解释，解释和可视化深度学习。2019年，第5-22页。http://dx.doi.org/10.1007/978-3-030-28954-6网站。[21]放大图片Lemke C，Budka M，Gabrys B.元学习：趋势和技术的调查。ArtifIntell Rev 2015;44（1）：117-30。http://dx.doi.org/10.1007/s10462-013-9406-y.[22]Garouani M ， Ahmad A ， Bouneffa M ， Hamlich M ， Bourguin G ，Lewandowski A.通过可解释的自动化机器学习实现大工业数据挖掘。2021，http://dx.doi.org/10.21203/rs.3.rs-755783/v1。[23]Lundberg SM，Lee S-I.解释模型预测的统一方法。第31届神经信息处理系统国际会议论文集。2017，p. 4768[24]陶F，齐Q，刘A，库西亚克A.数据驱动的智能制造。 In：Special Issue onSmartManufacturing ， JManufSystIn ： SpecialIssueonSmartManufacturing ， 2018;48 ： 157-69. http://dx.doi.org/10.1016/j.jmsy 的 网 站 。2018.01.006，[25] [14]杨文，李文.迈向工业数据科学的自动化：基于元学习的方法。第23届企业信息系统国际会议。2021，第709-16页。http://dx.doi.org/10.5220/0010457107090716.[26]Garouani M ， Hamlich M ， Ahmad A ， Bouneffa M ， Bourguin G ，Lewandowski A.为工业4.0中基于机器学习的数据分析解决方案的选择和配置提供自动辅助框架。第五届大数据与物联网[in press].[27]Zaharia M，Xin RS，Wendell P，Das T，Armbrust M，Dave A，Meng X，Rosen J，Venkataraman S，Franklin MJ，Ghodsi A，Gonzalez J，ShenkerS，Stoica I.Apache Spark：大数据处理的统一引擎。Commun ACM 2016;59（11）：56-65. http://dx.doi.org/10.1145/2934664网站。