Smyrida：流程挖掘和交互可视化的Web应用程序

软件X 22（2023）101327原始软件出版物Smyrida：一个用于流程挖掘和交互式可视化的Web应用程序Ilias Merkoureasa，Antonia Kaounia，Georgia Theodoropouloua， Alexandros Bousdekisa，Athanasios Pallodimosb，Georgios Miaoulisaa希腊雅典西阿提卡大学信息学和计算机工程系b希腊雅典国立技术大学电气和计算机工程学院ar t i cl e i nf o文章历史记录：2022年6月20日收到2023年1月23日收到修订版，2023年保留字：流程挖掘可视化分析业务流程管理a b st ra ct“Smyrida "是一个模块化软件系统，采用Web应用程序的形式，具有开放的API，使其能够适应可用于流程挖掘的新技术，并能够集成到生成事件日志的信息系统中。从用户的角度来看，有必要提供交互式直观的可视化功能，并允许用户没有先进的流程挖掘技能，提取流程模型和评估他们的业务流程。版权所有2023作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00173Code Ocean compute capsule法律代码许可证GPL-3.0使用的代码版本控制系统使用Python、React.js的软件代码语言、工具和服务编译要求，操作环境依赖Python，Pm4py，Pandas，Plotly如果可用，链接到开发人员文档/手册https://smpi-islab-uniwa.github.io/Smyrida/问题支持电子邮件mailto:imerkoureas@uniwa.gr，mailto:gtheodoropoulou@uniwa.gr1. 动机和意义业务流程管理（BPM）结合了信息技术知识和管理科学知识，并有资格为提高生产率、提高客户满意度、节省成本和敏捷性做出贡献，以适应快速的市场变化[1]。然而，传统的BPM方法没有以系统的方式利用事件数据：重点通常是建模流程和测量关键性能指标，这可能导致其设计效率低下或执行不一致。另一方面，企业系统的广泛采用，*通讯作者。电子邮件地址：imerkoureas@uniwa.gr（Ilias Merkoureas），mcse19016@uniwa.gr（Antonia Kaouni），gtheodoropoulou@uniwa.gr（Georgia Theodoropoulou），albous@uniwa.gr（AlexandrosBousdekis），thanosv@mail.ntua.gr（Athanasios Mouslodimos），gmiaoul@uniwa.gr（Georgios Miaoulis）。https://doi.org/10.1016/j.softx.2023.101327事件日志的形式为使用能够从数据库中自动提取（“挖掘”）知识并支持有效业务流程管理的软件工具铺平了道路。流程挖掘是一个涉及通过从事件日志中提取的知识来分析，发现，监控和改进实际流程的领域[2]。事件日志是记录流程运行时执行的活动的文件，以及活动结束的时间戳或活动开始的时间戳。有关活动的附加信息可以记录为属性，以丰富流程上下文。通过使用事件日志，可以使用各种算法自动此外，对事件日志和流程模型的一致性分析可以提取有关事件日志中的数据与所发现的流程模型的匹配程度的信息。死锁和偏差可以作为关于真实流程的增值信息显示出来此外，从2352-7110/©2023作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxIlias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013272事件日志到所发现的过程模型可以揭示关于过程性能的重要见解。通过分析这些信息，可以回答各种问题，例如在何处以及如何优化流程。流程挖掘是一个快速发展的领域。除了业务流程，其他几个领域也可以从流程挖掘中受益，例如：智能城市的交通、医疗保健、人类活动和制造业[3]。新的算法，自动发现的过程模型，从事件日志仍在开发中。大数据和机器学习算法可以封装到流程挖掘中，以将该领域提升到一个全新的水平，为流程的未来预测有价值的信息。因此，挑战在于开发具有开放API的Web应用程序形式的模块化软件系统以便适应可应用于过程挖掘的新技术，并且能够集成到产生事件日志的信息系统中。从用户的角度来看，需要提供交互式直观的可视化能力，并允许没有高级过程挖掘技能的用户提取过程模型并评估他们的业务过程。Smyrida网络应用程序解决了上述挑战。该软件的名称的灵感来自于主要在希腊岛屿纳克索斯岛开采的石头，由于其高石质和防滑质量，分别适用于玻璃的磨损和沥青的创建。在过去的几年里，smyrida矿业为岛上繁荣的经济做出了重大贡献。开发流程挖掘软件不仅对专家很重要，而且对流程挖掘知识较少的人也很重要专家们需要一个开源工具，以便能够使用新发现的技术深入分析流程，可视化流程信息，重点关注可解释性[4]，与领域专家讨论优化，并将新的进入者引入该研究领域，以研究流程挖掘正在使用的所有技术对于初学者来说，该工具可以是一个不透明的系统，用于应用流程挖掘技术，以便研究和理解他们的流程，并提取流程挖掘可以提供的重要信息。该软件工具包括有关事件日志、进程发现算法、一致性检查技术、性能分析技术和进程可视化的信息。Smyrida涵盖了整个流程挖掘生命周期，即导入事件日志、关于事件日志的描述性统计（例如跟踪数量、事件数量、具有相应频率的事件列表）、可视化、流程发现、一致性检查和性能分析。这个软件工具的目的是双重的。从用户的角度来看，其用户界面的设计重点是可用性，因为它能够产生交互式可视化和可拖动的从开发人员的角度来看，Smyrida采用模块化架构，可扩展新的此外，它是一个开源工具，因此所有算法和技术的实现都是透明的，允许算法自定义。任何参与流程挖掘的人都可以对已经开发的技术和新技术的开发通过这种方式，它有助于创建一个协作生态系统，允许研究人员和从业者与流程挖掘社区共享代码和结果[5]。未来，此外，它将采用先进的过滤技术，已经开发了若干商业和开放源码软件工具。ProM [6]是一个用Java开发的开源软件工具（GNU公共它是一个可扩展的框架，以插件的形式支持各种各样的流程挖掘技术，可以根据用户的需要加载这些插件。虽然ProM有很多功能，但它并不针对商业用户，主要用于学术和研究项目。Smyrida超过了PROM，因为它的架构仍然能够轻松地采用新技术，同时具有用户友好的环境。另一方面，Disco（Fluxicon）[7]是一个商业工具，具有学术许可证，提供较少的功能。例如，它不会发现过程模型类型，如Petri-Nets，BPMN等，而它不支持一致性检查。Disco提供了许多可视化和一个简单的用户界面，用于过滤事件日志。与Disco相比，Smyrida可能还没有过滤功能，但提供了更丰富多彩 和交互式的 可视化， 以便可读 性和信息量 。例如 ，Smyrida对活动和轨迹随时间的可视化，更好地将信息描绘为带有颜色的虚线图，而不是事件或活动轨迹数量的离散值的连续图。许多其他公司，如Software AG [8]和Celonis [9]，为企业的业务转型提供商业解决方案，包括流程挖掘技术。有关几种流程挖掘工具的详细介绍和比较分析，读者可以参考[10]。Smyrida可以与开源工具相媲美，并且由于其架构而优于其他软件开源方法有助于创建一个协作生态系统，使研究人员和从业人员能够与流程挖掘社区共享代码和结果。可以说，最相关的工具是PMTK工具包1[11]。Simi-对于Smyrida来说，它是一个基于Web的工具包，作为独立的应用程序提供，构建在由Fraunhofer Insti- tute for Applied InformationTechnology（FIT）开发的用于流程挖掘的开源Python库pm 4py之上。它是用户友好的，具有文件转换功能，广泛的过滤功能，可视化的事件日志探索，性能分析和自动发现流程图和BPMN模型。与Smyrida不同，PMTK不支持xes.gz文件类型，这会导致大文件的加载延迟。与Smyrida相比，PMTK不包括其他进程发现算法（如Alpha Miner 、 Heuristic Miner 和 Inductive Miner ） 。 此 外 ，Smyrida以基于级别的方式构建过程模型，以便更具可读性和结构可理解性。PMTK缺乏包含一致性检查技术的能力，而Smyrida实现了重播日志和对齐一致性检查技术。此外，Smyrida特别灵活和可扩展，因为它可以接受API调用，因此任何人都可以根据自己的意愿构建自己的用户界面。此外，Smyrida是一个服务器-客户端架构的应用程序，可以部署在Ubuntu服务器上，与PMTK一起完全开源，免费试用的独立应用程序和非免费的内部部署版本。在表1中，我们提供了Smyrida和最相关的非商业工具之间的简要比较分析。我们必须指出，我们比较PROM，学术迪斯科和PMTK独立版本.提取几种类型的过程模型，除了现有的Petri网 由于流程挖掘是一个新兴的主题，1 https://pmtk.fit.fraunhofer.de/。Ilias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013273可视化G G GGAPI/Web服务支持× × ×GFig. 1.软件操作。表12.1. 软件构架Smyrida和最相关的非商业工具之间的比较Client–Server一致性检查G× ×G统计G G G G2. 软件描述'' Smyrida ''结合了过程挖掘算法，并提供了直观的界面，用于配置和交互式可视化。这样，它就覆盖了整个采矿管道的过程。具体来说，它使用事件日志从过程中提取信息，并自动生成描述真实过程的过程模型。事件日志至少包括案例ID（流程实例）、发生的事件和事件结束的时间戳（事件日志）。可选地，可以记录事件的更多属性（诸如事件的开始时间戳、资源、类别、用户等）。进程发现目前包含三种算法：Alpha Miner，HeuristicsMiner和Inductive Miner。Alpha Miner是第一个可以充分处理并发的进程发现算法之一。然而，它遭受噪声，不频繁/不完整的行为，和复杂的路由结构的敏感性。启发式挖掘器考虑了事件和序列的频率，因此可以过滤掉嘈杂或不常见的行为。它还能够检测短循环，并允许跳过单个活动。归纳式挖矿机提供了灵活性、形式保证和可扩展性。它采用分而治之的策略递归地工作：拆分日志，构造部分进程树，然后分别处理日志的拆分部分。利用事件日志和生成的过程模型，开发了一致性检查技术，分析发现的过程模型与事件日志的一致性程度，来发现死锁或死锁。然后，性能分析技术优化过程，消除执行延迟。“Smyrida”Web应用程序的技术架构如图所示。二、 服务器端由Flask（python）API后端和React js前端组成。 Sqllite3数据库用于用户凭据。该应用程序可以部署在Ubuntu服务器上。Flask API由Gunicorn提供。Gunicorn（Green Unicorn）是一个Python WSGIHTTP Server for UNIX。独角兽在等你 对于项目目录中的套接字文件的请求。由于Gunicorn不能面对Web，我们需要Nginx Web服务器将Web请求传递到该套接字。Nginx充当反向代理，也提供静态文件。由于应用程序将运行在生产服务器上，我们必须确保它始终运行。出于这个原因，我们使用了systemd，这是Ubuntu的一个进程监控系统，专门用于保持服务运行。对于每个用户操作，请求从React js发送到flask API端点（使用POST或GET请求），API使用相应的数据响应React js 2。 React js应用程序将数据呈现给用户。Flask API使用各种Python库。用于流程挖掘的PM4py，用于可视化的Plotly Express，用于数据操作的Pandas，用于用户存储的Sqlite3数据库连接。启用了Flask CORS，以便可以从不同的源使用API。React js提供用户界面。当用户浏览应用程序菜单并提交数据时，React js会向Flask API发送请求。API响应数据（主要是json格式），React将它们呈现给用户。图3描绘了http请求和响应的一些指示性示例。Smyrida将数据结构转换为JSON格式，以满足API请求和Web接口要求。为此，我们在React js中构建了流程模型大纲、交互式可视化、用户身份验证、数据表示和通信机制。生成的流程模型（从原始数据在React js上实现）是可拖动的（transitions和place单独或一起），并且可以放大和缩小。评价指标可以衡量简单性、概括性、适应性和过程模型的精度除此之外，来自事件日志的可视化有助于过程的可解释性。Smyrida操作架构如图所示。1.一、2 有 关 GET 和 POST 请 求 以 及 服 务 器 响 应 的 详 细 信 息 ， 请 参 阅 https ：uniwa.github.io/Smyrida/上的软件文档。舞会迪斯科PMTK斯迈里达文件转换过滤GGG×GIlias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013274+图二. "以直观和非侵入式的方式为业务流程提供可解释的分析结果[19]。‘‘Smyrida’’ provides the following活动：包含事件频率的条形图、包含每项活动平均持续时间的条形图、包含每项活动平均持续时间和频率的条形图、包含整个时间内的事件的散点图（由迹线着色）、包含整个时间内的活动持续时间的气泡图（由活动着色）。跟踪：跟踪变量（按活动着色），带有跟踪变量频率的水平条图，带有跟踪持续时间的气泡图（按跟踪着色）◦ 其他：活动和痕迹散点图3. 说明性示例要使用Smyrida启动进程挖掘，用户必须上传至少一个xes（或xes.gz）或csv文件（事件日志图3.第三章。 React js和flask Api之间的请求和响应。2.2. 软件功能“Smyrida”软件工具的主要功能文件上传：用户可以上传并保留（在服务器上）csv，txt，xes或xes.gz格式的事件文件转换：用户可以将xes（或xes.gz）文件转换为csv，反之亦然。事件日志探索：用户可以查看上传文件的内容和有关事件日志的各种信息，例如：跟踪数，事件数，每个事件的发生次数，开始和结束事件，跟踪差异。流程发现：目前，用于从事件日志中自动发现流程模型的算法有：Alpha（）Miner [12]、Heuristics Miner [13]和InductiveMiner [14]。一致性检查：嵌入了基于令牌的重放和对齐技术，用于执行一致性检查[15]。[15]第16话：我的心，我的心。（或txt）格式。csv事件日志可以转换为xes，反之亦然。这个说明性的例子涉及埃因霍温理工大学（TU/e）的由于TU/e工作人员前往会议或其他大学参加项目会议和/或与外地同事会面，大学有安排旅行以及报销费用的程序。旅行分为两种类型（国内和国际）。对于国内旅行，不需要事先许可，但对于国际旅行，需要得到主管的许可。申请旅行许可证即可获得这种许可，在作出任何安排之前，旅行许可证应得到批准。为了获得旅行费用报销，可以在费用报销后立即提交索赔实际支付或在旅行后两个月内支付。数据分为旅行许可证和几种申请类型，即国内申报、国际申报、预付旅费和付款申请。在我们的说明性示例中，我们将使用最大的旅行许可事件日志BPI Challenge 2020-上传选择一个文件，用户可以查看其内容以及事件日志的描述性统计信息（数量-轨迹的比特率、事件的数量、事件的出现的数量、开始事件、结束事件、每个轨迹的唯一序列我们[17]和简化过程模型[18]。可视化图：向用户公开的图构成了流程挖掘上下文中的可视化分析的结果。这种方法能够提供可解释的3 van Dongen，Boudewijn（2020）：BPI Challenge 2020. 4TU。ResearchData.收藏.https://doi.org/10.4121/uuid:52fb97d4-4588-43c9-9d04-3604d4613b51网站。◦◦Ilias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013275见图4。使用归纳挖掘器发现流程模型。选择PermitLog.xes.gz事件日志，然后在文件菜单中选择查看以查看文件的内容。该文件包括除了强制属性之外，还包含各种 属 性 （ “permit id” 为 “case ： case ： concept” ， “Activity "为 ”case ： concept“ ， 这 是 许 可 证 的 任 务 ， ”CompleteTimestamp“为”time：timestamp“，这是任务结束的时间）。这些 属 性 是 role 、 DeclarationEntity 、 ProjectNumber 、TaskNumber、ActivityNumber、TotalDeclared、RequestAmount、Overspent、travelpermitnumber、DeclarationNumber 、 DeclaredBudget 、 BudgetNumber 、OverspentAmount。下一步是从File菜单中选择Info，我们可以看到正在检查的事件日志由7065个跟踪（流程实例）和51个事件组成。我们还可以看到每个活动的频率，以及每个报价（变体）的所有不同活动序列。每个跟踪以“员工保存的许可”或“员工提交的许可”或“开始行程”事件开始，并以列表中显示的事件数（如“结束行程”、“主管拒绝的声明”）结束。 所以事件日志包括不完整的 跟踪。然后，用户可以通过选择Alpha Miner、Heuristics Miner或Inductive Miner算法来发现流程模型从用户可以拖放流程模型位置和活动，并可以放大或缩小。除了生成的过程模型外，用户还可以查看基于4个标准（适应性，精度，泛化，简单性）的评估分析。在本例中，模型的适应度等于1，精度为0.78，泛化为0.98，简单性为0.63（四舍五入为两位小数）。通过使用特定的发现算法和事件日志的对齐或基于令牌的重放技术，也可以从菜单中进行一致性检查。在本例中，我们从“连接”菜单中选择对齐是完美的（这就是为什么适应度是1）。输出事件日志和上述流程模型的流程模型之间的对齐关系，该流程模型是从归纳挖掘器中导出的，如图所示。 五、使用基于令牌的重放技术（从“连接”菜单中，我们选择“重放”），用户能够查看每个轨迹的详细信息，更具体地说，如果轨迹适合，轨迹适合度激活的转换、到达的标记、标记中允许的转换、有问题的转换、丢失的标记的数量、消耗的标记的数量、剩余的标记的数量以及产生的标记的数量。最后，用户可以通过选择“可视化”菜单查看各种图。可视化对于更深入地理解过程是非常重要的.领域专家可以通过适当的图形快速地了解过程的偏差和偏差，从而为过程优化做出更好的决策。Smyrida提供了大量的互动情节。例如，用户可以看到活动的频率以及持续时间（如果可用）。此外，跟踪持续时间图根据其持续时间显示每个跟踪的时间（由圆的大小表示，请参见例如图6）。可以通过点击其他轨迹（右侧）来进一步研究轨迹的持续时间和时间，以便从图中删除它们的信息。如所述，“可视化"菜单中包含其他可视化图形在第2.2节中（例如，整个时间内的活动，整个时间内的活动持续时间等）。4. 影响以事件日志的形式生成多个数据的企业系统的广泛采用为使用能够从数据库自动提取（“挖掘”）知识并支持有效业务过程管理的软件工具铺平了道路从用户的角度来看，所产生的过程模型很容易参数化，以便根据属性之间的关系为每个活动投影异构信息Smyrida的交互式可视化功能有助于流程挖掘算法的可解释性和可解释性，支持人类识别流程的弱点、偏差和流程改进的余地从这个意义上说，它为可视化分析和流程挖掘之间的系统耦合铺平了道路。事实上，其他现有的开源Ilias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013276图五. 使用对齐技术进行一致性检查。图六、整 个 时 间 内 的 轨迹持续时间，由轨迹ID着色。尽管软件工具具有强大的功能，但它们假定用户熟悉过程挖掘研究领域。从技术角度来看，其模块化架构允许实施额外的进程挖掘算法，例如用于进程发现或一致性检查。在这种情况下，它还为预测过程监控方法的开发和集成提供了凭证，这些方法通常包含（深度）机器学习算法，以便通过让人参与循环来提供更高的数据分析成熟度Smyrida主要是基于Python的，这一事实5. 结论流程挖掘越来越受到商业和学术界的关注。在这个领域，我们开发了通过这种方式，它有助于创建一个协作生态系统，允许研究人员和从业者与流程挖掘社区共享代码和结果。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作数据可用性文章中描述的研究未使用任何数据引用[1]范德阿尔斯特W，赵金玲，王宏杰.业务流程智能：连接数据和流程。ACM运输管理信息系统（TMIS）2015;5（4）：1-7。http://dx.doi.org/10.1145/2685352网站。[2] 范 德 阿 尔 斯 特 W. Process Mining ： Data Science in Action （ Vol. 2 ） .Heidelberg：Springer; 2016，http://dx.doi.org/10.1007/978-3-662-49851-4.[3]迈因谢姆？多斯桑托斯？加西亚一、初级紧急救济基金，达拉加萨先生，Sato DMV，Carvalho DR，Santos EAP，Scalabrin EE. Process miningtechnology and applications-A systematic mapping study. 专 家 系 统 应 用2019;133：260-95. http://dx.doi.org/10.1016/j.eswa.2019.05.003网站。[4]Doran D，Schulz S，Besold TR.可解释的AI到底是什么意思？一种新的视角概念。2017年，http://dx.doi.org/10.48550/arXiv. 1710. 00794，arXiv预印本arXiv：1710. 00794。Ilias Merkoureas，Antonia Kaouni，Georgia Theodoropoulou et al.软件X 22（2023）1013277[5] 放大图片作者：Berti A，Van Zelst SJ，van der Aalst W. Python的流程挖掘（ PM4py ） ： 弥 合 流 程 科 学 和 数 据 科 学 之 间 的 差 距 。 2019 ，http://dx.doi.org/10.48550/arXiv.1905.06169， arXiv预 印 本 arXiv：1905.06169。[6] 范德阿尔斯特WM，范东恩BF，Günther CW，Rozinat A，Ver-beek E，Weijters T. Prom：流程挖掘工具包。BPM（Demos）2009;489（31）：2.[7] Günther CW，Rozinat A.迪斯科：发现你的过程。In：Lohmann N，MoserS，editors.第10届业务流程管理国际会议（BPM 2012）的演示轨道。 CEUR研讨会记录，卷。940，CEUR-WS.org; 2012，p.40//ceurws.org/Vol-940/网站。[8] Blickle T，Hess H.使用ARIS ProcessPerformanceManager（ARIS PPM）自动发现流程。专家论文，IDS Scheer; 2009年。[9] Badakhshan P，Geyer-Klingeberg J，El-Halaby M，Lutzeyer T，Affon-secaGVL. Celonis流程库：业务流程管理和流程挖掘之间的桥梁。在：BPM（博士/演示）.2020年，p.67比71[10] Drakoulogkonas P，Apostolou D.关于流程挖掘工具的选择电子2021;10（4）：451。http://dx.doi.org/10.3390/electronics10040451网站。[11]Berti A，Li CY，Schuster D，van Zelst SJ.流程挖掘工具包（pmtk）：以集成方式启用高级流程挖掘。在：ICPM演示轨道的会议记录。2021年[12]Van der Aalst W，Weijters T，Maruster L. 工作流挖掘：从事件日志中发现流 程 模 型 。 IEEE 跨 知 识 数 据 工 程 2004;16 （ 9 ） ： 1128-42.http://dx.doi.org/10.1109/TKDE.2004.47网站。[13]作者：John S，John S，John S.在proM 6.2中改进启发式矿工的质量。专家系统 应 用 2014;41 （ 17 ） ： 7678-90 。 http://dx.doi.org/10 的 网 站 。1016/j.eswa.2014.05.055。[14]Leemans SJ，Fahland D，van der Aalst WM. 可扩展的进程发现和保证。在：企业，业务流程和信息系统建模。Cham：Springer; 2015，p.85比101[15] Adriansyah A，Sidorova N，van Dongen BF.以成本为基础的适应性检查。2011年第十一届并发应用于系统设计国际会议。IEEE; 2011年，第57-66页。http://dx.doi.org/10.1109/ACSD.2011.19。[16]Adriansyah A，Munoz-Gama J，CarmonaJ，VanDongenBF，VanDer Aalst WM.测量建模行为的精度。信息系统电子商务管理2015;13（1）：37-67. http://dx.doi.org/10.1007/s10257-014-0234-7.[17]Buijs JC，van Dongen BF，van der Aalst WM. 过程发现中的质量维度：适应性、精确性、概括性和简单性的重要性。Int J Coop Inf Syst 2014;23（01）：1440001. http://dx.doi.org/10的网站。1142/S0218843014400012.[18]Blum FR. Blum在过程发现中的应用。Tech.代表技术报告TR/DCC-2015-6，计算机科学部门智利大学;2015年。[19]Kaouni A，Theodoropoulou G，Bousdekis A，Miaoulis G. 流程挖掘中的可视化分析，用于支持业务流程改进。在：NIDS。^P.166比75