Android恶意软件分类研究：AndroVul数据集实证分析和机器学习技术比较

沙特国王大学学报探测AndroVul数据集以研究Android恶意软件分类Namrud Zakeyaa，Nana，Kpodjedo Séglaa，Talhi Chamseddinea，Boaye Belle AlvinebaÉcole de Technologie Supérién，Department of Software and IT Engineering，Montreal H3C 1K3，QC，Canadab加拿大安大略省多伦多约克大学电气工程与计算机科学系阿提奇莱因福奥文章历史记录：收到2021年2021年7月30日修订2021年8月29日接受2021年9月22日在线提供关键词：移动安全静态分析移动计算机器学习A B S T R A C T移动应用程序中的安全问题越来越重要，因为该软件已成为数十亿人日常生活的一部分作为占主导地位的操作系统，Android是恶意程序员的主要目标，他们愿意通过传播恶意软件来利用其漏洞。大量的研究致力于识别这些恶意软件。目前的论文是我们以前努力的延伸，为上述研究提供了一个新的Android漏洞基准。我们提出了AndroVul，一个Android安全漏洞的存储库，它建立在AndroZoo（一个著名的Android应用程序数据集）的基础上，包含了大约16，000个Android应用程序的代表性样本的漏洞数据。本文添加了来自VirusShare数据集的确认恶意软件，并更彻底地探索了不同机器学习技术在恶意应用程序分类方面的有效性。我们研究了不同的分类器和特征选择技术以及输入数据的不同组合。我们的研究结果表明，分类MPL是领先的分类，具有竞争力的结果，有利地比较最近的恶意软件检测工作。此外，我们研究如何根据标记的防病毒标志的数量对AndroZoo应用程序进行分类（良性或恶意）。我们发现，不同的阈值对机器学习分类器结果的影响很小，并且最严格的选择（即，一个标志）对来自VirusShare的已确认恶意软件执行得最好版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍市场占有率为73%。1Android无疑是我们这个时代领先的此外，由于其开放性，它很有可能成为以物联网（IoT）为中心的新应用程序的默认操作系统。因此，安全方面越来越重要，因为恶意软件开发人员有更多的动机针对Android设备。Android安全性因此得到了广泛的研究，这一努力得到了Allix等人收集的AndroZoo 2 数据集的帮助。（2016）在2016年。AndroZoo数据集是Android非常有用的资源*通讯作者。电 子邮 件 地址 ： ens.etsmtl.ca （ N.Zakeya ） ， segla.kpodje-do@etsmtl.ca （ K.Ségla），chamseddine.etsmtl.ca（T.Chamseddine），alvine.belle@lassonde.yorku.ca（B.B. Alvine）。沙特国王大学负责同行审查但安全研究人员仍然有许多hur-dles通过从他们发现AndroZoo的那一刻起，他们可以有效地从它获得可操作的数据在Namrud等人（2019）中，我们提出了AndroVul，3一个存储库，旨在为研究Android应用程序异常检测的研究人员提供：i）一个易于使用的基准（用于测试假设），ii）一个可以快速启动数据收集的工具。我们的数据集包括来自Google Play商店以及第三方商店的16，180个应用程序的数据（Allix等人，2016年）。我们的工具从这些应用程序的二进制文件中提取此外，我们提出了初步实验，旨在探索这些不同来源的漏洞的预测能力，并发现最好包括所有这些，危险的权限数据是最好的输入。本论文建立在以前的工作与广泛的调查不同的分类器和特征选择技术应用到我们的基准的各种设置1http://gs.statcounter.com/os-market-share/mobile/worldwide。2https://AndroZoo.uni.lu/。3https://github.com/Zakeya/AndroVul。4https://www.androbugs.com/。https://doi.org/10.1016/j.jksuci.2021.08.0331319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comN. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报6884许多研究人员在使用Andro- Zoo进行恶意软件检测/分类时面临的一个关键问题与应用程序的标签有关：哪些应用程序应该被视为恶意软件？AndroZoo只提供了一个应用程序在VirusTotal5网站上获得的防病毒标志的数量，这取决于研究人员如何使用这些信息。Arp et al.（2014）从那时起，VirusTotal的反病毒软件集不断增长，因此最初的十个产品集的相关性和完整性是值得怀疑的。更重要的是，防病毒标志的数量是从主AndroZoo文件中容易获得的信息;没有关于哪个防病毒标志了应用程序的信息。通常，考虑来自VirusTotal的预先 选 择 的 防 病 毒 组 的 标 志 的 论 文 不 是 基 于 AndroZoo 数 据 。 基 于AndroZoo的论文通常会设定一个阈值，作为一种方式来决定是否应考虑一个应用程序的恶意软件或没有。标准阈值为2：任何具有至少2个防病毒标志的应用程序都被视为恶意软件（Arp等人，2014年）。然而，该文献还包括使用诸如1的阈值的论文（Li等人， 2017），28（Li等人， 2017），8（Li等人， 2016），或一半的抗病毒剂（Wei等人，2017年）。因此，对于AndroZoo数据集中的应用程序应被视为恶意软件的防病毒标志的阈值没有明确的共识。无论如何，这是一个重要的问题，我们作为恶意软件研究人员一直在努力解决这个问题，目前的论文通过我们的数据集的各种设置进行了调查，我们扩展了数据集，因为（Namrud等人，2019年），来自VirusShare的确认Android恶意软件，这是一个著名的恶意软件样本库。特别是，来自VirusShare的恶意软件的添加在测试使用我们的数据集和不同恶意软件阈值构建的分类器的有效性方面是一个有趣的补充。此外，我们有兴趣评估众所周知的机器学习技术（例如，JRIP、Naive Bayes、MLP和J48）。我们还包括了用于更细粒度分析的特征选择选项，因为这一步骤-有时被简而言之，虽然我们的第一次努力集中在提出AndroVul和调查输入数据（各种漏洞指标），但目前的研究在两个方面扩展了以前的调查：i）标签(as Androzoo应用程序的良性或恶意软件）;以及ii）输入的处理（使用机器学习）目前的论文旨在自成一体，因此，它包括Namrud等人的元素。（2019）。本文的其余部分组织如下：第2和第3节提出了应用程序数据集和恶意软件分类的相关背景概念和相关工作。第4节和第5节介绍了AndroVul中的工具和数据集。在第6节中，我们从初步的统计分析到研究问题的定义和旨在回答这些问题的调查，展开了我们的研究。第7节介绍并讨论了我们的结果和发现。然后，我们将在第8节讨论本研究的局限性和有效性威胁。最后，第9节总结了本文，并概述了一些未来的工作。2. 背景在本节中，我们简要介绍了我们的数据集关注的可能的安全性问题：危险的权限（由Android系统定义），令人不安的代码属性（由5https://www.virustotal.com/gui/。AndroBugs）和安全代码气味（如Gadientet al. （2017））。2.1. 脆弱性漏洞是系统中的一个弱点，它使系统处于黑客攻击、病毒攻击或任何其他事件的危险之中，这些事件将导致破坏任何系统的安全性（ Mansourov 和 Campara ， 2010 年 ） 。 Mansourov 和 Campara（2010）将其定义为“关于系统中故障的特定知识单元，该故障允许以未经授权甚至可能是恶意的方式利用该系统”。系统中的故障可以由几个因素触发，例如人为错误、需求的不良规范、使用开发不良的过程、使用快速发展的技术，甚至是对威胁的不理解。恶意软件也被称为恶意软件，是一种利用系统故障的手段。恶意软件通常被称为病毒、蠕虫、特洛伊木马、后门、恶意记录程序、rootkit或间谍软件。2.2. 危险权限Android的一个关键安全机制是其权限系统，该系统控制应用程序的权限，使应用程序必须请求特定权限才能执行特定功能。该机制要求应用程序开发人员声明其应用程序将使用哪些敏感资源应用程序用户在安装或使用应用程序时必须Android定义了几类权限，其中附录中的表8列出了官方Android开发者资源定义的各种危险权限。62.3. AndroBugsAndrobugs是一个流行的安全测试工具，用于检查Android应用程序的漏洞和潜在的关键安全问题。该工具对APK进行逆向工程，并查找各种问题，从遵守最佳实践的失败到使用危险的shell命令或暴露于第三方库的漏洞。AndroBugs在发现一些最流行的应用程序或SDK中的安全漏洞方面有着良好的记录。它是一个命令行工具，可发出具有四个严重级别的报告：严重。7、警告。8Notice9和Infof_ ootnote未检测到安全问题。2.4. 安全码的味道“代码气味”指的是可能指示更深层次问题的代码源元素（Shezan等人，2017年）。在Gadient等人（2017）中，Ghafari等人将Android应用程序中的安全代码气味引入为“代码中的症状，表明安全漏洞的前景”。在回顾文献后，他们确定了28种安全代码气味（Gadient等人，2017年），他们重新归类为五个类别，如攻击保护不足，安全失效，破损的访问控制，敏感数据暴露和Lax输入验证。6https://developer.android.com。7已确认的应解决的漏洞（测试代码除外）8开发人员应检查的可能漏洞9低优先级问题N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报68853. 相关工作3.1. 数据集数据集的可用性是获得关于主题的见解或评估方法或假设的关键问题。我们在下面简要介绍了在Android应用程序的上下文中与此问题相关的一些最值得注意的工作，更具体地说，它们可能存在的安全问题。多年来，已经提出了许多用于研究移动应用程序的存储库。F-Droid10就是这样一个努力;它是一个免费开源Android应用程序的存储库，已经在大量研究中使用。最近，Allix等人（2016）提出并继续维护AndroZoo，这无疑是最大的Android应用程序存储库，拥有来自Google Play商店和其他第三方市场的数百万个应用程序（和APK）。最近，Geiger等人（2018）提供了一个基于图形的数据库，其中包含GitHub和Google Play商店上提供的8，431个同样值得注意的是Krutzet al.（2015），虽然稍早，但其公共数据集集中于来自F-Droid的1，179个Android应用程序的生命周期。作为这些研究计划的补充，还有一些网站，如AppAnnie和Koodous，收集Android应用程序并执行各种类型的分析，包括随时间推移的下载和广告分析。当涉及到安全方面时，已经有许多论文调查了大量的Android应用程序，但很少有人提出公开可用的数据集。其中，我们可以引用Munaiah等人（2016）提出的数据（例如，应用程序类别，每个任务）对来自Google Play商店的反向工程良性应用程序和来自多个来源的恶意软件应用程序进行我们关于Android应用程序漏洞的数据集与Gkortzis等人（2018）的工作有一些相似之处，后者也提出了一个安全漏洞数据集，但用于开源系统（8，694）。与Krutz et al.（2015）类似，我们提出了一个知名移动应用程序库的子集;我们从AndroZoo开始，而Krutz et al.（2015）构建在F-Droid上。与Krutz等人（2015）类似，我们也提出了与知名的反向工程和静态分析工具接口的工具，但我们这样做的重点是安全漏洞，并使用不同的工具集总体而言，我们的数据集和工具为Android安全研究人员提供了独特的产品。正如在介绍中所提到的，使用AndroZoo进行的恶意软件研究涉及决定基准测试中存在的哪些应用程序可以被视为恶意软件。 文献中有不同的方法。它们主要分为两类，这取决于它们是否依赖于VirusTotal中预先选择的防病毒结果子集或给定数量的防病毒标志，AndroZoo数据显示。Zheng et al.（2012）关注VirusTotal中将应用程序标记为恶意软件的十大防病毒产品。他们的结果随后被Shen等人（2014）用于评估防病毒工具对恶意软件混淆的有效性。在Yousefi-Azar等人（2018）中，Yousefi-Azar等人考虑了19种最知名的反病毒软件，包括卡巴斯基、赛门铁克、Avast、McAfee、AVG、Malwarebytes等。同样值得注意的是马等人的工作。（2019年），该报告将被四种成熟的反病毒软件（即，McAfee、360安全卫士、金山毒霸、诺顿）。其他一些方法基于他们的分析的数量反病毒标记的应用程序作为可能的恶意软件。 Li等人（2017）认为，即使是一个标志也足以将应用程序归类为恶意软件。其他研究则较为宽松， Li et al.（2016）在确定应用程序是恶意软件之前需要8个防病毒标志，Wei等人（2017）在将应用程序识别为恶意软件之前，需要至少50%的VirusTo-tal反病毒标记与这些工作不同，我们的论文试图在机器学习环境中评估恶意软件标签的不同阈值的影响3.2. 利用机器学习进行我们的数据集的一个主要用途是作为恶意软件检测技术的输入。恶意软件检测方法通常使用某种形式的机器学习来将候选应用程序分类为恶意或非恶意。关于这一问题，现有的文献相当广泛。在本节中，我们将重点介绍最近和最接近我们实验的工作。在许多研究中，已将有害生物，尤其是危险的有害生物，用作各种分类方法的输入。Bhattacharya和Goswami（2017）最近的一项特别有趣的工作，他们提出了一个框架，从应用程序的清单文件中收集权限，并应用高级功能选择技术。从这样的过程中获得的特征被组织成四组，并用作来自Weka的十五个不同机器学习分类器（包括JRip、J48、MPL和NB）的输入。作者在170个应用程序的样本上评估了他们的方法，并报告了最高的准确率为77.13%。许多其他的研究工作调查的功 能 以 外 的 权 限 恶 意 软 件 检 测 的 目 的 。 例 如 ， Sharma 和 Sahay（2018）试图利用Dalvik11操作码事件进行恶意软件分类。他们从DREBIN存储库中选择了5531个Android恶意软件（Arp et al.， 2014年）和2691良性应用程序从谷歌播放商店。他们应用了不同的机器学习技术，并报告了最佳检测准确率为79.27%。Sharma和Sahay（2018）的工作也很有趣，他们专注于通过移动安全框架提取的功能，移动安全框架[12]Sharma和Sahay（2018）提出的方法旨在将应用程序分为三个级别（安全，可疑，高度可疑）。报告的实验涉及许多应用于13，850个Android应用程序的语料库的改进机器学习分类器，当考虑三个建议级别时，准确率结果高达81.80%，当考虑二进制良性/恶意决策时，准确率高达93.63%DroidDeepLearner是一种加权恶意软件检测技术由Li et al.（2018）提出。该方法采用危险的API调用和危险的权限组合作为特征，以构建能够自动区分恶意软件和良性软件的深度信念网络模型。根据研究结果，他们的方法在Drebin数据集上具有237个特征，准确率超过90%。作者Lee等人（2020）研究了在确定应用程序是恶意还是良性时，危险权限是否是检测的关键组成部分。他们总共使用了10，818个恶意和良性应用程序。为了确定检测的准确性，他们使用了四种不同的深度学习算法，并使用混淆矩阵对其进行了测量。所选的功能导致约90%的准确性。我们与Li等人（2018）和Lee等人（2020）不同，他们只关注危险权限，而我们调查了不同级别的漏洞使用情况，包括危险权限。4. AndroVul-T：工具我们的存储库提出了一个工具，该工具允许在给定APK目录的情况下自动生成包含以下信息的CSV文件：10https://f-droid.org/。11Dalvik是Google Android操作系统中的一个现已停产的进程虚拟机。12https://github.com/MobSF/Mobile-Security-Framework-MobSF网站。N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报68868>：0i如果Vi不存在9>=;ð2Þ5.2. 数据集结构我们提出的数据集由包含信息的CSV文件组成（如图所示）。4）关于Andro的16，180个应用程序-4.3.代码气味提取我们使用正则表达式来解析Smali代码并提取Gadient等人（2017）中定义的安全代码气味，并在Habchi等人中成功使用。（2019）和Gadient et al.（2019年）。之后，我们计算（见等式）。3）对于由安全代码气味造成的每个漏洞，指示该漏洞的相对存在的比率;所述比率通过将代码气味的识别实例的数量（NSi）除以以下数量来获得：Smali格式（SMALI）的代码行数。Zoo和来自VirusShare的3，978个应用程序（Forensics，2020），每行一个文件中有78列，每列都有一个标题，清楚地表明它提供的信息。CSV中有四种类型的信息1. 来自AndroZoo数据集的信息，如适用，18如第5.12. 从反向工程Smali代码中提取的九（9）个代码气味（参见附录中的表93. 这二十四（24）个危险的权限，从Vi1至 9NSI1/4小直径ω100毫米3毫米应用程序4. 这四十（40）个指标来自AndroBugs提供的六种可扩展性5. AndroVul-D：数据集Androvul-D是我们从AndroZoo的Android应用程序样本 图 3示出了13https://ibotpeaches.github.io/Apktool/。14i是分配给我们的漏洞数据集中给定的可能漏洞的索引。总的来说，该文件包含78个指标，包括来自AndroZoo的信息、危险权限、Smali代码气味和AndroBugs标记的漏洞。15更多信息请访问https://AndroZoo.uni.lu/lists。16https://www.surveysystem.com/sscalc.htm。17https://virusshare.com/18来自VirusShare的恶意应用程序除了哈希之外没有任何信息>N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报6887Fig. 1. AndroVul工具概述。图二、解析和量化漏洞数据（i指特定漏洞）。5.3.数据集描述来自AndroZoo数据集的应用程序：在这里，我们提供了一些关于我们数据集的描述性统计数据，相对于日期，类别，商店，APK大小和防病毒标志的数量。在二进制日期方面，3.37%的应用程序显示不可靠的日期（1980）。 大约四分之一的应用程序来自2016到2018年，三分之二的应用程序是从2014年到2018年。APK大小范围从7 KB 到 330 MB ， 平 均 值 为 9 MB ， 标 准 差 为 12 MB 。 mi.comMarketplace–wise, the most dom- inant stores are the Google PlayStore (74%), appchina (10%), 当涉及到来自VirusTotal防病毒软件的信息时，19在63个防病毒软件中，数据集中的应用程序具有0（74%的应用程序）到40个标志;平均是2面旗子，标准偏差为5.11.我们还收集了与应用程序类别相关的数据。一部分应用程序（约43%）无法映射到猫，主要是因为它们不再在市场商店中可用。另外14%的应用程序只在中国市场上可用。总体而言，我们只能找到43%的应用程序的类别信息。表1列出了至少占数据集1%的所有类别。来自VirusShare数据集的应用程序：此数据集中的APK没有附带其他信息 我们感兴趣的是估计有多少这些恶意应用程序将被归类为这样，使用来自VirusTo-tal的3个防病毒标志的阈值，我们在以前的工作中 使用的阈值（Namrud等人，图三.数据选择和收集。19https://www.virustotal.com/。N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报6888见图4。从Android应用程序中提取的信息和漏洞。表1我们数据集中的应用程序类别。2019年）的报告。从VirusTotal自动扫描过程中存在问题，因此我们继续进行了94个应用程序的小随机样本20我们发现，这些应用程序中有72%被标记了三次或更多。216. 研究设计在本节中，我们介绍了我们的研究设计，从初步的健全性检查到研究问题和实验设计。6.1. 识别恶意软件首先要解决的一点是识别AndroZoo数据集中的恶意软件。Androzoo不会明确地将应用程序标记为20 如从https://www.surveysystem.com/sscalc.htm计算的。21这意味着我们可以有95%的把握认为，来自VirusShare（Forensics，2020）的恶意Android应用程序中有52%到92%具有来自VirusTotal的3个或更多防病毒标志。类别比例游戏1231人（7.61%）教育571人（3.53%）生活方式540人（3.34%）业务437人（2.70%）娱乐423人（2.62%）工具416人（2.57%）个性化397人（2.45%）图书资料373人（2.31%）旅费和当地307人（1.90%）音乐和音频282人（1.74%）新闻和杂志254人（1.57%）N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报6889●●●●●恶意软件相反，它提供了来自Vir- usTotal的标记该应用程序的防病毒数量，恶意软件研究人员可以决定多少防病毒标记足以将AndroZoo的应用程序标记为恶意软件。除了AndroZoo之外，我们还从VirusShare（Forensics，2020）存储库中收集了恶意软件应用程序，以加强我们实验的通用性。总体而言，我们考虑了三个恶意软件数据集：1. AZM：AndroZoo应用程序被标记为可能的恶意软件。2. VSM：来自VirusShare的恶意软件数据集。3. MM：来自AndroZoo和VirusShare的数据集混合恶意软件6.2. Androzoo数据的相关性分析为了快速初步了解所收集的度量可以对恶意软件检测做出多大贡献，我们首先进行度量的一些统计相关性分析，以：i）防病毒标志的数量;以及ii）表示良性/恶意分类的二进制值：0表示良性或1表示恶意软件（在我们先前的工作中使用了3个标志的阈值（Namrud等人，2019）将应用程序标记为恶意软件）。我们计算了所有指标的Pearson对于权限，READ_PHONE_STATE返回最高的相关性，分别为0.35（防病毒标志的数量）和0.38（良性/恶意软件决策）;对于代码气味，动态代码加载度量对于标志的数量产生0.4，对于二进制判决产生0.38;对于Androbugs，漏洞Using critical function返回0.34（标志数）和0.31（二进制判决）作为相关值。上述所有三个指标返回的p值均显著低于0.05（通常接受的统计学显著性阈值），数据集中除少数指标外的所有指标均如此。6.3. 使用的分类器我们选择了四个分类器，代表Android恶意软件研究社区中常用的四种机器学习算法。更准确地说，我们使用了众所周知的机器学习软件Weka，并从贝叶斯类别中选择了NaiveBayes（NB），从函数类别中选择了MLP分类器，从规则类别中选择了JRip，从树类别中选择了J48，如表2所示。使用这些分类器，我们继续进行常用的统计方法，即K折交叉验证。简而言之，它包括在随机洗牌后将数据集分成K组;之后，每组用作测试组，而其他K-1组用于训练。更具体地说，我们选择 ， 根 据 许 多 类 似 的 研 究 （ 例 如 ， Bhattacharya 和 Goswami ，2017），K = 10，用于10倍交叉验证研究，其中90%的数据用于训练，10%用于测试（预测）。6.4. 特征选择从我们的数据中提取的特征（在我们的情况下是漏洞度量）构成了一个相对较大的集合，可能包含一些重复。为了解决这个问题，以及减少过度拟合的风险，特征选择是要考虑的。它允许识别最佳特征并排除最不重要的特征。为此，它通常依赖于评估获得或丢失表2从四个已知的机器学习类别中选择一个分类。分类器类别MLP功能朴素贝叶斯JRip规则J48采油树添加或删除特定功能。已经提出了各种技术并在用于此目的的工具中实现。在这项工作中，我们依赖于成熟的开源机器学习软件Weka，并选择了 以 下 三 个 属 性 评 估 器 ： ChiSquaredAttributeEval （ CS ） ，InfoGainAttributeEval（IG）和ReliefFAttributeEval（RF）。6.5. 业绩指标分类器的应用导致关于可以通过各种措施定量评估的单个应用的决策。由于它涉及恶意软件的检测，我们将真阳性（TP）称为实际分类为恶意软件的数量，真阴性（TN）称为分类为良性应用的数量，假阳性（FP）称为错误分类为恶意软件的良性应用的数量，最后假阴性（FN）称为错误分类为良性的恶意软件的数量。从这些基本措施中衍生出更有洞察力的措施，通常用于恶意软件检测研究工作，例如：精确度：这是实际的恶意软件在一组应用程序中的比例：TP/（TP+ FP）回想一下：这是检测到的恶意软件的比率：TP/（TP + FN）准确率：正确分类的应用程序的百分比：（TP + TN）/（TP +TN + FP + FN）F1-测量：它是一个性能指标，同时考虑了所获得分类的精确度和召回率：2 *（召回率 * 精确度）/（召回率+精确度）ROC曲线下面积（AUC）：它是分类器预测能力的度量，基本上可以告知模型能够在多大程度上区分类别（这里是良性应用程序与恶意软件）。对于所有这些度量，越高越好，1是完美值。6.6. 研究问题我们的研究问题源于上述考虑（如前几节所述），旨在回答以下研究问题：哪种分类器和特征选择技术表现最好？相对于Androzoo，哪些应用程序子集应该被标记为恶意软件？更具体地说，来自VirusTotal的多少防病毒标志足以将来自AndroZoo数据集的应用程序标记为恶意软件。为了回答这些问题，我们提出了以下基于AndroVul数据的不同切片的6.7. 提出研究问题我们的研究问题围绕与恶意软件分类有关的两个关键要素设计：i）输入（要使用的●●●N. Zakeya，K.塞格拉，T.Chamseddine等人沙特国王大学学报表68906890有关数据集大小和所有实验的选定阈值的信息AZ良性标志-大小AZ恶意软件标志大小VS恶意软件大小所有恶意软件大小实验00-11,9281+-4，2013,9788,179Exp 10- 12+-3，0423,9787,020实验20-3+-2，6213,9786,599实验30-5+-2，1953,9786,173实验40-10+-1，3973,9785,375实验50-20+-4063,9784,487实验60- 110+-1，3973,9785,375第一点是使用AndroZoo进行恶意软件分类时的重要一点。鉴于AndroZoo只提供给定应用程序的防病毒标志数量（来自VirusTotal），研究人员通常必须决定使用哪个阈值来考虑给定应用程序的恶意或良性。阈值的选择有些随意，很少有动机，因此，在下文中，我们提出实验来通过其对有效恶意软件分类的贡献来探索良好阈值的选择，特别是在对正确确认的恶意软件（来自VirusShare的元素）进行分类时。我们主要关注一个单一的阈值，低于这个阈值的应用程序被认为是良性的：1、2、3、5、10和20，但也考虑具有两个阈值的一个实验：i）良性应用程序是具有1个或零个防病毒标志的那些应用程序，以及ii）恶意软件应用程序是具有10个或更多个标志的那些应用程序。上面概述的选择描述了我们的基准的子集，这些子集应该被澄清。以阈值1为例，这意味着具有一个或多个标志的应用程序被视为恶意软件，我们定义三（3）个恶意软件数据集：1. AZM1：具有1个或多个防病毒标志的AndroZoo应用程序集，2. VSM：来自VirusShare的恶意软件集（Forensics，2020），以及3. MM1：来自AZM1和VSM的混合应用程序集。在单阈值实验中，阈值的选择还定义了AndroZoo中哪些应用应被视为良性;在本例中，这些应用具有0防病毒标志：AZB0。这意味着，恶意软件决策的阈值为1，我们用作恶意软件分类输入的完整数据集如下：1. AZB0（良性应用程序）[AZM1（恶意应用程序），2. AZB0（良性应用程序）[VSM（恶意应用程序），以及3. AZB0（良性应用程序）[MM1（恶意应用程序）。因 此 ， 我 们 的 实 验 分 别 探 索 了 抗 病 毒 标 志 阈 值 1 （ AZB0 和AZM1 ） 、 2 （ AZB1 和 AZM2 ） 、 3 （ AZB2 和 AZM3 ） 、 5 （ AZB4 和AZM5）、10（AZB9和AZM10）和20（AZB19和AZM20）以及双阈值1和10（AZB1和AZM10）。22在这些实验中，我们计算和分析了我们选择的分类器（JRIP，NB，MPL和J48）和特征选择技术（CS，IG和RF）的有效性。为了评估实验结果，我们主要依赖于F1分数和AUC测量，这是被认为比准确性测量更稳健的标准度量。我们的两个研究问题的答案来自这些数字的分析和比较实验内（RQ 1：最佳分类器和特征选择技术）和实验间（RQ 2：最佳输入数据）。22这些配置中的一些会导致数据不平衡;因此我们使用了一个子样本实例过滤器作为减少不平衡的技术。7. 实验和结果第6.7节中定义的实验总结见表3，其中显示了每个实验（Exp）的AndroZoo良性应用程序（防病毒标志和数据大小）、AndroZoo恶意软件（防病毒标志和数据大小）、VirusShare恶意软件（数据大小）以及AndroZoo和VirusShare恶意软件组合集（数据大小）的相关数据。以下章节介绍并讨论了从这些实验中获得的AUC F1的性能指标。7.1. 结果表4-6给出了没有特征选择的所有实验的结果。我们实验的第一个非常清楚的结果是，各种特征选择技术对结果的影响很小。因此，为简单起见，我们决定表4显示了仅使用AndroZoo数据的实验以下是我们可以从中得出的主要意见。实验0发布了最差结果（AUC：0.77-0.85，F1：0.72- 0.80）。实验1和&2（AUC：0.82- 0.87，F1：0.76-0.82）提出了非常相似的结果，从一个实验到另一个实验的值都在0.01以内，这表明使用两个或三个作为将应用程序标记为恶意软件所需的防病毒标记数量之间没有太大差异。实验3和4也是如此（AUC：0.82-0.89，F1：0.78-0.83），它们提供的结果彼此相差至多0.02。另外，除了分类器NB之外，来自实验3和4的结果相对接近于来自实验1和2的结果。实验5（AUC：0.85-然而，应该注意的是，对于实验