分析和可视化Android恶意软件数据集

分析和可视化Android恶意软件数据集托马斯·哈维尔·康塞普西翁·米兰达引用此版本：托马斯·哈维尔·康塞普西翁·米兰达分析和可视化Android恶意软件数据集。密码学与安全[CS.CR]。2022年，中央高等学校。英语NNT：2022CSUP0005。电话：04003806HAL Id：tel-04003806https://theses.hal.science/tel-040038062023年2月24日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire中央C OMUE U NIVERSITE BRETAGNE LOIREE COLE DOctorale N°601信息与通信专业的数学与科学与技术Par托马斯·康塞普西翁·米兰达分析和可视化Android恶意软件数据集Thèse présentée et soutenue à Rennes，le 29 novembre2022研究单位：IRISAThèse N°：2022CSUP0005THASHASE DE DOCTORAT DE报告员准备：卢森堡大学Jacques Klein教授伦敦大学学院LorenzoCavallaro评审团组成：主席：席琳·于德洛Universités，CentraleSupélec审查员：文森特·罗卡Chargé de Recherches，INRIADir. de thèse：让-弗朗索瓦·拉朗德Universités，CentraleSupélec瓦列里·越南·汤中央供应商邀请函：Pierre Wilke CentraleSupélec鸣谢首先，我要感谢Céline Hudelot、Vincent Roca、Jacques Klein和Lorenzo Cavallaro对我的作品感兴趣，并接受成为评审团成员特别是雅克和洛伦佐对这份手稿的详细审查。我我还要感谢Michel Hurfin成为我的个人后续行动委员会（CSI）的一员，以及这些年来CIDRE团队的同事们的陪伴和幽默。最后，在西班牙语中，我想感谢我的家人，朋友，以及我的父亲伊察和托马斯，他们不允许我在这段时间里继续从事我的工作，感谢他们，感谢他们为我的目标而努力。摘要移动设备无处不在：现在大多数人都拥有移动电话。由于这种全球性的存在，它是攻击者感兴趣的目标。这些攻击是通过恶意应用程序进行的，这些恶意应用程序可能会损害移动终端，例如，通过非法控制移动设备、未经授权访问用户的个人信息或骗取赎金等恶意意图。恶意软件分析的研究人员在这些类型的程序安装在用户设备上之前就努力识别它们。为了做到这一点，他们进行实验来自动检测恶意软件，例如使用机器学习，其中学习阶段是在一组已知的恶意软件和好软件上完成的。然后，研究人员对几个新的数据集进行性能评估，独立于学习阶段的数据集根据他们对数据集的选择，实验的评估可以产生可接受的结果，或者突出但高估的结果。因此，包含恶意软件和良性样本的数据集是设计实验时需要考虑的重要因素。Android恶意软件检测的研究人员在创建良好的实验数据集时遇到了一些障碍。许多不同的市场可供申请。由于它们的性质，它们不适合实验：没有明确和简单的方法从它们中提取应用程序，并了解关于恶意软件的基本事实。此外，恶意软件可能在市场提取中代表性不足。因此，研究人员使用其他实验数据集，包括其他研究人员分享给研究社区的基础事实。这些共享数据集慢慢变得陈旧和被引用，其他研究人员决定从这些共享数据集和其他来源的应用程序中创建自己的实验数据集我们想知道这些精心制作的实验数据集是否会对实验结果产生影响，如果是的话，是否有一些制作方法比其他方法更合适。本论文首先提出了一种基于统计测试来评估数据集质量的方法，该方法有助于将精心制作的数据集与大型应用程序（如市场）进行比较。我们发现文献的历史其次，我们引入了一种算法来更新低质量的恶意软件/好软件的混合数据集，以便类似于不能直接使用的目标数据集，例如。G. 一个市场我们使用机器学习算法来评估更新的混合数据集，我们表明，在我们最新的数据集中检测恶意软件成为一个更难解决的问题。最后，我们介绍了DaViz，一个数据集可视化工具，用于探索和比较Android恶意软件数据集，使研究人员能够可视化文献数据集中的偏见，并从中获得有用的信息。简历移动电话无处不在：今天大多数人都拥有移动电话。 作为一项全球性的事业，这些处置者对这些袭击者来说是一个令人感兴趣 的话题。Ces attaques sont véhiculées au travers des applications malveillancies quipeuvent nuire aux dispositifs mobiles ， paraple en obtenant controlôle illégale ， en gagnant accès auxinformations personnelles de l'utilisateur ， ou en menaçant les données à l'aide d'un rançongiciel --parapples parmi d'autres types de malveillances.Les chercheurs en analyze de malware travaillent àrecognaintre ces types de programs avant qu'ils soient installés sur un dispositif utilisateur. Pour faire cela，ils réalisent des exériences pour automatiquement dectter ces malware ， par approximple avec del'proximatisage automatique，oeither one phase d'proximatisage est réalisée sur un ensemble de malware etdes applications bénignes déjà connues.此外，les chercheurs réalisent une évaluation de la performance surplusieurs nouveaux datasets，indépendants de ceux utilisés dans la phase选择数据集后，实验结果可以接受，也可以例外。因此，当我们进行实验时，恶意软件和应用程序的数据集非常重要。Les chercheurs en detection de malware Android renctre plusieurs obstacles pour créer un bon datasetexperimental. Leur façon de distribuer ces applications ne convient pas pour faire des expériences：il n'y apas de méthode aisée pour extraire des applications et connaintre la vérité terrain sur le fait d'être unmalware or non.此外，恶意软件可能出现在或在应用程序的一个例外中出现。De事实上，这些研究人员利用了其他实验数据集，包括真实地形，因为其他研究人员参加了科学界。Ces datasets partagés deviennentpeu à peu de vieux datasets avec de nombreuses citations. D’autres chercheurs ont aussi décidé de créerleurspropresdatasets expérimentaux Nouspouvonsalors nousdemander sitous ces datasetsexpérimentaux ont une influence sur les résultats des expériences expertites，et siCette thèse présente，premièrement，une methode pour évaluer la qualité des datasets basée sur un teststatistique qui aide à compararer un dataset créé avec un grand ensemble我们的montrons alors que lesdatasets historiques de la littérature sont de mauvaise qualité，ce qui quifie le besoin de créer des nouveauxdatasets plus à jour.第二，我们介绍一种算法，用于测量恶意软件/好软件的数据集混合物，用于测量一个不能直接使用的数据集的质量。G. 一本应用书。Nous évaluons les datasets mixtes mis à jour en utilisant unalgorithme d'deterrissage automatique et nous montrons que la detection de malware sur notre dataset misà jour devient un problème plus difficile à résoudre. Enfin ， nous introduisons DaViz ， un outil devisualisation de datasets pour explorer et comparer des datasets d'applications Android. Cet outil permetaux chercheurs de visualiser les biais dans les datasets de la littérature，etRésumé substantiel en français介绍移动电话无处不在：今天大多数人都拥有移动电话。作为一项全球性的事业，这些处置者对这些袭击者来说是一个令人感兴趣的话题。这些攻击是通过移动设备的恶意应用程序进行的，包括对恶意软件的明显控制，对用户个人信息的收集，或对恶意软件的其他类型的帮助Les chercheurs en analyze de malware travaillent àrecognaintre ces types de programs avant quPour faire cela ， ils réalisent des exériences pourautomatiquement dectter ces malware ， par approximple avec de 此 外 ， les chercheurs réalisent uneévaluation de la performance sur plusieurs nouveaux datasets，indépendants de ceux utilisés dans la phased'estrissage. 选择数据集后，实验结果可以接受，也可以例外。因此，当我们进行实验时，恶意软件和应用程序的数据集非常重要。Les chercheurs en detection de malware Android renctre plusieurs obstacles pour créer un bon datasetexperimental. Leur façon de distribuer ces applications ne convient pas pour faire des expériences：il n'y apas de méthode aisée pour extraire des applications et connaintre la vérité terrain sur le fait d'être unmalware or non.此外，恶意软件可能出现在或在应用程序的一个例外中出现。De事实上，这些研究人员利用了其他实验数据集，包括真实地形，因为其他研究人员参加了科学界。Ces datasets partagés deviennentpeu à peu de vieux datasets avec de nombreuses citations. D’autres chercheurs ont aussi décidé de créerleurspropresdatasets expérimentaux Nouspouvonsalors nousdemander sitous ces datasetsexpérimentaux ont une influence sur les résultats des expériences expertites，et si贡献Cette thèse travaille sur deux axes：la qualité des datasets et la visualisation de ceux-ci. La thèse proposeddes contributions indépendantes sur ces deux axes bien que les contributions de visualisation des datasetsaide à comprendre les enjeux de qualité.此外，la thèse débute par la présentation de l'état de l'art relatif aux datasets d'applications Android，quece soit pour les goodware ou les malware.我们分析了科学界使用的数据集，并对某些数据集进行了分析，以确定Pendlebury等人和Allix等人确认了类似本文首先对文学中的方法论进行了分析，然后对这一问题进行了研究，并对这些问题进行了描述Une première contribution concerne donc la visualisation de datasetsNous proposons une methodeintéractive pour visualiser et comparer des datasets ， au traversDaViz offre des fonctionnalités nonrencontrées dans les outils existants：la possibilité de comparer plusieurs datasets，de sélectionner des sousparties interactivement ， et de visualiser des caractéristiques grâce à trois représentations différentes.Lebénétouchattendu est de pouvoir réaliser des explorations de datasets inconnus ou de comparer deux à deuxdes datasets pour en saisir les diffénénotables.L’outil est exploité sur les datasetsIl confirme visuellement les pécédemment. Cette partie du travail de thèse nous a conduit à vouloirquantifier formellement ces diffévement，ce quiUne seconde contribution est dédiée àCe test permet de comparer un dataset créé manuellement avec ungrand ensemble在这种统计方法的帮助下，我们的蒙特利尔人认为，文学史上的数据集质量不高，这是一种新的数据集 L’enjeu est alors de construireUne troisième contribution est dédiée àNotre algorithme va chercher à modifier autant que faire cepeut le dataset mixte afin de le faire ressembler au dataset dit“cible”par applicable un extrait dumagasin “存在恶意软件”这一特征是成立的。 Nous obtenons en un nombre optimal d'itérations un datasetdit“débiaisé”dont l'éloignement du dataset cible est controlôlé par un paramètre���.Nos exérimentations montrent qu'il est difficile de modifiers les très anciens datasets comme Drebin，vuexéloignement du dataset cible.对于混合数据集，我们可以将其与源数据和历史数据结合起来，这样就可以更好 地 融 合 。 Les datasets débiaisés produits ont été évalués en les utilisant dans des exérimentations dedetection basés sur des algorithmes classiques de machine learning.这方面的经验表明，当利用数据集时，很难检测到恶意软件此外，数据集上的数据不佳，导致检测结果不佳。结论在 这 些 工 作 中 得 出 的 结 果 有 不 同 的 观 点 。 D’autres outils 此 外 ， Les methodes employées sur lesdatasetsL’outil de visualisation pourrait être étendu pour内容鸣谢摘要三简历v法语简历vii目录九ProLoGUE11介绍32研究Android数据集以及在哪里找到它们92.1文献中使用的数据集。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92.1.1市场。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92.1.2市场档案122.1.3具体研究数据132.2实验数据集中的刺激和偏差162.2.1实验情景. 172.2.2违规行为的类别182.2.3文献评价结果202.3结论23第25届世界杯足球赛3Android恶意软件数据集273.1Android恶意软件数据集可视化273.1.1可视化的任务和目标3.1.2恶意软件分析可视化技术283.2DaViz -Android恶意软件数据集343.2.1接口343.2.2输入数据：特征363.2.3输出视图：图表383.2.4互动413.2.5执行情况. 433.3文献中数据集的可视化3.3.1新旧恶意软件数据集453.3.2文献数据集和AndroZoo48之间的差异3.4结论534实验数据集的代表性554.1代表性数据集的定义4.2对代表性数据集进行采样574.2.1一个布尔特征574.2.2多重特征的样本量584.2.3应用于安全实验594.3评估现有数据集604.3.1需要考虑的非安全相关特征614.3.2数据集同质性统计检验624.3.3研究Android数据集634.4结论655消除Android数据集的偏见675.1去偏置算法675.1.1特征和类别5.1.2恒定大小算法685.1.3最佳去偏算法695.2生成去偏置数据集715.2.1用于去偏置的特性715.2.2去偏置数据集715.2.3去偏数据集的可视化探索735.2.4为机器学习735.3使用去偏数据集的775.3.1机器学习775.3.2结果785.4结论80EUGIOGUE816结论83AAlgorithm proofs算法证明87Bibliography参考书目91图目录3.1使用Jain等人的方法识别应用程序（a）和（b）中DexGuard的使用情况的五个应用程序显示为图像（摘自[139]）。. . . . . . . . . . . . . . . . . . . . .293.2Santhanam等人使用的反向调用图。（摘自[140]）. . . . . . . . . . . . . . . . .303.3GroDDViewer [141]界面显示Simplelocker样本的分析 . . . . . . . .313.4Saxe等人提出的工具原型的屏幕截图。（摘自[146]）. . . . . . . . . .323.5SEEM界面的屏幕截图，Gove et al. （摘自[147]）. . . . . . . . . . . . . . . .333.6Firefox 104中DaViz界面的概述. . . . . . . . . . . . . . . . . . . . . . . . . .353.73.8将特征分为几个类别进行分层可视化。选定的特征以绿色突出显示。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .条形图示例，显示每个条形图中应用程序的比例（以百分比表示），具有给定特征的。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36383.9以APK数量作为颜色强度的三乘三热图示例。. . . . . . .393.10a DaViz中的维恩图。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .403.10b 包含整个数据集的相同维恩图。. . . . . . . . . . . . . . . . . . . .403.11在F-Droid 2021数据集上选择具有“获取SD卡状态”和“获取手机IMEI”的元素423.12DaViz的系统实现图。. . . . . . . . . . . . . . . . . . . . . . . . .433.13Drebin和VirusShare 2018之间比例差异最大的七大特征463.14维恩图显示了Drebin和VirusShare 2018比例差异最大的前七个特征。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .463.15AMD和VirusShare 2018之间比例差异最大的七大特征473.163.173.183.19维恩图显示了AMD和VirusShare 2018比例差异最大的七个特征。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2020年Drebin和AndroZoo的30000个样本之间比例差异最大的前七个特征。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2020年AMD与AndroZoo 30000个样本之间比例差异最大的七大特征。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Venn图显示了Drebin中的“Native lib with JNI_OnLoad”、“Changecommand”、“loadClass”、“Exec command”、“Load DEX class”之间的关系，2020年的AndroZoo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .474949513.20维恩图显示了AMD中的“Native lib with JNI_OnLoad”，“Changecommand”，“loadClass”，“Execcommand”，“LoadDEXclass”和2020年AndroZoo之间的关系。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .513.21Venn 图 显 示 了 VirusShare 2018 中 的 “Native lib with JNI_OnLoad” 、 “Changecommand” 、“loadClass”、“Exec command”、“Load DEX class”与2020年AndroZoo的30000个样本之间的关系。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .523.22VirusShare 2018与2020年AndroZoo的30，000个样本之间比例差异最大的前八个特征。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .524.1Google Play的演变图和代表性数据集的采样。从Google的角度来看，有四个恶意软件样本需要检测，而右边的样本只需要检测一个恶意软件。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .594.2AZ2030 °C的 2874个类别中最多的200个类别的应用类别分布和比较使用D-100和AMD 645.1VS 15 -18与AZ 2030° C某些选定特性745.2某些选定特性的VS去偏 15-18与AZ 2030 mA的比较745.3VS 15 -18与AZ 2030℃比例差异最大的7个特性的比较755.4对比VSDebiased15-18与AZ 2030μ m的 7个特性，最大比例差异75表的列表2.1关于检测实验中数据集使用的详细信息GP = Google Play，VT = VirusTotal，GM =GM，DB = Drebin，AZ = AndroZoo，CT = Contagio，VS = VirusShare，PD = PlayDrone，MSL =2016年12月20日，TZ = theZoo，MS = MalShare，N/A =不适用214.1Google Play和AndroZoo的代表性数据集的样本量为一个或多个字符-istics（ = 0. 01和λ=99%）。.............................................................................................................................. 584.2AZ2030μ m范围内有限组非安全特性的5.1去偏置数据集后的结果725.2用于机器学习培训和评估的5.3机器学习分类器的平均和最大AUC取决于其训练集和测试当枢轴年是2017年时设置。粗体：测试集77的最佳AUC.................................................................................5.4机器学习分类器的平均和最大AUC取决于其训练集和测试关键年份是2014年。粗体：测试集78的最佳AUC.............................................................................................ProL oGUE介绍1移动设备，主要是智能手机，已经变得无处不在：人们至少拥有其中一根据statcounter11https://gs.statcounter.com/platform-，它们代表：截至2022年6月，全球各类计算机使用量的59.77%。在不同的移动操作系统（OS）中，Android是市场份额/桌面移动平板电脑截至2022年6月，全球最受欢迎，市场份额为72.12%2.第二章：https://gs.statcounter.com/os-这些设备用于许多目的，从日常活动（如人与人之间的通信和媒体消费）到敏感操作（如汇款和业务通信）。由于使用智能手机的人数众多，以及可以使用智能手机完成的所有任务，Android系统已成为攻击者的首要目标。在所有可能的攻击类型中，有一些程序可能会在用户不知情和未经用户同意的情况下损害系统或欺骗用户以获得收益这些类型的程序被称为恶意软件。虽然没有实际的定义什么是“恶意软件”，有定义的类型的恶意应用程序的基础上，他们如何工作。在这些类型中，我们可以提到：间谍软件，它在用户不知情的情况下向攻击者发送个人信息为了保护用户免受此类威胁，恶意软件分析专家会采取措施，在这些应用程序到达最终用户之前对其进行检测。为了做到这一点，他们从用户倾向于获得它们的地方（例如Google Play）获取应用程序，并进行实验以验证这些应用程序的功能。如果分析师在应用程序中发现任何恶意行为，他们会将其标记为恶意软件，并根据这种行为，他们可以将这种恶意软件分类为存在的众多类型之一当特定应用程序执行可疑操作或应用户请求时，分析师可以手动操作然而，由于不同在线商店上的应用程序数量众多，因此不可能依赖于对每个新应用程序或应用程序更新的手动分析。这就是为什么研究界一直致力于自动分析程序，从应用程序中提取相关数据，并最终确定应用程序是否正在执行恶意活动。基于机器学习（ML）的算法已被广泛用于自动化应用程序的恶意属性[1通过从应用程序中提取属性，在ML术语中称为“特征”，无论是静态的（直接从它们的代码中）还是动态的（从执行它们并注册它们的行为中），ML算法都可以在检测恶意应用程序时获得出色的结果。在这一研究领域做出贡献的学者需要将他们的结果与文献中发表的结果进行比较。因此，他们使用数据集，字面意思是“数据集”，作为输入来比较多种检测算法。市场份额/移动/全球41引言[5] ：Arp et al.DREBIN：Effective andExplainableDetectionofAndroidMalware in Your Pocket（2014年）[6] ：Wei et al.2017年Arp等人发表了第一篇发布数据集的开创性论文。 [5]的文件。他们发布了Drebin数据集。当时，它是研究界可用的包含恶意软件样本的最大数据集。随后的论文重新使用了这个数据集，以提供增量和可重复的结果。与此同时，虽然谷歌正在发布新版本的Android操作系统，但Google Play的应用程序数量急剧增加。这种收集和标记恶意软件样本的努力并不微不足道，使得Drebin和AMD [6]，当前Android恶意软件样品因此，在接下来的十年里，很少有新的数据集被出版和在写这篇论文的时候，Drebin被引用超过2000次，根据谷歌学术，这是一个令人印象深刻的分数只有一篇论文。读者应该记得，恶意软件检测实验中数据集背后的意图是在实验室中模仿现实中这种“现实”在文献中也被称为“地面也就是说，对于恶意软件检测，模拟自动程序发现隐藏在Google Play中的恶意软件的难度，每天上传数千个应用程序。我们认为，Drebin能够在当前的GooglePlay上模仿这样的问题，以及最近的复杂恶意软件，这将是令人惊讶的。因此，本论文的背景是集中在文献数据集的质量上，如果质量被证实是低的-这是我们的直觉，那么就阐述新的方法来产生高质量的数据集，即。e. ，能够模拟现实。本论文探讨了各种用途的实验数据集的创建和使用，例如典型的恶意软件检测问题。我们打算解决的问题之一是创建实验数据集，而忽略了实验所针对的目标应用程序集因此，即使实验的结果很好，但当在目标生产环境中运行时，数据集的“质量”一词在写作的这个阶段还没有定义，我们将在第4章中正式定义。现在，我们解释一下我们认为数据集的质量问题我们用两个假设来说明这些问题（这将在后面的手稿中得到证实）：► H1：99%准确率的实验是可疑的► H2：输入数据集影响实验结果H1：具有99%准确度的实验者是可疑的恶意软件检测器，使用ML将样本预测为阳性（即。e. 是恶意软件），或负面（i. e. ，是一件好东西）。因为我们预先知道标签（i）。e. ，即恶意软件和好软件），我们可以评估检测器正确预测恶意软件（真阳性）和好软件（真阴性）的程度。使用ML算法的恶意软件检测器的结果通常以以下形式给出：► 准确性（所有预测中真实预测的集中度5► 精确度（所有阳性预测中真阳性的浓度► 召回率（所有真实样本中真阳性的浓度► F1分数（精确度和召回率的调和平均值）对于所有这些分数的百分比，100%是一个完美的分数。随着ML技术的日益普及，分析师们已经专注于开发更好的判别式，这些机器学习算法用于区分恶意软件和良性程序。有几研究表明，超过99%的检测结果非常好[7精度我们可以认为，有了这些类型的结果，如果这些实验从原型转移到真正的反病毒软件，Android但不幸的是，情况仍然不是这样：我们观察到恶意程序仍然被发现，例如，在Google Play上即使他们对判别特征的选择是合理的，我们怀疑所选择的实验数据集的创建方式可能会产生高估的结果。基于集成学习方法的[8] ：Karbab等人（2018），[9] ：P. et al.（2019），“一种基于机器学习的方法，使用判别式系统调用检测恶意android应用程序”H2：输入数据集影响实验结果在这篇论文中，发表了两篇论文，表明输入数据集影响Android恶意软件检测实验 Allix等人 [10][10]：Allix et al. 2015年，《你的训练》（Are YourTraining）讨论了应用程序的日期在Android恶意软件检测中使用的实验数据集中的影响作者发现，研究人员创建实验数据集的方式会导致使用ML进行Android恶意软件检测的他们将使用ML的典型实验配置与更真实的场景进行比较，两个实验的结果这表明，典型配置的实验不适合像现实生活中那样对抗新的恶意软件，尽管已经宣布了高风险，但这是一种误导。数据集还相关吗？检测结果的准确性。Pendlebury等人。 [11]还讨论了[11]