NNT：2018SACLL008博士论文TORAT从L’Un准备一个真正的帕苏德里斯电信公司学校DocTORA No.580In形成和Com m统一的科学和技术计算机科学博士专业通过帕梅拉·卡瓦洛云安全：基于异常分析的内部威胁检测框架论文于2018年12月17日在埃夫里发表并答辩：评审团组成：M. 斯蒂芬·马克南巴黎电信教授论文主任诺拉·卡彭斯夫人IMT Atlantique研究总监报告员埃莱娜·韦斯利尼克夫人LAAS-CNRS研究总监报告员Kushik女士和Natalia南巴黎电信公司高级讲师共同监督卡瓦利夫人安娜·罗莎南巴黎电信名誉教授审查员M. 阿卜杜勒哈米德·梅洛克克雷泰伊大学教授审查员M.帕斯卡·波伊扎巴黎南泰尔审查员M.维萨姆·马卢利Montimage研究工程师审查员“There 还有另一种理论认为这种情况已经发生了。道格拉斯·亚当斯。V确认文件首先，我想向我的论文主任Stéphane Maag和Ana Cavalli表示衷心的感谢，感谢他们给我机会研究和实现本文所述的工作。还有Edgardo Montes de Oca给我的信心和机会，他也付出了努力和信心，让我在欧洲项目MUSA工作，我的论文就是由该项目资助的。我非常感谢他和我在Montimage的所有同事给我的机会和帮助，让我与欧洲各地的合作伙伴合作，同时为论文开发工作除了我的主管的支持，我还要向本论文的联合主任Natalia Kushik表示衷心的感谢，感谢她对我所做工作的持续支持和兴趣她总是支持、评估和扩展我的工作和研究问题，并进行充实的讨论。通过丰富我们的合作，这项工作成为可能此外，我在南巴黎电信研究小组的同事们，我分享并讨论了几个想法和个人指导。我感谢Jorge López在这个个人项目中的无私支持。迭戈·里维拉，我认识他是一名博士生，现在在Montimage与我合作，因为他敏锐的观点和支持（以及法语写作的帮助-你语法怪胎）。在个人层面上，我想全心全意地感谢所有与我站在一起并分享这段旅程的人。我虔诚的母亲和兄弟，他们相信我，无条件地鼓励我一生的努力。还有，我的父亲，我想他会为看到这一成就而感到非常自豪。我的朋友西尔瓦娜在我工作的粗糙和激情的时刻给了我视角。同样，我在巴黎新家的朋友们，马里奥和安德烈，感谢他们的哲学讨论（他们都是博士，如果你知道我的意思的话），还有Anais，感谢她真诚的友谊。最后但并非最不重要的是，感谢所有的知识分子科学导师、作家和艺术家，他们一直并将继续激励我去做研究，去理解，用饥饿的眼睛去看待生活。六内容物vii内容物1引言11.1动机一1.2问题陈述31.3贡献41.4出版物51.5论文的组织52 最新技术水平72.1导言72.2预备课程82.2.1云中的安全问题82.2.2云相关威胁概述82.3云威胁检测系统92.3.1基于模式的方法和相关技术102.3.2基于行为的方法和相关技术112.3.3基于混合的方法和相关技术142.4讨论14.2.5研究技术和已知威胁的152.6内部威胁相关作品182.7结论203 模拟内部威胁233.1导言233.2第二十四章预备赛3.3建议的建模方法263.4用户模型273.4.1实体的定义273.4.2第28代数据集3.4.3心理因素303.4.4网络因素353.5异常行为模型383.6用户模型39的验证3.6.1验证意图选择器模块403.6.2验证意图类别选择器模块40viii内容物3.6.3验证序列生成器模块.....................................................................................413.6.4验证事件计划器模块423.6.5验证标准423.7第43代数据集的实验结果3.7.1实验结果433.8讨论463.9结论464 基于异常的检测框架484.1导言494.2预备赛504.2.1异常504.2.2数据收集和表示504.2.3聚类方法524.2.4社区检测564.2.5评估指标564.3建议的解决方案594.3.1功能分析614.3.2动态特征变换过程644.3.3在线流异常检测算法（OSAD）664.4讨论794.5结论805监测和执行825.1导言825.2实施的云环境835.3开发的框架845.3.1模拟数据845.3.2我的时间监控工具（MMT）和基础架构即服务（IaaS）监控调查5.3.3通信和存储875.3.4预处理和特征分析875.4讨论925.5结论946 实验评估966.1导言966.2检测场景976.2.1场景1：使用网络、IaaS功能976.2.2场景2：使用网络、IaaS和动作序列功能6.2.3场景3：使用网络、IaaS和网络功能976.2.4场景4：使用网络、IaaS、动作....................................................................6.3.1全球误差分析和学习过程976.3.2插入程序99的分析6.3.3删除程序100的分析6.3.4OSAD严重性和水库1006.3.5集群行为1026.4其他实验比较1046.4.1平衡与非平衡数据集104内容物ix6.4.2用户之间的差异1066.4.3不同的距离指标1076.5讨论1086.6结论1097结论和观点1117.1主要结果1117.2前景114参考书目116数据集功能129内容物x图列表xi图列表2.1威胁检测技术102.2威胁与检测技术之间的2.3基准技术的实验结果173.1从终端用户的角度看云中的恶意内部人员3.2用于生成云内部威胁数据集的3.3两个模拟代理在一个月内的情感成分示例。323.4两个模拟代理在一个月内的有理分量示例。343.5一个月内两个模拟代理的异常事件示例3.6数据库管理员（DBA）和开发人员在云和组织资产方面的操作示例3.7网络因素技能37的模拟结果3.8仿真组件的数据流393.9具有高、中、低轮廓的序列长度直方图示例技能454.1大翼神经气体（GNG）网络的二维图形表示4.2GNG是模拟数据中社区的生成拓扑，其中每个神经元表示一个簇（大小与输入到其中的数据数量成正比），以及每种颜色都代表一个社区4.3基于异常的检测框架60的4.4所有特征的相关图654.5λ= 2067的3个模型中最高增益神经元的不同学习率4.6[126]的自适应学习率（公式4.3）684.7在线流异常检测（OSAD）算法的神经元插入结果-每次迭代的插入率λ= 50的算法和研究模型4.8OSAD算法和研究模型的神经元删除结果λ = 50 734.9OSAD算法75的储层行为4.10 插入率为λ = 50的拟定研究模型的内部指标754.11 具有插入率的拟议研究模型的外部评估指标λ= 50785.1Openstack服务与模拟器的83十二图列表5.2Openstack网络拓扑.................................................................................................... 845.3基于异常的检测框架85的实现5.4如果行动的制定不是主要的，那么一个人就有一个人在工作，那么就有一个人在工作。........................................................................................................................................5.5操作示例下载、重新启动、快照模拟操作5.6检测框架的工作流956.1使用OSAD算法99的所有场景的全局累积误差6.2OSAD算法101的删除节点比较6.3第一次迭代102的1000行数据的自适应严重性阈值6.4103号水库中的背信弃义的神经元数量6.54种情景的外部评价指标（通过标签）6.6场景1中不同异常/正常比率的外部评估指标。106个6.7场景1中不同用户的外部评估指标1076.8F1-场景4的欧几里得、曼哈顿和闵可夫斯基距离度量得分108A.1 基于IaaS的特征的对图130A.2 基于网络的特征的对图131表列表十三表列表2.1上层向量机（KVM）的平均检测性能，多层Perceptron（MLP）、长短期记忆（LSTM）、K均值和基于熵的技术。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ...163.1与网络行为相关的异常总结。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...383.2仿真中布局函数的扫描参数。... ... ... ... ... ... ... ... ... ... ... ... ...443.3云相关、网络和网络因素的DBA参数。... ... ... ... ... ... ... ...453.4以月为单位的模拟时间基准。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...453.5用户数量的基准。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...464.1所提出和比较的算法的符号。... ... ... ... ... ... ... ... ... ... ... ... ... ... ...544.2混淆矩阵的定义。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...594.3生成数据集的IAaS特征的描述性统计。... ... ... ... ... ... ... ... ... ... ...624.4基于网络的特征描述数据集的统计信息。... ... ... ... ... ... ... ... ... ... ... ... ...635.1实例规范。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ...835.2网络功能。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ...885.3使用合并方法跟踪记录的百分比。... ... ... ... ... ... ... ... ... ... ... ...895.4IaS功能。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ...915.5映像和服务器的严重性因素。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...935.6 云网络的严重性因素。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...936.1不同学习速度的实验结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...986.2自适应神经元插入比较（提出的算法和原始算法）。... ... ... ... ... ...1006.3使用OSAD算法对四种场景进行外部度量的平均结果...104A.1序列特征作为数值数据的实验结果。... ... ... ... ... ... ... ... ... ... ...132十四表列表1章简介内容物1.1动机一1.2问题陈述31.3贡献41.4出版物51.5论文的组织51.1动机云计算为更灵活、更高效的服务开辟了新的可能性。然而，迁移到云的一个问题是，它涉及到第三方安全策略的实施和执行。在这样的环境中，必须处理许多安全方面，包括风险管理、数据隐私和隔离、应用程序设计安全性、漏洞扫描等。预防性解决方案（例如，加密、防火墙），也有必要拥有一个将来自不同观察点的所有被监控的安全机制相互关联的系统。另一方面，每天都有新的攻击出现，因此，威胁检测系统开始在安全方案中发挥关键作用，识别可能的攻击。根据最近的报告[31]，90%的组织感到容易受到内部攻击。主要的促成因素包括拥有过多访问权限的用户太多（37%）、能够访问敏感数据的设备数量增加（36%）以及信息技术的复杂性增加（35%）。此外，53%的人证实在过去12个月内对其组织进行过内部攻击（通常少于5次攻击）。27%的组织表示，内部攻击变得更加频繁。此外，组织正在将重点转移到检测内部威胁（64%），其次是威慑方法（58%）以及分析和漏洞后取证（49%）。用户行为监控的使用正在加速; 94%的组织部署了某种方法来监控用户，93%的组织监控对敏感数据的访问。此外，来自行业的技术报告[25][38]指出，威胁研究人员还研究了数据过滤前的趋势，使用机器学习算法分析了34个国家的150，000名用户，所有用户都使用云服务提供商，从1月到12月。12第一章。简介2017年6月。在对用户进行了6个月的分析后，研究人员花了1.5个月的时间研究了非恶意软件，标记了0.5%的用户的可疑下载。这些用户总共从企业云系统下载了390多万个文档，在1.5个月的时间里，每个用户平均下载了5200个文档。在可疑的下载中，62%发生在正常工作时间之外; 40%发生在周末。通过利用机器学习技术，算法可以通过研究大量可用数据来学习和改进自己，但需要更有效的学习程序来提高这些检测率。更具体地说，基于云的威胁检测技术通常分为三组，即基于模式的、基于行为的和混合的（前两组结合）。 在第一种情况下，攻击被描述为相关语法中的规则或表达式（签名），并且来自被测系统的新收集的数据被验证为尊重这样的签名集。对于基于行为的技术，"正常"系统动作是以某种方式定义的，并且监视系统稍后可用于得出被监视的环境是否与所定义的行为不同的结论。在这种情况下，可以有效地使用不同的统计模型以及自学技术。一些提出的算法经常遭受高误报率，鼓励公司和学术机构使用混合方法。无监督学习是人类和动物学习的典型特征。它也比监督学习更广泛地适用，因为它不需要人工专家手动标记数据。标签数据不仅获取成本高昂，而且还可能丢失信息。这种神经启发聚类方法的优势在于它们的学习能力在没有监督的情况下表示特征空间。另一个令人感兴趣的特性是它们通常执行降维的事实。GNG是神经气体（NG）算法的扩展，其中神经元的数量不像NG中那样是先验固定的，而是随着时间的推移而增长。此功能在群集数量以前未知的群集任务中特别有用。本研究描述了在考虑三个因素的情况下建模和检测内部威胁的困难。首先，这是一个低速率问题，因为检测到的事件相对罕见。其次，这是一个被误解的问题，因为安全审计主要集中在外部攻击上。第三，它是一个高影响的问题，因为它不像外部威胁，内部威胁往往会被检测不到，并可能涉及长期的恶意活动。示例这是因为大多数内部攻击都是通过手动（非自动）检测信息系统的异常或故障而发现的。此外，这种威胁在云环境中比在传统的信息技术（IT）基础架构中更危险，因为内部人员可能会从云互联网服务提供商（CSP）托管的其他云互联网服务客户端（CSC）获得对数据的访问权限。Verizon进行的研究[9][136]表明，内部漏洞仍然比其他攻击来源造成更大的破坏。他们说，今年的内幕消息比以往任何时候都多。然而，公司主要专注于防止外部攻击。[26][29][33][65][66][95][96][97] 然而，据我们所知，很少有出版物[26]、[33]、[66]讨论了它们在云环境中的含义此外，当希望检测这种恶意活动时，CSP和CSC在其内部组织和政策方面的保密性和隐私性为收集和使用用于研究目的的数据制造了障碍。更重要的是，怀疑预测和1.2.问题陈述3尽管研究人员提出了可能的创造性攻击，但涉及云安全联盟（CSA）此外，根据云服务模型、CSC特征（如所使用的服务、作业类型和组织层次结构），解决恶意活动也带来了挑战。在应对这一威胁时，现有的解决方案需要执行一种基于硬任务实现或信息假设的检测方法。这种情况是具有对数据源的广泛访问的检测模式处理的情况（例如，日志），甚至标记数据。此外，所研究的方法通常以批处理模式实现，并且它们不能容易地扩展到使用流数据或在线设置的异常检测问题。最后，他们把员工的行为当作一个单一的问题，即，新的示例被分类为属于目标类或异常或新颖。这可能与现实不同，在现实中，用户的行为可能会随着时间的推移而变化，并取决于每天变化的1.2问题陈述本工作的研究目标是确定哪些用户行为、网络流量和基于云的属性可以用作识别内部威胁的指标。如果恶意用户与其行为之间存在与正常用户不同的关系，则可以使用这些预测指标来识别内部威胁。因此，本工作的目标如下：如果我们有一个监控引擎，可以输出未标记的员工活动痕迹，并收集他们过去的在线活动，我们希望以高准确度和低误报率，在当前的时间点，以一种非超级目标的方法，检测那些行为异常涉及他们过去行为的员工。这一目标是通过提出和部署基于一组现有技术的扩展的异常检测系统来实现的。根据协议，以下研究问题出现：• 数据处理：在分析用户异常时应考虑哪些数据• 哪种算法最适合检测内部威胁？• 如果需要，应如何调整这些现有算法？我们注意到，本论文并不旨在找到一种通用的最佳技术。这是不可信的，因为实验将使用OpenStack云实施中的特定类型数据（即网络跟踪）本文将探讨几种方法来测量不同技术之间的检测性能。无论如何，所提出的解决方案是通过一种广泛的模块化方法来设计的，从而解决未来减少更多监测属性的增加。4第一章。简介1.3贡献这项工作的主要贡献是对内部威胁检测进行分析、建模和验证。此外，本文提出了一种从行为数据驱动的角度评估检测的基本方法，揭示了数据相关的检测挑战，在检测性能方面的权衡实现，最后提供了在处理这种复杂威胁场景时考虑因素的广泛视图。第一个贡献包括文献综述和研究，为云环境中有效威胁检测的现有技术和工具之间的关系提供此外，还对一组与云计算原则和当今安全挑战相关的现有检测技术进行了评估。最后，对一些常用数据集及其与过去五年中的威胁的关联进行了实验研究。我们评估了以下方法：我们涵盖了云中的检测系统和检测技术的主题。所选作品来自于对检测体系结构的系统综述和对检测技术的详细综述。由于现有的检测技术倾向于针对特定的威胁（或其组），因此还对已知的检测方法针对非目标威胁组的适用性进行了实验性评估第二篇文章的重点是基于云的恶意内部威胁的数据集的派生和验证因此，它解决了一种数据集生成方法，该方法考虑了各种问题，包括统计分析以及云相关用户场景的创建。这篇文章的动机是问题本身的复杂性，以及缺乏开放、现实的基于云的数据集。它还提出了一个数据集验证标准，该标准基于一组预定义的规则，包括统计评估。最后，本文设计并演示了一个基于云的概念验证，可抵御恶意内部攻击。本工作的第三个也是主要贡献是通过异常检测框架来检测上述威胁。后者解决了使用机器学习技术的内部威胁，因为它们能够查看数据，并寻找可以及时学习和适应性改进的模式。详细地说，受上述内部威胁检测特征的启发，使用中的特定技术考虑了一种无监督的在线方法，使解决方案能够以流模式识别当前和新数据的不同用户行为。此外，此贡献是模块化设计的一部分，能够处理来自不同性质的多个数据输入源，包括使用文本表示、网络流量和云相关属性的命名用户操作。对于第一组特征，并考虑到机器学习算法通常依赖于数字表示的事实，还考虑了对文本表示的不同方式的进一步分析。此外，针对内部威胁的新框架有效地利用了由已知的企业策略和安全专家提供的域知识优势（例如，云管理员）将其用作附加信息。这一概念既作为检测算法自动使用的属性进行了探讨，也作为标记/识别可能具有威胁性的异常的优点进行了探讨。最后，为了说明所提出的框架的通用性，将实验评估应用于不同的内部威胁案例场景。该基准测试工作评估了不同数据源与基于上下文的异常检测方法的相关性。1.4. 出 版 物51.4出版物前面提到的贡献已经发表在不同的会议论文集上，是学术同行引用的几篇文章的一部分。与本工作相关的出版物的完整列表如下：1. [21]卡瓦洛·P.，卡瓦利A.R. Kushik N.自动派生和验证云数据集以检测内部威胁。ICSOFT 2017 ： 第 12 届 软 件 技 术 国 际 会 议 ， 2017 年 7 月 ， 西 班 牙 马 德 里 。Scitepress，ICSOFT会议记录2017：第12届软件技术国际会议，第480 - 487页，2017年。2. [18]卡瓦洛·P.，卡瓦利A.R. Kushik N.（2018）云威胁检测系统和技术研究。在Cuppens N.，Cuppens F.，拉内特·J·L. Legay A.，Garcia，Alfaro J.（编辑）《互联网和系统的风险与安全》。 CRiSIS 2017。 《计算机科学讲座笔记》，第10694卷。施普林格，查姆。此外，在H2020计划的框架内，还为欧洲MUSA项目（多云安全应用程序）做出了贡献，该项目的主要目标是支持分布式应用程序、异构云资源的安全生命周期管理3. [19]卡瓦洛·P.， 卡瓦利A.R. 马卢利·W.（2018）多云应用程序安全监控平台。作者：Petrenko A.，沃龙科夫A. (eds)系统信息学的前景。PSI 2017。《计算机科学讲座笔记》，第10742卷。施普林格，查姆。4. [20]卡瓦洛·P.，卡瓦利A.R.马卢利·W.，里奥斯E.（2017）多云应用程序安全监控。在M.中，卡斯蒂廖内A. Choo KK.，Palmieri F.，李KC. (eds)绿色、普及和云计算。GPC 2017.《计算机科学讲座笔记》施普林格，查姆。最&后，我们为《计算机安全》杂志做了充分的准备，该杂志的内部威胁检测框架和相关实验结果构成了主要贡献。1.5论文组织本文共分七章。下面给出了章节内容的简要说明。第一章：引言。它提供了一般背景、背景和动机。主要目标和研究问题被陈述，以及论文结构，主要贡献和出版物。第2节：最新技术水平。它讨论了主安全chalge的相关概念-在云场景中，以及最我们还对最重要的威胁进行了研究，并对检测其中任何一种威胁的具体技术进行了深入分析和相互关系。此外，本章还介绍了解决内部威胁的最常用技术。6第一章。简介第3章：内部威胁模型它提供了表征要检测的内部威胁的模拟引擎它提供了不同的配置可能性，显示了其使用的熟练程度。第4章：基于异常的检测框架它描述了建议的检测模型，以评估第3章中的各种内部威胁场景。第五章：实施。本文介绍了基于云的环境中监控和检测技术的实施细节第6章：实验评估。它通过广泛的实验评估证明了所提出的检测方 法 的 有 效性。第七章：结论。它为第1章中描述的研究问题提供了一些答案，这些问题是基于从本研究中获得的结果。它也指向了未来的研究方向。
我的内容管理
展开
