GrAALF：系统事件的图形化分析及取证

软件影响8（2021）100068原始软件出版物GrAALF：支持对审计日志进行图形化分析以进行取证OmidSetayeshfara，ChristianAdkinsa，MatthewJonesb，KyuHyungLeea，Chang，PrashantDoshiaa佐治亚大学，美利坚合众国，Athens，GA，30602bGTRI，Atlanta，GA 30332，美国A R T I C L E I N F O保留字：来源追踪图形分析A B标准系统级日志在计算机取证中起着至关重要的作用。它们详细地捕捉程序和用户之间的交互。然而，一台典型的计算机每小时会生成超过250万个系统事件，这使得在此类日志中查找恶意活动的计算和时间密集型。我们介绍GrAALF图形系统有效地加载，存储，处理，查询和显示系统事件的计算机取证。与类似的系统相比，GrAALF提供了存储的灵活性，直观的查询，以及实时跟踪更长事件序列的能力，以帮助识别攻击。GrAALF是一个强大的分析解决方案，以支持计算机取证。代码元数据当前代码版本v3.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-19可复制胶囊法律代码许可证GNU AGPL V3.0使用git的代码版本控制系统使用Java的软件代码语言、工具和服务编译要求，操作环境依赖性跨平台，需要Java Java X2EE Environment 8+如果可用，链接到开发人员文档/手册例如：https://github.com/omid-s/cyber_deception/问题支持电子邮件kyuhlee@uga.edu，omid. s@uga.edu1. 介绍系统日志中包含的来源数据为计算机取证提供了丰富的信息来源。系统日志可以自动捕获攻击者控制的进程如何与磁盘和网络等资源进行交互。系统事件记录器（如Linux Audit [1]、Sysdig [2]、DTrace [3]和Windows事件跟踪（ETW）[4]）通常用于生成这些日志。虽然日志经常在攻击发生后进行离线分析，但实时系统监控可以通过多种方式帮助用户：可以实时分析，这种丰富的信息源允许调查正在进行的异常行为，从而可以更有效地保护系统。此外，及时的攻击调查对于保护系统免受未来类似攻击至关重要。然而，我们看到在开发一个实用的系统，可以支持（近）实时分析的三个主要挑战。首先，系统日志迅速成长。我们观察到，单个主机在一小时内生成超过250万个系统事件。其他研究[5 这一挑战促使以前的研究压缩[5，8其次，存在用于不同操作系统和体系结构的各种日志记录系统，并且它们的事件条目的定义以及输出格式通常是不同的。例如，Linux和Unix系统经常使用Linux审计[1]。Windows系统大多使用Windows事件跟踪（ETW）[4]来记录系统事件。Linux和Windows有完全不同的系统调用和系统API。此外，最近的研究[14例如，BEEP [14]提出了一种技术，将长时间运行的进程划分为一个称为执行单元的更细粒度的系统对象，以提高*通信地址：415 Boyd Graduate Studies Research Center，Department of Computer Science，Athens，GA，30602，United States of America。电子邮件地址：kyuhlee@uga.eduK.H. Lee）。https://doi.org/10.1016/j.simpa.2021.100068接收日期：2021年3月2日;接受日期：2021年3月4日2665-9638/©2021作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsO. 塞泰耶什法尔角Adkins，M.Jones等人软件影响8（2021）1000682法医的准确性这种异构性使得对各种日志平台生成的系统日志进行无缝取证变得非常具有挑战性。第三，向后和向前跟踪技术[6，7]在计算机取证中是必不可少的，以了解系统对象之间的因果关系（例如，过程）和主题（例如，文件、网络套接字）。 它们通常需要追溯到以前的事件，以确定因果链。在实践中，数据库解决方案通常用于存储系统事件的序列，并且用户编写查询以识别系统组件之间的因果关系。然而，这些传统数据存储中的回溯查询的响应时间是不可接受的，因为从两天的系统事件日志中提取仅几个文件的因果相关系统对象需要超过20分钟;因此不能提供实时跟踪所需的性能。GrAALF灵活地提供了压缩内存存储、传统关系数据库系统和用于存储解析后的审计日志的图形数据库的选项。由于其设计特性，关系数据库对于存储表格数据进行了高度优化;它们可能无法很好地处理大量的链式联接。它可以减慢需要将存储在数据库中的事件回溯到其源的操作。另一方面，图形数据库在设计时考虑到了关系，这使得它们在回溯安全日志中事件之间的关系时更加有效。然而，图形数据库往往 具有低的插入性能，因此它们不能跟上记录数据的高速流。 因此，当插入小批量数据时，图形数据库和内存存储非常适合于（接近）实时取证，并且需要在图形上快速执行查询。对于事后分析，关系数据库更适合，因为它允许快速加载、索引和随后查询大量系统事件。GrAALF允许使用语法和语义接近SQL的简单查询语言来查询存储的审计日志。重要的是，与SQL不同，这种查询语言支持路径查询和从已识别资源回溯到任意深度。我们注意到，后者的功能是特别重要的成功取证流行的计算机攻击，如数据泄露和内核注入。用户查询由GrAALFGrAALF属于一个不断增长的支持forem- sic分析的系统家族，包括Elastic [18]，AIQL [12]，SAQL [13]和Loglens [19]。然而，这些以前的系统只支持简单的基于关键字和正则表达式的日志数据过滤，并且不提供有用的向后跟踪查询功能。此外，像AIQL和SAQL这样的系统是专有的，不可用于公共用途，而GrAALF是在GNU AGPL V3.0许可证下发布的。12. GrAALF概述我们在图1中展示了GrAALF的高级概述。GrAALF由三个层组成：日志摄取、日志存储以及查询和可视化层。日志摄取层从企业中的主机接收流式系统日志并对其进行处理该层的输出进程、线程）和对象（例如，文件、网络套接字）。日志存储层将日志摄取层的输出存储到永久数据库中。GrAALF支持关系数据库和图形数据库，并允许用户选择合适的数据库。GrAALF还具有内存缓冲存储，可以处理来自多个源的大量流数据第1https://github.com/omid-s/cyber_deception/图1.一、GrAALF的高级概述。查询和可视化层与用户交互以接收查询并提供作为交互式图的输出。用户可以基于先前的输出图迭代地进行查询。输出图可视化了系统元素中的因果关系以及不同机器之间的交互。更重要的是，GrAALF支持（近）实时的向后和向前查询，通过这些查询，用户可以很容易地了解每个系统组件的起源以及当更改发生时一个组件如何影响其他组件。我们精心设计了存储层和查询解释器，以实现与永久数据库的无缝查询。 一旦摄取层处理日志并将输出传递到内存存储，就可以进行查询了。查询和可视化层还接受查询以出于稳定性和安全性目的监视系统;该模块将持续监视这些查询生成的图形，并在其中任何一个发生更改时通知用户。 这使得自动监测以及自动检测潜在的安全事件，因为他们发生.3. 影响网络威胁日益复杂和具有破坏性。网络攻击调查的一个重要方面是了解攻击的细节，造成了什么损害，谁负责袭击 必须从过去的入侵中完全恢复，并针对未来的事件建立更强大的防御。GrAALF通过推进网络取证和实时威胁检测的最新技术，使国家安全受益。首先，GrAALF能够详细重建和理解高级网络攻击。它将为从过去的入侵中完全恢复提供基础，并为未来的事件建立更强大的防御。其次，GrAALF提供实时分析，允许对正在进行的异常行为进行分析，以及时有效地保护系统。用户可以使用向后和向前查询来了解系统组件的来源以及一个组件如何实时影响其他系统组件。接下来，GrAALFO. 塞泰耶什法尔角Adkins，M.Jones等人软件影响8（2021）1000683表1GrAALF与相关系统相比。×表示不支持，□表示支持有限功能，■表示完全支持。S表示流分析能力;PG，长因果序列的起源跟踪;F模式灵活性;O公开可用;G粒度小于过程级别;Q支持查询语言。自动异常检测。标题S PG F O G Q AGrAALF■×AIQL ×□× × × ×■×SAQL■ □× × ×■×SOFELK ×× □×□ ■炭黑LiveOps■ □×××□■NoDoze ×□× × × ×■Plaso ×× □×□ ■在这个领域的研究。该系统已被用于最近的一项研究，重点是识别网络攻击的阶段[20]。使用GrAALF获得的结果表明，攻击阶段可以分类的准确率超过90%。另一项研究[21]利用GrAALF自动提取用于研究网络攻击者行为并检测其意图的行为模式4. 相关工作Elastic Stack等工具因其在处理日志时的灵活性和高性能而被工业界和学术界广泛采用。Plaso [22]和SOF ELK [23]是构建在Elastic Stack上的两个工具;这些工具具有丰富的可视化和解析功能。 这类工具不是取证和追踪来源的有效工具。它们提供的是基于地理的报告，而不是起源图模型，它们也没有为用户提供过滤之外的查询能力其他工具，如[22，24，25]，提供了基于人工智能的模型，这将有助于取证专家监控系统并根据已知模式检测恶意行为;然而，这些工具不是为手动取证任务而设计的，例如整个系统起源跟踪，并且通常绑定到一个专有数据流方案。GrAALF旨在为用户在数据源和数据探索方面提供更大的灵活性，同时保持其他作品中的功能，例如流数据的模式匹配和出处跟踪功能。表1显示了GrAALF与一些相关作品的性能比较。存在几种因果关系分析技术[6，7，26进程）和系统对象（例如，文件或网络套接字）。例如，BackTracker [6]和Taser [7]提出了向后和向前分析技术，以分析系统调用日志并构建因果图，以进行有效的攻击调查。最近，一系列的工作[8，14，29-它们将长期运行的流程划分为多个自治执行单元，并识别它们之间的因果依赖关系。LDX [32]提出了一种基于双重执行的因果关系推理技术。当用户执行一个进程时，LDX通过改变输入源自动启动一个从进程的执行。然后LDX识别因果关系之间的依赖关系的输入源和输出比较，ING从原始执行和从执行的输出。MCI [30]利用LDX [32]为审计日志构建基于模型的因果关系推断技术，以推断系统调用之间的因果关系。GrAALF可以支持所有建议的日志记录技术，并正确定义主题、对象和关系。我们可以实时处理他们的日志，并向用户提供GrAALF以实现系统的交互式调查和监控5. 结论我们提出了GrAALF，一个图形取证分析系统，用于有效地加载，存储，处理，查询和显示从系统事件中提取的因果关系，以支持计算机取证。GrAALF提供了在关系数据库（例如，PostgreSQL）和图形数据库（例如，Neo4j）用于后端存储。GrAALFGrAALF提供了一种简单的查询语言，其语法和语义接近SQL。用户可以编写一个查询来执行向后和向前分析，以识别系统主体和对象之间的因果关系。我们使用一个广泛的系统调用审计日志，其中包含现实的攻击，以证明GrAALF的实际效用。我们将GrAALF的源代码作为开源软件发布。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项研究的部分资金来自美利坚合众国陆军研究办公室的赠款#W911 NF-18-1-0288。 作 者 还 要 感 谢 Sean Frankum 、 Aditya Shinde 和Ambrimed AbuOdeh提供的宝贵意见。引用[1]RedHat Inc. RedHat Linux审计，2019年，https://people.redhat.com/sgrubb/audit/。（在线; 2019年5月25日访问）。[2]sysdig，Inc，Sysdig，2019，https://sysdig.com/。（在线; 2019年5月25日访问[3]DTrace，2019，http://dtrace.org/blogs/about。（在线; 2019年5月25日访问[4]Windows2019事件跟踪，https://docs.microsoft.com/en-us/windows/desktop/etw/event-tracing-portal 。 （ 在 线 ; 2019 年 5 月 25 日 访问）。[5]K.H.李，X。Zhang，L. Xu，LogGC：垃圾收集审计日志，in：Proceedingsof the2013 ACM SIGSAC Conference on Computer& Communications Security，ACM，2013，pp. 1005-1016[6]S.T.金，P.M.陈，回溯入侵，Oper。37（5）（2003）223-236。[7]A. Goel，K. Po，K. Farhadi，Z. Li，E.德拉拉，泰瑟枪入侵恢复系统，操作。39（5）（2005）163-176。[8]S.妈，X。Zhang，L. Xu，ProTracer：通过日志记录和污染之间的交替实现实际的起源跟踪，在：网络和分布式系统安全研讨会论文集，NDSS，2016年。[9] Z. Xu，Z. Wu，Z. Li，K. Jee，J. Rhee，X.肖氏F. Xu，H. Wang，G. Jiang，Highfidelity data reduction for big data security dependency analyses， in：Proceedingsofthe2016ACMSIGSACConferenceonComputerandCommunications Security，ACM，2016，pp. 504-516[10] M.N. Hossain ， J.Wang， O.魏 斯 河 Sekar ， D.根 金 湾 他 ， S. D。 Stoller ，G.Fang，F.Piessens，E.Downing等人，用于可扩展取证分析的依赖性保留数据压 缩 ， 在 ： 第 27 届 USENIX 安 全 研 讨 会 ， USENIX Security 18 ， 2018 ，pp.1723-1740年。[11] Y. Tang，D. Li，Z. Li，M. Zhang，K. 天啊X 肖，Z. Wu，J. Rhee，F. 徐，智-地Li，NodeMerge：基于模板的大数据因果关系分析的有效数据简化，在：2018年ACM SIGSAC计算机和通信安全会议论文集，ACM，2018年，pp.1324-1337年。[12] P. Gao，X.肖，Z. Li，F. Xu，S.R. Kulkarni，P. Mittal，AIQL：从系统监控数据中实现有效的攻击调查，在：2018年USENIX年度技术会议，USENIX ATC 18，USENIX，2018年，pp. 第113-126页。[13] P. Gao，X. Xiao、肖氏叶蝉D. Li，Z. Li，K. 天啊Z 吴正亨<英>香港实业家。，1937--人 金先生 Kulkarni，P. Mittal，SAQL：用于实时异常系统行为检测的基于流的查询系统，见：第27届USENIX安全研讨会，USENIX Security 18，USENIX，2018年，pp. 639-656[14] K.H.李， X。Zhang， L. Xu， High accuracy attack provenance via binary-basedexecution partition ， in ： Proceedings of the Network and Distributed SystemSecurity Symposium，NDSS，2013。[15] D.J. Pohly，S.作者：McLaughlin，P. Butler，Hi-Fi：收集高保真全系统出处，收录于：第28届计算机安全应用年会论文集，ACM，2012年，pp. 259-268.O. 塞泰耶什法尔角Adkins，M.Jones等人软件影响8（2021）1000684[16] A. Bates，D.J. Tian，K.R. Butler，T. Moyer，Linux内核的可信赖全系统来源，第24届USENIX安全研讨会，USENIX Security 15，2015年，pp. 319-334[17] K.- K. Muniswamy-Reddy，D.A. Holland，U.布劳恩，M. I. Seltzer，Provenance-aware storage systems ， in ： USENIX Annual Technical Conference ， GeneralTrack，2006，pp. 43-56号。[18] Elasticsearch B.V.，Elasticsearch，2019，https://www.elastic.co/。（在线;于2019年5月25日生效[19] B. 德布纳特，M。Solaimani，M.A.G.Gulzar，N.阿罗拉角Lumezanu，J. 徐湾，澳-地宗，H. Zhang，G.江湖，澳-地Khan，LogLens：实时日志分析系统，2018年IEEE第38届分布式计算系统国际会议，ICDCS，IEEE，2018年，pp。1052-1062.[20] M.阿布奥德角Adkins，O. Setayeshfar，P. Doshi，K.H. Lee，一种新的基于人工智能的方法，用于识别蜜罐中的网络攻击，在：IAAI-2021，AAAI，2021。[21] A. Shinde，P. Doshi，O. Setayeshfar，网络攻击意图识别和使用因子化交互式pomdps的主动欺骗，在：第20届自治代理和多代理系统国际会议论文集，自治代理和多代理系统国际基金会，2021年。[22] Plaso，2019，https://plaso.readthedocs.io/en/latest/。（在线; 2019年5月25日访问）。[23] 刘易斯技术咨询，LLC，公司简介虚拟机 分布，分布tion，2019，https://github.com/philhagen/sof-elk/blob/master/VM_README.md. （在线; 2019年5月25日访问）。[24] 工作单位哈桑S。Guo，L. Li，Z. Chen，K.天啊Z Li，长穗条锈菌A. Bates，NoDoze：使用自动来源分类对抗威胁警报疲劳，在：NDSS，2019年。[25] CarbonBlack，Inc.CBLiveOps，2019，https://www.carbonblack.com/products/cb-liveops/.（在线; 2019年5月25日访问）。[26] T. Kim，X. Wang，N. Zeldovich，M.F. Kaashoek，使用选择性重新执行的入侵恢复，在：第九届USENIX操作系统设计和实现会议论文集，OSDICA ， USA ， 2010 ， pp. 89-104 ， URL http://dl.acm.org/citation.cfm?id=1924943。1924950。[27] S.T. King，Z.M.毛泽东 Lucchetti，P.M. Chen，Enriching intrusion alerts throughmulti-host causality ， in ： Proceedings of the Network and Distributed SystemSecurity Symposium，NDSS，2005.[28] S. Krishnan ， K.Z. 斯 诺 ， F 。 Monrose ， Trail of Bytes ： Efficient Support forForensic Analysis，in：E. Al-Shaer，A.D. Keromytis，V. Shmatikov（编辑），Proceedings of the 17th ACM Conference on Computer and CommunicationsSecurity， CCS 2010， Chicago ， Illinois ， USA， October 4-8， 2010， ACM ，2010，pp.50//dx.doi.org/10.1145/1866307.1866314网站。[29] S. Ma ， J.Zhai ， F. Wang ， K.H. 李 ， X 。 Zhang ， L. Xu ， MPI ： MultiplePerspectiveAttackInvestigationwithSemanticAwareExecutionPartitioning，in：26th USENIX Security Symposium，USENIX Security 17，2017，pp.1111-1128[30] Y. Kwon，F.Wang，W.Wang，K.H.李，W.-C. 李，S。妈，X。Zhang，L.Xu，S.杰哈G.F. Cretu-Ciocarlie，A. Gehani，V. Yegneswaran，MCI：基于模型的因果关系推理在攻击调查的审计日志中，在：网络和分布式系统安全研讨会论文集，NDSS，NDSS[31] S. Ma，J.Zhai，Y. Kwon，K.H.李，X。Zhang，G. Ciocarlie，A.格哈尼河谷Yegneswaran，D. Xu，S. Jha，Kernel-supported cost-effective audit loggingfor causality tracking ， in ： 2018 USENIX Annual Technical Conference ，USENIX ATC 18，USENIX Association，Boston，MA，2018，pp.241-254，URL https：//www. usenix.org/conference/atc18/presentation/ma-shiqing网站。[32] Y. Kwon，D. Kim，W.N. Sumner，K. 金湾 Saltaformaggio，X. Zhang，L. Xu，LDX ： Causality inference by lightweight dual execution. Conte ， Y.Zhou（ Eds. ） ， Proceedings of the Twenty-First International Conference onArchitectural Support for Programming Languages and Operating Systems ，ASPLOS '16 ， Atlanta ， GA ， USA ， April 2-6 ， 2016 ， ACM ， 2016 ， pp.503http://dx.doi.org/