27从安全论坛中提取可操作的信息朱宾·加里布沙加州大学河滨jghar002@ucr.edu加利福尼亚州里弗赛德摘要这项工作的目标是系统地从黑客论坛中提取信息，这些论坛的信息通常被描述为非结构化的：帖子的文本不一定遵循任何写作规则。相比之下，许多安全倡议和商业实体正在利用现成的公共信息，但它们似乎专注于结构化的信息源。在这里，我们专注于分析安全论坛中的文本内容的问题。一个关键的新颖之处在于，我们使用用户配置文件和上下文特征以及迁移学习方法和嵌入空间来帮助我们识别和改进我们无法通过简单分析从安全论坛 我们从5个不同的安全论坛收集了大量数据。我们的工作的贡献是双重的;（a）我们开发了一种方法来自动识别通过论坛的恶意IP地址（b）我们还提出了一个系统的方法来识别和分类用户指定的兴趣线程分为四类。我们进一步展示了这些信息如何为论坛中的知识提取提供信息。 随着网络战争越来越激烈，尽早获得有用的信息变得更加迫切，以消除黑客的先发优势，我们的工作是朝着这个方向迈出的坚实一步。关键词安全论坛，文本分析，词嵌入，迁移学习ACM参考格式：乔宾·加里波沙2019年。从安全论坛中提取可操作的信息。在2019年万维网大会（WWW '19Companion）的配套程序中，2019年5月13日至17日，美国加利福 尼 亚 州 旧 金 山 。 ACM ， 美 国 纽 约 州 纽 约 市 ， 6 页 。https://doi.org/10.1145/3308560.33141971引言安全论坛隐藏了大量信息，但挖掘这些信息需要新颖的方法和工具。 这个问题是由实际力量驱动的：有一些有用的信息可以帮助提高安全性，但数据量需要自动化的方法。面临的挑战是，有很多“噪音”，缺乏结构，以及大量的非正式和匆忙撰写的文本。 与此同时，安全分析师需要接收集中和分类的信息，这可以帮助他们进一步转移任务。在这里，我们专注于一个具体的问题。特别是，我们希望从黑客/安全论坛提取尽可能多的有用信息，以便（可能提前）检测潜在的恶意攻击。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2019 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-6675-5/19/05。https://doi.org/10.1145/3308560.3314197安全分析师感兴趣的IP地址和线程等内容在这项研究中，我们希望分析文本，以确定和分类的内容感兴趣。这里的两个兴趣点是IP地址和用户指定的安全讨论线程。例如，描述黑客教程或宣布新出现的攻击的线程。在第一个折叠中，我们识别和描述了安全论坛文本中提到的IP地址我们在这里解决的问题是找到论坛中被报告为恶意的所有IP地址。换句话说，输入是论坛中的所有帖子，预期输出是恶意IP地址列表。有趣的是，正如我们在第一次研究中所展示的那样[4，5]，并非所有报告的IP地址都是恶意的，这使得分类成为必要。事实证明，这是一个两步问题。首先，我们需要解决IP识别问题：将IP地址与其他数字实体（如软件版本）区分开来。其次，我们需要解决IP特征化问题：将IP地址特征化为恶意或良性。识别问题的程度让我们大吃一惊：我们发现1820个非地址点小数，作为其关键的新颖性，我们的方法通过利用简单的迁移学习技术，最大限度地减少了对人为干预的需求。首先，一旦初始化了少量的安全论坛，它就不需要额外的训练数据来挖掘新的论坛。其次，它解决了识别和表征问题[6]。在第二折，我们提出了一个系统的方法来识别和分类的线程的基础上嵌入的方法。我们考虑两个相关的问题，共同提供了一个完整的解决方案，这个问题。首先，输入是论坛的所有数据，并且用户通过提供一个或多个感兴趣的词袋来指定其兴趣。可理解地，提供关键字对于用户来说是相对容易的任务目标是返回用户感兴趣的所有线程，我们使用术语“相关”来表示这些线程。我们用识别这个术语来指这个问题。这里的一个关键挑战是如何创建一个健壮的解决方案，该解决方案不会对潜在重要关键字的遗漏过于敏感。第二，我们为问题增加了一层复杂性为了进一步方便用户，我们希望将相关线程分组到类中。我们利用嵌入域捕捉相似性和上下文的词来表示在多维空间。我们把这一步称为特征化问题。给定一个安全论坛，我们希望提取安全分析师感兴趣的线程。2相关工作我们总结了相关的工作归类为相关领域28∈−a. 从安全论坛中提取和分类实体最近，有几项努力侧重于在安全论坛上提取感兴趣的实体。有一个主要的努力，研究IP地址和安全论坛[3]。在其中，他们专注于加拿大IP地址在论坛中的spatiotemporal属性，而不采用任何识别和分类方法，这是我们工作的重点。各种努力试图从安全论坛提取其他类型的信息。最近的一些研究通过关注其可用性和价格来识别安全论坛中的恶意服务和产品[13，15]。另一项有趣的工作[18]使用了一种单词嵌入技术，专注于识别漏洞和漏洞。其他的努力研究安全论坛的用户，将他们分成不同的类，并确定他们的角色和社会互动[7，16，21]。b. 迁移学习。有大量关于迁移学习的文献[1，2]和一些很好的调查[20]，这启发了我们的方法。然而，据我们所知，我们还没有找到任何工作，解决相同的特定领域的挑战，或使用我们的方法，我们在3c. NLP、Bag-of-Words和Word Embedding技术。自然语言处理是一个广阔的领域，即使是最近的方法，如词嵌入也受益于大量的研究[10，12，17，19]。3方法在本节中，我们将解释所提出的方法，以解决我们的研究的每一个方面。3.1分析IP地址在这里，我们在安全论坛上提出了两个关于IP地址的问题，并解释了我们的解决方案。3.1.1IP地址识别问题。 我们描述了我们提出的方法来识别论坛中的IP地址。IP地址格式。论坛中的绝大多数IP地址都遵循IPv4点十进制格式，由范围[0-255]内的4个十进制数字组成，并以点分隔。我们可以正式表示点十进制表示法如下：IPv4 [x1. X2. x3。x4]，其中xi[0 225]，其中i=1， 2， 3， 4。请注意，较新的IPv6地址由八组四个十六进制数字组成，我们的算法也可以轻松扩展到这种格式。目前，它们已经超出了这项研究的范围挑战：点十进制格式是不够的。 如果IP地址是这种格式论坛中唯一的数字表达式，那么识别问题可以通过简单的文本处理和命名实体识别（NER）工具（如斯坦福NER模型）轻松解决。然而，还有许多其他数值表达式，它们可能被错误地分类为地址，如软件版本和系统日志。为此，我们提出了一种解决IP识别问题的方法，一种有监督的学习算法。 我们首先确定感兴趣的特征，如下所述。然后，我们使用逻辑回归方法训练分类器，在使用10倍交叉验证的几种方法中给出了最好的结果，正如我们在前一节中所描述的那样。特征选择。我们在分类中使用三组特征a. 上下文信息（TextInfo）：受人类如何确定答案的启发，我们专注于点十进制结构周围的单词例如，“服务器”或“地址”这两个词意味着小数在我们的分类中，我们考虑了点十进制结构前后周围单词的频率。b. 点十进制的数值（DecimalVal）：我们使用点十进制结构中四个数字的数值作为特征。 其理由是，非地址，如软件版本，往往有较低的数值。 这种洞察力是基于我们与数据的密切互动。c. 组合集（混合）：我们将两个特征集结合起来创建，以利用它们的识别能力。我们看到使用Mixed优于其他两个功能集。3.1.2IP地址特征化问题。 我们开发了一个监督学习算法来描述IP地址。在这里，我们假设我们有标记的数据，我们将在3.1.3节中讨论如何处理不存在地面真值的情况。我们首先确定我们下面讨论的适当的特征集。然后我们训练一个分类器。角色化问题的特征集。我们认为，sider和评估两套功能在我们的分类。a. 文章的文本信息：PostText我们使用文章中的单词及其出现频率在这里，我们再次使用TF-IDF技术，通过考虑其整体频率来更好地估计单词的判别值。b. 上下文信息集：ContextInfo。我们考虑一个扩展的功能集，既包括PostText功能，也包括文章作者的功能这些特征捕捉了作者的个性，包括发帖频率、平均帖子长度等。这些特征在我们早期的工作中引入[4]，其基本原理是分析帖子的作者可以帮助我们推断他们的意图和角色，从而改进分类。我们看到，通过单独使用PostText功能，我们获得了稍微好一点的结果。3.1.3迁移学习与交叉播种识别和表征。 在这两个引入的问题中，我们面临着以下难题：a. 当用论坛特定的地面实况训练分类器时，分类效率更好，但是，b. 要求新论坛提供地面实况将引入人工干预，这将限制这一方法的实用价值。我们建议通过利用迁移学习方法进行跨论坛学习[2，14]。我们使用术语源域和目标域来表示两个论坛，目标论坛没有地面实况可用。我们提出了一个算法，这将有助于我们通过使用旧的分类器来创建训练数据，为目标论坛开发一个新的分类器，如下所述。我们的交叉播种方法。我们建议按照以下四个步骤为目标论坛创建训练数据。a. 域适应。这一步的主要作用是确保源分类器可以应用于目标论坛。在我们的例子中，主要问题是功能集在不同的论坛中可能会有所不同。29回想一下，对于这两个分类问题，我们使用单词的频率，这些单词在论坛中可能会有所不同我们采用了一种适用于文本分类的既定方法[2]：我们采用源论坛和目标论坛的特征集的联合正如我们后面看到的，这种方法在我们的例子中似乎工作得很好。b. 为目标论坛创建种子信息在解决了任何潜在的特征差异之后，我们现在可以将分类器从源论坛应用到目标论坛。我们通过选择分类置信度高的目标域的实例来创建播种数据。大多数分类方法为每个分类实例提供了置信度度量，我们将在第4节中重新讨论这个问题。c. 为目标论坛训练一个新的分类器。有了种子信息，我们直接训练分类器d. 在目标论坛上应用新的分类器 在最后一步中，我们将新训练的论坛特定分类器应用于目标论坛。3.2分析感兴趣的线程我们描述了我们的方法来分析用户指定的线程感兴趣的第一个识别，然后分类这样的线程。3.2.1识别感兴趣的线程我们提出了我们的方法，从用户提供的关键字集开始选择相关的线程。我们的方法包括以下阶段：（a）关键字匹配阶段，我们使用用户定义的关键字来识别包含这些关键字的相关线程，以及（b）基于相似性的阶段，我们识别与上面识别的线程“相似”的线程如我们稍后描述的，在词嵌入空间处建立相似性阶段1：基于关键字的选择给定一组或多组关键字，我们确定这些关键字出现的线程一个简单的文本匹配方法可以区分所有出现这样的关键字在论坛线程。更详细地说，我们遵循以下步骤：步骤1：用户提供一组或多组关键字，这些关键字捕获用户感兴趣的主题。拥有关键字集使用户能够指定概念的组合例如，在我们的案例中，我们使用以下集合：（a）与黑客有关，（b）表现出关注和激动，（c）搜索和提问。第二步：我们计算每个关键字在所有线程中的出现频率。这可以通过弹性搜索或任何其他简单的实现轻松完成第3步：我们确定相关的线程，因为线程包含来自每组关键字的足够数量的关键字。这可以通过每组关键字的阈值来定义第二阶段：基于相似性的选择我们提出了一种方法来提取额外的相关线程的基础上，其相似性现有的相关线程。在下面的步骤中，输入是一个论坛，一组关键字和一组相关的线程，如上面基于关键字的阶段所识别的。步骤1. 确定嵌入空间。我们使用单词嵌入方法将每个单词投影为m维空间中的一个点[12]。因此，每一个单词都由向量表示，m维。步骤2.突出的螺纹。 我们在一个适当构造的多维空间中投影所有线程：从基于关键字的选择中选择的相关线程和未选择的线程。线程投影是其单词向量的函数，并捕获其单词向量的平均值和最大值[17]。步骤3.识别相关线程。 我们在未被选择的线程中识别出更多的相关线程，这些线程与线程嵌入空间中的相关线程“足够接近”，并且具有余弦相似性度量。在线程级别使用相似性的优点是，线程相似性可以检测到高级别的相似性，而不是关键字匹配。因此，我们可以识别不需要显示关键字，但使用其他单词表示相同“概念”的线程。3.2.2分类感兴趣的线程 我们提出了我们的方法来分类相关的线程到用户定义的类的基础上嵌入表示的话，也上下文功能。给定一个线程，我们根据上一节提出的方法计算它在嵌入空间中的投影。近年来，嵌入方法已被应用于文本分类中.使用上下文功能。除了论坛中的单词及其嵌入，我们还可以考虑其他类型的特征，我们称之为线程的上下文特征。 人们可以想到各种这样的特征，但这里我们列出了我们在评估中使用的特征：（1）新行数，（2）文本长度，（3）线程中的回复数（第一个帖子之后的帖子），（4）回复中的平均新行数，（5）回复的平均长度，以及（6）用户提供的每个词袋集合的单词的聚合频率。这些特征捕获线程中的帖子的上下文属性，并且提供不一定由线程中的单词捕获的附加信息。经验上，我们发现，这些功能，提高分类精度显着。引入这些功能的灵感来自于对立柱和螺纹的手动检查例如，我们观察到Hacks和Experience通常比其他帖子更长此外，Hacks线程包含大量的换行符。一个有趣的问题是，当与基于单词的特征结合使用时，评估这些指标的价值4实验结果4.1数据抓取和标签我们从五个不同的论坛收集了数据，这些论坛涵盖了广泛的兴趣和目标受众。 我们在表1中列出了我们论坛的基本统计数据。 我们已经开发了一个高效和可定制的基于Python的爬虫，它可以用来抓取在线论坛，它可以是独立的兴趣。为了验证我们的分类方法，我们将研究的每个折叠的数据标记为：在对IP地址的分析中，对于识别问题，我们找不到任何外部的信息源和基准。为了建立我们的基础事实，我们选择了点十进制表达式30复，复，复。使用Wilder基本交叉种子要分类的安全性基本交叉种子召回率100 10080 8060 6040 40表1：我们论坛的基本统计数据200OCHTEH数据集(a) 精度200OCHT EH数据集(b) 召回均匀随机，我们使用四个不同的个体进行标记。对于表征问题，我们利用VirusTo-tal网站，它通过聚合来自许多其他此类数据库的信息来维护恶意IP地址的数据库。我们还通过人工检查提供二级验证。在利益分析的主线中，我们需要groundtruth来做培训和验证。我们随机挑选了450名图1：识别：交叉播种提高了在每个论坛的相关主题中，(a) 精度(b) 召回识别部分。 标签涉及基于我们上面列出的四个类别的定义和示例的三次手动评估。4.2IP地址分析结果我们评估了我们的方法，重点是交叉播种的性能的识别和表征问题。我们使用逻辑回归作为我们的分类引擎，它比其他几个引擎表现得更好，包括SVM，贝叶斯网络和K-最近邻。 在交叉播种中，我们使用逻辑回归的预测概率，阈值为0.85，以在足够的置信水平和足够数量的高于该阈值的实例之间取得平衡。A. IP识别问题。 在这个问题中，我们的分类方法在我们所有的网站上平均表现出98%的准确率和96%的召回率，当我们为每个论坛进行地面实况训练时。识别：95%的精度与交叉播种和外执行基本。 我们表明，我们的交叉训练方法是有效的领域之间的知识转移。我们使用WildersSecurity的分类器，并使用它对其他三个论坛进行分类，即OffensiveCommunity，EthicalHackers和HackThisSite。在图1中，我们展示了使用Basic（在目标论坛上使用来自源论坛的分类器）和Cross-Seeding进行交叉训练的准确率和召回率结果。我们看到交叉播种显著提高了精确度和召回率。例如，对于HackThisSite，交叉播种将准确率从57%提高到79%，召回率从60%提高到78%。在图1所示的实验中，交叉播种平均将精确率提高了8%，召回率提高了7%。平均准确率从88%提高到95%，平均召回率从85%提高到97%。B. IP特性问题。我们评估我们的方法解决表征问题，而无需每个论坛的训练数据。 我们可以在所有论坛上平均达到93%的准确率和92%的召回率，当我们为每个论坛训练地面实况时。a. 特 性 ： 交 叉 播种 平均精度达88%，优于基本 型. 使用OffensiveCommunity作为源代码，我们将WS，HackThisSite和Darkode分类如下所示图2：特征化：交叉播种提高了精确度和召回率。使用OffensiveCommunity作为源。在图2中我们的交叉播种方法平均可以提供88%的准确率和82%的召回率。通过使用OffensiveCommunity作为我们的来源，我们发现与Basic方法相比，Cross-Seeding在论坛上平均提高了28%的准确率和16%的召回率我们还观察到这种改进是实质性的：交叉播种在所有情况下都提高了准确率和召回率b. 使用更多的源论坛可以显著提高交叉播种的性能。 我们量化的效果有一个以上的来源论坛的分类准确性的一个新的论坛。我们使用和WildersSecurity作为我们的培训论坛，我们使用Cross-Seedingfor OffensiveCommunity ， HackThisSite 和Darkode。首先，我们一次使用一个源论坛，然后一起使用。我们评估了拥有两个源论坛比每个目标网站拥有一个论坛的平均改进使用两个源论坛平均提高了13%的分类精度和17%的召回率。4.3产生感兴趣的线索分析我们提出了我们的实验结果和评估我们的方法在分析线程的兴趣。我们使用表1中列出的三个论坛（Offen-siveCommunity，HackThisSite）和groundtruth，我们在第4.1节中解释过。关键字集：我们考虑了三个关键字集来捕获相关线程。 这些关键词集是：（a）黑客相关，（b）表现出关注和激动，（c）搜索和质疑。我们收集了三组300个关键词。我们从一个小的核心关键字组开始，通过添加它们的使用thesaurus.com和Google嵌入参数：我们将窗口大小设置为10，并尝试了几个不同的值作为50-300之间的嵌入维度，我们发现m=100具有最高的准确度值。相似性阈值：相似性阈值决定了识别相似线程的“选择性”，正如我们在前一节中所描述的。 我们发现，在我们尝试的所有不同值中，0.96的值效果最好。100基本交叉种子100基本交叉种子808060604040202000WSHTEHDKWSHTEHDK数据集数据集精度百分比精度百分比召回率威尔德安全局犯罪通讯 HackThisSite EthicalHackers Darkode员额30271025538841255417675491线程286613542850487457563用户148365549590429702400点十进制43257850148615911097发现IP3891673412311330108231嵌入+结构嵌入我们的分类器。 我们使用随机森林作为我们的分类引擎，它比我们检查的其他几个引擎表现得更好，包括SVM，神经网络和K-最近邻。 由于篇幅所限，未列出结果。基线方法。 我们评估我们的方法对其他三个国家的最先进的方法，我们简要描述如下。词袋（BOW）：这种方法使用词频（更准确地说是TFIDF值）作为其主要特征[4，8]。非负矩阵分解（NMF）：该方法使用线性代数将高维数据表示为低维空间，以捕捉数据的潜在特征[11]。快速文本（FT）：有一系列方法使用word2vec作为其基础，并使用最近提出的方法[9]。我们提出了我们提出的方法的结果我们基于相似性的方法对初始关键字的数量是鲁棒的。 我们评估了关键词的数量对基于相似度的方法的影响。在图3中，我们展示了每种识别方法对OffensiveCommunity的初始关键词集的鲁棒性。通过添加60个关键字，从240到300，基于关键字的方法识别25%以上的线程，而基于相似性的方法只有7%的增量。EB超越了竞争对手。表2总结了三个论坛的基线方法和基于嵌入的方法（EB）之间的比较。 EB始终优于其他基线方法，准确性至少为1.4个百分点，F1评分为0.7个百分点。 注意，方法BOW和NMF没有正确地将任何实例分配给少数类，因此表2中的F1分数值报告为NA。 尽管EB优于其他最先进的方法，但在未来的工作中，我们正在寻找可能的方法来将类标签纳入嵌入表示中，以提高分类任务的性能。数据集度量弓NMFfastTextEB犯罪通讯精度75.374.274.875.4F1分数NANA72.674.5HackThisSite精度66.672.469.774.6F1分数NA7065.772EthicalHackers精度59.958.259.961.1F1分数NA57.258.959.5表2：分类：四种方法在10倍交叉验证中分类螺纹的性能60050040030020010001501752102402703005.结论和今后的工作在安全论坛中有丰富的信息，但是，尽管最近有几个有前途的作品，但安全论坛的分析仍处于起步阶段。我们提出了一种新的方法来识别和分类的IP地址和线程的兴趣张贴在安全论坛。在未来，我们计划通过提取其他类型的安全信息来扩展我们的工作我们未来的计划包括：a）在嵌入域中考虑类标签以提高嵌入性能数量的关键词图3：相似性方法对初始关键字的鲁棒性：相关线程的数量作为OffensiveCommunity关键字数量的函数。这些特征改善了所有方法的分类。我们在分类部分简要讨论了这些特征 我们对所有四种算法进行了具有和不具有这些特征的实验，并在图4中显示了OffensiveCommunity的结果。在我们的分类中包括结构特征提高了所有方法的准确性（平均2.3%）。最大的受益者是词袋法，其准确率提高了大约6%。80757065BOW NMF FastText EB图4：OffensiveCommunity中10倍交叉验证中两个不同特征集的分类精度。分类中的性能b）开发一种技术，以自动从安全论坛中提取关键字，以闭合基于给定关键字的内容识别和分类的循环6致谢我要感谢我的博士生导师Michalis Falout-sos教授在过去四年中对我的引用[1] 戴文源等2007年促进迁移学习（ICML New York，NY，USA，193-200.[2] 哈尔·道姆三世2007年令人沮丧的简单域适应（ACL[3] R. Frank等人2016年。位置，位置，位置：在网上黑客论坛（EISIC '16）映射潜在的加拿大目标。[4] Joobin Gharibshah等人2017年。InferIP：从安全论坛中提取可操作的信息（ASONAM '17）。[5] Joobin Gharibshah等人2018年从安全论坛中挖掘可操作的信息：恶意IP地址的情况CoRRabs/1804.04800（2018）。[6] Joobin Gharibshah等人2018年RIPEx：使用跨论坛学习从安全论坛中提取恶意IP地址。在PAKDD 2018。查姆，517[7] Thomas J Holt等.2012年。检查恶意软件编写者和黑客的社交网络6，1（2012），891[8] Peng Jin等2016年。Bag-of-embeddings用于文本分类。 IJCAI国际人工智能联合会议2016-Janua（2016），2824-2830。[9] Armand Joulin等人2017年。高效文本分类的技巧包 在ACL2017。427-431[10] Quoc Le等.2014年。句子和文档的分布式表示（ICMLII-1188 II-1196[11] Daniel D Lee和H Sebastian Seung。一九九九年。通过非负矩阵分解学习对象的部分Nature401（1999年10月），788.[12] Tomas Mikolov等人2013年。向量空间中词表示的有效估计CoRRabs/1301.3781（2013）。关键词相似性的线程准确度百分比32[13] Marti Motoyama等人2011年。地下论坛（IMC'11）的分析 New York，NY，USA，71-80.[14] S. J. Pan和Q.杨2010年。迁移学习研究综述 IEEE Transactions onKnowledgeand Data Engineering 22，10（2010），1345-1359.[15] 丽贝卡·SPortnoff等人2017年。网络犯罪市场自动分析工具（WWW '17）。10.[16] S. Samtani等人2015年。在地下论坛中探索黑客资产（ISI[17] Dinghan Shen et al. 2018.基线需要更多的爱：关于简单的词嵌入模型和相关的池机制。在ACL 2018。[18] Nazgol Tavabi et al. 2018. DarkEmbed：Exploit Prediction withNeuralLanguage Models.在IAAI2018。[19] Guoyin Wang et al.2018年用于文本分类的词和标签的联合嵌入。在ACL2018。2321-2331。[20] Karl Weiss等人2016年。迁移学习研究综述Journal of Big Data3，1（2016年5月28日），9.[21] Xiong Zhang et al.2015年。 根据知识交换行为对黑客进行分类。Info.Systems Frontiers 17，6（2015）.
我的内容管理
展开
