欺诈性电子邮件特征选择与分类方法比较研究——埃及信息学杂志（2014年）15.

埃及信息学杂志（2014年）15，169开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com原创文章利用高级特征丰富度检测欺诈性电子邮件Sarwat Nizamania，b，*， Nasrullah Memona，c， Mathies Mendama，阮同阳a丹麦南方大学Mærsk McKinney Møller研究所，Campusvej 55，5220 Odense，Denmark巴基斯坦贾姆肖罗信德大学c巴基斯坦贾姆肖罗，梅塞德斯工程技术大学接收日期：2013年10月24日;修订日期：2014年7月7日;接受日期：2014年2014年8月13日在线发布摘要本文提出了一种基于高级特征选择的欺诈邮件检测模型。我们提取了各种类型的特征，并比较了每类特征的性能的功能与其他方面的欺诈性电子邮件检测率。不同类型的特征是逐步合并的欺诈性电子邮件的检测被认为是一个分类问题，并使用各种最先进的算法和CCM进行评估（Nizamani等人，2011）[1]这是作者以前的基于聚类的分类模型。在不同的特征集和不同的分类方法上进行了实验。结果的比较和评估表明，对于欺诈性电子邮件检测任务，无论分类方法如何，特征集都更重要。研究结果表明，欺诈性电子邮件检测的任务需要更好的选择特征集;而分类方法的选择则不那么重要。©2014制作和主办由Elsevier B.V.代表计算机与信息学院开罗大学。1. 介绍*通讯作者：The Mærsk McKinney Møller Institute，University ofSouthern，Denmark，Campusvej 55，5220 Odense，Denmark.电子邮件地址：saniz@mmmi.sdu.dk（新加坡）Nizamani）。开罗大学计算机和信息系负责同行审查。电子邮件被认为是一种方便的书面交流方式这个时代的阳。它被认为是一种经济、稳定、快速的通信方式.电子邮件消息可以发送到单个接收者或广播到组。一封电子邮件可以同时和立即到达多个接收者。如今，大多数人甚至无法想象没有电子邮件的生活。出于这些和无数其他动机，电子邮件也成为人们恶意交流的广泛使用的媒介[2]。1110-8665© 2014由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。http://dx.doi.org/10.1016/j.eij.2014.07.002制作和主办：Elsevier关键词分类;CCM;功能集;欺诈性电子邮件;垃圾邮件南170号Nizamani等人互联网的快速发展也大大增加了电子邮件用户的数量。与此同时，垃圾邮件的比率也有明显的上升。最近的一份统计报告显示，2014年第二周70%的电子邮件流量是垃圾邮件1。如前所述，欺诈性电子邮件检测被认为是分类问题，对电子邮件的研究集中在不同类别的电子邮件的分类上。根据电子邮件的目的，电子邮件可以分为许多组。它可以分为合法和非法[3]，垃圾邮件和火腿[4]，可疑和非可疑[2，5]，欺诈和正常，正式和非正式，可以进一步分为个人，家庭，朋友，业务，工作等。[3]的第11段。广义的非法电子邮件可以是：● 打扰接收者意味着接收者不感兴趣。● 这是为了欺骗的目的。● 它的目的是从接收者那里得到关键信息● 它可能含有病毒，损害接收者● 它可能会将接收者重定向到非法网站。如果一封电子邮件对接收者或社会没有价值，它就被认为是非法的。非法电子邮件可能包含不需要的消息，钓鱼电子邮件[6-8]，威胁消息，或包含一些可怕事件的计划，如恐怖袭击。电子邮件还有其他一些特点，可以匿名发送，而不会泄露发件人的身份。在本文中，我们提出了欺诈性电子邮件检测模型，通过采用各种功能，评估知名的分类算法。欺诈性电子邮件是一个未经请求的消息;接收者不感兴趣。它通常用于欺骗目的。一些这些电邮的特点如下：通过提供奖品来表示欢迎。包含财务术语，如金钱、份额、百分比。包括律师等术语，并讨论一些关系。请收件人尽快联系可能会谈论一些人的死亡，并给予贪婪的接收器。在本文中，我们采用了增强功能设计的欺诈性电子邮件检测。欺诈性电子邮件通常是为了欺骗接收者的诱惑和显示无助，以获得同情。我们的数据集包括我们认为具有欺骗性的电子邮件和我们认为正常的电子邮件。考虑到电子邮件的性质，我们使用了可以识别此类电子邮件的功能，我们指定了。我们使用不同的特征集进行了实验这些实验是使用众所周知的开源机器学习工具WEKA进行的[12]。本文的主要内容如下：第二节讨论了相关的工作，第三节介绍了欺诈邮件检测模型。实验结果表明，1https://www.securelist.com/en/analysis/204792327/Spam_report_2014年1月。在第4节。最后，第5节总结了本文以及未来的发展方向。2. 相关工作与本研究报告有关的工作分为几类。欺诈邮件是非法邮件的一种，本文主要针对垃圾邮件、可疑邮件和钓鱼邮件等非法邮件的检测进行研究。此外，关于非法电子邮件的另一个研究维度被认为是匿名电子邮件的作者身份识别。我们还介绍了一些电子邮件作者身份识别的文献概述。2.1. 垃圾邮件检测垃圾邮件是非法的电子邮件，接收者是不感兴趣的。垃圾邮件是未经请求的电子邮件，通常是批量发送的。垃圾邮件的发送通常有不同的意图，但广告和欺诈被认为是主要的原因。垃圾邮件检测通常被认为是这是一个分类任务。据信，没有这样的技术，可以提供完整的解决方案，对垃圾邮件。Youn和McLeod[13]对用于垃圾邮件检测的各种分类方法进行了比较研究。在比较研究中，作者使用了朴素贝叶斯，SVM，J48和神经网络分类技术。作者得出结论，J48分类是一种适用于垃圾邮件检测任务的技术，因为该技术产生了有希望的结果。在另一项研究中，Youn和McLeod[14]提出了一种基于本体的垃圾邮件过滤方法。作者使用J48算法来制定规则以生成本体的概念。Renuka和Hamsapeur[15]的研究采用词干分析而不是简单的基于内容的单词来检测垃圾邮件。作者表明，基于词干的方法比基于内容的方法。应该注意的是，Youn和McLeod[14]强调使用基于词干的方法，因为作者认为垃圾邮件发送者使用拼写错误来欺骗基于关键字的垃圾邮件检测过滤器。最著名的垃圾邮件检测过滤器[16]被微软outlook作为一个插件使用贝叶斯定理，并使用基于关键字的方法来检测垃圾邮件。2.2. 可疑电子邮件检测可疑电子邮件是另一类非法电子邮件。可疑的电子邮件是那些包含一些值得怀疑的材料。例如，电子邮件可能包含一些关于某些非法活动的文本;威胁电子邮件;或者它可能包含某些值得分析的材料。可疑电子邮件被认为是那些包含有关某些非法活动的线索，需要由执法机构进一步调查的电子邮件。有一些证据表明，在9/11事件发生之前，有可疑的电子邮件往来[23]。在文献中，研究人员也有●●●●●通过使用高级特征丰富度检测欺诈性电子邮件171导致了可疑电子邮件检测这一敏感问题。Nizamani等人的研究[2]提出了基于增强特征选择的可疑电子邮件检测模型。作者采用了此外，作者强调了特征选择的使用，以检测可疑的电子邮件。Appavu等人的研究。[5]将关联规则挖掘应用于可疑电子邮件检测任务。在文章[5]中，作者添加了一类特殊的可疑电子邮件作为警报或使用动词的信息。一封电子邮件被认为是可疑的，如果除了关键字之外，它还包含未来时态，将其视为未来可疑活动的警报。应该指出的是，在文章[2，5]中，考虑的可疑电子邮件是与恐怖主义有关的电子邮件，这些电子邮件提供了有关未来恐怖主义行为的一些线索。2.3. 网络钓鱼电子邮件检测网络钓鱼邮件是一类专门的非法邮件，其目的是从邮件接收者那里获取有用的信息。网络钓鱼问题被认为是一个安全和隐私问题[6]。网络钓鱼问题被认为是一个很难解决的问题，因为攻击者可以很容易地复制网站，这可能类似于用户的合法银行[7]。网络钓鱼电子邮件是计划从接收者获取关键信息的电子邮件关键信息包括用户名、密码、信用卡详细信息、银行账户信息等。这些电子邮件类似于来自可信赖网站的电子邮件。电子邮件包含这样的文本，接收者立即转向通过点击电子邮件中提供的链接来回复电子邮件或发送回复中的关键信息Alasekaran等人[8]，在他们的研究中，将网络钓鱼电子邮件检测视为一个分类问题，并使用样式生成器和结构特征，并应用SVM分类方法来检测网络钓鱼电子邮件。2.4. 电子邮件作者身份识别电子邮件作者身份识别被认为是通过分析可疑作者过去的电子邮件来识别电子邮件最可能的作者的任务[17]。Li等人[18]强调了书面印刷品对预防网络犯罪的重要性作者们认为，对于识别现实生活中的罪犯来说，书写指纹和指纹一样重要。作者[19]提出了一种基于写-印的模型，用于挖掘电子邮件中的频繁模式，以便唯一地识别电子邮件的作者。Nizamani和Memon[20]提出了模型CEAI，这是一种基于CCM的电子邮件作者身份识别模型。在这项研究中，作者采用了传统的风格特征及其扩展的特征集，并取得了令人满意的结果。3. 检测欺诈性电子邮件这项研究的目的是将欺诈性电子邮件与正常电子邮件分开，目的是让接收者不会在适当的时候受到欺诈性电子邮件的影响。欺诈性电子邮件通常包含某些词语，即接收者立即执行有害的特定操作并导致欺诈。应该注意的是，在本文中，我们认为欺诈性电子邮件的检测是一个分类问题。对于任何分类问题，都需要一个特征集和一个分类算法。我们将原始电子邮件作为输入，并在训练中为每封电子邮件分配标签/类别欺诈或正常。欺诈性电子邮件检测过程根据图1所示的架构工作。1.一、欺诈邮件检测的体系结构由六个模块组成，这些模块作为任务的集合工作。每个模块的功能如下所述输入模块：该模块负责接收电子邮件内容作为原始输入。该模块中的电子邮件包含电子邮件的各个部分，如邮件头和正文。内容提取器：该架构的此模块提取电子邮件的内容，例如主题和正文。电子邮件的主题部分是从电子邮件的标题中提取的，而正文是作为一个整体提取的。之所以只提取邮件的主题和正文，是因为这两部分包含了邮件的正文，而正文往往描述了欺诈邮件的特征。此模块使用Java代码实现，它从原始电子邮件中提取电子邮件内容并将其保存为逗号分隔值（CSV）文件格式。特征构建引擎：一旦电子邮件的内容可用，特征构建引擎就会建立各种特征集，这些特征集是根据经验设计的，并且在各种欺诈性电子邮件中发现。功能集分为不同的类别，这取决于电子邮件中考虑的欺诈类型。虽然，在目前的工作中，我们只将电子邮件分类为欺诈或正常，但也有可能进一步将欺诈电子邮件分类为不同的类别。特征构造引擎是用Java实现的。功能选择器：当不同的功能集可用时，并非所有功能都值得考虑用于欺诈性电子邮件检测任务。使用TF-IDF[21]方案为所有特征分配权重。然后将特征分为与财务相关和与家庭相关。将这两种类型的特征分开的原因是为了评估它们在欺诈性电子邮件中的使用。对欺诈电子邮件的分析显示，大多数欺诈电子邮件包含家庭和财务相关的术语。对电子邮件中的频繁术语进行了分析。然后将这些术语归类为不同的集合。然后在这些特征集上训练分类模型，这些特征集给出了有希望的结果。欺诈性电子邮件检测器：该模块将分类算法应用于特征选择器模块选择的特征。用于分类的各种算法使用机器学习工具WEKA[24]，这是该领域研究社区广泛使用的开 源 工 具 。 用 于 欺 诈 电 子 邮 件 检 测 的 算 法 包 括 ：SVM[10]，J48[11]，Naive Bayes[9]和CCM（基于聚类的分类模型）[1]。22每种方法的细节将在后面的章节中提供第一步：步骤2 ： 步骤 3 ：步骤4 ： 步骤 5 ：步骤6 ： 步骤 7 ：算法1输入电子邮件数据集E提取电子邮件内容从电子邮件内容构建特征集进行不同的特征选择对于每个特征集合Fi，对于每组分类算法Cj输出i，j=欺诈检测（E，Fi，Cj）显示输出i，j在第5步结束循“我是XYZ夫人，我是一个垂死的女人，我决定将我所拥有的一切捐给你，为人类的美好事业服务。我今年73岁，我被诊断出患有癌症后，我的丈夫谁离开了我的一切，他为我工作，我的医生告诉我，我不会活超过几个星期，因为我的健康状况，这就是为什么我决定将/捐赠我的钱给你慈善事业，并帮助穷人、孤儿、寡妇和慈善组织。我祝你一切顺利，愿上帝保佑你，请好好使用这笔钱，永远记住把好的工作扩展到其他人。''南172号Nizamani等人图1欺诈性电子邮件检测体系结构。输出：该模块根据所使用的特征和分类算法生成结果。输出是使用欺诈电子邮件检测的准确性，这是使用10倍交叉验证确定的。欺诈电子邮件检测过程工作在流程图中，算法1给出了流程图。算法1描述了该过程的流程，按顺序显示算法描述过程也显示在架构中.第一个模块的架构是输入模块wyears老，我被诊断hich需要原始电子邮件作为输入，其中包含电子邮件内容以及电子邮件标题信息。内容提取器模块提取电子邮件的所需部分，即我们用于检测欺诈性电子邮件的内容。一旦内容可用，功能构建引擎就开始行动。特征构造引擎根据经验设计出各种特征集，存在于各种欺诈性电子邮件中。3.1. 功能集应该注意的是，欺诈性电子邮件可能是偶然的;因此，我们为不同类型的欺诈性电子邮件构建了功能集。例如，有些电子邮件是为了欺骗收件人，引诱他们，并表现出无助，以获得他们的同情，以获得收件人的关键信息，如地址和银行详细信息等。其他电子邮件可能更具欺骗性，看起来像这些是由收件人的金融机构发送的首先使用称为TF-IDF[21]的众所周知的方案提取特征，然后基于统计学，提取重要特征，这些特征具有将欺诈性电子邮件与正常电子邮件区分开的能力。之后，家族相关特征和财务特征被分离。包含家庭相关术语的欺诈性电子邮件示例，旨在欺骗接收者：最后，添加了特殊功能，在电子邮件的主题中包含特定的单词，并在正文中包含超链接，以便将接收者重定向到某个网站。表1显示了达到最大准确度的最终特征集。一旦特征设计完成并选择了必要的特征，就可以应用该方法来检测欺诈性电子邮件。欺诈邮件检测过程被视为分类问题，并使用著名的分类算法SVM、NB、J48和CCM进行了实验。最后，每封电子邮件通过使用高级特征丰富度检测欺诈性电子邮件173表1最终功能集。捐赠购买账户死亡保障用户$响应美元服务紧急赢得所需的风险请求暂停奖客户支付结算请存款验证£注意看有效的警告赢得了O的钱电子邮件交易公司被贴上欺诈或正常的标签。实验结果表明，使用不同的特征集的欺诈性电子邮件的检测性能。3.2. 分类方法我们认为欺诈性电子邮件检测的任务是一个分类任务。通过选择具有代表性的特征，可以实现有希望的分类结果。在本节中，我们将讨论用于检测欺诈性电子邮件的分类算法。3.2.1. J48在分类算法中，决策树方法因其简单性和归纳性而成为著名的分类方法之一。J48技术是WEKA3.2.2. SVM支持向量机（SVM）被广泛使用，并被认为是最先进的文本分类方法。它的一个优点是可以很好地处理高维特征集。支持向量机的另一个优点是它可以通过使用核技巧将非线性可分数据转换为新的线性可分数据[10]。4. 实验结果在实验中，我们使用了一个包含8000封电子邮件的数据集。在8000封电子邮件中，一半是欺诈性的，一半是正常的。欺诈性电子邮件数据集包含来自尼日利亚的2500多封电子邮件，并从网站下载[22]。为了进行实验，电子邮件被预处理，并且每个电子邮件被表示为特征向量和电子邮件类型欺诈或正常的指示器。使用不同的特征集和不同的分类方法进行了一系列在第一组实验中，我们使用了通常在欺诈性电子邮件中发现的功能，旨在通过讲述一些家庭事务来欺骗接收者，并通过提供一些经济利益来诱惑他们，以获得一些关键信息。这组基本特征仅由几个特征组成，例如，父亲、母亲、家庭、私人、帮助和妻子、丈夫。 结果示于图 二、在基本特征集由家庭相关术语组成之后，我们对财务相关术语进行了实验。所有四种分类方法均已应用于此由金融术语组成的新特征集几乎所有欺诈电子邮件都含有与财务有关的特征，因为这类电子邮件的发件人试图通过提供财务利益来诱惑收件人，以获取他/她的重要信息。试图向接收者显示无助的欺诈性电子邮件使用与家庭有关的术语以及财务术语。因此，无论采用何种分类方法，欺诈邮件检测的准确率都显著提高，最高可达89%。结果示于图1。 二、下一个实验已经使用特征和基于频率的特征两者来执行。同样，任务的准确性略有增加。使用家庭相关，财务相关和其他基于频率的特征进行的实验略微提高了任务的准确性，尽管分类方法的后果。最后一组实验使用了在欺诈性电子邮件中常见但在正常电子邮件中罕见的特征。在这个新的特征集中，我们从邮件主题中提取了常见的特征，并在富文本中提取了一个特殊的特征，如邮件正文中的超链接指示符。4.1.2. 朴素贝叶斯NB[9]是另一种用于分类的众所周知的算法，它使用贝叶斯它计算每个分类类别的特征值的概率4.1.3. CCM（Cluster Based Classification Model）CCM[1]是一种基于聚类的分类方法，它通过首先基于明显特征对数据点进行分组来执行分类任务。一旦形成实例的组，SVM被应用于对每个聚类中的实例进行分类。10095908580757065605550图2实验结果。CCMSVMJ48NB174 S. Nizamani等人基于频率和直观选择的特征提高了欺诈性电子邮件检测任务的性能。由于基于欺诈性电子邮件分析的直观特征，最终的特征集达到了任务的最大准确性。所有特征类型和不同分类方法的实验结果如图所示。二、5. 结论和今后的工作在本文中，我们提出了欺诈性电子邮件检测方法，使用先进的特征选择和分类技术。我们实现了高达96%的欺诈性电子邮件检测的准确率研究还得出结论，对于欺诈性电子邮件检测任务，有效特征的选择影响任务的准确性。在实验中，我们使用了各种分类算法，包括SVM，NB，J48和CCM。实验表明，通过包含高级特征，无论分类方法如何，欺诈检测任务的检测准确性都有所提高，因为对于大多数分类方法，相似的特征集给出了相似的结果我们的结论是，基于频率的功能达到高精度的欺诈性电子邮件检测的任务，无论选择的分类方法。在目前的研究中，我们采用了从电子邮件的内容中提取的特征，通过意识到欺诈性电子邮件通常以内容为特征，我们实现了高达96%的准确率。然而，我们计划使用电子邮件的标题信息来执行欺诈性电子邮件检测任务。引用[1] Nizamani S，Memon N，Wiil UK，Karampelas P. CCM：通过聚类的文本分类模型。在：2011年社交网络分析和挖掘进展国际会议（ASONAM），IEEE; 2011年。p. 461-7[2] Nizamani S，Memon N，Wiil UK，Karampelas P.使用增强的特征选择进行可疑电子邮件检测建模。Int JModel Optim2012;2（4）：371-7.[3] Nizamani S，Memon N，Wiil UK.使用boosting算法检测非法电子邮件。反恐和开源情报。Vienna：Springer; 2011. p. 249比64[4] Sasaki M，Shinnou H.使用文本聚类的垃圾邮件检测。在：2005年网络世界国际会议，IEEE; 2005年。第4页，第316页。[5] 张晓刚，王晓刚，王晓刚.用于可疑邮件检测的关联规则挖掘：一种数据挖掘方法。在：智能和安全信息学。IEEE;2007年。第316- 323页。[6] Dhamija R，Tygar JD.对抗网络钓鱼：动态安全皮肤。在：2005年可用隐私和安全研讨会会议记录，ACM; 2005年。p.七十七比八十八[7] Fette I，Sadeh N，TomatoA.学习检测网络钓鱼电子邮件。收录于：第16届万维网国际会议论文集，ACM; 2007年。p.649比56[8] [10] J.J. M，J.J. M，J.J. M.基于结构特征的网络钓鱼在：纽约州网络安全会议; 2006年。p. 一比七[9] 放大图片作者：A.用于朴素贝叶斯文本分类的事件模型的比较。见：AAAI-98文本分类学习研讨会，第752卷; 1998年。p.41比8[10] Joachims T.支持向量机文本分类的统计学习模型。2001年，第24届国际ACM SIGIR信息检索p. 128比36[11] 小昆兰C4. 5、机器学习程序。MorganKaufmann; 1993.[12] WittenIH，Eibe F. 数据挖掘：实用的机器学习工具和技术。Morgan Kaufmann;2005.[13] 杨S，麦克劳德D.电子邮件分类的比较研究。系统、计算科学和软件工程的进步和创新。荷兰：Springer; 2007年。p.387-91.[14] 杨S，麦克劳德D.使用自适应本体的有效垃圾邮件过滤。2007年第四届信息技术国际会议，ITNG'07，IEEE; 2007。p. 249比54[15] Renuka DK，Hamsaprit T.使用词干分析进行垃圾邮件检测的电子邮件分类。 Int J Comput Appl 2010;1：45-7.[16] 格雷厄姆·P.垃圾邮件计划。 [2013年8月30日访问]。[17] Zheng R，Li J，Chen H，Huang Z.在线信息的作者身份识别框架：写作风格特征和分类技术。《美国社会科学与信息科学技术杂志》2006;57（3）：378-93。[18] 李军，郑荣，陈宏. 从指纹到文字。 CommunACM 2006;49（4）：76-82.[19] Iqbal F，Hadjidj R，Fung B，Debbabi M.电子邮件取证中挖掘笔迹的作者归属新方法。Digital Invest 2008;5（2008）：S42-51.[20] Nizamani S，Memon N. CEAI：基于CCM的电子邮件作者身份 识 别 模 型 。 Egypt Inf J 2013;14 （ 3 ） ： 239-49.dx.doi.org/10.1016/j.eij.2013.10.001，Elsevier。[21] Ramos J.使用TF-IDF确定文档查询中的单词相关性。In：Proceedings of the First Instructional Conference on MachineLearning; 2003.[22] 拉德夫·D CLAIR收集欺诈电子邮件、ACL数据和代码存储库，ADCR 2008 T001; 2008。http://aclweb.org/aclwiki>.[23] 9/11委员会报告;2002年。.[24] HallM，Frank E，Holmes G，Pfahringer B，Pittemann P，WittenIH. WEKA 数 据 挖 掘 软 件 ： 更 新 。 ACMSIGKDDExplor Newsl 2009;11（1）：10-8.