2013年AASRI智能系统与控制：电子邮件中的恶意网址检测

© 2013 .由Elsevier B.V.出版。由美国应用科学研究所负责选择和/或同行评审可在www.sciencedirect.com在线获取ScienceDirectAASRI Procedia 4（2013）125 - 1312013年AASRI智能系统与控制电子邮件中恶意网址的检测Dhanalakshmi Ranganayakulua，Chellappan Cb *aAdhiparasakthi工程学院，Melmaruvathur 603319，印度b安娜大学，印度，钦奈600 025。摘要的万维Web已经成为信息交流和知识获取的最基本的标准传播。它有助于及时、快速、方便地处理信息。身份盗窃和身份欺诈是网络犯罪的两个方面，黑客和恶意用户获取现有合法用户的个人数据，试图欺诈或欺骗动机，以获取经济利益。电子邮件被用作网络钓鱼工具，其中发送合法的电子邮件，使真正的用户身份与恶意URL的合法内容。它有助于窃取消费者的个人数据，如用户名、账号、密码和其他金融账户凭据。垃圾邮件的出现或转化为钓鱼邮件。欺骗邮件起着至关重要的作用，其中黑客假装是一个合法的发件人，冒充来自一个合法的组织，泄露用户给他的个人凭据。针对邮件内容可能会从基于内容的过滤器中逃脱，或者邮件内容中除了恶意URL之外没有任何正文的情况，本文采用缩减特征集的方法对邮件中的恶意URL进行识别。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。由美国应用科学研究所负责选择和/或同行评审关键词：域名时代;基于主机的特征;词汇特征;恶意网址;网页排名;网络钓鱼。1.介绍Web为大量恶意活动提供了更好的媒介，例如垃圾邮件攻击，网络钓鱼攻击，DDos攻击等。在财务方面的动机这些攻击吸引了普通的* 电子邮件地址：dhanalakshmisai@gmail.com。2212-6716 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。美国应用科学研究所负责的选择和/或同行评审doi：10.1016/j.aasri.2013.10.020126Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125用户点击链接附加在合法寻找或垃圾邮件，使他们访问恶意网站。它促使他们点击，敦促他们提供个人信息。网络钓鱼攻击被称为引诱，钩和捕捉（Jacobsson和Myers 2007）。假冒电子邮件冒充合法公司寻求敏感信息。这些电子邮件地址被称为“诱饵”。带有恶意URL的电子邮件可能在邮件正文中包含无法被基于内容的垃圾邮件过滤器检测到的合法内容。URL导致实际的钓鱼网站是合法网站的克隆，并诱使用户输入敏感信息。实际的钓鱼网站是从用户那里获取私人信息的“钩子”。恶意用户会造成各种严重情况，例如帐户暂停，交易失败，并迫使用户升级新安装的安全功能。电子邮件中的链接会导致被称为“Catch”的虚假钓鱼网站。网站的合法性可能不会被浏览器显示，浏览器将钓鱼网站视为合法。在某些情况下，用户也会推翻浏览器的决定。2.现有解决方案黑名单可以是电子邮件过滤器使用的IP地址或网站的形式，并通过可用的IP地址或网站列表阻止用户。PhishNet（Pawan et al 2010）通过发现相关的恶意URL来增强现有的黑名单。黑名单的一个主要问题是，它们无法在网络钓鱼攻击的早期识别网络钓鱼URL，因为它们的更新过程不够快。网络钓鱼活动的平均寿命不到两个小时（Sheng et al 2009），当网络钓鱼网站被确定并列入黑名单时，它几乎已经被黑客攻击了。从URL中提取各种特征，包括可疑字符、URL中的点数、十六进制字符、IP地址和URL的长度。Colin Whittaker等人（2010）讨论了一种可扩展的机器学习算法，通过在噪声数据集上训练分类器来自动分类钓鱼页面。误报率低于1%，分类器基于Google的钓鱼黑名单URL。Justin Ma等人（2009）讨论了一种基于被动攻击算法通过分析基于词汇和主机的特征来检测恶意网站的方法。通过分析网页内容和网页排名的特征可以得到改进。Zhang et al（2007）提出了一种基于内容的线性分类方法，该方法在100个钓鱼网址和100个合法网址上实现了89%TP（True Positive）和1%FP（FalsePositive）。CANTINA+（2010）对钓鱼网址进行分类，特征集更加详尽，分类准确率达到92.3%。有各种相关的研究和案例研究进行分析所需的特征集，以减少穷举和时间消耗。Maher Abburrous等人（2010年）尝试进行一项调查，以确定所需的功能，这有助于提高检测恶意URL的准确性和精度。从APWG的存档（2011年）和Phishtank存档（2012年）中获得了各种网络钓鱼攻击来源。表5.1列出了这些特性。Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125127表1 URL钓鱼实例的高影响功能[Maher Aburrous et al（2010）]S.No.网络钓鱼特征出现次数外观%1.使用IP地址1446.662.异常请求URL301003.锚点URL异常723.334.异常DNS记录206.665.异常URL516.666.使用SSL证书1756.667.证书颁发机构413.338.异常cookie206.669.专有名称证书（DN）413.3310.重定向页面310.0011.跨骑攻击206.6612.Pharming攻击413.3313.使用MouseOver隐藏链接620.0014.服务器表单（SFH）206.6615.拼写错误2480.0016.网站地图516.6617.使用带有“提交”按钮的表单620.0018.使用弹出窗口826.6619.禁用右键单击206.6620.长URL地址2273.3321.替换URL1653.3322.添加前缀或后缀930.0023.使用@符号来混淆620.0024.使用十六进制字符代码826.6625.非常重视安全和响应516.6626.争取时间进入账户310.00上述所选特征（）在文献中提到的各种研究中显示出较高的影响力，因此特征集包括影响力大于20%的特征。这涉及基于主机的特征、词汇特征、页面排名和邮件中的可疑关键字，以获得更好的性能。3.URL分析器网络钓鱼URL可以根据URL的词法特征和基于主机的特征进行分析。词法特征分析URL的格式。URL包含主机名和路径。例如，考虑www.annauniv.edu这是有用的非法用户欺骗他们的身份，通过身份验证测试，并在内容分析过程中，它也可能会逃脱避免垃圾邮件的关键字。有些电子邮件的正文可能不包含任何信息，但其中包含一些恶意链接，敦促用户点击它们，导致欺诈网站。128Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125图1 URL特征提取3.1 词汇特征（F1）词法特征分析URL的格式。它包括主机名的长度、URL的长度、点的数量、是否存在可疑字符，如@符号、十六进制字符和其他特殊二进制字符，如（“."，'='、'$'、'^'等）在主机名或路径名中。IP地址和十六进制字符用于隐藏实际的URL。例如，考虑URLwww.example.com/transaction/website/phishing.htmlhttp://132.115.201.115http://www.bankingcompany.com/onlineURL也可以使用带“%”符号的十六进制基值表示。它可以表示任何特殊字符Spoofguard（NeilChou et al 2004）识别的'@'和'-'符号在钓鱼网址中最突出。URL中的@符号将使左侧的URL丢弃合法URL，并使右侧的URL进入钓鱼网站。考虑URL http://www.citibank.com @ phishingsite.com“将进入"phishing site. com "并丢弃"www. citibank. com”。这些技术使用实际的钓鱼网站来伪装和冒充合法网站。3.2 基于主机的功能基于主机的功能可识别位置、所有者以及恶意站点的托管和管理方式。部分功能如下3.2.1 域的年龄（F2）域的年龄用于识别恶意网站何时被托管，使得它们具有较短的年龄或相对较新的时间来获得用户凭据。他们将最近注册发送更多的邮件和一些域可能无法使用，甚至在检查的时候。它以月数获得数据，有些可能是最近的年数。WHOIS服务器上的WHOIS查找用于检索域名注册日期，如果在WHOIS服务器上找不到域名注册条目，此功能将简单地返回-1，认为它可疑。3.2.2 页面排名（F3）页面排名为网页提供排名，并证明页面排名越高，页面越重要。显然，钓鱼网页的域名年龄较小，寿命较短。因此，他们获得了一个非常低的页面排名或页面排名不存在。网页排名是一种链接分析算法，首先由谷歌使用，其中网络上的每个文档都被分配了从0到10的数值权重，0表示最不受欢迎，10表示最不受欢迎。Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125129意思是最受欢迎的。当特定网页的页面排名值不可用时，分配1的分数值。在检查了数据集、1000封网络钓鱼邮件和1000封合法邮件之后，表2中列出了与基于词法和主机的特征相匹配的电子邮件的百分比。表2描述与网络钓鱼邮件特征合法钓鱼具有IP地址0%的百分比0.04%具有0%的百分比0.01%有可疑字符0%的百分比0.01%更多点0.01%0.06%域名的可疑年龄百分之三十五百分之七十五Page rank 3功能百分之一点二百分之八十八3.3 URL中的敏感词数量3.3.1 可疑网络钓鱼关键字的单独出现次数（F4）和同时出现次数（F5）Abu-Nimeh等人（2007）使用了“词袋”方法，其中包含43个最常见的单词作为机器学习方法的特征。Garera等人（2007）使用了一组八个敏感词，如安全，帐户，更新，登录，登录，银行，确认和验证，这些词经常出现在网络钓鱼网址中。该系统用1000封网络钓鱼电子邮件进行训练，为网络钓鱼电子邮件中发现的可疑单词赋予权重。出现频率最高的词汇包括安全、帐户、更新、登录、验证、登录、银行、通知、点击、不方便、密码等及其在钓鱼邮件中的共现。3.4方法-贝叶斯分类器贝叶斯分类器适用于垃圾邮件过滤器，使得URL的各个特征独立于其他特征的值而分布。贝叶斯定理用于计算事件B的假设概率，提供训练数据A，（一、一）对于所需的概率，通常更容易计算概率P外推贝叶斯规则，假设合法网站和钓鱼网站在数量上相等，因此具有相等的概率，则特征向量X属于恶意URL的后验概率为：（一、二）（一、三）（1.4）其中，P（A）=特征F在网络钓鱼和合法数据集中的概率130Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125.P（B（网络钓鱼））= P（分类器具有恶意钓鱼URL和合法URL的训练数据集。计算数据集中每个特征的出现概率，并获得它们各自的分数（即）统计数据集中特征的出现次数，并计算累积分数。如果累积分数>阈值，则将其他合法URL视为钓鱼URL，如图2所示。图2网络钓鱼URL分类a)特征F（F1，F2，F3，F4，F5，F6）在网络钓鱼数据集中出现多少次？b)特征F（F1，F2，F3，F4，F5，F6）在合法数据集中出现了多少次？设F1=词汇特征，F2= URLF3=网络钓鱼和合法数据集中出现Pagerank 3F4 =可疑关键字F5=4.结论和结果黑客通过在邮件内容中嵌入恶意URL来绕过反垃圾邮件过滤技术。因此，URL分析器方法在最小化网络钓鱼特征集的帮助下识别电子邮件中的恶意URL。数据集来自两个来源，即DMOZ Open DirectoryProject和Phishtank（2012）。Phishtank是黑名单钓鱼URL的来源，它允许用户输入，并且也由用户验证。出于测试目的，已将电子邮件服务器配置为hMail（命名为SSE Mail Server）。误报率是指被归类为钓鱼邮件的合法邮件的数量，误报率是指被归类为合法的钓鱼邮件的数量。表3显示，在1000封带有恶意URL的网络钓鱼邮件中，上述结果用于识别各种词汇和基于主机的特征。表3现有系统技术数量特征TPR（%）FPR（%）时间复杂度Dhanalakshmi Ranganayakulu和C. Chellappan / AASRI Procedia 4（2013）125131（n）Cantina（现有）（具有n1功能）中文（简体）891O（n1）Cantina+（现有）（具有n2个功能）中文（简体）92.540.407时间复杂度O（n2）URL分类器（建议）（具有m个功能）男（14）92.80.4O（m）（m n2）引用1.Colin Whittaker，Brian Ryner和LizaNazif，2.费特岛，Sadeh，N.和Tommanned，A. “Learning to Detect Phishing Emails’ In WWW”,Proceedings of the 16 649-656，2007.3.Garera，S.，Provos，N.，Rubin，A.D.和Chew，M.“检测和测量网络钓鱼攻击的框架”，在2007年ACM研讨会的会议记录中，第2007 - 2009页。2007年1月至8日4.作者：Justin Ma，Lawrence K.放大图片作者：Saul，Stefan Savage，Geoffrey M. Voelker，“超越黑名单：Learning to Detect Malicious Web Sites from Suspicious URLs”，Proceedingsofthe15thACMSIGKDDinternationalconferenceonKnowledgediscoveryanddataminingpp.1245-1254，2009。5.Jacobsson，M.和Myers，S. “Phishing and Countermeasures - Understand the IncreasingProblem of Electronic Identity Theft”, New Jersey: Wiley,6.Justin Ma，Lawrence Saul，K.，Stefan Savage和Geoffrey Voelker，M.681-688，2009。7.Maher Aburrous，Hossain，文学硕士，KeshavDahal和FadiThabtah，DOI 10.1007/s12559-010-9042-7，第2卷，第242-253，2010年。8.陈文辉，9.PawanPrakash，Manish Kumar，RamanaRaoKompella和Minaxi Gupta，10.Sheng，S.，沃德曼，B.，Warner，G.，克兰诺湖，Hong，J.和Zhang，C. “An empiricalanalysis of phishing blacklists”, In Proceedings of the CEAS’09,11.Xiang，G.，Hong，J.，罗斯角和Cranor，L. “CANTINA+: A feature-rich machine learningframework ACM Trans.INF. 系统安全性2011年第14卷第2期12.张玉，Hong，J.和Cranor，L. Cantina：一种基于内容的网络钓鱼网站检测方法。第16届国际万维网会议论文集，第639 -648页，2007年。