网络望远镜：检测和识别恶意互联网流量的方法

理论计算机科学电子笔记151（2006）47-59www.elsevier.com/locate/entcs用小型网络望远镜Uli Harder Matt W.杰里米·约翰逊布拉德利·威廉·J 打结带1英国伦敦帝国理工学院计算系，南肯辛顿校区，伦敦SW7 2AZ摘要网络望远镜是IP地址空间的一部分，专门用于观察入站互联网流量。网络望远镜的目的是检测和记录来自网络蠕虫和病毒的恶意流量。 本文研究了一类被动类的观测流量的统计性质C望远镜总共三个月。我们观察到，只有少数IP源和目的端口负责大部分的交通。我们还演示了从望远镜中可视化透射轮廓的各种方法。我们表明，特定的配置文件可以识别和区分端口扫描，主机扫描和分布式拒绝服务（DDOS）攻击。看看数据包的到达间隔时间，功率谱和所观察到的流量的去趋势波动分析，我们表明，有很小的迹象，长程依赖。这与其他网络流量形成鲜明对比，并为纯粹从流量配置文件识别恶意流量提供了令人兴奋的可能性。保留字： 网络蠕虫攻击，恶意软件监测，网络望远镜1引言近年来，由恶意软件，即网络蠕虫和病毒引起的互联网流量有了很大的增长。这种攻击通常只会在用户的机器受到感染，或者互联网在新蠕虫的流行阶段由于路由器过载而无法使用时才会对用户造成影响[1]。然而，许多用户没有意识到，在非流行性增长时期，也存在持续的恶意软件传输的背景水平，因此今天连接到互联网的设备受到端口扫描的稳定流，来自尝试分布式拒绝服务攻击和主机扫描的反向散射。如果我们要建立更好的防火墙，保护互联网路由器基础设施，并为新的攻击提供预警机制，那么在早期阶段识别和分类这种攻击是一项重要的活动。1电子邮件：{uh，mwj，jb，wjk}@ doc.ic.ac.uk1571-0661 © 2006 Elsevier B.V. 在CC BY-NC-ND许可下开放访问。doi：10.1016/j.entcs.2006.03.01148联合Harder等人理论计算机科学电子笔记151（2006）47在本文中，我们目前的流量分析结果，从现有的网络远程范围已被设置为日志所有入站流量发送到其部分的互联网地址空间。我们在这项研究中使用的望远镜收集了发送到C类网络（256个地址）的流量，该网络已超过四年未使用。在[2，3]中描述了使用更大的望远镜;然而，在这项研究中，我们表明即使在这样一个相对较小的望远镜上，恶意软件生成的传输的分类仍然是可行的。监控完全是被动的，因为没有机器主动连接到网络。其他望远镜利用所谓的在这些设置中，望远镜与传入的traffic交互，允许基于接收到的数据包的内容提取更多关于攻击性质的信息。在基于TCP的攻击中，我们的望远镜只能看到对话的开始，或者在欺骗IP地址的情况下返回的第一个数据包我们使用tcpdump来监视传入的数据。 然后将数据存储在 一个PostgreSQL数据库来简化分析。我们的观察是在两个不同的时间段：2005年1月28日至2005年3月5日（第一阶段）和2005年1月28日至2005年3月5日（第二阶段）。2005年3月24日至2005年5月13日（第二期）。在下面的第（2）节中，我们研究了总流量，并给出了目的端口和源IP编号的秩-频率图我们还显示了数据包的到达时间分布，并分析了聚合数据包速率时间序列的长程相关性，这通常在网络传输中发现[6]。我们还展示了三维图，可以清楚地识别不同的攻击类型（类似于[7]）。在第（4）节中，我们重点讨论了可能由Sasser蠕虫引起的攻击[8]。我们试图确定C类网络上的攻击间隔时间。我们还表明，这种特殊的传输类型具有周期性，但在其包迹没有长程依赖性。在第（5）节中，我们关注的是2005年2月17日至19日期间发生的跟踪中的特定事件我们观察到数据包速率突然增加，数据包似乎来自Web服务器。在最后一节（第6节）中，我们提出了一些简单的计算，通过尝试从公布的数据中计算特定攻击的观测率，来说明解释网络望远镜数据的困难。2一般性评论在周期1中，观察到18，060，643个数据包，在周期2中观察到20，669，098个数据包。这产生了每秒5到6个数据包的平均到达速率。从图（2）中可以看出，我们没有观察到这个平均分组速率随时间的变化。选项卡.（1）显示了网络望远镜在周期1和2中观察到的流量类型分布：绝大多数流量是TCP，只有5%是UDP，1%是UDP。这种分布在两个时期之间几乎没有变化。类似地，目的端口（望远镜内部的IP地址端口）显示只有少数端口用于大多数 （二）、因此，防火墙可以非常有效地阻止攻击者，联合Harder等人理论计算机科学电子笔记151（2006）4749类型频率（%）S90.4UDP4.8NBT2.0R1.6ICMP1.2表1第1、2期交通类型分布秩端口号per精液频率端口号per精液频率11350.391350.4224450.654450.64314330.7114330.74410250.751390.785800.7910250.8361390.83382930.877382930.86800.918269430.901370.9391370.92ICMP0.951061290.9361290.951127450.9427450.9612ICMP0.9514340.96表2周期1和2中目标端口的累积频率。而不是全面封锁我们还看到，从第一阶段到第二阶段，占整个运输量3/4的前三名港口没有任何变化，而占运输量96%的前十二名港口的排名也没有什么变化。源端口显示出对端口80、100和其他一些端口的小偏好，这可能是由于望远镜地址的欺骗，但分布看起来很不一样。大量的端口80请求是由于可能的拒绝服务攻击的反向散射，正如我们将在第（5）节中看到的那样。为了更好地说明目的地港口在两个时期的不同分布情况，我们可以查看它们的秩-频率图，如图所示。（一）. 这种类型的图通常用于说明词频的齐普夫50联合Harder等人理论计算机科学电子笔记151（2006）47虽然没有普遍的行为，但显然有三个不同的区域，Fig. 1. 周期1和2中目的端口和IP编号的秩-频率图。目的地港口。第一个区域由十个最常用的端口组成。在此之后，有两个不同的幂律区域。对于源端口，分布是非常重要的，这可能是由于这些端口主要是由源主机上运行的操作系统随机分配的。当我们查看图1中的源IP地址（一）. 源IP地址显示三个不同的区域，类似于目的端口号。正如我们之前提到的，当人们想要减少传入的恶意软件流量时，可以利用重尾分布的事实：只有少量的IP地址和端口用于大多数流量。然而，缺点是通过列出IP和端口号来清除所有蠕虫和病毒传播将是一项艰巨的工作，因为列表不断增长。另外，我们还可以看一下观测期间网络望远镜收到的全部数据的摘要。为此，我们通过在图（2）中显示每小时观察到的平均数据包数量来总结数据。人们可以清楚地看到交通强度的变化，频率约为一天。这可能与这样一个事实有关，即很多流量是由受感染的PC引起的，这些PC以该频率打开和关闭我们还可以在观测的第22天左右看到交通强度在短时间内突然上升一个数量级。我们以后再调查。在Kim等人 [7]中，提出使用源IP号、目的IP号和目的端口的3D图来跟踪攻击。在这些图中，主机和端口扫描显示为水平线。拒绝服务（DoS）攻击往往形成正方形。我们可以在图（3）中看到，我们的数据清楚地显示了在监控期间发生的各种主机扫描。在图（3）中，源IP地址通过将A.B.C.D转换为A×2563 +B× 2562 +C×2561 +D× 2560而表示为整数。3到达间隔时间和长程相关性为了研究网络望远镜看到的流量的统计性质，我们将tcpdump日志文件的条目视为点过程的实现。每个联合Harder等人理论计算机科学电子笔记151（2006）4751图二. 观察到的网络流量汇总。图三. 2小时观测数据的3D图。分组到达具有微秒精度的相关时间戳和其他属性，例如：• 源和目的地IP地址52联合Harder等人理论计算机科学电子笔记151（2006）47• 源端口号和目的端口号• type：TCP，UDP，UDP我们还记录了数据包的实际内容，但由于捕获的绝大多数数据包仅仅是TCP SYN或SYN/ACK，并且我们没有做出任何努力来响应TCP SYN以建立完整的连接并开始数据传输，这为我们提供了TCP数据的有用信息在我们的调查中，我们查看整个交易概况，以及通过上述一个或多个属性过滤数据我们在双对数图中绘制数据包到达的间隔时间，指数箱大小，类似于[10，11]中的网络和打印机流量测量总体到达间隔时间既没有无标度的迹象，也没有指数的迹象。但是，它们确实与正常的网络传输不同，因为存在更极端的到达间隔时间，并且缺少10和120微秒左右的独特峰值。-2-4-6-8-10-12-14-16-18阶段1阶段20 1 2 3 4 5 6 7 8 9log10（t，微秒）见图4。 到达间隔时间分布普通网络流量通常具有长程相关性。为此，我们调查聚合数据包计数箱的0.1秒的大小。研究时间序列是否自相关最直接的方法是计算其自相关函数（ACF）。然而，ACF对数据中的趋势和其他非平稳性例如，对长期依赖性的更好估计是带滤波器的功率谱[12]或去趋势波动分析（DFA）[13，14，15]。在这里，我们使用功率谱和DFA技术来分析数据。log10（p联合Harder等人理论计算机科学电子笔记151（2006）4753νSνS给定一个离散时间序列xt，0≤t≤N，平均值为λxλ，滞后s处的自相关函数可以定义为：（一）1C（s）=x<$ix<$i+s=N−sN−si=0时x′ ix′ i+s.其中rex<$i=xi−x。对于不相关的时间序列C（s）为零，对于高阶相关性，ACF将以特征尺度s×指数衰减，C（s）=exp（−s/s×）。相比之下，长程关联的衰变遵循幂律：C（s）s−γ，0 <γ<1。使用等式的ACF。（1）直接通常会出现问题，因为真实数据将包含趋势，例如，使用等式中时间序列的整体平均值（1）有问题（更多细节可以在[16]中找到）。长程相关性往往意味着非平稳性，这一事实禁止使用ACF。其他方法，如功率谱，也存在这个问题，是有偏估计。然而，可以通过使用滤波器或窗口来修改功率谱以对抗这一点[12，17]。去趋势波动分析通过以下方式解决此问题(i) 首先计算时间序列的分布：吉吉（二）Y（i）=k=1xk−x(ii) 接下来，我们将轮廓分成Ns=N/s长度为s的非重叠部分;为了简单起见，我们假设没有余数（[16]解释了如何处理更一般的情况）。(iii) 对于每一段0≤v≤Ns，我们现在拟合一个k次多项式，其值为pk（i）。这允许计算每个片段ν的去趋势时间序列轮廓：（3）Ys（i）=Y（i）−pk（i）多项式pk（i）的次数k可以用来研究DFA对k阶趋势的依赖性。(iv) 下一步是计算每一块的方差ν：1秒（四）F2（v）=<$Y2（i）<$Y2[（ν−1）s+i]s ssSi=1(v) 最后一步是取时间尺度s上所有方差的平均值：（五）ΣFk（s）=12Ns102Nsv=11/ 2F2（ν）其中k对应于多项式的阶。与长程幂律相关的数据则表现出F（s）对s的依赖性的幂律：(6)Fk（s）<$sα54联合Harder等人理论计算机科学电子笔记151（2006）47对于大S。如[16]所示，ACF和DFA的幂律关系如下：(7)α= 1−γ/ 2同样，时间序列的功率谱也可以表现出幂律(8)S（f）f−δ其中δ= 0是白噪声，δ= 2是布朗运动。这与[18]中的DFA有关：(9)δ= 2α− 154.543.532.521.510.50 1 2 3 4 5 67log10（t，单位：秒）-2-2.5-3-3.5-4-4.5-5-5.5-6-6.5-6-5-4-3-2-10log10（f，Hz）DFA 1 -阶段1DFA 1 -阶段2DFA 5 -阶段1DFA 5 -阶段21.0 0.66阶段1阶段2-1.4-0.3图五. 使用DFA（左）和功率谱方法（右）寻找长期相关性。正如我们从图（5）中所看到的，DFA和功率谱图中的变化实际上是一致的。交叉发生在频域和时域中的相同点处。的关系Eq。（9）也成立，尽管在10到100秒的范围内稍差。总的结论是，数据中的长期相关性正常网络流量数据显示，-1。在至少10 − 0的频率范围内。5到10-3。0 Hz [10]。 这很有趣，有证据表明，任何与自相似Traffic共享瓶颈路由器的网络Traffic都拾取该Traffic的签名[19]。这可能是由于我们只观察到TCP连接的尝试，而不是实际的TCP传输流。重新访问旧的传输测量并在分析中关注TCP SYN/ACK数据包将是有趣的。4Sasser蠕虫攻击在本节中，我们将重点介绍在端口上与望远镜联系的两个IP地址445.这是一个端口，例如，Sasser蠕虫使用。该蠕虫的一个特点是，它试图在短时间内重复（两次）联系同一端口的主机。这被认为是用于确定目标主机的操作系统;然后它会跟进专门制作的漏洞利用数据包。此外，Sasser蠕虫倾向于一次选择一个C类网络，并扫描该网络上的所有主机。为了估计攻击之间的时间，我们分别计算网络望远镜内每个IP地址的数据包的到达间隔时间，log10（DFA（t））log10（P（f））联合Harder等人理论计算机科学电子笔记151（2006）4755小于4秒的我们绘制所有这些到达间隔时间的直方图在图（6）中，我们看到了两个攻击者在两个观察期内的结果。从第一阶段到第二阶段，总的攻击率下降。在PDF的任何一端，统计错误都可能是由于数据不足。为了了解单个攻击者的行为，我们关注一个-9-9.5-10-10.5-11-11.5-12-12.5-13-13.5-147 8 9 10 11 12 13log10（t，微秒）图六、一个特定攻击者对望远镜的整个主机扫描的到达时间间隔分布具体的“攻击者IP”，以及我们网络望远镜内的一个IP号码。首先，我们绘制出攻击者发送的数据包总数，如图（7）所示。请注意，攻击率在第二阶段从每3.8小时攻击一次下降到每24小时攻击一次。到达间隔时间显然不是指数的，但也不是重尾的。功率谱在24小时标记附近显示出峰值，这表明攻击周期性地到达。类似地，DFA图暗示了在该点处的交叉，这可能与周期性行为相关[16]。根据等式，DFA和功率谱的值匹配得相当好。（九）、同样，没有证据表明在微量元素中存在长程依赖性。10−4和10−5 Hz之间的梯度可能与指示周期性事件的峰值更相关。5拒绝服务攻击望远镜观察到大量的拒绝服务攻击。一个例子如图（8）所示。我们可以看到数据包速率在几个小时内急剧上升。此外，到达间隔时间变化很大，在几十年内具有合理的幂律。类似地，功率谱和DFA图显示变化。然而，这种变化仅仅是从具有白噪声的信号变化到阶段1阶段2log10（p56联合Harder等人理论计算机科学电子笔记151（2006）4765432100 10 20 30 40 50 60 70 8090天数汇总1h聚集期1汇总1h聚集期2-0.6-0.8-1-1.2-1.4-1.6-1.8-2-2.2-9.5-10-10.5-11-11.5-12-12.5-13-13.5-1410.50-0.5-1-1.5-2-2.5-37 8 9 10 11 12 13log10（t，微秒）阶段1阶段2exp.抵达时的价格与第1期相同。与第二阶段相同的抵达率-6-5-4-3-2-1 0log10（f，Hz）0 1 2 3 4 5 6log10（以秒为单位的时间）阶段1阶段2-0.03-0.64DFA 1 -阶段1DFA 1 -阶段20.51 0.72见图7。 一个特定的攻击IP号码的行为细节。 在顶行中，图和来自该攻击者的所有数据包的到达间隔时间分布。在底部行中是功率谱和DFA图。布朗运动，功率谱的梯度从δ = − 1开始变化。8到δ = 0，同时DFA从α = 1改变。5到α = 0。5、与Eq。（九）、在这两种情况下，交叉发生在约500秒或更长的时间尺度上。8.4分钟虽然数据包摘要数据实际上具有可见的趋势，但DFA的不同级别表明，这些趋势（至少对于高达5次多项式的趋势）不会影响数据的相关性如果从白噪声到布朗运动的变化不仅仅是由数据中的趋势引起的，而是由额外的攻击本身引起的，那么我们可以使用到达时间间隔直方图，功率谱和DFA图来区分由简单速率增加引起的峰值和由DoS攻击引起的峰值。6Sasser蠕虫：感染规则在这个简单的模型中，我们尝试重新创建攻击的到达及其相关的数据包传输。为此，我们需要估计攻击者的实际扫描速率。Sasser蠕虫[8]使用3个简单的规则来选择C类网络进行下一次攻击。如果被感染的主机的IP号码是A.B.C.D(i) 概率为1/ 8(ii) A.x.y.0随机，概率为1/ 2(iii) A.B.x.0随机，概率为3/ 8包/小时log10（P（f））log10（p（t））log10（DFA（t））联合Harder等人理论计算机科学电子笔记151（2006）4757504540353025201510500 5101520253035404550以小时计的0-2-4-6-8-10-12-14-160 1 2 3 4 5 6 7 8 9 10log10（t，微秒）-1-1.5-2-2.5-3-3.5-4汇总1h聚合DDOS流量汇总1h聚合所有流量54.543.532.521.510.5所有流量DDOS流量-1.5-4.5-4.5-4-3.5-3-2.5-2-1.5-1个-0.5 0log10（f，Hz）功率谱- DDOS流量-1.8电话：+86-510 - 8888888传真：+86-510 - 8888888log10（t，单位：秒）DFA 1 - DDOS流量DFA 5 - DDOS流量0.5个单位一点五五见图8。拒绝服务攻击后向散射的详细信息。首先是数据包速率摘要和到达间隔时间。在底部行中，功率谱和DFA。有趣的是，我们观察到，在上述三个区域中，蠕虫感染机器与未感染机器的比例是相同的数量级。我们还知道，该蠕虫可能会同时启动128个线程进行第（4）节中分析的攻击。因此，我们可以做如下快速计算：假设攻击率，即选择C类网络的速率为λA，观察到的（通过网络望远镜）攻击速率为λO。所有可能的C类网络的数量是NC，那么一个攻击者对C类网络望远镜使用的观测速率应该是：(10)λA=NC λO假设对特定子集没有偏好。从我们的观察来看，这个模型可以预测相当高的发病率。对于一个特定的攻击者IP地址，我们观察到第一阶段每天5次攻击，第二阶段每天1次攻击。假设有254个3类C网络，这相当于λA= 1200攻击/秒或λA= 300攻击/秒。根据[8]，Sasser变种每秒扫描510到40，960个IP地址，这意味着每秒2到160次攻击值得注意的是，第一阶段的观察结果比[8]中提出的任何结果都要高。经过仔细检查，我们发现攻击者的IP地址似乎是通过DHCP分配给ADSL用户的地址池的一部分。这可能解释了较高的扫描频率，因为它对应于机器重启或ADSL会话长度，而不是实际的扫描速率。在第二个时期，我们可能只是有连接时间更长的用户。第一阶段观察到的攻击总数为223起，第二阶段为45起。log10（P（f））Packets/SEClog10（DFA（t））log10（p（t））58联合Harder等人理论计算机科学电子笔记151（2006）477结论本文研究了被动网络望远镜观测到的透射光的性质。 在我们的例子中，网络望远镜（C类网络）的地址已经被闲置了四年。因此，几乎所有观察到的入站流量（每秒6个数据包）都是由蠕虫和病毒等恶意软件引起的。虽然主机扫描（通过网络望远镜中的许多IP地址扫描一个特定端口）很普遍，但端口扫描（在网络望远镜中扫描一个IP地址上的许多端口）几乎不存在。前10个目的地端口和前100个IP地址几乎占所有流量，尽管两种分布在秩-频率图中显示出非常强的幂律。绝大多数流量是TCP流量，我们根本没有看到IPv6流量。平均数据包速率在几个月内没有显示出长期增加或减少的迹象令人惊讶的是，这种流量也几乎没有表现出长期相关性的迹象，而这在网络流量中通常是可以检测到的。这可能是由于缺乏实际的TCP传输流造成的。据我们所知，这是第一次有人专门寻找恶意软件生成的网络传输的长距离依赖性。我们还观察到，受感染的机器的比例似乎是恒定的A，B和C类网络。随着拒绝服务攻击的开始，我们看到流量的签名从白噪声变为布朗运动，暗示有可能区分背景流量噪声增加和可能的恶意流量流的引入。通过对这些数据和未来数据的进一步研究，我们希望能够产生真实的虚拟数据包工作负载，以测试防火墙设计的性能。我们还将研究是否可以以任何方式使用这些数据来映射互联网的部分，即推断其拓扑结构。此外，我们还将调查观察到的攻击者是否形成了任何有趣的网络结构。我们希望在其他望远镜的帮助下，收集数据，形成一个分布式网络望远镜。这将有助于了解攻击在时间和（地址）空间上的相关性。致谢和进一步信息Uli Harder由EPSRC资助（研究补助金PASTRAMI，GR/S24961/01）。JeremyBradley的部分研究得到了Nu Kelleld基金会的资助，资助号为NAL/00805/G。作者要感谢Ashok Argent-Katwala为分析和理解数据提供了有用的建议。本 文 中 使 用 的 数 据 将 在 适 当 的 时 候 在 AESOP 网 站（http://aesop.doc.ic.ac.uk/）上公开;在此之前，请发送电子邮件给Uli Harder以安排数据访问。联合Harder等人理论计算机科学电子笔记151（2006）4759引用[1] D. Nicol，M.Liljenstrike和J.Liu，2794计算机科学讲义，（伊利诺伊大学厄巴纳分校-Champaign），pp. 1-[2] D. 摩尔角香农湾，澳-地M. Voelker和S.萨维奇代表，CAIDA，2003年。[3] F. Pouget，M. Dacier和V.H. Pham，[4] R. Pang，V. Yegneswaran，P. Barford，V. Paxson，and L.彼得森，[5] V. Yegneswaran，P. Barford，and D. Plonka，“关于网络滥用监控的互联网水槽的设计和使用。[6] W. E. Leland，M. Taqqu、W. Willinger和D. Wilson，1994年2月1日[7] H.金岛，智-地Kang和S. Bahk，2004年9月/10月30日[8] TrendMicro，代表，www.trendmicro.com，2004年6月[9] G. K. Zipf，人类行为和最小误差原理。艾迪森-韦斯利1949年[10] A. J. Field，U.更难，和P.G. Harrison，355[11]联 合 哈 德 和 M.Paczuski ， 代 表 ， 部 伦 敦 帝 国 理 工 学 院 ， 2004 年 12 月 。http://arxiv.org/abs/cs.PF/0412027的网站。[12] W. Press et al. 《C语言中的数字食谱》，第2版，CUP，1993年。[13] A. L.戈德伯格湖阿马拉尔湖格拉斯，J.M. Hausdor，P. C.伊万诺夫河G.马克，J.E. Mietus，G. B. 穆迪，C.- K. Peng和H. E. Stanley，“PhysioBank，PhysioToolkit和PhysioNet：复杂生理信号的新研究资源的组 成 部 分 ” ， 循 环 ， 卷 。 号 101 第 23 页 。 e215-e220 ， 2000 年 （ 6 月 13 日 ） 。 流 通 电 子 页 面 ：http://circ.ahajournals.org/cgi/content/full/101/23/e215。[14] C. K. Peng，S. Havlin，H. E. Stanley和A. L. Goldberger，号5第1页。82[15] C. K. Peng ， S. V. Buldyrev ， S. Havlin ， M. Simons ， H. E. Stanley 和 A. L. Goldberger ， “ Mos ai corg an i za tio n of dn a nu cl eoti d es ， ” Phys. Rev. E，第 一卷。49，pp.1685[16] J. W. Kantelhardt，E. Koscielny-Bunde，H. H. A. Rego，S. Havlin和A. Bunde，441[17] J. Honerkamp，统计物理学。 施普林格，2002年。[18] B. Pilgram和D.T. Kaplan，D114，pp.108[19] A. 你好，K。 S. 莫尔纳和G。相反，“在这个网络中，”SIGCOMM COMPUT. Commun. Rev. ，第30卷，第4期，第100页。243