网络流量特征和神经网络嵌入在工业控制系统设备分类中的应用

(http://creativecommons.org/licenses/by-nc-nd/4.0/).use of specialized application layer protocols that support a wide rangeof industrial processes, and the payloads of these protocols shouldbe exploited in any ICS network mapping scheme, and (3) as newprotocols are introduced, existing signature or rule-based tools mustbe updated to accommodate the protocol semantics; i.e. they must beexplicitly programmed to recognize and interpret new protocols. Thus,an important underlying goal is the development of techniques thatutilize passively collected ICS network traffic to enable characterizationof ICS devices, which ultimately can be used to assess the security of asystem.Properties of ICS hosts can be used for a variety of critical infrastruc-ture security-oriented applications. For example, critical infrastructureasset owners are often interested in verifying that the actual compo-sition of their networks matches their current understanding. WhileICS networks are often quite static by design, the addition, removalor modification of hosts – whether intentional due to upgrades orretirement of legacy systems, or unintentional due to a security breach– needs to be tracked. Often times, this exercise takes the form ofperiodic security assessments which utilize basic network flow infor-mation, including host IP addresses and source/destination ports, asthe primary keys for host identification. Intuitively, the duration ofanalysis activities during these assessments is a function of the size ofthe network under study, the available analysis staff, and the capabilityof the tools employed. Properties of hosts automatically inferred bymachine learning methods, such as whether a host is an ICS device,0Array 12（2021）1000810放获取文章0ScienceDirect提供的内容列表0Array0期刊主页：www.elsevier.com/locate/array0使用网络流量特征和神经网络嵌入进行工业控制系统设备分类0Indrasis Chakraborty �，Brian M. Kelley，Brian Gallagher0美国加利福尼亚州利物浦劳伦斯利物浦国家实验室0文 献 信 息0关键词：工业控制系统SCADA设备分类机器学习神经网络嵌入DNP2Vec0摘 要0对现代工业控制系统（ICS）设备的特征化对于评估其安全状况以及理解其相互作用的基础工业过程至关重要。在这项工作中，我们解决了两个相关的ICS设备识别任务：（1）将ICS与非ICS设备分开，（2）识别特定的ICS设备类型。我们提出了两种不同的方法（一种基于现有的IP2Vec方法，一种基于新颖的流量特征方法）来完成第一个任务。对于在两个数据集之间进行第一个任务的可转移性，流量特征方法的整体准确率（75%）明显优于IP2Vec方法（整体准确率22.5%）。我们进一步提出了一种称为DNP2Vec的新方法来解决第二个任务。DNP2Vec在两个不同的数据集上进行评估，并且在两个数据集上都实现了完美的多类别分类准确率（100%）。01. 引言0工业控制系统（ICS）是执行工业过程自动化的一般类结构。一些特别复杂和关键的ICS形式是支持发电、输电和配电、石油和天然气开采、运输和交付以及水分配和处理过程的ICS。由各种传感和执行机制组成的大量物理设备，结合通用计算设备，构成了这些类型现代关键基础设施中的网络物理系统。虽然这些网络物理系统为改善效率开辟了新的途径，但由于影响现实世界的机械设备与常规通信网络之间的互连，滥用和误用的机会增加。因此，相对于信息技术网络中相对常见的入侵和漏洞分析技术，正在为ICS开发。我们正在进行的广泛目标是开发支持发现和预测ICS网络和主机属性的机器学习方法。特别是，我们试图以不干扰关键基础设施过程的方式发现网络物理ICS设备的制造商、型号和面向过程的行为。虽然这种被动‘‘映射’’网络的过程并不新鲜，但由于几个因素，现有的用于映射传统计算机网络的工具不适用于ICS网络：（1）在生产环境中通常禁止对ICS设备进行主动探测，（2）ICS网络使用支持各种工业过程的专门的应用层协议，这些协议的有效载荷应该在任何ICS网络映射方案中被利用，（3）随着引入新的协议，现有的签名或基于规则的工具必须更新以适应协议语义；即它们必须被明确编程以识别和解释新的协议。因此，一个重要的基础目标是开发利用被动收集的ICS网络流量的技术，以实现ICS设备的特征化，最终可用于评估系统的安全性。ICS主机的属性可用于各种关键基础设施安全应用。例如，关键基础设施资产所有者通常有兴趣验证其网络的实际组成是否与其当前理解相匹配。虽然ICS网络通常设计得相当静态，但需要跟踪主机的添加、删除或修改——无论是由于升级或淘汰旧系统而是有意的，还是由于安全漏洞而是无意的。通常情况下，这种练习采用基本网络流信息，包括主机IP地址和源/目的端口，作为主机识别的主要键的定期安全评估的形式。直观地说，这些评估活动的持续时间是受研究网络的规模、可用的分析人员和所使用工具的能力的函数。由机器学习方法自动推断的主机属性，例如主机是否是ICS设备，0� 通讯作者。电子邮件地址：chakraborty3@llnl.gov（I. Chakraborty），kelley35@llnl.gov（B.M. Kelley），gallagher23@llnl.gov（B. Gallagher）。0https://doi.org/10.1016/j.array.2021.1000812021年3月1日收到；2021年6月21日修订后收到；2021年7月16日接受20Array 12 (2021) 1000810I. Chakraborty等0如果是这样，设备的制造商和型号号码都可以增强资产识别的准确性，并可能减少分析人员的需求。这将总体上改善小型和大型网络的安全评估过程。0在本文中，我们提出了用于识别的机器学习技术0识别ICS网络流以及区分特定类型的ICS设备。首先，在ICS与非ICS分类任务中，我们提出了两种方法，即基于IP2Vec[1]技术的方法和基于流量特征的方法。此外，我们表明，基于流量特征的方法在“跨网络”迁移学习设置中更好，并且只要观察窗口足够“长”（至少1小时），这两种方法都不会受到影响。其次，对于ICS设备类型分类任务，我们提出了一种称为DNP2Vec的新方法，这是一种改进分类性能的DNP3特征嵌入。DNP3（分布式网络协议，第3版）是一种通信协议，被用于例如电力公用事业所使用的控制系统中的设备。0本文结构如下。在第2节中，我们介绍了0数据集，然后正式介绍了本文解决的问题。第5节描述了我们用于解决流分类问题的两种方法，以及这两种方法与基线的比较。在第6节，我们评估了实现所需的最佳数据收集时间以达到期望的分类准确性。最后在第7节，我们提出了一种新的设备分类方法，并将分类性能与基线方法进行了比较。01.1. 相关工作0工业控制系统（ICS）和监控和数据采集（SCADA）的机器学习（ML）0对SCADA（监控和数据采集）应用程序的研究是一个活跃的领域。在这一领域的先前工作涵盖了各种应用，包括攻击检测[2-5]、故障/事件预测[3,6]、自适应控制[7,8]和异常检测[4,5,9-11]。0将ML应用于SCADA网络和设备特征化的工作0似乎很稀少，可能是受到早期对IT系统流分类的启发[12]。在这项工作中，作者将贝叶斯分类器应用于网络流统计数据（数据包到达时间、数据包长度、均值和方差、流大小和持续时间），将传统的互联网网络流分类为特定的应用类别（即FTP、Telnet、DNS、HTTP等）。特征选择基于分类器的性能，并在多个网络跟踪文件中获得了合理的分类准确性。虽然这项工作建立了网络流分类的工作流模型，但并未应用于ICS网络数据，作者也没有专注于识别网络主机本身的特征。0评估标准设备指纹识别的适用性0几年后，对ICS的技术进行了研究[13]。这项工作分析了传统的指纹识别方法，并评估了它们在ICS环境中的适用性。作者首先回顾了常见的设备指纹识别技术，并描述了一种新的指纹识别工具的参考架构；手动创建和维护指纹被认为是现有指纹识别工具的主要缺点。然后测试了标准的指纹识别技术，并显示其无法有效识别ICS设备，主要原因是设备异质性、使用专有协议、低计算能力和使用长时间运行的TCP会话。作者建议探索利用时间通信模式和被动流量捕获技术来分类ICS设备组件类型，并提到使用ML来解决指纹创建和维护问题。0在指纹评估工作之后，一个努力正在进行中0采取了表征工业控制系统在互联网上的行为[14]。在这项工作中，使用了17种不同的ICS协议的主动探测来从网络主机中收集数据，然后通过基于签名的匹配算法来识别ICS设备。一个天真的0贝叶斯分类器也被用来区分真实的ICS设备和ICS蜜罐。分类器在281个设备和16个蜜罐上进行了训练，利用了一个特征集，包括开放端口的数量、HTTP配置和两个协议特定的特征(ModBus和S7功能码)。然后将这种机制应用到互联网主机上，以确定互联网连接的ICS设备的位置、所有权和功能特性，具有合理的准确性。作者认识到，主动探测方法可能对真实的ICS设备有害，他们实施了一种试图最小化发送到主机的主动探测数量的启发式方法。虽然这项工作在区分ICS和非ICS主机方面取得了进展，但主动探测方法通常在实时ICS网络中被禁止，因此可能不适用于大多数工业环境。0在同一年，[15]引入了两种被动的、面向机器学习的指纹0在电力SCADA系统中的ICS设备的指纹识别方法。第一种是面向网络的方法，利用了三种常见的ICS协议的数据响应处理时间来识别ICS设备类型。作者定义了一个'跨层响应时间'特征，捕捉了从接收到TCPACK到设备的应用层响应之间的时间差。第二种是基于物理的方法，利用了设备的物理操作时间。这种方法依赖于不同设备供应商之间的物理操作时间差异，因为不同的物理构造方法，基于设备硬件的动态模型。然后，这两种方法在监督和无监督的机器学习方法的背景下进行了评估，并应用到了真实世界的数据，导致了高的设备分类准确性。这项工作在利用网络和物理特征进行ICS设备分类方面取得了重大进展。然而，由于传输层确认被合并到应用层响应消息中，TCP/IP堆栈用于节省带宽的常见方法，'跨层响应时间'特征可能并不总是可用于测量。同样，准确和经过验证的设备硬件动态模型需要便于物理基础指纹识别方法，这是一个手动和耗时的工作；作者认识到这一点，并提出了一个混合黑/白盒（'灰盒'）建模方法来解决这个问题。0最近，人们对物联网的特征化进行了大量关注0设备。例如，在[16,17]中，作者探索了物联网和ICS设备的指纹识别。这些工作利用了对互联网主机的主动探测，并基于网络、传输和应用层特征集。在[16]中进行的研究形式类似于[14]，但使用了更广泛的特征集和人工神经网络（ANN）模型，而不是贝叶斯分类器。同样，[17]使用了人工神经网络，但设计了一个基于HTTP响应的特征集。这两项工作都报告了在识别设备类型和供应商方面的合理准确性。然而，如前所述，依赖于主动探测的方法在工业环境中经常被禁止。此外，基于HTTP响应的特征集可能由于禁用HTTP服务以减少设备攻击面而无法用于ICS设备。0最近还进行了利用网络流量的工作0特征。在[18]中，使用了两种新颖的特征融合方法，包括计算的网络流统计数据，对六种不同类型的网络视频流量进行了高准确度分类。[19]提出了一种提取签名的方法，用于识别不同类别的网络流量，基于数据包长度统计，并利用决策树分类器获得了91%的准确度。最后，[20]提出了一种学习自动机方法，用于选择网络流量特征，用于网络入侵检测系统，并发现SVM结合他们的特征选择方法获得了93.8%的入侵检测率。这项工作展示了在各种应用中对网络流量特征进行特征化时的重要性。0虽然我们的工作与网络主机指纹和使用流量特征进行网络流分类最相关，但我们提出了一种0I. Chakraborty等31.2. Contribution of this paperclassifying the ICS devices. For the first task, we propose two distinctmethods to distinguish ICS devices from non-ICS devices in a SCADAnetwork. We pose this as a binary classification task, and proposetwo separate methods to obtain relevant features for classification. Forthe second task, we propose a novel framework which utilizes DNP3fields and their embedding as features. The second task is posed as amulti-class classification task. Now we formally introduce the two tasks.0Array 12 (2021) 10008101.2. 本文的贡献0流统计和ICS协议应用层有效载荷数据，以层次化方式产生高准确性，以确定网络主机是否为ICS设备，如果是，则确定设备类型。这种方法允许对ICS设备进行表征，而无需像现有的基于规则或签名/指纹方法那样明确编程协议语义。此外，由于我们关注的是以被动和不显眼的方式自动化此表征过程，我们的方法仅在被动收集的网络流量上运行，不需要对网络主机进行探测。0在本文中，我们提出了一种低维神经网络0基于嵌入的框架，DNP2Vec。该框架利用了Word2Vec[21]的训练基础，并改进了现有的IP2Vec[1]方法，通过在嵌入过程中结合基于ICS协议字段的特征来提高。本文的主要贡献是成功利用ICS协议特征进行设备分类，通过低维嵌入。我们在本研究中主要关注了DNP3ICS协议，主要是因为数据可用性；然而，这个框架也可以扩展到其他ICS协议，并且我们在第8节中简要讨论了这一点。0此外，我们提出了另一种方法，名为"traffic-0基于特征"的ICS和非ICS设备分类方法，该方法利用网络流量特征进行分类，并且在不同ICS网络之间具有可转移性，而DNP2Vec在转移到另一个ICS网络时需要重新训练。0下一部分正式描述了机器学习任务0以及用于评估机器学习方法的数据集的特征。02. 数据集和问题描述0网络流是来自特定源0计算机到特定目标计算机的网络流。本研究利用了两个不同系统的网络流。第一个系统（A站点）是一个生产级工业电力分配系统。第二个系统（B站点）是一个非生产的网络物理测试平台。通过处理以PCAP形式被动捕获的网络流量为每个系统生成了网络流数据集。表1描述了两个系统中存在的不同网络流的端点。表2简要描述了这些系统中存在的ICS设备。0我们首先定义了两个与数据收集相关的时间参数。0术语 1. 总数据收集时间（�）是总持续时间0PCAP数据收集周期的持续时间。0术语 2. 流观测窗口（��）是持续时间0每个网络流。0两个数据集都包含与流量相关的网络数据0设备类型，例如它们的IP地址、端口号、协议类型、传输字节数等。数据集包括各种数据类型的混合，例如数值（例如传输字节数）和分类（例如IP地址）类型。这些数据集可用于表征不同的设备类型，然后用于识别和验证引入设备网络中的新设备。如果可以为ICS环境中的不同设备开发签名，可能可以将被动收集的网络数据转化为互连设备的网络地图。0在这项工作中，我们提出了一个框架来识别SCADA网络中存在的不同类型的ICS设备。这包0A站 B站0表1 数据集中存在的不同流类型。0表2 ICS设备类型和描述。0SEL-2240 → 服务器 NI控制器 → 未知服务器 → SEL-2240 PDU → PDU服务器 →服务器PDU → 未知服务器 → 未知SEL-2414 → 工作站未知 → 服务器SEL-2740 →PDU未知 → 未知SEL-351A → 未知工作站 → SEL-735未知 → 工作站工作站 →SEL-751工作站 → SEL-351A工作站 → SEL-787工作站 → 未知工作站 → 未知0设备类型描述0任务1（ICS流分类）。给定一个网络流，确定它是一个ICS流（即一个或多个端点是ICS设备）还是一个非ICS流（没有ICS端点）。0参数。具体来说，我们研究了两种泛化场景和两种数据收集参数的影响。0对于这个任务，我们改变了许多重要的实验参数。0网络设置（在站点A上训练，在站点A上测试）和跨网络设置（在站点A上训练，在站点B上测试）。0泛化场景：我们在站内网络设置（在站点A上训练，在站点A上测试）和跨网络设置（在站0受各种数据收集参数的影响。在这项研究中，我们量化了两个特定数据收集参数对分类器性能的影响：（1）总数据收集时间（�），（2）流观察窗口（��）。0数据收集参数：对于任务1，分类器的性能受到各种数据收集参数的影响。0在图1中完整的框架示意图。0任务2（ICS设备分类）。给定ICS设备的所有流，确定ICS设备的具体类型。02.1. 实验设置0描述框架之前，我们描述了用于生成与所有分类器的训练和测试相关的结果的实验设置。03. IP2Vec和DNP2Vec的描述0在本文中，除非另有说明，我们使用标准的k-fold交叉验证来评估泛化性能。0[21]。在描述IP2Vec[1]和我们的DNP2Vec方法的基础之前，我们介绍了一些定义。0我们的分类方法的性能。0I. Chakraborty等人0IP2Vec和DNP2Vec基于Word2Vec算法进行自然语言处理。0定义1（语料库（�）的定义）。与Word2Vec类似，IP2Vec语料库包括一组唯一的源IP地址、目的端口和网络协议。DNP2Vec语料库包括唯一的源IP地址。4I. Chakraborty et al.Definition 1 (Definition of Corpus (𝑤)). Similar to Word2Vec, an IP2Veccorpus consists of a collection of unique source IP addresses, destinationports and network protocols. A DNP2Vec corpus consists of uniquesource IP addresses.0数组12（2021）1000810图1. 整体提议框架的示意图。0Definition 2  ( 上下文的定义 ( � ) ) .与Word2Vec类似，语料中每个元素的上下文定义如下：(1)对于IP2Vec，源IP地址语料元素的上下文要么是目标IP地址，目标端口，或协议，(2) 对于IP2Vec，目标端口语料元素的上下文是目标IP地址，(3)对于IP2Vec，协议语料元素的上下文是目标IP地址，(4)对于DNP2Vec，源IP地址语料元素的上下文要么是目标IP地址，目标MAC地址，或DNP3字段。0Definition 3  ( Skip-gram模型 ) . 在这个模型中，我们给出了语料  �的一个元素和它们的上下文  � 。我们考虑条件概率  � ( � | � )，并且给定一个语料元素，目标是设置参数  �  使得  � ( � | � ;  � )  的语料概率最大化0arg max0� ∈ 语料元素 [ 0� ∈ � ( � ) � ( � | � ;  � )]0� ( � )  表示语料元素的上下文（如  Definition 2  中定义）。0现在我们对在  Definition 3  中定义的skip-gram模型的条件概率进行参数化0� ( � | � ;  � ) = exp( � �  �� � ) ∑ � ′ ∈ �exp( � � ′  �� � )0其中  � � , � �  ∈  R � 是上下文和语料元素的 d 维向量表示，分别。参数  � 为 � �� = 1 ,  2 ,  …  , � ，这些参数被解决以最大化在  Definition 3  中定义的语料概率。04. 网络流量特征描述0网络流量归因于六种不同的协议组之一：ARP、TCP/IP、DNP3、HTTP、TLS和UDP。在计算之前0表3每个方向每个协议的特征列表。在‘符号’列中，‘a’表示发送或接收，代表流的每个方向。0描述 符号0数据包数量 a_num_packets0传输字节数 a_vol_bytes0数据包到达时间间隔-平均值 a_pinterarr_avg0数据包到达时间间隔-最小值 a_pinterarr_min0数据包到达时间间隔-最大值 a_pinterarr_max0数据包到达时间间隔-标准偏差 a_pinterarr_stdev0数据包大小-平均值 a_psize_avg0数据包大小-最小值 a_psize_min0数据包大小-最大值 a_psize_max0数据包大小-标准偏差 a_psize_stdev0流量特征，每个流中的数据包根据这些协议类型进行细分。最初，LLDP也被包括在协议组中，但是LLDP是链路层协议，只封装以太网地址（没有IP地址）。因此，将这些流量归因于现有流依赖于预先计算的以太网到IP地址映射。为此分类任务选择了十个标准流量特征，如  表3所示。这些流量特征是针对每个捕获的网络流计算的。这些流量特征代表了网络流的各种统计信息，如传输的总数据包数、数据包到达时间、数据包大小等。网络流量在收集时间  �  内被捕获，并且在流观察窗口 ��内计算流量特征。因此，如果总的数据收集时间  �  包括  �  个流观察窗口  ��  ，其中�  ∈  Z + ，那么每个观察窗口将有 20个与之关联的流量特征（发送方向的十个特征和接收方向的十个特征）。提取的流量特征被用作ICS和非ICS设备的特征集。因此，特征集的维度将为  R � ×20。我们使用支持向量机（SVM）二元分类器来完成这个任务。05. ICS与非ICS设备分类，任务1的解决方案0在这里，我们评估了分离ICS和非ICS流量的两种方法，一种基于第3节中描述的IP2Vec，另一种基于网络流量特征。我们还将其与基于PCAP流量特征的基线方法进行了比较。我们使用�=1 h，��=10 s在A站点收集了PCAP数据集，并使用�=0.5h，��=10s在B站点收集了PCAP数据集。A站点和B站点的数据收集时间差异是因为每个站点具有不同的最佳收集时间，如第6节中所述。在本文中，如果没有明确提到，数据收集时间分别为1小时和0.5小时，用于A站点和B站点。用于分类器训练和评估的真实标签是使用与ICS流相关联的恒定源端口号捕获的。我们使用了第2.1节中描述的实验设置。05.1. 基线性能0我们的基线方法是使用以下特征训练的二元SVM分类器：与源设备和目标设备相关联的IP地址，目标端口号，协议和传输字节。基线分类性能在A站点和B站点数据集上进行了测试，并与我们提出的方法的性能进行了比较。50Array 12（2021）1000810I. Chakraborty等0图2. A站点ICS与非ICS设备分类的基线和IP2Vec性能。05.2. 使用IP2Vec进行分类0在本节中，我们使用第3节中描述的IP2Vec来对A站点和B站点数据集中的ICS和非ICS设备进行分类。例如，对于源设备和目标设备之间的每个定义流，使用先前讨论的IP2Vec训练过程，我们的输入维度为500（其中IP2Vec训练批量大小为100），隐藏维度选择为60（与第3节中的符号�=60相对应）。成功训练IP2Vec架构后，我们使用隐藏层中的训练样本的嵌入作为训练SVM分类器的特征。分类性能比较:我们将基线性能（在第5.1节中描述）与IP2Vec（在第5.2节中描述）进行了比较，用于A站点和B站点数据集之间的第一个分类任务（任务1）中ICS设备和非ICS设备。在图2中，显示了基线和IP2Vec分类性能的箱线图，其中显示了真正阳性（ICS设备）率和真正阴性（非ICS设备）率。与IP2Vec不同，分类基线未能识别ICS设备（如图2中的箱线图所示），而IP2Vec能够以0.95的真正阳性率对ICS设备进行分类。类似地，对于B站点数据集，我们将基线性能与IP2Vec进行了比较，如图3所示。对于B站点数据集，基线方法能够以0.1的真正阳性率对ICS设备进行分类，而IP2Vec则以0.88的真正阳性率。我们还评估了IP2Vec和基线方法的F1分数，以进行站点A和站点B数据集的独立类别比较，如表4所示。对于站点A，基线提供了0的F1分数，而IP2Vec提供了0.974。类似地，对于站点B，基线提供了0.18的F1分数，而IP2Vec提供了0.91。从视觉上看，使用二维t-SNE图绘制的站点A测试数据集的分类性能如图4所示。IP2Vec在对ICS设备和非ICS设备进行分类方面明显优于基线方法。对于站点B数据集，比较IP2Vec和基线方法时观察到类似的性能。05.3. 使用流量特征进行分类0在描述这种方法之前，将介绍用于分类的交通特征。分类性能比较:在0表3 是针对站点A和站点B数据集计算的，其中 �� = 10s。对于这两个数据集，实验设置考虑如第2.1节中所讨论的。对于站点A的训练数据，基准分类器（第5.1节）和基于流量特征的方法的比较如图5所示。如图5所示，0图3. ICS vs.非ICS设备分类的基准和IP2Vec性能，针对站点B。0图4.基准和IP2Vec方法基于t-SNE可视化的ICS和非ICS设备分类的比较，使用具有线性核的SVM进行测试数据集的分类。为了视觉清晰，这些图是在数据集的10%上生成的。绿点代表非ICS设备，黑点代表ICS设备。与基准相比，具有线性SVM核的IP2Vec和具有多项式SVM核的IP2Vec分别提高了100%和84%的分类性能。站点B数据集的分类性能类似，并且为了简洁起见，省略了t-SNE图。0基准分类器完全错误地将ICS设备进行分类，而基于流量特征的方法能够实现真正阳性率为1（完全60数组12（2021）1000810I. Chakraborty等0图5. ICS vs.非ICS设备分类的基准性能和基于流量特征的性能，针对站点A。0图6. ICS vs.非ICS设备分类的基准性能和基于流量特征的性能，针对站点B。0分类）对ICS设备进行分类。然而，基准方法能够完全对非ICS设备进行分类，而基于流量特征的方法只能实现非ICS设备的真负率为0.5。如表4所示，基准方法和基于流量特征的方法的F1分数分别为0和0.8。0同样，在图6中，我们绘制了基准性能和基于流量特征的性能之间的准确性比较0应用于站点B训练数据的基准和基于流量特征的方法。如图6所示，基准方法能够实现ICS设备和非ICS设备的分类准确率分别为0.1和1，总F1分数为0.18。另一方面，基于流量特征的方法能够实现ICS设备和非ICS设备的分类准确率分别为0.9和0.98，总F1分数为0.89。最后，在表4中，我们在提出的方法和基准方法的背景下，列出了四种不同的性能指标，TPR（真正阳性率），TNR（真负率），F1分数和类平衡准确性。尽管两种提出的方法在所有指标上均优于基准方法，但IP2Vec的表现优于基于流量特征的方法。0基于流量特征的方法优于基准方法0方法，对于两个站点数据集，由于恰当选择的分类特征（即数据包大小，数据包到达时间等）。同样，IP2Vec的表现优于基于流量特征的方法0表4 两种提出的ICSvs.非ICS分类方法与基准方法的性能比较。对于两个数据集，最佳表现的方法的结果已加粗。0TPR TNR F1分数 平衡准确性0站点A（基准）0 1 0 0.50站点A（IP2Vec）0.95 1 0.974 0.9750站点A（流量特征）1 0.5 0.8 0.7550站点B（基准）0.1 1 0.18 0.550站点B（IP2Vec）0.9 0.92 0.91 0.910站点B（流量特征）0.82 0.98 0.89 0.90由于基于流量的嵌入方法（如第3节中的IP2Vec所示）的方法，IP2Vec的表现优于基于流量特征的方法。此外，IP2Vec对于两个站点的表现均优于基于流量特征的方法，这是因为IP2Vec方法中网络流的维度较低，提供了比基于流量特征的方法更好的分类特征。0特征排名：在本节中，我们将评估重要性0表3中特征的重要性，用于ICS和非ICS流量分类的背景下。为了对特征进行排名，我们使用了递归特征消除（RFE，[22]）作为评估器的支持向量分类器和线性核。SiteA和B数据集的RFE排名最重要的三个特征分别是接收数据包大小的最小值（rcvd_psize_min），以及发送数据包间隔时间的最小值和标准差（sent_pinterarr_min，sent_pinterarr_stdev）。在图7和图8中，我们绘制了六个最重要特征随时间变化的情况，分别对应Site A和SiteB的ICS和非ICS流量。这些图表显示了使用RFE找到的特征排名的相同结论，对于两个数据集都是如此。图7和图8还显示了在Task1的背景下最不重要的特征，对于两个数据集来说都是“rcvd_vol_bytes”。这些特征排名将有助于定义对于在Section5.4中提到的ICS和非ICS设备分类的可转移性。在Section5.4中，我们展示了如果两个数据集共享类似的特征排名（如Site A和SiteB数据集），那么在一个数据集上训练用于区分ICS和非ICS设备的分类器，将在另一个数据集上表现得很好。此外，两个数据集内特征排名越相似，从一个数据集转移到另一个数据集时分类器的表现就会越好。05.4. 可转移性0我们使用了一个10阶多项式核的SVM分类器0它使用一个数据集的计算网络特征，并在另一个数据集上进行测试，以评估分类器是否可转移以及其执行ICS设备与非ICS设备分类的表现。为了展示可转移性，我们选择了两种情景。第一种情景使用来自SiteA训练数据集的网络流量特征和流来训练SVM分类器，并在SiteA测试数据集上测试训练好的分类器。第二种情景涉及与第一种情景相同的训练步骤，但在SiteB测试数据集上测试训练好的分类器。在流量流计算中，�和��起着重要作用，因此对于这个可转移性实验，我们将��保持在10秒不变，同时将�从0.1到2小时变化，间隔为10分钟。目标是展示当改变总数据收集时间�时，可转移性（在这里由分类器的表现定义）是否会改变。在图9中，两个子图表显示了真正阳性率和真正阴性率70Array 12（2021）1000810I. Chakraborty等0图7. Site B与ICS和非ICS流量相关的前六个重要特征的时间序列图。0图8. Site A与ICS和非ICS流量相关的前六个重要特征的时间序列图。0率（这里正表示ICS设备，负表示非ICS设备），红色和蓝色表示测试数据集分别为Site B或SiteA。与蓝线（非转移）相比，红线（转移）在真正阳性率上减少约0.25，在真正阴性率上减少约0.07。此外，对于转移和非转移情况，两种率在1小时后饱和，这进一步显示了我们之前的主张，即拥有1小时数据和 �� = 10 s 是最佳的。0基于图7和图8的发现，我们选择了三个0用于对工业控制系统（ICS）和非ICS流进行分类的Site A和SiteB之间共同的重要特征。特征排名显示，用于对ICS和非ICS流进行分类的SiteA和SiteB不共享特征排名；这解释了转移和非转移情况下分类准确性的下降，如图9所示。如图11所示，两个子图表显示，通过添加三个额外特征（基于特征排名），并重新训练转移分类器，我们可以实现SiteB数据集的非转移准确性（重新训练意味着从SiteA转移训练好的分类器，并用SiteB的相应特征替换，如图11所示）。在类似的可转移设置中（在SiteA上训练，在SiteB上测试），基于特征的方法的表现显著优于IP2Vec，如图10所示。尽管IP2Vec在数据集内的表现优于基于特征的方法，但由于其利用固有架构，因此在数据集内表现更好0图9. 使用基于流量特征的方法，在 Site A 上训练分类器并在 Site A 上测试，以及在 Site A上训练分类器并在 Site B 上测试时，随着 �的变化而发生的分类性能变化。（有关本图图例中颜色的解释，读者可参考本文的网络版本。）0图10. IP2Vec和基于特征的方法之间的跨数据集性能比较。0流定义，IP2Vec无法提取可推广的特征，不像基于特征的方法，因此在跨数据集设置中表现不佳。06. 数据收集参数：最佳 � 和  ��0获取期望分类所需的数据量0区分ICS和非ICS设备的准确性对于了解该任务在几乎实时环境中的适用性至关重要。‘‘期望’’的定义高度依赖于应用。例如，实时入侵检测系统可能需要较低的假阴性率，以最大程度地增加检测入侵者的可能性，但对假阳性更宽容。相反，离线安全评估调查可能会容忍假阴性和假阳性，因为评估的性质不是时间关键的。理想的区分ICS和非ICS设备的方法将产生完美的分类准确性，但在实践中可能并非总是可实现的。在本节中，我们评估了实现分类准确性在80-95%之间所需的最佳数据收集时间。0我们通过变化 � 来迭代可用数据的数量，范围为0.1到2.5小时。0在 Site A 数据集中， � 在0.1到2.5小时之间变化，间隔为5分钟。80Array 12 (2021) 1000810I. Chakraborty等人0图11. 转移不同情况及其相应准确性：情况1表示仅从 Site A 转