深度强化学习犯罪网络隐藏链接预测模型性能优化

沙特国王大学学报基于深度强化学习的犯罪网络隐链预测模型性能优化Marcus Lim，Azween Abdullah，NZ Jhanjhi马来西亚泰勒大学计算机与信息技术学院（SoCIT）阿提奇莱因福奥文章历史记录：2019年6月30日收到2019年7月24日修订2019年7月29日接受在线预订2019年保留字：隐藏链接预测深度强化学习犯罪网络分析社交网络分析GPUA B S T R A C T犯罪网络（例如贩毒集团和恐怖主义网络）的规模在全球范围内扩展，并对许多国家构成国家安全威胁，因为它们也往往是技术先进的（例如暗网和丝绸之路加密货币）。因此，执法机构必须配备最新的犯罪网络分析（CNA）工具，以获取犯罪网络中的关键隐藏链接（关系），从而先发制人并破坏犯罪网络结构和活动。当前基于社交网络分析模型的隐藏或鉴于深度强化学习（DRL）技术最近的性能有所改善，可以通过自生成的数据集训练ML模型，DRL可以有效地应用于数据集相对较小的领域，如犯罪网络。本研究的目的是评估使用DRL技术开发的CNA隐藏链接预测模型与经典ML模型（如梯度提升机（GBM），随机森林（RF）和支持向量机（SVM））的比较性能实验结果表明，DRL模型的性能比在1500次迭代内训练的下一个表现最好的经典RF模型这些链接预测模型的性能可以通过图形处理单元（GPU）的并行处理能力来扩展，以显着提高模型训练和隐藏链接预测的速度©2019作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍社 会 科 学 领 域 中 与 图 论 和 网 络 分 析 相 关 的 研 究 和 学 习（Cheliotis，2014）开创了社会网络分析（SNA）方法的发展。图论提供了分析图的概念结构、方法和技术。 SNA方法将图论与分析技术和可视化工具的应用相结合，这些分析技术和可视化工具是专门为分析社交及其他网络而开发的（McAndrew等人，1999年）。犯罪网络分析（CNA）的方法和技术主要采用和改编自SNA的分析模型和指标（Jennifer和Chen，2005）。在几个商业社交网络*通讯作者。电子邮件地址：noorzaman. taylors.edu.my（NZ Jhanjhi）。沙特国王大学负责同行审查例如Facebook，介绍潜在朋友的推荐系统，基于SNA链接预测技术（Mattia，2017）。深度强化学习（DeepReinforcement Learning，DRL）是指将深度神经网络（Deep Neural Networks，DNN）纳入强化学习（Reinforcement Learning，RL）框架的ML技术，其目标是实现能够自学习的通用人工智能（Silver et al.，2018年）。DNN或深度学习（DL）是ML方法的一个领域，与预定义的任务算法相比，它基于对来自大型数据集表示学习可以是监督、半监督或无监督学习的形式（ Bahdanau 等人， 2016; Zeiler 和 Fergus ， 2014; Yao 等人，2013年）的报告。近年来，DNN被引入到RL中，并在值函数逼近方面取得了相当大的成功。 第一个深度Q网络（DQN）算法，它成功地结合了强大的非线性函数逼近技术（即，DNN）与Q学习算法一起由Mnih等人提出（Mnih，2015）。RL是ML中的一种技术，其中程序（称为代理）与熟悉或新的环境进行交互，并根据完成时获得的点数不断适应和学习https://doi.org/10.1016/j.jksuci.2019.07.0101319-1578/©2019作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM. Lim等人/沙特国王大学学报1203任务。奖励的分数如果是正面的，则标记为奖励，如果是负面的，则标记为惩罚（Mnih，2015）。这种方法不同于ML的通常监督学习方法，因为它不依赖于训练数据集的使用（Li等人， 2018年）。目前，DRL算法技术被分为两组。第一组由策略梯度方法组成，这些方法在策略样本上进行训练Asynchronous Advantage Actor-Critic（Mnih，2016）是在集中式神经网络上训练的方法之一第二组 包 括 Q 值 学 习 方 法 ， 其 中 涉及 离 线 训 练 。 一 个 例 子 是 DQN（Mnih，2016），它是通过使用GPU来训练的。如今的计算机在单个主板上使用多核CPU和GPU在DRL中，神经网络参与学习和数据收集，以执行代理的当前策略 考虑到GPU的并行计算能力和神经网络本质上是并行算法的事实（Yao等人，2013年），GPU将用于所有神经网络计算的硬件加速1.1. 问题定义监督ML模型通常需要大量数据集进行训练，以实现最佳的预测性能。Hasan等人已经证明了在链路预测模型中使用大数据集对预测性能的重要性（Hasan等人， 2011）使用监督学习技术梯度提升机（GBM）。本研究的主要目标是开发一个CNA链接预测和重建模型，该模型可以在相对较小的数据集上使用DRL技术进行训练，利用GPU的并行计算来提高模型CNA链路预测模型的性能取决于为该模型开发的DRL算法的效率和GPU的并行处理性能。1.2. 论文结构本文件的组织结构如下。在第二节中，回顾了犯罪网络、DRL以及使用多核CPU和GPU的并行处理的相关领域第3描述了为显示比较性能而开发的模型。第四部分介绍了实验装置、数据集的特点和实验结果最后在第5中讨论了结论和未来的工作。2. 相关工作Hasan等人（2011）通过基于ML技术的SNA模型和指标的应用，研究了犯罪网络中的链接预测。他们使用基于GBM的监督学习方法研究了ML技术，以增强巨大数据集中隐藏链接预测的性能。这些实验提供了可量化的证据，证明了数学和机器语言模型在进行SNA和基于实际领域相关数据集的隐藏链接预测时的相关性和性能。Hasan等人（2011年）的结论是，与其他调查研究相比，他们使用和分析的犯罪网络样本数据集规模很大，提供了更准确地描述犯罪网络真实特征的分析指标。作者认为，可以进一步应用逻辑回归、随机森林、支持向量机和神经网络进行研究，以获得各种比较结果。Bellemare（2017）研究了使用结合CPU和GPU的现代计算硬件规范（特别是NVIDIA DGX-1）优化DRL算法。他们在ML模型中采用了策略梯度和Q学习算法，利用了并行、同步和异步计算技术。Anthony等人（1705）参考Silver（2017）的开创性研究工作研究了RL算法的性能，并提出了D. Silver等人通过将模仿学习方法纳入RL算法来增强DRL在Hex游戏背景下的性能。Ben-Nun和Hoefler（1802）提出了DNN架构的趋势及其对并行化策略的影响他们回顾并建模了DNN中的各种类型的并发，包括单个运算符，网络推理和训练中的并行性以及分布式DL。他们还讨论了非同步随机优化，分布式系统架构和神经架构搜索。此外，他们将研究轨迹扩展到DL中并行处理的潜力，并确定加速DNN的训练是一项重大挑战。他们评估了从分布式算法到低级电路设计的各种技术。Ben-Nun和Hoefler（1802）还指出，ML过程通常是计算能力密集型的，并且在本质上类似于传统的高性能计算（HPC）应用程序。因此，许多数据密集型学习任务在配备GPU或现场可编程门阵列（FPGA）的系统上表现良好。这些处理器已经在HPC应用中部署了几十年，并且它们的架构现在被配置为利用HPC数据密集型任务的高并行处理设计。本文的作者回顾了240篇关于DNN硬件配置的论文，并总结了本研究中使用的机器架构，这些架构自2013年以来表现出明显的GPU使用趋势。使用GPU对DNN的加速编程通常使用特定语言完成，例如CUDA（用于NVIDIA GPU）、开放计算语言（OpenCL;用于INTELGPU）或硬件设计语言（用于FPGA）。并行化和加速深度RL算法的努力已经进行了很多年。Nair等人（1507）通过使用分布式计算并行化DQN，并通过在处理采样和学习任务时使用数百个计算单元来实现速度上的显着（尽管是次优的）提高，其中中央服务器处理参数的校准。然而，这一做法显示，Fig. 1. 硬件架构（Yao等人， 2013年）的报告。1204M. Lim等人/沙特国王大学学报1/4xyt¼xy11/4xy对数IJ性能相比，单线程DQN的复杂度的样本增加。在更当前的发展中，Horgan et al. （2018）确定了分布式和优先级重放缓冲区可以提高使用多个CPU核心进行模拟的学习速度，使用一个GPU进行训练。从回顾的研究工作来看，很少有证据表明GPU并行处理和DRL的结合已经被纳入犯罪网络领域的链接预测领域。本文希望通过利用DRL和GPU并行处理技术对犯罪网络链接预测的研究来填补这一空白。3. 模型DRL技术涉及DL（多层神经网络）和RL的ML技术的结合。 （张和斯，1706）。因此，CNA链路预测中DRL的性能取决于几个因素，并基于SNA度量（表1）和DRL技术的公式进行评估。表1链路预测度量（Hasan等人， 2011年）。定义公共邻居Sxy<$j/x\/y jJaccard指数Sj/10x\/10y j[英][英][英]枢纽指数Sj/x\/y j最小值kx;ky优先附件索引Sxy¼kxxkyAdamic-Adar指数Sxy¼Pz2/xxx\/yx1KatzSxy¼P1bt：nt犯罪网络内节点之间存在或不存在隐藏链接的概率的预测用监督学习技术作为二进制分类问题来表示。在这项研究中的CNA链接预测模型的发展涉及到映射的犯罪网络结构到一个矩阵的功能，从SNA模型的度量派生的每对节点。在特征矩阵的构造中使用的SNA度量如表1所示。u（i）表示网络内作为节点i的邻居的节点。ki表示相对于i的次数。表示在节点i和i之间的长度为t的行走的数量，J. b代表较长步行距离的贴现系数选择度量来填充特征矩阵，特征矩阵由来自基于邻域、基于Katz和基于随机游走的测量的常见SNA度量组成（Hasan等人，2011年）。因此，对于每对节点，创建一个特征矩阵数组这些数据记录用于监督ML中的训练目的，作为正负节点对的二进制分类边存在或不存在的节点对相应地在训练阶段，链接预测算法将生成一个数据集，其中具有多个特征的每个数据记录表示一对节点，节点之间有或没有链接（图2）。多个特征由适用于节点对的SNA链路预测度量组成。作为从数据中提取训练模型的结果，类标签指示节点之间的链接的存在或不存在。在测试阶段，所使用的每个样本对节点被转换成具有多个特征的记录，从该记录中，模型将预测边缘备注：[1]犯罪网络数据存储在图数据库中，映射到每对节点的特征矩阵[2]共同邻居的SNA特征矩阵Jaccard，Adamic-Adar矩阵用作价值网络的输入层x[0]，x[1]，x[2][3]枢纽指数和偏好附件指数的SNA度量分别用作价值网络的隐藏层1（h1 [0]，h1 [1]，h1 [2]）和隐藏层2（h2 [0]，h2[1]，h2 [2]）的权重（w1 [0]，w1 [1]，w1 [2]和w2[0]，w2 [1]，w2 [2]）[4]深度优先搜索（DFS）模块执行在随机节点对（N0，N1，.）上发起的网络路径遍历，该随机节点对具有由值网络的函数逼近器识别的隐藏链接的最高概率。[5]树构建的推出将基于具有隐藏链接的最高概率（P0，P1）的节点对[6]状态S0至Sn表示在每个模拟链路预测推出结束时用所识别的隐藏链路重构的网络根据初始训练数据集（T0）评估生成的状态，以衡量链接预测的成功程度。[7]绩效指标反馈给价值网络，以校准权重参数。图二.提出的具有GPU计算的犯罪网络重建模型（Lim等人， 2019年）。M. Lim等人/沙特国王大学学报1205DNN将被用作函数逼近器，以初始损坏的网络结构S0作为输入，边缘的概率向量这些边缘的概率是根据每个节点的SNA度量导出的，隐藏链接的概率是根据初始网络结构S 0估计的（图10）。 2）的情况。神经网络通过基于SNA度量评分的自模拟学习隐藏边缘的概率这些值用于指导网络结构遍历。所提出的犯罪网络重建模型（图2）使用通用深度优先搜索（即图2中的DFS）。 2）树搜索算法。每个搜索由一系列模拟重建的自评分边缘，遍历树从它的根到它的叶子。每个模拟通过在每个网络结构中选择S来进行，S是根据当前神经网络具有高概率和高值的隐藏边缘搜索返回一个向量，表示边缘上的概率值网络的参数是根据RL通过自模拟生成的数据集进行训练的，该数据集由随机参数初始化DFS函数基于在价值网络的树搜索算法的实现期间具有最高概率近似的SNA度量在算法中重复网络结构模拟以导出状态值的估计。然后，通过进一步遍历具有更高隐藏边缘概率的网络来扩展树搜索然后识别出以最高概率探索的边缘（图1）。 2）的情况。在树搜索的每个模拟中，基于树搜索策略网络的节点之间的可能隐藏边将在遍历网络路径时生成然后，在铺开阶段中，当模拟基于默认策略到达网络结构遍历的结束时，所获得的结果将用于调整在遍历网络的同时在第一阶段期间导出的每对节点的值的估计在树搜索期间节点之间的每次遍历表示网络结构的可能状态根节点表示当前状态，并且每个子节点表示作为单个可能的隐藏边的结果的来自当前状态的状态的实例从状态S1到S2的可能隐藏边缘identified表示从S1到达S2所采取的动作。状态数N将通过自模拟生成，直到达到可接受的曲线下面积（AUC）评分实现了图 3.通过使用Python Keras库和PyOpenCL库，为价值网络中的隐藏层调用GPU处理，通过Windows操作系统的OpenCL层启动GPU计算单元中的处理。OpenCL（开放计算语言）是一个供应商神经框架，用于涉及CPU和GPU的异构计算。此外，OpenCL是由Apple Inc.发起的开放技术标准。目前由Khronos计算工作组维护。OpenCL程序能够通过使用可以并行执行的内核函数来调用GPU计算单元中的进程通过调用每个GPU计算单元内的处理线程，值网络处理顺序地执行SNA度量的密集计算和节点对的权重的并行化。在价值网络计算的第一序列中（图3（a）），创建命令队列以包含被调用以处理每个节点对SNA度量的每个核函数以及特征矩阵数据，并且根据隐藏层1中的优先连接索引进行加权。每个内核函数在每个GPU计算单元内处理，由PyOpenCL分配一个标识符。在下一个序列中（图3（b）），创建命令队列以根据由隐藏层1生成的每个输出的集线器索引来计算隐藏层2的权重。加权SNA度量评分用于近似具有隐藏链路从隐藏层2输出y的最高概率的节点对，其随后用于启动策略网络中的树搜索过程。在RL代理模块中，通过根据SNA度量评分选择边来构造模拟网络结构。图3.第三章。 GPU并行处理层中的价值网络学习（Lim等人， 2019年）。1206M. Lim等人/沙特国王大学学报在每次模拟运行结束时，将重建的网络结构与从原始数据集导出的未损坏的网络结构进行比较。然后，调整策略网络的超参数，使得预测的丢失边与实际边之间的误差最小化。在此过程中，策略值和搜索概率之间的相似性将被最大化。然后，通过基于损失函数的梯度下降来具体地调整参数，损失函数相应地在均方误差和交叉熵损失上聚合。已更新的参数将用于通过自模拟重建边缘的下一次迭代中（图1）。 2）的情况。价值网络（图2）是由神经网络的两个隐藏层构成的，它利用优先连接指数和枢纽指数来评估节点和边的概率分布，树搜索函数从节点和边开始搜索。RL策略网络（图） 2）将根据公共邻居的链路预测度量来计算得分。Jaccard指数和Adamic-Adar指数用于模拟网络每个状态下的然后将基于RL策略网络的网络的每个状态所获得的分数应用于模型的值网络的训练，通过调整参数来增强其性能。基于经典ML技术即GBM，RF和SVM（图4），构建，其训练和预测性能的DRL-CNA模型。这些模型还旨在利用GPU的并行处理能力。GBM是一种有监督的ML模型，它利用决策树算法，并通过逐渐减少决策树先前迭代的预测误差来改善（提高）学习性能（Zhang和Si，1706）。GBM学习率参数将基于评估函数在具有最高概率的网络树搜索的状态与测试数据进行比较时进行校准SVM是识别超平面的ML分类模型，该超平面对落在最大余量内的正节点对数据点和负节点对数据点进行分类（Do，2008）。最大裕度将由评估函数根据与测试数据比较的预测准确度结果进一步调整。RF是一种基于树搜索算法集成的ML二进制分类模型，其中每个算法都是基于SNA指标的特征构建的（Jeon，2015）。基于随机选择的特征，从具有最高存在概率的链接生成的状态将基于针对测试数据评估的预测准确度进行校准。4. 实验在这项研究中，利用在GPU上处理的价值网络构建的DRL-CNA链路预测模型（即基于GPU的模型）的性能与纯粹在具有4核的CPU上处理的DRL-CNA链路预测模型（即基于GPU的模型）的性能进行基准测试。基于CPU的模型）。基于CPU和基于GPU的隐藏链接预测模型的性能通过准确性度量AUC（曲线下面积）和混淆矩阵进行评估。4.1. 实验装置DRL链路预测模型在Win-IoT 10笔记本电脑上进行了训练和测试，该笔记本电脑具有集成到流行的第8代（Kaby Lake GT 2）英特尔酷睿i7- 8550 U四核CPU中的英特尔UHD 620。集成的GPU包含24个计算单元，以访问GPU并行计算能力。PyOpenCL库用于与英特尔OpenCLAPI和英特尔显卡驱动程序Windows 10集成所使用的犯罪网络数据集基于UCINET可卡因走私数据集，该数据集包含哈特福德吸毒者的二分邻接矩阵（Borgatti等人， 2002年）。本研究中使用的相对较小的数据集旨在表现出DRL模型的可接受的预测性能，可以与基于SNA链路预测度量的域规则的RL技术生成的自模拟数据集一起来自UCINET的可卡因走私数据集（Borgatti等人，2002年）包含四个犯罪网络集团，其中两个最大的网络集团，杰克和胡安，分别有62个和51个节点。AUC被用作评估度量，因为它与类不平衡无关，并且是用于评估分类器性能的常用技术。利用GPU并行计算，对JUANES网络数据集进行了链接预测模型JUANES犯罪网络数据集以75%：25%的比例分为训练集和测试集训练集用于建立日间行车线链路预测模型，而测试集用于评估模型的性能。犯罪网络中的一些节点（例如图5）被移除，以模拟具有缺失链接的损坏的犯罪网络数据集（例如， 图 6）用于训练的链接预测模型的后续测试。被破坏的犯罪网络数据集被转换为特征矩阵，并由基于CPU和基于GPU的CNA链接预测模型重建（见图11）。 7）。犯罪网络的SNA链接预测指标被映射到特征矩阵中，以用于训练链接图四、 经典链接预测模型（Lim等人， 2019年）。M. Lim等人/沙特国王大学学报1207图五. JUANES网络图。见图6。 JUANES模拟的受损网络图。预测模型首先，使用Python例程将犯罪网络数据集构造成由节点和边组成的列表字典。代表网络内实体的节点用序列码标记。然后，使用Networkx将列表的字典移动到Python NumPy矩阵中，并存储在OrientDb图形数据库中。表1中标识的链接预测度量用于计算相应的节点和边，以从犯罪数据集中提取相关特征。随后，使用这些特征来构建链接预测模型。最后，为每个节点计算的特征和值被制成表格，如图所示。 六、将节点的列表特征和链路预测度量转换为特征矩阵，然后使用该特征矩阵来构建链路预测模型。4.2. 实验结果在corrupted网络上进行了大约1500次迭代。重建网络的初始结果如图所示。8.第八条。利用犯罪网络链接预测与重构的DRL-CNA模型对节点ABF、JLT、JBH、FDS、FARP和EHJ的边一些节点，如RMP和OJMG没有完全重建，并进行了额外的迭代模型，以进一步校准的价值和政策网络。然而，CNA链路预测模型的这种初始测试表明，可以结合DRL技术来在相对较小的数据集上训练模型为了评估使用DRL技术构建的基于GPU的CNA链路预测模型与基于CPU的CNA链路预测模型的性能，使用了JUANES和JAKE网络组的较大数据集图图10示出了与DRL-CNA链接预测模型相关的3个经典的基于GPU的链接预测模型的JAKE网络数据集的AUC得分。与RF模型相比，DRL-CNA链接预测模型的AUC评分在3个经典模型中表现出最小的这可能是由于RF链路预测模型通过树搜索的集合提供更紧密的拟合的原因。表2显示，对于两个大型犯罪网络的数据集，基于GPU的DRL-CNA链接预测模型的性能优于三个经典模型。AUC实验结果还表明，DRL-CNA的预测准确性1208M. Lim等人/沙特国王大学学报图7.第一次会议。 犯罪网络特征矩阵映射过程（Hasan等人， 2011年）。图8.第八条。用DRL CNA链路预测模型重构JUANES网络图图9.第九条。（a）JAKE网络;（b）JUANES网络;（c）MAMBO网络的DRL、GBM、RF、SVM链接预测模型的AUC度量。M. Lim等人/沙特国王大学学报1209图10个。Jake网络的ROC曲线（a）DRL与GBM模型相比;（b）DRL与RF模型相比;（c）DRL与SVM模型相比表2链接预测模型的AUC得分。*通过基于SNA度量识别适当的高概率边缘集来实现这一目的。数据集DRLGBMRFSVM迭代杰克0.730.650.680.6615005.结论和今后的工作Juanes0.690.510.620.601500曼波0.660.570.550.531500在这项研究中，一个实验的主要目标是*真阳性（TP）率与假阳性（FP）率。表3链接预测模型的处理时间分数（小时）。证明DRL技术能够超越在训练链路预测模型所需的时间方面进行经典ML模型。AUC分数表明，基于GPU的DRL-CNA模型能够获得比三个经典链接预测模型更好的分数。A DRL值数据集DRLGBMRFSVM迭代网络用于预测每个节点的分裂特征，杰克1.2'1.11.61.31500使用RL进行训练，以搜索性能更好的决策树Juanes0.90.91.41.01500曼斯实验表明，利用并行亲，曼波0.60.50.70.81500GPU的处理能力可以优化同一超参数下的DRL-CNA链路预测模型设置为其他三个模型。未来的实验可能是以确认使用NVIDIA GPU是否会产生模型表现出显着的改善相比，使用最小数据集MAMBO的经典模型（图9）网络节点之间正确和不正确链接预测数量的分类性能结果也使用混淆矩阵率进行测量，并绘制在受试者工作特征（ROC）曲线中。对JAKE网络进行了抽样，因为它是两个犯罪网络中较大的一个。因此，在ROC曲线中绘制真阳性（TP）率与假阳性（FP）率（图11）。 8）是基于杰克网络组。TP率（也称为敏感率）是模型预测的实际缺失链接的比例。FP率（也称为1-特异性率）是模型识别的不存在链接的比例。ROC实验结果也证实了当数据集相对较小时，DRL-CNA模型的预测精度比经典模型表现出更准确的训练模型表2表明，与GPU的三种经典ML模型相比，DRL-CNA模型的AUC得分在使用DRL值网络中的优先连接索引、中心索引和页面排名计算节点对的权重时，在训练的预测准确性方面表现出更好的性能在三个经典模型（图。 9），GBM-CNA模型通常在预测性能方面比DRL-CNA模型表现出更大的差距，这可能是由于犯罪网络数据集较小，对GBM模型的训练产生了负面影响。表3中的训练时间分数表明，DRL-CNA模型的训练相对较小的数据集可能需要DRL- CNA模型生成用于训练的模拟网络实例进一步改进。DRL-CNA模型还可以进一步开发，以便能够对时间序列数据集进行链接预测。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用安东尼，托马斯，田，郑，巴伯，大卫，1705年。使用深度学习和树搜索快速和慢速思考。 arXiv.Bahdanau，Dzmitry等人，2016.基于端到端注意力的大词汇量语音识别March.声学，语音和信号处理（ICASSP），2016年IEEE国际会议。美 国 电气与电子工程师协会。Bellemare，M.G.，Dabney，W.，穆诺斯河2017.强化学习的分布式视角。ICML1.Ben Nun，Tal，Hoefler，Torsten，1802.揭秘并行和分布式深度学习：深度并发分析。 arXiv.Borgatti，S.P.，埃弗雷特，M.G.，弗里曼，L.C.，2002. Ucinet for Windows：社交网络分析软件。Analytic Technologies，Harvard，MA.Campana，Mattia G.，Delmastro，Franca，October 2017.在线和移动社交网络的推荐系统：一项调查。爱 思 唯尔Giorgos Cheliotis，新加 坡国立大学副教授。 “Social network nnalysis”，2014 ，https：//wiki.nus.edu.sg/download/attachments/57742900/Social+Networks+-+Social+Capital.pdf访问日期：2018年10月19日。David Silver等人，2018.一个通用的强化学习算法，通过自我游戏掌握国际象棋，将棋和围棋。Science 362（6419），1140-1144. DOI。 10.1126 science.aar6404.Do，Thanh-Nghi等人，2008年一种面向海量分类任务的快速并行SVM算法。施普林格柏林海德堡Hasan，Mohammad Al，Zaki，Mohammed J.，2011.在：社交网络数据分析.美国斯普林格，马萨诸塞州波士顿，第243-275. https://doi.org/10.1007/978-1-4419-8462-3_9.Horgan等人，2018年分布式优先体验回放。 ArXiv桓，张，思，思，谢，卓瑞，1706年。GPU加速用于大规模树提升。 arXiv.1210M. Lim等人/沙特国王大学学报詹妮弗，徐，Chen，Hsinchun，2005.犯罪网络分析和可视化。Commun. ACM 48（6）.Jeon等人，2015年。 使用并行处理环境的链接数据随机森林算法。IEICE Trans.Inform. System.98（2），372-380.Li，H.，库马尔，N.，陈，R.，Georgiou，P.，2018.一个深度强化学习框架，用于识别电影中的有趣场景。2018 IEEE声学、语音和信号处理国际会议（ICASSP）林，M.，Azween，A.，Jhanjhi，NZ.马哈代万，S.，2019年。 使用深度强化学习技术预测犯罪网络中的隐藏链接。 计算机8（1），8.McAndrew，D.，1999.犯罪网络的结构分析。在：坎特，D.，艾莉森湖（编），犯罪的社会心理学：群体，团队和网络，罪犯剖析系列，III。奥尔德肖特达特茅斯Mnih等人， 2015. 通过深度强化学习实现人类水平的控制。Nature 518（7540），529Mnih等人，2016.异步深度强化学习的方法ML国际会议Nair等人，1507年深度强化学习的大规模并行方法 arXiv. Silver，D. 例如，2017年。在没有人类知识的情况下掌握围棋 性质550（7676），354Yao，K.，Zweig，G.，Hwang，M.Y.，施，Y.，Yu，D.，2013.用于语言理解的递归神经网络。语际，2524-2528。Zeiler，医学博士，弗格斯河，巴西-地2014.可视化和理解卷积网络。ECCV1.