基于稀疏特征和模型内部状态的日志异常检测方法的研究

认知机器人1（2021）188基于空间合并的平川凛a，1，内田博纪b，2，中野朝太郎c，富永庆太郎d，Yoshihisa Nakatohe，a日本福冈九州技术学院b松下系统设计公司，有限公司、日本神奈川c松下系统设计有限公司，有限公司、日本神奈川松下系统设计公司，有限公司、日本神奈川e日本福冈九州理工学院aRT i cL e i nf o关键词：异常检测软件日志空间池缺陷分析a b sTR a cT日志数据是理解系统运行时行为的重要线索，但近年来软件系统的复杂性使得工程师需要分析的数据变得庞大而难以理解。虽然基于深度学习的基于日志的异常检测方法已经实现了高度准确的检测，但是操作模型所需的计算性能已经变得非常高。在这项研究中，我们提出了一种基于稀疏特征和模型内部状态的异常检测方法，SPClassifier，并研究了在没有GPU等计算资源的环境中进行异常检测的可行性。在BGL数据集上使用最新的深度学习模型进行基准测试表明，即使在训练数据量很小的情况下，所提出的方法也可以实现具有竞争力的准确性，并且具有高水平的异常检测性能介绍日志数据被广泛用于了解软件的操作，并在出现问题时识别问题的原因[1]。随着软件系统变得越来越复杂，规模越来越大，在运行时收集的日志数据变得越来越庞大，难以理解。特别是，对于诸如并行运行多个任务的云基础设施之类的系统来说，生成各种软件输出的交错日志数据是很常见的[2]。在这种情况下，很难手动找到提供线索以识别缺陷原因的消息。近年来，几十万行以上的日志并不少见，由于在一次测试中收集的数据不多，视觉验证工作已成为开发周期延误的一个原因在此背景下，为了有效地使用现代软件日志，人们对自动日志分析进行了大量研究[3]。特别是日志数据中异常模式的检测技术对于分析大规模软件缺陷非常有用。最近，在日志异常检测领域提出了许多基于深度学习的方法，并在工业日志中取得了巨大成功[4另一方面，这些方法通常假设训练计算复杂的模型和开发良好的大型日志数据集。因此，尽管学术领域的技术不断发展，但获得高性能计算资源的成本和数据准备（如标记）的人力成本仍然是实施的障碍∗ 通讯作者。电子邮件地址：nakatoh@ecs.kyutech.ac.jp（Y. Nakatoh）。1现住址：804-8550福冈市北九州市鸟幡区千水町1-12现住址：222-0033神奈川县横滨市东北区新横滨3-19。https://doi.org/10.1016/j.cogr.2021.10.001接收日期：2021年9月30日;接收日期：2021年10月13日;接受日期：2021年10月19日2021年10月28日网上发售2667-2413/© 2021作者。Elsevier B.V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）可在ScienceDirect上获得目录列表认知机器人期刊首页：http://www.keaipublishing.com/en/journals/cognitive-robotics/R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188189在这项研究中，我们提出了一个简单的模型，使用稀疏特征和内部表示，以检测异常，即使使用少量日志数据也具有高精度，这适合于在CPU环境中进行训练。 该方法由一个空间池层和一个用于分类的单层神经网络组成，该神经网络从转换为图像特征的日志数据中识别异常模式。在大型超级计算机日志数据集上的基准测试结果表明，我们的方法可以实现与最先进的基于深度学习的方法相竞争的准确性，即使少量也可以保持高准确性的数据.相关作品Log parser从系统收集的日志数据需要在使用机器学习模型进行分析之前转换为结构化格式。日志解析器是一种用于识别日志消息的常量和变量部分的技术[10]。在自动化领域日志分析，消息的常量部分通常称为日志模板，变量部分称为参数。类似于在最新的基于机器学习的方法中，该方法基于提取的模板信息学习日志模式日志解析器。常见的日志解析方法包括基于频繁模式挖掘（Logram[11]），聚类（LogCluster[12]）和分类（Drain[13]）的方法。这些方法的最终目标是相同的：分离日志消息模板 和原始日志消息的参数。因此，自动日志分析的用户可以选择最适合其日志数据的任何日志解析器。基于深度学习的日志异常检测方法为了弥合基于异常检测技术的学术研究与工业应用之间的差距，关于自动日志分析，LOGPAI项目的GitHub存储库中有几个开源工具包[14]。Loglizer[15]是一个基于机器学习的日志分析工具包，用于自动异常检测，可以使用九个基本机器学习模型进行基准测试该工具包括有监督的异常检测方法（LR，决策树，SVM）和无监督的异常检测方法（LOF，One-Class SVM，隔离森林，PCA，不变量挖掘，LogClustering）。可以以统一的输入/输出格式检测日志数据中的尽管自发布以来已经提出了许多更准确的方法，但它可以用于无缝地试用各种轻型机器学习模型。Deep-loglizer[16]是一个基于深度学习的日志分析工具包，用于自动异常检测，它实现了近年来提出的六个在本研究中，我们采用了deep-loglizer中的一些模型作为比较基于日志的异常检测对象。在下文中，我们将概述每个模型及其功能。1.1.1. 无监督的方法无监督的异常检测方法基于这样的假设：学习正常系统操作期间的日志数据，并且当测试数据中的模式偏离正常时可以检测到系统异常。这些方法可以大致分为两种类型：基于预测的和基于重建的。基于预测的异常检测方法通过训练来预测下一次出现的日志模板的索引，从一个固定长度的日志序列的时间。在测试期间，当实际观察到的日志不在预测日志的前k个概率中时，检测到异常。Deep Log[4]是最早将深度学习模型（LSTM）应用于日志异常检测的模型之一，也是随后提出的基于预测的方法的基础。LogAnomaly[9]通过考虑句子中的同义词和反义词，提出了分布式表示模板2Vec作为日志模板消息的语义特征。在在本文中，我们将该方法从基准列表中排除，以便比较仅学习模板的情况下的准确性 指数.Logsy[6]采用深度学习模型Transformer，近年来在自然语言处理方面取得了特别值得注意的成果。利用Transformer编码器得到的对数序列的分布式表示进行预测 类似于LSTM的日志。在基于重构的异常检测方法中，使用诸如Autoencoder[5]的模型来学习在输入特征被维度压缩后从输入特征重构原始特征。在测试期间，检测是基于这样的事实，即当输入异常模式时，诸如MSE的误差函数的值增加。在deep-loglizer实现中，方法是使用LSTM将日志序列转换为时间特征，然后使用Autoencoder重建特征，完全连接的层。1.1.1.Supervised. 方法在有监督的异常检测方法中，在训练模型时显式地给出标签，并且自动学习对识别异常有用的特征。LogRobust[7]通过采用具有注意力机制的双向LSTM，为日志序列中的每个模板分配不同的权重。与DeepLog和LogAnomaly在实现上的唯一区别是下一次的模板索引是否或者将序列的异常标记作为教师数据给出。在基于CNN的方法[8]中，使用为每个日志事件分配的嵌入将日志序列转换为类似图像的特征。特征是（嵌入维数× log序列长度）的图像，并通过多个卷积层进行处理 具有不同的内核大小。基于从这些输出连接的特征，异常由全连接层识别。R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188190Fig. 1. 拟议方法的管道。(a)使用分配给日志事件的索引执行从原始日志消息到整数序列的转换。对变换后的序列应用滑动分区，并将数据切割成固定长度的时间窗口。(b)包含在每个时间窗口中的整数值被转换为稀疏分布表示，并且被编码为在时间窗口的时间方向上的堆叠图像。日志序列编码后的图像由空间池化层处理，然后以与输入相同的格式输出为SDR。输出的SDR被预处理，数据的标签由单层神经网络预测基于HTM算法的异常检测HTM（Hierarchical Temporal Memory）[17]是一种时间序列学习算法，它模仿新皮层，可以学习流数据的时间和空间模式，从而从先前看到的序列中生成预测。HTM算法已应用于几个真实世界的实时流数据集，显示出其作为一种可以处理概念漂移的无监督异常检测方法的潜力[18]。已经进行了几项研究，以检测系统中的异常使用HTM。在规避恶意软件检测的研究中[19]，HTM通过学习EFLAG寄存器的序列模式来预测可执行文件的编码顺序。在对系统日志流中的异常检测的研究中[20]，消息中的词被转换成稀疏分布表示[21]序列，并且序列末尾的模型输出用于将日志消息分类到异常类别。在本文中，我们提出了一种方法，可以学习日志模式，使用输入功能，需要比上述研究更少的计算，并评估异常检测的准确性，使用一个大型的开放数据集。该方法在本节中，我们将详细描述我们提出的基于日志的异常检测方法SPClassifier。所提出的方法的流水线在图1中示出。首先，从系统收集的原始日志数据通过日志解析器，并且唯一索引被分配给所提取的日志事件模板。然后转换日志消息序列使用模板索引转换成整数时间序列数据。此外，整数值序列通过以固定间隔跨越固定长度的时间窗口（滑动分区）来切割，并且将编码成图像状特征应用于每个分区 （图1（b））。编码后的图像作为空间池化后的非线性输出表示传递到单层神经网络，以识别异常。特征变换、空间池化和分类的详细处理在以下部分中描述。特征变换所提出的方法中的日志序列的特征变换类似于使用CNN的方法，其中分配给每个日志事件的特征在时间方向上堆叠以产生（特征维数×日志序列长度）图像状特征。在这里，分配给每个日志事件的特征是固定维度的二进制数组，称为SDR（稀疏分布式表示）[22]。SDR是一个稀疏位数组，其中数组中一定比例的位为1（开），其余为0（开）。根据模板索引的哈希值计算将打开的位。R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188191���【详细】∑（）={���空间池化图二、编 码 图 像 的 空间池化。空间池（Spatial Pooling）[23]是HTM算法中处理输入数据空间特征的层。在我们以前的工作[24，25]中，我们提出了使用时间记忆和空间池来检测日志异常的方法。然而，这些方法不能有效地学习时间信息的情况下，交错日志很长。在本研究中， 我们使用具有滑动窗口的类似图像的特征来单独在空间池化层中实现更快的学习空间池层被构造为列的集合，一组对给定输入做出类似响应的神经元。的输入数据必须是一个固定长度的SDR，并且一列连接（称为突触）到输入的某个区域（接收场）特别提款权通过以下方式初始化第10列的潜在输入连接集��������� 为������ ������;������,���日本���语中文（简体）���������������������������������（���������������∼���(0, 1) is a random number uniformly distributed in [0, 1], and��� is a fraction of the input in the hypercube that is a potentialconnection.潜在连接具有表示连接强度的参数，称为持久性，并且当该值大于预定连接阈值时可以接收输入。列从接收方接收的最终值场称为输入重叠率，计算如下：���������=������������������中国（ 2）���其中，λ是控制单个列的兴奋性的正增强因子。���������is a binary array that is set to 1 if the��� th column has a synapse connected tothe��� th input������,and 0 otherwise.列可以处于活动（开）或非活动（关）状态，其中列对于给定输入的状态重叠由其与相邻列的输入重叠强度的关系确定。���1������������ ≥100 −100��������� ���������������≥���������������0������ ℎ������������������（三）也就是说，只有满足输入重叠值λmax大于刺激阈值λmax的条件并且在相邻列中处于上10%的列才变为活动的。������其中，fx（fx，fx）是一个百分位数函数，返回数据向量fx的值的第1个百分位数。基于输入SDR计算的整个空间池化层的列的状态作为由两个值（on和o）组成的SDR来获得，类似于输入（图2）。 2）。分类器单层神经网络分类器将空间池化层的输出，一个二进制的SDR数组作为输入，并预测异常或正常的标签。采用softmax函数作为网络输出的激活函数权重R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188192∑{−（∑表1BGL数据集的分解。参数串测试#消息4045666 664206#异常298962 48770#windows 4040575 662938#templates 340 21基于训练期间给出的标签信息，使用以下公式更新网络的��������� ���������简体中文���−11���������������������=0���−1=0{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}������（四）其中，神经网络的第k个输出节点和第k个输入节点的第k个值之间的权重。������������是类别的数量，其中n= 2，因为正常和异常类别用于异常检测。记忆是一种控制学习速度的系数。执行在所提出的方法中，特征转换、空间池化层和分类层的实现是使用htm.core[26]库完成的，该库是HTM算法的社区分支。利用深度测井仪的特征提取功能，实现了测井数据转换为模板索引后的滑动分区实验���R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188193+++为了评估所提出的方法的性能，我们将其与在deep-loglizer中实现的五种深度学习方法进行基准测试，并报告结果。BGL数据集Deep-loglizer工具包附带了一个大型日志数据集，这使得重现结果变得很容易。使用BGL数据集[27]在这个实验中，包含从劳伦斯利弗莫尔国家实验室的蓝色基因/L超级计算机收集的4，747，963条日志消息。表1显示了正常和异常数据以及BGL数据集中包含的其他数据的细分评估指标我们使用精度，召回率和F-测量作为性能评估指标的基准，这是最广泛使用的异常检测指标。精度是正确预测的异常窗口的百分比，召回率是检测为异常的所有异常窗口的百分比，F-测量值计算为精度和召回率的调和平均值���������������������������=������������������������������������=���������������������������������������������������������������������−���������������������������������������������（五）（六）（七）其中TP是正确发现的异常窗口的数量，FP是错误检测的正常窗口的数量，TN是未发现的异常窗口的数量。方法最初，BGL数据集基于时间戳信息被划分为六个每小时的会话。会议是随机shueded，80%其中20%作为训练数据，其余20%作为测试数据。窗口大小为10、步幅为1的分区是应用于训练数据和测试数据，并执行shuaning。如果窗口包含至少一个异常消息，则窗口的异常标签被分配为1，否则为0。每个基准测试方法都预测测试数据的标签，使用上述训练数据的一个训练时期。基于从预测结果中获得的TP、FP和FN测量值，计算精确度、召回率和F测量值，并比较每种方法的性能。为了解释随机性，每种方法都进行了五次实验，得分是五次实验的平均值。通过实验研究了数据量对异常检测性能的影响。 通过以10%的增量在10%和100%之间改变划分率来创建训练数据的子集我们训练每个模型使用子集，并使用与第4.3节相同的测试数据量执行异常检测基准。R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188194表2SP分类器的参数。参数值说明窗口尺寸10推拉窗长度Stride 1滑动隔断输入SDR长度500单个模板索引SDR转换的维数输入SDR稀疏度0.15 SDR变换后所有维度中值为1的位的百分比输入维度（500，10）通过堆叠SDR生成的编码图像的形状列维度（830，15）空间池化层中列的二维排列的形状potentialRadius 7确定一列具有潜在连接潜力的输入范围的值Pct 0. 1超立方体中具有潜在连接的输入的百分比globalInhibition True在确定列的活动状态时是否将所有列都视为邻居localAreaDensity 0. 2邻居中可以活动的列的百分比stimulusThreshold 6列激活所synPermActiveInc 0.14活动突触的持久性值在每个学习步骤增加的量synPermInactiveDec 0.02非活动突触的持久性值在每个学习步骤减少的量synPermConnected 0.5突触被认为是连接的最小持久性值dutyCyclePeriod 1402基于每列活动的频率更新提升因子值时考虑的时间步长长度minPctOverlapDutyCycles 0.2列应在刺激阈值上具有活动输入的频率的下限boostStrength 7控制增强因子自适应wrapAround False输入的第一个和最后一个维度在输入和列之间的映射中是否被视为相邻维度图三. 异常检测的基准结果。条件deep-logizer中每个模型的参数都保持在默认状态，除了训练时期的数量。表2示出了所提出的方法中的特征变换和空间池化层的参数。所有的实验都进行了在配备英特尔（R）酷睿（TM）i9- 10900 X CPU（3.70 GHz）、NVIDIA GeForce RTX 3090和64 GB RAM的机器上进行公平性测试， 所提出的方法模型的训练和测试在CPU上完成。在deep-loglizer中，用户可以选择两种类型的输入特征：模板索引（顺序）和基于消息中的单词信息计算的tf-idf向量（语义）。在在上述实验环境中，使用语义特征进行学习是不可行的，因为RAM（64GB）的使用超过了上限，所以我们决定在这个实验中只使用顺序特征进行基准测试。结果图3显示了使用BGL数据集的异常检测性能的基准测试结果。结果表明，所提出的方法，SPClassifier，可以实现第三个最好的F-测量后的监督学习方法，Attn-BLSTM和CNN。它 还可以看出，无监督学习方法不提供与监督学习方法一样多的精度图图4示出了每个训练子集的附加实验的结果。监督学习方法LogRobust、CNN和SPClassier即使使用少于30%训练数据的子集，也不会显著降低F-measure和precision的值。我们还发现，当子集非常小（10%）时，所提出的方法优于深度学习方法，但随着数据量的增加，其他监督方法的准确性会变得更大R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188195讨论见图4。 使用训练子集对结果进行基准测试。通过对BGL数据集进行基准测试，我们发现所提出的方法SPClassi ier可以实现与监督式深度学习方法相当的日志异常检测精度。在训练数据子集上进行的ex实验表明，即使在数据量非常小的情况下，我们的方法也可以与这些方法相媲美。另一方面，我们观察到，当子集中的数据量增加时，与深度学习方法相比，得分值有波动R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188196这可能是由于空间池化层中的突触过于适应空间池化层中的新模式的出现。 子集为了更鲁棒的检测，我们认为有必要探索参数，例如增强因子的更新周期，突触持久性值的大小。结论在这项研究中，我们提出了一个简单的日志数据异常检测方法，它由空间池和单层神经网络。BGL数据集上的基准测试表明，检测性能与最先进的机器学习方法相比具有足够的竞争力。在讨论中，我们还表明，所提出的方法是能够高精度检测，即使 当训练数据量很小时。另一方面，空间池需要顺序处理数据，因此它需要比深度池更长的训练时间。 学习，可以批量处理。在未来，我们计划通过引入并行化和更高效、更快速的空间池实现来改善CPU环境中的学习时间[28]。Rin Hirakawa获得了B.E.工程和医学工程学位。分别于2017年和2019年获得九州工业大学电子工程学位他目前正在攻读博士学位。在九州工业大学电子工程内田博纪接受了B.E.工程和医学工程学位。分别于2017年和2019年获得九州工业大学电子工程学位。他目前在松下系统设计公司担任软件工程师，有限公司从2019年4月。Asato Nakano收到了B.E. 2018年毕业于九州工业大学机械信息工程系他目前在松下系统设计公司担任软件工程师公司从2018年4月Keitaro Tominaga获得了B.E. 2008年毕业于九州工业大学信息工程专业。他目前在松下系统设计公司担任软件工程师，Ltd. 2008年Yoshihisa Nakatoh获得了他的B.E.学位和他的医学博士1986年和1991年获得信州大学电子工程系学位获得博士学位2007年毕业于信州大学他于1986年至1989年在夏普公司工作，并于1989年在松下电器工业公司工作从1991年到2008年。现任九州工业大学教授他的研究兴趣包括语音识别，音频编码，助听器和无障碍技术。他是IEEE，ASJ，IEICE，IPSJ的成员。声明我们声明，“通过空间池化进行大规模日志异常检测”完全是我们自己的工作，其中没有任何部分引用其他研究人员（等式（1）和（7））。竞争利益我们声明，我们与任何产品、服务或公司没有任何性质或种类的专业或其他个人利益，这些利益可能会被解释为违反题为“通过空间池进行大规模日志异常检测”的手稿中提出的立场或同行评议。CRediT作者贡献声明平川林：概念化，方法论，软件，验证，形式分析，调查，写作-原始草案，可视化。内田宏纪：概念化，方法论。AsatoNakano：资源，写作Keitaro Tominaga：资源，写作Yoshihisa Nakatoh：撰写-致谢这项工作得到了松下系统设计公司的支持，公司引用[1] S. He，J.Zhu，P. He，M.R. Lyu，EX perience report：system log analysis for anomaly detection，in：Proceedings of the International Symposium on SoftwareReliability Engineering，ISSRE，2016，pp.207号决定.[2] X. Yu，P.Joshi，J. Xu，G. Jin，H.Zhang，G.Jiang，CloudSeer：通过交错日志对云基础设施进行实时监控，ACM Sigplan Not。51（4）（2016）489doi：10.1145/2872362.2872407。[3] S. He，P.他，Z。Chen，T.Yang，Y.苏，和M。R. Lyu，[4] M.杜，F. Li，G. Zheng，V. Srikumar，DeepLog：通过深度学习从系统日志中进行异常检测和诊断，在：计算机和通信安全ACM会议论文集，2017年，pp.1285十月.[5] A. Farzad，T.A.Gulliver，Unsupervised log message anomaly detection，ICT EX press 6（3）（2020）229doi：10.1016/j.icte.2020.06.003。[6] S. Nedelkoski，J. Bogatinovski，A. Acker，J. 卡多索岛Kao，在非结构化日志中基于自注意分类的异常检测，在：2020年IEEE国际数据挖掘会议（ICDM）会议记录1196Nov. .R.平川，H。Uchida，A. Nakano等人认知机器人1（2021）188197[7] X. Zhang等人，对不稳定日志数据进行基于日志的鲁棒异常检测，见：2019年第27届ACM联席会议欧洲软件工程会议和软件工程基础研讨会论文集，2019年，第10页。807八月.[8] S. Lu、X. Wei，Y. 利湖，加-地 Wang，使用卷积神经网络检测大数据系统日志中的异常，在：2018 IEEE会议论文集2018年第16届独立、自主和安全计算国际会议，pp。151 第16届普适智能与计算国际会议，第4届大数据智能与计算国际会议和网络科学与技术大会（DASC/PiCom/DataCom/CyberSciTech）.[9] W.孟，等，LogAnomaly：非结构化日志中序列和定量异常的无监督检测，在：第二十八届国际人工智能联合会议论文集，2019年，pp。4739八月.[10] J. Zhu等人，自动化日志解析的工具和基准，在：2019年IEEE/ACM第41届软件工程国际会议论文集：软件工程实践（ICSE-SEIP），2019年5月，pp。 121 -130，doi：10.1109/ICSE-SEIP.2019.00021.[11] H. Dai，H.Li，W.Shang，T.H.Chen和C.S.Chen，[12] R. Vaarandi，M. Pihelgas，LogCluster -事件日志的数据聚类和模式挖掘算法，在：2015年第11届网络和服务管理国际会议（CNSM）会议记录，2015年，pp.1Nov. .[13] 何平，朱建，Z.郑先生Lyu，Drain：一种具有固定深度树的在线日志解析方法，在：2017年IEEE第24届国际会议论文集 关于Web服务，ICWS 2017，2017，pp.33Sep. .[14] “GitHub https://github.com/logpai（6月访问）04，2021）。[15] GitHub - logpai/loglizer：一个基于机器学习的日志分析工具包，用于自动异常检测。https://github.com/logpai/loglizer（2021年6月5日访问）。[16] “GitHub - logpai/deep-loglizer：一个基于深度学习的日志分析工具包，用于自动异常检测。”https://github.com/logpai/deep-loglizer（2021年9月19日访问）。[17] Y. Cui，S.Ahmad，J. Hawkins，Continuous online sequence learning with an unsupervised neural network model. 28（11）（2016）2474doi：10.1162/NECO_a_00893。[18] S.艾哈迈德A.拉文，S。Purdy，Z. Agha，流数据的无监督实时异常检测，神经计算262（2017）134-147 11月，doi：10.1016/j.neucom.2017.04.070。[19] J. Barnett，“Ahierarchicaltemporalmemorysequenceclassifierforstreamingdata”，2020年。PDF文件。https://nsuworks.nova.edu/gscis_etd（10月访问）13，2021）。[20] G.Rydholm，PDF文件。http://kth.diva-portal.org/smash/get/diva2:1295390/FULLTEXT01.pdf（2021年10月13日访问）。[21] Y. Wang，Yi Zeng，Bo Xu，SHTM：a neocortex-inspired algorithm for one-shot text generation，in：Proceedings of the 2016 IEEE International Conferenceon Systems，Man，and Cybernetics（SMC），Oct.2016年，页 000898 -000903，doi：10.1109/SMC.2016.7844355。[22] S. Ahmad和J. Hawkins，“稀疏分布表示的特性及其在分层时间记忆中的应用”，3月25日。2015年，检索日期：2021年6月5日。[联机]。可用网址：http://arxiv.org/abs/1503.07469[23] Y. Cui，S.Ahmad，J. Hawkins，HTM空间池-在线稀疏分布式编码的新皮层算法，前线。Comput. Neurosci. 2017年11月11日doi：10.3389/fncom.2017.00111。[24] R.平川，H。Uchida，A. Nakano，K. Tominaga，Y.基于时间记忆的软件日志异常检测，计算机。电气工程95（10月 2021），doi：10.1016/j.compeleceng.2021.107433.[25] R. Hirakawa，K. Tominaga，Y. Nakatoh，使用HTM算法的软件日志异常检测方法，Adv. Int. Syst. Comput. 1334（2021）71 -79，doi：10.1007/978-981-33-6981-8_6。[26] GitHub - HTM-community/htm.core：C++和Python的分层时态记忆（HTM）实现。https://github.com/htm-community/htm网站。核心（2021年6月6日访问）。[27] A. Oliner，J. Stearley，What supercomputers say：a study of five system logs，in：Proceedings of the 37th Annual IEEE/IFIP International Conference onDependency Systems and Networks（DSN '07），Jun. 2007，pp. 575 -584，doi：10.1109/DSN.2007.103。[28] L. Li，T. Zou，T. Cai，C.牛湾，澳-地Zhu，A Fast Spatial Pool Learning Algorithm of Hierarchical Temporal Memory based on minicolums self-nomination，Comput.国际神经科学2021（2021），doi：10.1155/2021/6680833。