论文翻译：《Spell：大型非结构化系统日志的在线流式解析》

流程挖掘

日志解析

需积分: 0 158 浏览量更新于2024-01-10 1 收藏 1.56MB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

"论文《Spell: 大型非结构化系统日志的在线流式解析》翻译，审查了系统事件日志在数据驱动方法中提高系统健康与稳定性方面的重要性。在系统日志分析中的一个典型过程是首先将非结构化日志解析为结构化数据，然后应用数据挖掘和机器学习技术和/或从所得到的结构化数据构建工作流模型。过去的研究主要关注于解析系统事件日志的技术，但很少有研究关注在线流式解析大型非结构化系统日志的问题。本论文提出了一种名为Spell的在线流式解析技术，该技术可以有效地处理大型非结构化系统日志。Spell通过并行化和内存缓存等优化策略，实现了实时解析和处理大规模非结构化系统日志的能力。该技术具有高效性、可扩展性和容错性的特点，可以满足实际生产环境中处理大规模系统日志的需求。论文中详细介绍了Spell的系统架构和关键技术。系统架构主要包括数据流管理、解析引擎和输出模块等部分。数据流管理模块负责从日志源收集和管理日志数据流，解析引擎模块负责解析非结构化日志，并将其转换为结构化数据，输出模块则负责将结构化数据发送给数据分析和挖掘工具或构建工作流模型。 Spell的关键技术主要包括流式解析算法、内存缓存和并行化等。流式解析算法可以分析非结构化系统日志的特征和格式，并将其转换为结构化数据。内存缓存技术可以提高解析和处理效率，减少磁盘IO开销。并行化技术可以利用多核处理器和分布式计算平台等资源，实现解析和处理的高并发性和可扩展性。论文还通过实验评估了Spell的性能和可扩展性。实验结果表明，Spell在处理大规模系统日志时具有较高的解析速度和处理能力。同时，Spell的性能随着系统规模的增加而线性提升，具有良好的可扩展性。综上所述，论文提出了一种名为Spell的在线流式解析技术，该技术可以有效地处理大型非结构化系统日志，并具有高效性、可扩展性和容错性的特点。该技术对于提高系统健康与稳定性、支持数据驱动方法具有重要意义。尽管还有一些挑战需要克服，但Spell的出现为处理大规模系统日志提供了一种新的解决方案。未来的研究可以在Spell的基础上进一步探索流式解析算法和并行化技术等方面的优化，以进一步提高系统日志处理的效率和性能。"

资源详情

资源推荐

与 Spell 等日志解析器不同，LogMine 可以灵活地为固定值和变量选择不同级别的

粒度。但是，它不能保证由日志打印语句中的常量字符串组成的特定消息类型可以

在某个级别生成。在并行化方面，一个 map-reduce 框架被精心设计用于不同的

LogMine 步骤，例如，在日志聚类中比较每一对日志消息，以及在最后的顺序模式

生成中。相反，Spell 可以使用多线程处理并行完成，只需在到达时将一个线程分配

给一个新的日志条目。

All these structured log parsing methods focus on offline batched processing or matching

new log entries with previously offline-extracted message types or regular expressions (e.g.,

from source code). Hence, they cannot be used as an online streaming structured log parser.

Drain [14] parses log messages using a fixed depth tree in an online fashion, but its first

step requires using regular expressions to filter out digits and other parameter values etc.,

which requires domain knowledge to do so. Even so, Drain is outperformed by Spell which

does not require any pre-parsing, as evaluated in Section 5. As the first truly streaming log

parser, Spell is initially presented in [20]. Based on that, this journal version has certain

unique contributions which mainly include: 1) an advanced index structure (inverted index)

to improve efficiency; 2) split/merge heuristics to improve effectiveness; 3) parameters

semantic inference to help users’ understanding; 4) a parallel implementation of Spell to

further speedup its processing; 5) more detailed analysis and experiments to fully evaluate

different versions of Spell, and to compare with more previous methods.

所有这些结构化的日志解析方法都侧重于离线批处理或将新的日志条目与以前

离线提取的消息类型或正则表达式(例如，从源代码)进行匹配。因此，它们不能用

作在线流式结构化日志解析器。Drain 以在线方式使用固定深度树来解析日志消息，

但是它的第一步需要使用正则表达式来过滤数字和其他参数值等，这需要领域知识

来完成。即便如此，Spell 的性能依然优于 Drain，因为 Spell 不需要任何预解析，

如第 5 节中的评估。作为第一个真正的流式日志解析器，Spell 最初出现在[20]中。

在此基础上，本刊有一些独特的贡献，主要包括:1)采用先进的索引结构(倒排索引)

提高效率;2)分割/合并启发式算法提高效率;3)参数语义推理，帮助用户理解;4)Spell

的并行实现以进一步加快其处理速度;5)更详细的分析和实验，充分评价不同版本的

Spell，并与先前更多的方法进行比较。

There are also commercial and open source softwares on log management and analysis.

Splunk is a leading log management system that offers a suite of solutions to find useful

information from machine data. ELK offers a rich set of open-sourced tools that could

gather logs from distributed nodes, and then index, store, for users to query/visualize. All

these tools provide interface to parse logs upon their arrival. However, their parsers are

based on regular expressions defined by end users. The system itself can only parse very

simple and basic structured schema such as timestamp and hostname, while log messages

are treated as unstructured text values.

也有关于日志管理和分析的商业和开源软件。 Splunk 是一个领先的日志管理

系统，它提供了一套解决方案，可以从机器数据中查找有用的信息。 ELK 提供了

一组丰富的 Open-Sourced 工具，可以从分布式节点收集日志，然后索引、存储，供

用户查询/可视化。所有这些工具都在日志到达时提供了解析日志的接口。但是，

它们的解析器基于最终用户定义的正则表达式。系统本身只能解析时间戳和主机名

等非常简单和基本的结构化模式，而日志消息则被视为非结构化文本值。

3 Spell: STREAMING STRUCTURED LOG PARSER

3 Spell：流式结构化日志解析器

We now present Spell, a streaming structured log parser for system event logs. Since a

basic building block for Spell is a longest common subsequence (LCS) algorithm, hence,

Spell stands for Streaming structured Parser for Event Logs using LCS. In what follows,

we first review the LCS problem.

我们提出 Spell，一个用于系统事件日志的流式结构日志解析器。由于 Spell 的

基本构造块是最长公共子序列(LCS)算法，因此，Spell 代表使用 LCS 的事件日志流

结构化解析器。在下面，我们首先回顾 LCS 问题。

3.1 The LCS Problem

3.1 LCS 问题

Suppose

∑

is a universe of alphabets (e.g., a-z, 0-9). Given any sequence

𝛼

{

𝑎

,…,

𝑎

𝑚

}

, such that

𝑎

𝑖

∈

∑

for

≤

𝑖

≤

𝑚

, a subsequence of

𝛼

is defined as

{

𝑎

𝑥

𝑎

𝑥

𝑎

𝑥

,…,

𝑎

𝑥

𝑘

}

, where

∀

𝑥

𝑖

𝑥

𝑖

∈

ℤ

, and

𝑥

…

𝑥

𝑘

𝑚

. Let

𝛽

{

,…,

𝑛

}

be another sequence such that

𝑗

∈

∑

for

𝑗

∈

[1,𝑛]

. A subsequence

𝛾

is called a

common subsequence of

𝛼

and

𝛽

iff it is a subsequence of each. The longest common

subsequence (LCS) problem for input sequences

𝛼

and

𝛽

is to find longest such

𝛾

. For

instance, sequence

{1,3,5,7,9}

and sequence

{1,5,7,10}

yields an LCS of

{1,5,7}

假设

∑

是一个字符全集（例如 A-Z，0-9)。给定任意序列

𝛼

{

𝑎

,…,

𝑎

𝑚

}

，

使得当

≤

𝑖

≤

𝑚

,时，

𝑎

𝑖

∈

∑

，

𝛼

的子序列定义为

{

𝑎

𝑥

𝑎

𝑥

𝑎

𝑥

,…,

𝑎

𝑥

𝑘

}

，其中

∀

𝑥

𝑖

，

𝑥

𝑖

∈

ℤ

，同时

𝑥

…

𝑥

𝑘

𝑚

。设

𝛽

{

,…,

𝑛

}

是另一个序列，使得当

𝑗

∈

[1,𝑛]

时，

𝑗

∈

∑

。子序列

𝛾

称为

𝛼

和

𝛽

的公共子序列，当且仅当它是每个子序列的

话。输入序列

𝛼

和

𝛽

的最长公共子序列(LCS)问题就是寻找最长的

𝛾

。例如，序列

{1,3,5,7,9}

和序列

{1,5,7,10}

的最长公共子序列为

{1,5,7}

。

The LCS problem has a long history and its variants were also extensively studied [21],

[22], [23], [24], [25]. Its applications include diff utility used to find the difference of two

files, and version control systems such as Git.

LCS 问题由来已久，其变体也被广泛研究[21]、[22]、[23]、[24]、[25]。它的应

用包括用于查找两个文件差异的差分实用程序，以及版本控制系统如 Git。

Inspired by the usefulness of finding LCS in these applications, we observe that an LCS-

based method can be developed to efficiently and effectively extract message types from

raw system logs. This is a seemingly natural idea, yet has not been explored by existing

literature. Our key observation is that, if we view the output by a log printing statement

(which is a log entry) as a sequence, in most log printing statements, the constant that

represents a message type often takes a majority part of the sequence and the parameter

values take only a small portion. If two log entries are produced by the same log printing

剩余66页未读，继续阅读

ProgrammerMonkey

粉丝: 43
资源: 37

会员权益专享

论文翻译：《Spell：大型非结构化系统日志的在线流式解析》

Spell:自动提取日志文件中的密钥

DBC spell.dbc 各字段解释.rar_dbc_spell.dbc_spell.dbc说明_trinitycore_wo

SPELL:卫星过程执行语言和库-开源

VIsiual studio SPELL:拼写错误

SpellChecker: Thesaurus files 'D:\Program Files\CodeBlocks\share\codeblocks\SpellChecker\th_en_US.idx' not found!

"cities": { "A": [{"id": 56,"spell": "aba","name": "阿坝"}, {"id": 57,"spell": "akesu","name": "阿克苏"},...],'B':[...],...}把所有的国家按照这样的格式进行排序

** (gedit:4390): WARNING **: 10:07:46.445: Set document metadata failed: 不支持设置属性 metadata::gedit-spell-language ** (gedit:4390): WARNING **: 10:07:46.445: Set document metadata failed: 不支持设置属性 metadata::gedit-encoding如何解决

spell命令应用实例

格式是：|TInterface\Icons\Spell_Holy_summonchampion:30|t 为什么要跟一个 :30 图标才能正常显示

set document metadata failed: 不支持设置属性 metadata::gedit-spell-language

Set document metadata failed: 不支持设置属性 metadata::gedit-spell-language

wow spell editor

Code Spell Checker

Setting attribute metadata::gedit-spell-language not supported

vscode好用的插件

vscode变量命名插件

SPELL_AMOUNT

会员权益专享

最新资源

(gedit:4390): WARNING : 10:07:46.445: Set document metadata failed: 不支持设置属性 metadata::gedit-spell-language (gedit:4390): WARNING : 10:07:46.445: Set document metadata failed: 不支持设置属性 metadata::gedit-encoding如何解决