Splunk数据导入教程：全方位覆盖文件、网络与应用

需积分: 50 78 浏览量更新于2024-07-17 1 收藏 2.53MB PDF 举报

Splunk是一款强大的日志管理和分析工具，本文档详细介绍了如何在Splunk Enterprise 6.5.0版本中进行数据导入和配置。首先，数据导入的方式有多种，包括： 1. **从网络端口获取数据** (UDP: 514) - Splunk可以通过监听特定端口接收来自不同源的数据，如syslog数据。 2. **使用脚本** - 定期执行放在$splunk_home\bin\scripts目录中的脚本来收集数据，例如通过执行系统命令（如c:\windows\system32\systeminfo.exe）。 3. **使用模块输入** - 安装Command Modular Input应用，允许通过执行外部命令来创建自定义数据输入。 4. **通用转发器** (SUF) - 在远程服务器上安装SUF，设置它在启动时自动运行，并配置与 Splunk索引器的连接，如设置授权和输入端口。 5. **从本地或远程数据源** 导入 - 数据可以在本地文件系统，或者通过网络转发器从其他系统收集。 6. **应用导入** - 通过应用管理界面，可以从文件安装并激活特定的应用，如监控文件和目录。 7. **配置输入** - 在 Splunk Enterprise中，用户需要配置输入设置，包括源类型（sourcetype），以便正确解析和处理不同类型的数据。 8. **监视文件和目录** - Splunk提供了多种方法来监控文件和目录的变化，包括Web界面、命令行接口以及直接修改inputs.conf配置文件。 9. **文件轮换处理** - Splunk能适应日志文件的常规轮换，确保数据的连续性。 10. **特定平台支持** - 如Windows数据的收集，包括Active Directory、事件日志、文件系统更改、WMI、注册表、性能数据以及使用PowerShell脚本等。 11. **SNMP事件发送** - 可以通过SNMP协议将事件发送到Splunk部署。本文提供了一个全面的指南，帮助用户了解如何有效地将各种来源的数据导入Splunk Enterprise，以及如何根据具体需求调整配置以适应不同的监控场景。无论是对数据源的本地管理还是网络传输，Splunk都提供了灵活且高效的解决方案。

1. 单击 Sourcetype：：<sourcetype> 按钮可⽤来查看源类型类别列表。在每个类别下存在该类别内的来源

类型列表。

2. 请将⿏标悬停在最能代表您的数据的类别上。当您执⾏此操作时，在该类别下的来源类型在右侧弹出菜单中显

⽰。

3. 请选择最能代表您的数据的来源类型。Splunk Web 将更新数据预览窗格，以显⽰新来源类型下的数据外观。

您可能需要滚动以查看类别中的所有来源类型。

4. 请再次查看您的数据。

查看事件摘要查看事件摘要

您可以通过单击⻚⾯右侧的“查看事件摘要”在数据⽰例中查看事件摘要。此摘要显⽰以下信息：

⽰例数据的⼤⼩（以字节为单位）。

存在于⽰例中的事件数。

代表事件随时间的分布情况的图表。Splunk 软件使⽤⽂件内的⽇期戳确定显⽰此图表的⽅式。

⽰例中每个事件占⽤的⾏数的明细。

调整时间戳和事件换⾏调整时间戳和事件换⾏

如果您未成功选择⼀个现有来源类型，则您可⼿动调整 Splunk Enterprise 对传⼊数据处理时间戳以及事件换⾏的

⽅式。

要⼿动调整时间戳和事件换⾏参数，请使⽤事件换⾏符事件换⾏符、时间戳时间戳、分隔的设置分隔的设置和“设置 Sourcetypes”⻚⾯左窗格

上的⾼级⾼级下拉选项卡。当您更改设置时，预览窗格会更新。

注意：注意：仅当 Splunk Enterprise 检测出⽂件为特定类型或您为⽂件选择⼀个特定来源类型时，才会显⽰⼀些选项

卡。

如果 Splunk Enterprise ⽆法决定如何划分⽂件，或如果您选择了未定义换⾏的来源类型时，将显⽰“事件换

⾏”选项卡。

只有当 Splunk Enterprise 检测到您想要导⼊结构化数据⽂件或您为结构化数据（如 csv）选择了来源类型

时，“分隔的设置”选项卡才会出现。

关于如何调整时间戳和事件换⾏的更多信息，请参阅“修改事件处理”。

1. 请单击事件换⾏事件换⾏选项卡。该选项卡将显⽰换⾏类型换⾏类型按钮，这些按钮会控制 Splunk 软件把⽂件划分成事件的

⽅式。

⾃动：⾃动：根据时间戳的位置检测事件换⾏。

按⾏：按⾏：把每⾏划分成单个事件。

正则表达式正则表达式…：：使⽤指定的正则表达式决定换⾏。

2. 单击时间戳时间戳选项卡。该选项卡扩展以显⽰提取信息的选项。请从以下选项中任意选择⼀个：

⾃动⾃动：通过在⽂件中查找时间戳事件来⾃动提取时间戳。

当前时间当前时间：把当前的时间应⽤到所有检测到的事件上。

⾼级⾼级：指定时区、时间戳格式（⼜称为 strptime() 的特定格式）和包含该时间戳的任何字段。

3. 单击分隔的设置分隔的设置选项卡可显⽰分隔的选项。

字段分隔符字段分隔符：⽤于结构化数据⽂件的分隔符，如逗号分隔值 (CSV) ⽂件。

引号字符引号字符：Splunk Enterprise ⽤于决定某些内容什么时候在引号内的字符。

⽂件序⾔⽂件序⾔：指⽰ Splunk Enterprise 忽略结构化数据⽂件中⼀个或多个序⾔⾏（不包含任何实际数据

的⾏）的正则表达式。

字段名称字段名称：如何决定字段名称：⾃动⽅式、基于⾏数、基于逗号分隔的列表或通过正则表达式。

若结果符合您的要求，请将更改保存为新来源类型来源类型，您之后可将该来源类型应⽤于软件为其建⽴索引的数据。

4. 单击⾼级⾼级选项卡即可显⽰允许您输⼊属性/值对的字段，这些属性/值对将直接提交⾄ props.conf 配置⽂件。

警告：警告：该“⾼级”选项卡需要您了解 Splunk 功能的⾼级知识，且此处所做的更改可能会对数据的索引建⽴造成

负⾯影响。请考虑向 Splunk Professi onal Services 的成员咨询，以在配置这些选项上获得帮助。

在⾼级选项卡中更改配置在⾼级选项卡中更改配置

1. 单击⼀个字段以编辑 Splunk Enterprise 根据您之前的选择⽣成的 props.conf 条⽬。

2. 单击某个属性/值字段对右侧的 X 可将其删除。

3. 单击新设置新设置可创建新属性/值字段对并为 props.conf 指定有效属性和值。

4. 单击应⽤设置应⽤设置即可提交对 props.conf ⽂件所作的更改。

后续步骤后续步骤

修改输⼊设置

准备⽤于预览的数据准备⽤于预览的数据

“设置 Sourcetype”⻚⾯仅对单个⽂件有效，且仅可访问驻留在 Splunk 部署中或已经上载在 Splunk 部署上的⽂

件。尽管它不直接处理⽹络数据或⽂件⽬录，但您能够解决这些限制。

预览⽹络数据预览⽹络数据

可以指⽰⼀些⽰例⽹络数据进⼊⽂件中，然后将其作为⽂件监视输⼊上载或添加。⼀些外部⼯具可以实现此操作。

*nix 上最常⽤的⼯具是 netcat。

例如，如果您在 UDP 端⼝ 514 上侦听⽹络流量，可以使⽤ netcat 指⽰⼀些⽹络数据进⼊⽂件中。

nc -lu 514 > sample_network_data

为了获得最佳结果，请在其逻辑为⽂件⼤⼩达到 2MB 时终⽌ netcat 的 shell 脚本内运⾏此命令。默认情况下，当

您预览⽂件时，Splunk 软件仅读取前 2MB 的数据。

当您创建 "sample_network_data" ⽂件后，可将其添加为输⼊、预览数据并将任何新的来源类型分配给该⽂件。

预览⽂件⽬录预览⽂件⽬录

如果⽬录中的所有⽂件内容均相似，则您可以预览单个⽂件，并且结果对⽬录中的所有⽂件绝对有效。然⽽，如果⽬

录中⽂件的数据多种多样，请预览表⽰⽬录中⼀系列数据的⼀组⽂件。请单独预览每个⽂件类型，因为指定任何通配

符会导致 Splunk Web 禁⽤此“设置 Sourcetype”⻚⾯。）

⽂件⼤⼩限制⽂件⼤⼩限制

Splunk Web 将显⽰“设置 Sourcetype”⻚⾯中⼀个⽂件的前 2MB 数据。⼤多数情况下，这个数量应提供⾜够的

数据取样。如果您使⽤的是 Splunk Enterprise，可以通过更改 limits.conf 中的 max_preview_bytes 属性取样⼤量

数据。或者，您可以编辑该⽂件以减少⼤量相似数据，这样剩余的 2MB 数据便包含原始⽂件中所有类型数据的表

⽰。

修改事件处理修改事件处理

您可更改事件处理设置并将改进的设置保存为新的来源类型。

1. 按“设置 Sourcetype”⻚⾯中的描述查看事件数据。

2. 修改事件处理设置。

3. 查看更改效果并反复操作，直到满意为⽌。

4. 将修改的设置保存为新来源类型。

5. 请将新来源类型应⽤于您的任何输⼊。

修改事件处理设置修改事件处理设置

如需创建新的来源类型，请使⽤事件换⾏和时间戳参数，然后再保存该来源类型。

在“设置 Sourcetype”⻚⾯的左侧有可折叠选项卡和链接，您可以执⾏三种类型的调整：

事件换⾏。事件换⾏。调整 Splunk Enterprise 将数据拆分成事件的⽅式。

时间戳。时间戳。调整 Splunk Enterprise 确定事件时间戳的⽅式。

⾼级模式。⾼级模式。如果您使⽤的是 Splunk Enterprise，请编辑 props.conf。

事件换⾏事件换⾏

要修改事件换⾏参数，请单击事件换⾏事件换⾏。该栏打开以显⽰以下按钮：

⾃动。⾃动。根据数据内时间戳的位置拆分事件。

每⾏。每⾏。把每⾏视为单个事件。

正则表达式正则表达式...使⽤指定的正则表达式把数据拆分成事件。

换⾏相关信息请参阅配置事件换⾏。有关正则表达式语法和⽤法的⼊门，请参阅 Regular-Expressions.info。您

可以在搜索中将正则表达式与 rex 搜索命令结合使⽤，对表达式进⾏测试。Splunk 软件还有⼀个⾮常有⽤的第三⽅

⼯具列表，可⽤于编写和测试正则表达式。

时间戳时间戳

如需修改时间戳识别参数，请单击时间戳时间戳选项卡以将其展开。该选项卡打开以显⽰以下选项：

对于提取提取，可以选择下列选项之⼀：

⾃动。⾃动。⾃动定位时间戳。

当前时间。当前时间。使⽤当前的系统时间。

⾼级。⾼级。指定其他⾼级参数以调整时间戳。

“⾼级”参数包括：

时区。时区。您想要⽤于事件的时区。

时间戳格式。时间戳格式。⼀个字符串，代表 Splunk Enterprise 在数据中搜索时间戳时要使⽤的时间戳格式。

时间戳前缀。时间戳前缀。⼀个正则表达式，代表显⽰于时间戳之前的字符。

提前量。提前量。字符数，为 Splunk Enterprise 应在事件内查找的时间戳（或您在“时间戳前缀”中指定的正则表达

式）。

注意：注意：如果您在“时间戳格式”字段中指定时间戳格式且时间戳并未恰好位于每个事件的开头，则还必须在时间戳前时间戳前

缀缀字段中指定前缀。否则，Splunk Enterprise 将⽆法处理格式化指令，⽽且每个事件都将包含⼀条⽆法使⽤

strptime 的告警。（您仍然可以根据 Splunk Enterprise 尝试从问题中恢复的⽅式⽽以有效时间戳结束。）

有关配置时间戳的更多信息，请参阅“配置时间戳”。

⾼级⾼级

如需修改⾼级参数，请单击⾼级⾼级选项卡。该选项卡将显⽰允许您通过编辑底层 props.conf ⽂件来指定来源类型属性

的各选项。

您可以通过指定属性/值对来添加或更改来源类型属性。有关如何设置这些属性的详细信息，请参阅 props.conf。

“⾼级”框显⽰已选择的来源类型的当前完整属性集：

由事件换⾏事件换⾏或时间戳时间戳选项卡中所做更改⽣成的设置（您单击应⽤应⽤后）。

在您⾸次预览⽂件时，⾃动检测或⼿动选择的来源类型的任何预先存在的设置。

从其他设置其他设置⽂本框应⽤的设置（您单击应⽤设置应⽤设置后）。

有关如何设置来源类型属性的信息，请参阅“配置”⽂件参考中的“props.conf”。也可参阅“时间戳分配如何⼯

作”和“事件换⾏”。

Splunk Enterprise

如何组合设置如何组合设置

⾼级模式⾼级模式中的设置更改优先级最⾼。例如，若您使⽤时间戳时间戳选项卡改变时间戳设置，且还在⾼级模式⾼级模式中进⾏了互相

冲突的时间戳更改，⾼级模式⾼级模式更改将优先于您在“时间戳”选项卡中所做的修改。

下⾯是 Splunk Enterprise 组合任意调整与基本默认设置的⽅式，从优先级最⾼者开始：

⾼级模式更改

事件换⾏/时间戳更改

基本来源类型的设置（如果有）

所有来源类型的默认系统设置

此外，如果您在⾼级模式⾼级模式中进⾏更改后返回到“事件换⾏”或“时间戳”选项卡，更改在这些选项卡中将不可⻅。

查看更改查看更改

当您准备好查看更改的效果后，请选择应⽤设置应⽤设置。Splunk Web 将刷新屏幕，以便您可以检查更改对数据产⽣的影

响。

要再次使⽤提供的三个调整⽅法中的任意⼀个做进⼀步更改，请选择应⽤更改应⽤更改以查看更改对数据产⽣的效果。

将修改保存为新来源类型将修改保存为新来源类型

1. 单击 “Sourcetype” 按钮旁边的“另存为”。Splunk Web 将显⽰⼀个对话框，您可在其中命名新来源类型、

选择它应在 "Sourcetype" 按钮对话框中显⽰的类型和它应使⽤的应⽤程序上下⽂。

2. 输⼊新来源类型的名称名称。

3. 输⼊来源类型的描述描述。

4. 当您单击 "Sourcetype" 按钮时，请选择来源类型应在其中显⽰的类别类别。

5. 请选择新来源类型应该⽤于的应⽤应⽤。

6. 请单击保存保存以保存此来源类型并返回到“设置 Sourcetype”⻚⾯。

后续步骤后续步骤

在保存来源类型后，您有以下⼏个选项：

剩余163页未读，继续阅读

liuleimail

粉丝: 0

Splunk数据导入教程：全方位覆盖文件、网络与应用

Splunk Enterprise 8.2.0 数据导入全面指南

connector-splunk：将Splunk事件导入OpenCTI平台的Python连接器

扩展Splunk功能：实现多种数据库的高效连接与数据交互

splunk 数据导入操作手册 Splunk-8.2.0-Data-zh-CN

IoT数据分析软件：Splunk二次开发-1.Splunk基础与架构+IoT数据采集与导入+数据索引与管理+数据湖

Splunk数据可视化高级应用：高级图表和仪表板设计

Splunk大数据分析

Avaya ECHI Capturing Tool:该工具捕获ECHI数据，然后导入数据数据库和Splunk-开源

splunk 7.0.0 Administer详细指导文档，管理员必备手册。包含不限于数据导入，故障排查手册，权限管理，安全管理，数据分析等

Splunk

最新资源