logstash 那个版本开始支持 webhdfs ?
时间: 2023-09-29 21:06:44 浏览: 65
Logstash 官方文档中提到,从版本 5.0 开始,Logstash 支持使用 HDFS 插件进行数据写入 Hadoop 集群,其中包括 WebHDFS。因此,从 Logstash 5.0 版本开始,就可以使用 WebHDFS 进行数据写入了。需要注意的是,使用 WebHDFS 进行数据写入需要配置 Hadoop 集群的相关参数,如 Namenode 地址、端口号、用户名等。
相关问题
logstash如何检查pipelines是否跑起来?
要检查 Logstash 的 pipelines 是否正在运行,可以使用以下方法:
1. 查看 Logstash 进程:使用命令行工具(如 `ps` 或 `top`)来检查 Logstash 进程是否在运行。通过运行以下命令,你可以查看当前正在运行的 Logstash 进程:
```shell
ps -ef | grep logstash
```
如果 Logstash 正在运行,则会显示相关的进程信息。
2. 检查 Logstash 日志:Logstash 会将其输出和错误信息记录在日志文件中。默认情况下,Logstash 日志位于安装目录下的 `logs` 文件夹中。你可以查看日志文件以获取关于 pipelines 运行情况的详细信息。
3. 使用 Logstash API:Logstash 提供了一个 HTTP API,可以用于获取有关运行中 pipelines 的信息。通过访问以下 URL,你可以获取到有关 pipelines 的状态信息:
```shell
curl -XGET http://localhost:9600/_node/stats/pipelines
```
这将返回一个包含有关所有 pipelines 的状态信息的 JSON 响应。你可以检查相关字段,如 `events`、`duration_in_millis`、`plugins` 等来判断 pipelines 是否正在运行以及是否有事件正在处理。
通过组合使用这些方法,你可以检查 Logstash 的 pipelines 是否正在运行,并获取与其相关的信息。
logstash是怎么监视数据库数据的?
Logstash可以使用JDBC input插件监视数据库数据。该插件能够在Logstash中创建一个JDBC连接,然后执行自定义SQL查询语句,从而实现监视数据库并从中提取数据的功能。输入数据后,Logstash可以使用各种过滤器进行数据转换和处理,然后将数据输出到目标系统中。