flume安装与配置1.11.0
时间: 2024-05-19 22:08:50 浏览: 169
Flume是一个可靠、分布式、高可用的海量日志采集、聚合和传输的系统。下面是Flume 1.11.0的安装与配置步骤:
1. 下载Flume 1.11.0压缩包,并解压缩到指定目录。
2. 配置Flume环境变量,将Flume的bin目录添加到PATH环境变量中。
3. 配置Flume agent,编辑Flume安装目录下的conf/flume-conf.properties文件,设置以下参数:
a. agent.sources:定义数据源,如kafka、avro等;
b. agent.sinks:定义数据输出方式,如hdfs、logger等;
c. agent.channels:定义数据缓存方式,如memory、file等;
d. agent.sources.source1.type:定义数据源类型;
e. agent.sources.source1.channels:定义数据源使用的channel;
f. agent.sinks.sink1.type:定义数据输出方式类型;
g. agent.sinks.sink1.channel:定义数据输出方式使用的channel;
h. agent.channels.channel1.type:定义数据缓存方式类型。
4. 启动Flume agent,执行以下命令:
$ bin/flume-ng agent --conf ./conf/ --conf-file ./conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console
5. 测试Flume采集和传输日志。