flume配置文件

Flume 是一个分布式的、可靠的、高效的海量日志采集、聚合和传输系统。它可以将数据从各种源头（如日志文件、消息队列、网络等）采集到 Hadoop 生态系统中的各种存储和计算系统（如 HDFS、HBase、Kafka、Spark 等）。

下面是一个简单的 Flume 配置文件示例：

# 定义 Flume agent 的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# 配置 source1
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /opt/flume/spool
agent1.sources.source1.fileHeader = true
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = timestamp

# 配置 sink1
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path = hdfs://localhost:9000/user/flume/data
agent1.sinks.sink1.hdfs.fileType = DataStream

# 配置 channel1
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapacity = 100

# 将 source1 和 sink1 绑定到 channel1
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

该示例配置文件中定义了一个名为 agent1 的 Flume agent，它包含一个名为 source1 的 source、一个名为 sink1 的 sink 和一个名为 channel1 的 channel。其中，source1 从指定的目录中采集数据，并在数据文件中添加时间戳信息；sink1 将数据写入到 HDFS 中指定的目录中；channel1 为内存型 channel，具有一定的容量和事务能力。最后，source1 和 sink1 都绑定到 channel1 上。