a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = spooldir a1.sources.s1.spoolDir = /opt/test/a1 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = /flume/events/%Y-%m-%d/%H%M/%S a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute a1.sinks.k1.hdfs.useLocalTimeStamp = true a1.sources.s1.channels = c1 a1.sink.k1.channels = c1
时间: 2023-11-15 17:04:18 浏览: 159
spdlog-master.rar_mpmc_bounded_q.h_spdlog
这是一个Flume的配置文件,其中定义了一个名为"a1"的Agent,包含一个Spooldir Source、一个Memory Channel和一个HDFS Sink。
Spooldir Source会监控指定目录下的新文件,并将文件内容作为事件发送到Channel中。
Memory Channel是一个基于内存的Channel,用于临时存储事件。
HDFS Sink会将事件写入HDFS中的指定路径,其中`%Y-%m-%d/%H%M/%S`是时间戳格式,用于将事件按时间分隔存储。
其他的配置项包括Channel的容量、事务容量和Sink的一些参数,如文件前缀、轮换机制等。
最后,Source和Sink都指定了使用同一个Channel,即Channel "c1"。
阅读全文