flume 采集hdfs上的文件

要使用Flume采集HDFS上的文件，你需要使用Flume的Spooling Directory Source。这个source会监视一个指定目录中的文件，当有新的文件到达时，会将文件内容读取到Flume的Event中，然后将这些Event发送到指定的Channel中。

以下是一个简单的Flume配置文件示例，用于采集HDFS上的文件：

# 定义一个agent
agent.sources = spoolDir
agent.channels = memoryChannel
agent.sinks = hdfsSink

# 配置spoolDir source
agent.sources.spoolDir.type = spooldir
agent.sources.spoolDir.spoolDir = /path/to/hdfs/directory
agent.sources.spoolDir.fileHeader = true
agent.sources.spoolDir.basenameHeader = true
agent.sources.spoolDir.batchSize = 1000
agent.sources.spoolDir.batchTimeout = 1000

# 配置memoryChannel channel
agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 10000
agent.channels.memoryChannel.transactionCapacity = 1000

# 配置hdfsSink sink
agent.sinks.hdfsSink.type = hdfs
agent.sinks.hdfsSink.hdfs.path = hdfs://namenode:8020/path/to/hdfs/directory
agent.sinks.hdfsSink.hdfs.filePrefix = %{basename}
agent.sinks.hdfsSink.hdfs.useLocalTimeStamp = true
agent.sinks.hdfsSink.hdfs.fileType = DataStream
agent.sinks.hdfsSink.hdfs.writeFormat = Text
agent.sinks.hdfsSink.hdfs.rollInterval = 3600
agent.sinks.hdfsSink.hdfs.rollSize = 0
agent.sinks.hdfsSink.hdfs.rollCount = 0

# 配置source和sink之间的channel
agent.sources.spoolDir.channels = memoryChannel
agent.sinks.hdfsSink.channel = memoryChannel

在这个示例中，我们使用Spooling Directory Source来监视HDFS上的一个目录。当有新的文件到达时，Flume会将文件内容读取到Event中，并将这些Event发送到Memory Channel中。然后，HDFS Sink会从Memory Channel中读取Event，并将其写入HDFS文件中。

注意，这个示例中的配置文件只是一个简单的示例。你需要根据实际情况对其进行修改，以适应你的具体需求。