创建Flume配置文件在hadoop104节点的Flume的job目录下创建kafka_to_hdfs_log.confvim job/kafka_to_hdfs_log.conf

在Hadoop 1.0.4环境中使用Apache Flume处理数据流时，通常会在每个节点的`conf`目录下的`flume`子目录中创建配置文件，例如`job/kafka_to_hdfs_log.conf`。这个文件用于定义Flume的Source（源）、Channel（通道）和Sink（sink），以便从Kafka消费数据并将它们写入HDFS。

以下是一个简单的`kafka_to_hdfs_log.conf`配置示例：

# 定义source - Kafka Source
agent.sources.kafka_source = org.apache.flume.source.KafkaSource
agent.sources.kafka_source.bootstrap.servers = <kafka_server_ip>:9092
agent.sources.kafka_source.topic = <input_topic>
agent.sources.kafka_source.group.id = flume_group

# 定义channel - Memory Channel
agent.channels.memory_channel = org.apache.flume.channel.MemoryChannel

# 将source连接到channel
agent.sources.kafka_source.channels = memory_channel

# 定义sink - HDFS Sink
agent.sinks.hdfs_sink = org.apache.flume.sink.HDFS sink
agent.sinks.hdfs_sink.channel = memory_channel
agent.sinks.hdfs_sink.hdfs.path = /path/to/hdfs/directory
agent.sinks.hdfs_sink.hdfs.filePrefix = kafka_data_

# 配置Agent并启动
agent.sources = kafka_source
agent.channels = memory_channel
agent.sinks = hdfs_sink
agent.root.channels = memory_channel
agent.sources.kafka_source.startOnLoad=true
agent.sinks.hdfs_sink.startOnLoad=true

# 启动Flume agent
bin/flume-ng start -f conf/kafka_to_hdfs_log.conf

在这个例子中，你需要替换`<kafka_server_ip>`、`<input_topic>`以及`/path/to/hdfs/directory`为你实际的Kafka服务器地址、输入主题和HDFS目标路径。