flume读取rabbitmq写入hdfs

要使用Flume读取RabbitMQ并将数据写入HDFS，可以按照以下步骤进行：

1. 安装Flume和RabbitMQ。

2. 配置RabbitMQ，创建一个Exchange和一个Queue，将Exchange和Queue绑定在一起。

3. 在Flume的配置文件中，配置RabbitMQ Source和HDFS Sink。

示例配置文件如下：

   agent.sources = rabbitmqSource
   agent.channels = memoryChannel
   agent.sinks = hdfsSink

   # 配置RabbitMQ Source
   agent.sources.rabbitmqSource.type = com.cloudera.flume.source.rabbitmq.RabbitMQSource
   agent.sources.rabbitmqSource.uri = amqp://<username>:<password>@<rabbitmq-host>:<rabbitmq-port>/
   agent.sources.rabbitmqSource.exchange = <exchange-name>
   agent.sources.rabbitmqSource.queue = <queue-name>
   agent.sources.rabbitmqSource.batchSize = 100

   # 配置Memory Channel
   agent.channels.memoryChannel.type = memory
   agent.channels.memoryChannel.capacity = 1000

   # 配置HDFS Sink
   agent.sinks.hdfsSink.type = hdfs
   agent.sinks.hdfsSink.hdfs.path = hdfs://<namenode>:<port>/<path>
   agent.sinks.hdfsSink.hdfs.fileType = DataStream
   agent.sinks.hdfsSink.hdfs.writeFormat = Text
   agent.sinks.hdfsSink.hdfs.rollInterval = 300
   agent.sinks.hdfsSink.hdfs.rollSize = 0
   agent.sinks.hdfsSink.hdfs.rollCount = 100
   agent.sinks.hdfsSink.channel = memoryChannel

其中，<username>、<password>、<rabbitmq-host>、<rabbitmq-port>、<exchange-name>、<queue-name>、<namenode>、<port>和<path>需要替换为实际的值。

4. 启动Flume Agent，使用以下命令启动：

   $FLUME_HOME/bin/flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/flume.conf --name agent -Dflume.root.logger=INFO,console

其中，$FLUME_HOME是Flume的安装目录。

5. Flume将开始从RabbitMQ读取数据并将其写入HDFS。

注意：在实际生产环境中，需要根据实际需求对Flume的配置进行优化和调整。