试写出Flume采集MySQL数据到HDFS的配置信息

Flume主要用于实时数据收集，但它并不直接支持从MySQL数据库采集数据。通常情况下，需要通过第三方组件JDBC Source或者MySQL Binlog插件配合Flume使用。以下是一种间接的方式，即通过MySQL Binlog监听数据库变化并将数据传递给Flume：

首先，安装MySQL Binlog插件，然后在Flume配置中创建一个新的Source：

# flume.conf 文件

# 定义agent
agent.sources = mysql_source hdfs_sink

# MySQL Binlog Source配置
agent.sources.mysql_source.type = exec
agent.sources.mysql_source.command = 'mysqlbinlog -v --server-id=YOUR_SERVER_ID --socket=/path/to/mysql.socket <database_name> | grep "INSERT"'
agent.sources.mysql_source.channel = memory_channel

# 使用Memory Channel作为中间缓冲区
agent.channels.memory_channel.type = memory
agent.channels.memory_channel.capacity = 10000
agent.channels.memory_channel.transactionCapacity = 100

# HDFS Sink配置
agent.sinks.hdfs_sink.type = hdfs
agent.sinks.hdfs_sink.channel = memory_channel
agent.sinks.hdfs_sink.path = /path/to/hdfs/directory
agent.sinks.hdfs_sink.fileNamePattern = %d{yyyy-MM-dd-HH:mm:ss}-%m.json
agent.sinks.hdfs_sink.rollSize = 10485760 # 10MB
agent.sinks.hdfs_sink.rollCount = 1000

# 启动source和sink
agent.sources.mysql_source.start()
agent.sinks.hdfs_sink.start()

# 为了使数据流动起来，还需要启动channel
agent.channels.memory_channel.start()

在这个配置中，`command`部分是关键，它告诉Flume从MySQL Binlog获取更改记录并过滤出插入操作。然后，这些数据会被发送到内存通道，再转发到HDFS。

请注意，这只是一个简化的示例，实际生产环境中，可能需要根据数据库的具体配置、Flume的版本以及Hadoop集群的要求进行适当的调整。