flume tail-dir source实现断点续传采集json文件

要实现Flume的断点续传采集JSON文件，可以使用Flume的Taildir Source插件。Taildir Source插件可以监控指定目录下的文件变动，并将新增的文件内容采集到Flume中。

下面是实现断点续传采集JSON文件的步骤：

1. 确保已安装并配置好Flume。可以参考Flume官方文档进行安装和配置。

2. 在Flume的配置文件中，添加Taildir Source的配置。例如，可以在flume.conf配置文件中添加以下内容：

   agent.sources = taildir
   agent.sources.taildir.type = spooldir
   agent.sources.taildir.spoolDir = /path/to/json/files
   agent.sources.taildir.fileHeader = true
   agent.sources.taildir.fileHeaderKey = filename
   agent.sources.taildir.basenameHeader = true
   agent.sources.taildir.basenameHeaderKey = basename
   agent.sources.taildir.ignorePattern = ^(.)*\\.(.*)$
   agent.sources.taildir.deserializer.maxLineLength = 2048

这里的`agent.sources.taildir.spoolDir`指定了要监控的目录，即存放JSON文件的目录。

3. 配置其他Flume组件，如Channel和Sink，根据具体需求设置。

4. 启动Flume agent，开始监控指定目录下的文件变动并采集JSON文件内容。

   $ bin/flume-ng agent -n agent_name -c conf -f conf/flume.conf

其中，`agent_name`为指定的agent名称，`conf`为Flume配置文件所在目录。

5. 当有新的JSON文件被添加到监控目录时，Taildir Source会自动采集文件内容并发送到Flume中。

通过以上步骤，你可以使用Flume的Taildir Source实现断点续传采集JSON文件。请根据实际情况调整配置文件中的参数和路径，以满足你的需求。