hdfs sink 路径下的临时文件 被删除后 flume无法在继续写入

当Flume使用HDFS Sink写入数据时，它会在指定的HDFS目录下创建一个临时文件来缓存数据。一旦缓存的数据达到指定的大小或时间间隔，Flume会将临时文件重命名为最终的文件名，并将其移动到指定的目录下。如果在重命名和移动操作完成之前，临时文件被意外删除，那么Flume将无法继续写入数据到该HDFS目录。

为了避免这种情况发生，可以通过以下两种方式来解决：

1. 配置HDFS Sink的“useLocalTimeStamp”属性为true，这将在临时文件名中包含时间戳，避免重名的可能性，即使文件被删除，也不会影响Flume的写入。

2. 配置HDFS Sink的“fileSuffix”属性，将临时文件的后缀名修改为其他值，避免重名的可能性。同时，在HDFS目录下，可以使用如下命令清除临时文件：

hadoop fs -rmr /path/to/hdfs/sink/directory/.tmp*

这将删除以.tmp结尾的所有文件，包括Flume创建的临时文件。

相关问题

flume hdfs sink 配置

Flume HDFS Sink 配置是指在 Flume 中将数据传输到 HDFS 的配置。在 Flume 中，HDFS Sink 是一种 Sink 类型，它可以将数据写入 HDFS 文件系统中。配置 HDFS Sink 需要指定 HDFS 的相关参数，如 HDFS 的路径、文件格式、文件大小等。同时，还需要指定 Flume 的数据源和数据传输方式，如 Avro、Thrift、HTTP 等。配置完成后，Flume 就可以将数据传输到 HDFS 中，实现数据的持久化存储。

flume消费kafka写入hdfs

Flume可以作为Kafka的消费者，从Kafka中读取数据，并将数据写入HDFS。Flume的Kafka Source可以作为Kafka的消费者，从Kafka中读取数据，Flume的HDFS Sink可以将数据写入HDFS。通过配置Flume的Kafka Source和HDFS Sink，可以实现从Kafka中读取数据并写入HDFS的功能。