hdfs java api编程 将读取的数据输入到某个文件中
时间: 2024-04-29 17:25:49 浏览: 191
以下是使用HDFS Java API将读取的数据输入到某个文件中的示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;
public class HDFSFileWriter {
public static void main(String[] args) throws IOException {
// Create a Hadoop configuration object
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000"); // Set the HDFS URI
// Create a FileSystem object
FileSystem fs = FileSystem.get(conf);
// Create a Path object for the output file
Path outputPath = new Path("/output/file.txt");
// Create an OutputStream object for the output file
OutputStream out = fs.create(outputPath);
// Read the input data from a file
BufferedReader reader = new BufferedReader(new FileReader("/path/to/input/file.txt"));
String line = reader.readLine();
// Write the input data to the output file
while (line != null) {
out.write(line.getBytes());
out.write("\n".getBytes());
line = reader.readLine();
}
// Close the input and output streams
reader.close();
out.close();
// Close the FileSystem object
fs.close();
}
}
```
在上面的代码中,我们首先创建了一个Hadoop配置对象,并设置了HDFS URI。然后,我们创建了一个FileSystem对象,用于连接到HDFS。接下来,我们创建了一个输出文件的Path对象,并使用FileSystem对象创建了一个输出流。我们从输入文件中读取数据,将其写入输出文件中,并在每行末尾添加一个换行符。最后,我们关闭了输入和输出流,并关闭了FileSystem对象。
阅读全文