头歌实验 HDFS的基本操作和Java API操作

HDFS（Hadoop Distributed File System）是Hadoop项目的核心组件之一，它是一个高度容错的系统，适合在廉价硬件上运行。HDFS提供了高吞吐量的数据访问，非常适合大规模数据集的应用。接下来，我将为您介绍HDFS的一些基本操作以及如何使用Java API进行操作。

### HDFS基本操作

1. **查看文件列表**：使用`hdfs dfs -ls <路径>`命令可以查看HDFS上的文件和目录列表。

2. **创建目录**：使用`hdfs dfs -mkdir <路径>`命令可以在HDFS上创建一个新的目录。

3. **上传文件**：使用`hdfs dfs -put <本地文件路径> <HDFS路径>`命令可以将本地文件上传到HDFS。

4. **下载文件**：使用`hdfs dfs -get <HDFS文件路径> <本地目标路径>`命令可以将HDFS上的文件下载到本地。

5. **查看文件内容**：使用`hdfs dfs -cat <HDFS文件路径>`命令可以查看HDFS上文件的内容。

6. **删除文件或目录**：使用`hdfs dfs -rm <路径>`命令可以删除HDFS上的文件或目录。

### HDFS Java API操作

在Java程序中操作HDFS，首先需要引入Hadoop的库依赖，并配置好Hadoop的环境变量。以下是一些基本的Java API操作示例：

1. **创建FileSystem对象**：在Java中操作HDFS前，需要创建一个FileSystem对象。

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);

2. **创建目录**：使用FileSystem对象的`mkdirs`方法可以创建目录。

Path dir = new Path("/user/hadoop/dir");
boolean res = fs.mkdirs(dir);

3. **上传文件**：使用FileSystem对象的`copyFromLocalFile`方法可以将本地文件上传到HDFS。

Path src = new Path("localfile.txt");
Path dst = new Path("/user/hadoop/remote.txt");
boolean res = fs.copyFromLocalFile(src, dst);

4. **下载文件**：使用FileSystem对象的`copyToLocalFile`方法可以将HDFS上的文件下载到本地。

fs.copyToLocalFile(new Path("/user/hadoop/remote.txt"), new Path("localfile.txt"));

5. **查看文件内容**：可以使用FileSystem对象配合FSDataInputStream读取HDFS文件内容。

FSDataInputStream in = fs.open(new Path("/user/hadoop/remote.txt"));
IOUtils.copyBytes(in, System.out, 4096, false);
in.close();

6. **删除文件或目录**：使用FileSystem对象的`delete`方法可以删除HDFS上的文件或目录。

fs.delete(new Path("/user/hadoop/dir"), true);