头哥HDFS 文件操作

头哥(Hadoop)是指Apache Hadoop项目，它是一个开源的大数据处理框架，包括两个核心组件：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统，主要用于存储大量数据，并支持高吞吐量的数据访问。

在HDFS中进行文件操作通常涉及以下几个步骤：

1. **创建目录**：你可以使用`hdfs dfs -mkdir`命令在集群上创建一个新的目录，例如`hdfs dfs -mkdir /mydata`.

2. **上传文件**：将本地文件上传到HDFS，可以使用`hdfs dfs -put localfile hdfs://path/to/directory`，比如`hdfs dfs -put myfile.txt /mydata`.

3. **查看文件和目录**：使用`hdfs dfs -ls`命令列出目录内容，`hdfs dfs -cat <filename>`查看文件的内容。

4. **读取文件**：通过客户端程序如Hadoop的Shell或MapReduce任务从HDFS读取数据，如`conf = hadoop.conf.Configuration(); FileSystem fs = FileSystem.get(conf); FSDataInputStream in = fs.open(new Path("/mydata/myfile.txt")); byte[] buffer = new byte[1024]; while ((numRead = in.read(buffer)) != -1) { ... }`

5. **删除文件或目录**：`hdfs dfs -rm <filename>`用于删除单个文件，`hdfs dfs -rmdir <directory>`用于删除空目录。

6. **复制和移动文件**：`hdfs dfs -cp`用于复制文件或目录，`hdfs dfs -mv`用于移动文件或目录。

7. **检查状态和配置**：使用`hadoop fsck`检查文件系统的健康状况，以及`hadoop fs -getconf`查看当前配置信息。