hdfs文件操作命令及api编程
时间: 2024-10-21 13:02:05 浏览: 51
HDFS (Hadoop Distributed File System) 是 Hadoop 集群中的分布式文件系统,它主要用于大规模数据存储和处理。在HDFS中进行文件操作通常有两种方式:命令行接口(CLI)和API编程。
**命令行操作(Command Line Interface, CLI):**
1. **查看文件内容**: `hadoop fs -cat [filename]` 或者 `hdfs dfs -cat [filename]`
2. **复制文件**: `hadoop fs -cp source dest` 或 `hdfs dfs -copyFromLocal /local/path /hdfs/path`
3. **上传文件**: `hadoop fs -put localfile hdfs://path`
4. **删除文件**: `hadoop fs -rm [-r] [filename]` 或 `hdfs dfs -rm [-r] /path`
5. **创建目录**: `hadoop fs -mkdir [directory]` 或 `hdfs dfs -mkdir /path`
**API编程(如Java API):**
1. 使用`FileSystem`和`Path`类,例如:
```java
FileSystem fs = FileSystem.get(new URI("hdfs://namenode.example.com"), conf);
Path path = new Path("/my-directory/my-file");
if (!fs.exists(path)) {
fs.create(path); // 创建新文件
}
FSDataInputStream in = fs.open(path); // 打开文件读取
```
2. 使用`Hadoop Streaming`框架进行简单的脚本式操作。
阅读全文