熟悉HDFS常用操作
时间: 2024-09-30 16:13:28 浏览: 38
实验2 熟悉常用的HDFS操作
5星 · 资源好评率100%
Hadoop Distributed File System (HDFS) 是一个分布式文件系统,主要用于大规模数据存储在集群环境中。以下是HDFS的一些常见操作:
1. **上传文件(Copy from Local to HDFS)**:
- 使用`hdfs dfs -put <本地路径> <HDFS路径>`命令将本地文件复制到HDFS指定目录。
2. **下载文件(Copy from HDFS to Local)**:
- `hdfs dfs -get <HDFS路径> <本地路径>`用于从HDFS获取文件并保存到本地。
3. **列出目录内容(List HDFS Directory)**:
- `hdfs dfs -ls <HDFS路径>`查看指定目录下的文件和子目录。
4. **创建目录(Create Directory)**:
- `hdfs dfs -mkdir <HDFS路径>` 创建一个新的目录。
5. **删除文件/目录(Delete Files/Directories)**:
- `hdfs dfs -rm -r <HDFS路径>` 删除指定的文件或递归删除目录。
6. **查看文件/目录属性(View File Properties)**:
- `hdfs dfs -stat <HDFS路径>` 显示文件的元信息,如权限、大小等。
7. **分片读写(Bulk Data I/O)**:
- 使用`hadoop fs`命令行工具可以对HDFS文件进行大块的读写操作,比如`hadoop fs -copyFromLocal` 和 `hadoop fs -copyToLocal`.
8. **备份与恢复(Backup & Recovery)**:
- 可以定期运行`hadoop fsck`检查文件系统的健康状态,出现问题时可以使用`fsck`修复,严重情况可能需要数据恢复工具。
阅读全文