分布式文件系统HDFS第1关:HDFS的基本操作
时间: 2024-10-19 18:02:09 浏览: 140
Hadoop分布式文件系统(HDFS)是一个专为大规模数据集设计的高度容错、高吞吐量的分布式存储系统,它是Hadoop框架的核心组成部分。以下是HDFS的一些基本操作:
1. **上传文件**: 使用`hadoop fs -put`命令将本地文件上传到HDFS上,例如 `hadoop fs -put localfile.txt /user/hadoop/directory/`.
2. **下载文件**: 可以通过`hadoop fs -get`命令从HDFS下载文件至本地,如 `hadoop fs -get /user/hadoop/directory/localfile.txt`.
3. **查看文件和目录**: 使用`ls`或`dir`命令检查目录内容,如 `hadoop fs -ls /user/hadoop/directory/`.
4. **创建目录**: 利用`mkdir`命令创建新的目录,如 `hadoop fs -mkdir /newdirectory`.
5. **删除文件和目录**: 删除文件可以是单个文件或整个目录,使用`rm`命令,如 `hadoop fs -rm -r /user/hadoop/directory/*` (递归删除)。
6. **复制文件**: 可以使用`cp`命令复制文件,如 `hadoop fs -cp oldfile.txt newfile.txt`.
7. **移动文件**: 类似于复制,也可以移动文件,`mv`命令,如 `hadoop fs -mv oldfile.txt newdirectory/`.
8. **块大小设置**: HDFS将大文件分割成固定大小的数据块,这可以通过修改`dfs.block.size`配置来调整,默认值一般在128MB到几个GB之间。
阅读全文