Hadoop本地文件上传到HDFS命令
时间: 2024-11-23 11:11:43 浏览: 17
hadoop的hdfs文件操作实现上传文件到hdfs
5星 · 资源好评率100%
Hadoop分布式文件系统(HDFS)主要用于存储大规模数据,而将本地文件上传到HDFS通常通过Hadoop的命令行工具`hadoop fs`或者`hdfs dfs`来操作。以下是上传文件的基本步骤:
1. **登录Hadoop集群**:首先需要连接到运行Hadoop的服务器,如果是在Linux终端上,你可以使用SSH。
2. **定位文件源路径和目标目录**:确定你要上传的本地文件的位置以及HDFS的目标路径。例如,本地文件`localfile.txt`要上传到`/user/hadoop/directory`。
3. **上传命令**:
- 使用`hadoop fs -put`命令或者更简洁的`hdfs dfs -put`:
```bash
hadoop fs -put localfile.txt /user/hadoop/directory
```
或者:
```bash
hdfs dfs -put localfile.txt directory
```
4. **确认上传**:命令执行后,可以在HDFS上检查文件是否已经成功上传,可以使用`hadoop fs -ls`或者`hdfs dfs -ls`命令查看指定目录的内容。
阅读全文