hadoop-3.3.0 uploadHDFS.sh代码
时间: 2024-09-27 15:12:49 浏览: 32
`uploadHDFS.sh`是Hadoop 3.3.0版本中的一个脚本,用于将本地文件上传到Hadoop分布式文件系统(HDFS)。这个脚本通常位于Hadoop的bin目录下,其功能主要是通过Hadoop命令行工具`hadoop fs`来进行文件或目录的复制。
以下是一个简单的`uploadHDFS.sh`脚本示例,假设我们想上传本地的`file.txt`到HDFS的`/user/hadoop/input`目录:
```bash
#!/bin/bash
# 检查环境变量是否设置
if [[ -z "$HADOOP_HOME" ]]; then
echo "Please set HADOOP_HOME environment variable"
exit 1
fi
# 指定源文件和目标路径
SOURCE_FILE=file.txt
HDFS_PATH=/user/hadoop/input/
# 使用hadoop fs -put命令上传文件
hadoop fs -put $SOURCE_FILE $HDFS_PATH
# 检查操作结果
if [ $? -eq 0 ]; then
echo "File $SOURCE_FILE uploaded successfully to $HDFS_PATH"
else
echo "Failed to upload file $SOURCE_FILE to $HDFS_PATH"
fi
```
执行这个脚本前,你需要确保已经设置了HADOOP_HOME环境变量,并且Hadoop集群已启动并且能够正常通信。