hadoop使用shell命令
时间: 2024-03-08 17:40:59 浏览: 79
hadoop使用shell命令可以分为三大类:hadoop整体shell命令、hdfs相关命令和mr相关命令。hadoop整体shell命令使用"hadoop xxx"的格式,包括控制hdfs、mr和yarn的操作命令。hdfs相关命令使用"hdfs xxxx"的格式,用于对Hadoop分布式文件系统进行操作。mr相关命令使用"yarn xxxx"的格式,用于对MapReduce进行操作。其中,hadoop fs命令是常用的操作HDFS的命令,可以用于创建和删除目录,列出目录内容,拷贝数据等操作。
以下是一些常用的hadoop shell命令示例:
- 列出当前目录结构:hadoop fs -ls [path]
- 递归显示根目录下内容:hadoop fs -ls -R [path]
- 创建目录:hadoop fs -mkdir /lgc
- 递归创建目录:hadoop fs -mkdir -p [path]
- 拷贝数据:hadoop distcp
- 拷贝数据时忽略失败:hadoop distcp -i
- 记录日志到指定目录:hadoop distcp -log
- 设置同时拷贝的最大数目:hadoop distcp -m
- 覆盖目标数据:hadoop distcp -overwrite
- 如果源和目标的大小不一样则进行覆盖:hadoop distcp -update
请问还有其他什么关于hadoop使用shell命令的问题吗?
相关推荐
















