hadoop删除hdfs中的output
时间: 2023-04-28 07:04:29 浏览: 413
要删除HDFS中的output,可以使用以下命令:
```
hadoop fs -rm -r /path/to/output
```
其中,`/path/to/output`是要删除的输出目录的路径。`-rm`表示删除,`-r`表示递归删除,即删除目录及其子目录中的所有文件和目录。
相关问题
hadoop执行hdfs上jar
可以通过以下命令在Hadoop集群上执行HDFS上的JAR包:
```
hadoop jar /path/to/jar/file.jar <Main-Class> [args...]
```
其中`/path/to/jar/file.jar`是HDFS上JAR包的路径,`<Main-Class>`是JAR包的主类名,`[args...]`是传递给JAR包的参数。例如,如果JAR包的主类是`com.example.MyJob`,并且需要传递参数`input`和`output`,则可以执行以下命令:
```
hadoop jar /path/to/jar/file.jar com.example.MyJob input output
```
注意,执行该命令时需要在Hadoop集群的节点上运行,而不是本地机器上运行。
hadoop生成测试文件保存在hdfs
要在Hadoop集群中生成测试文件并保存到HDFS中,可以使用以下命令:
```
hadoop jar /path/to/hadoop-mapreduce-examples.jar teragen <num of rows> <output path>
```
其中,`<num of rows>`是要生成的行数,`<output path>`是文件保存的HDFS路径。
例如,要生成100万行数据并保存到HDFS的`/user/hadoop/testdata`目录下,可以执行以下命令:
```
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar teragen 10000000 /user/hadoop/testdata
```
执行完毕后,可以通过以下命令查看生成的文件:
```
hadoop fs -ls /user/hadoop/testdata
```
可以看到,生成了3个文件,每个文件大小为128MB,总大小为384MB:
```
-rw-r--r-- 1 hadoop supergroup 0 2021-09-03 11:38 /user/hadoop/testdata/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 134217728 2021-09-03 11:38 /user/hadoop/testdata/part-m-00000
-rw-r--r-- 1 hadoop supergroup 134217728 2021-09-03 11:38 /user/hadoop/testdata/part-m-00001
-rw-r--r-- 1 hadoop supergroup 115343360 2021-09-03 11:38 /user/hadoop/testdata/part-m-00002
```