ubuntu 下运行Hadoop自带的word count程序
时间: 2023-12-21 16:05:37 浏览: 86
在 Ubuntu 上运行 Hadoop 自带的 word count 程序,需要先安装 Hadoop。可以按照以下步骤进行操作:
1. 下载 Hadoop 安装包,解压到指定目录中,例如 /usr/local/hadoop。
2. 配置 Hadoop 环境变量。打开 /etc/profile 文件,在文件末尾添加以下内容:
```
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
3. 使环境变量生效。执行以下命令:
```
source /etc/profile
```
4. 启动 Hadoop。执行以下命令:
```
start-all.sh
```
5. 在 Hadoop 中创建一个输入文件夹。执行以下命令:
```
hadoop fs -mkdir input
```
6. 将需要统计的文件上传到输入文件夹中。执行以下命令:
```
hadoop fs -put /path/to/input/file input/
```
7. 运行 Hadoop 自带的 word count 程序。执行以下命令:
```
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
```
其中,input 是输入文件夹,output 是输出文件夹。执行完毕后,可以在输出文件夹中查看统计结果。
8. 停止 Hadoop。执行以下命令:
```
stop-all.sh
```
以上就是在 Ubuntu 下运行 Hadoop 自带的 word count 程序的步骤。
阅读全文