搭建Hadoop伪分布式的所有命令
时间: 2024-09-10 07:22:36 浏览: 21
搭建Hadoop伪分布式模式主要用于本地开发测试,不需要集群环境,仅在一个节点上模拟Hadoop集群。以下是Hadoop伪分布式的搭建步骤及关键命令:
1. **下载Hadoop**:从Apache官网下载Hadoop源码tarball,解压后进入目录。
2. **配置核心配置文件** (`conf/core-site.xml`):
- 添加Hadoop的本地模式属性,将 `fs.defaultFS` 设置为 `local` 或者 `file:///`。
```xml
<property>
<name>fs.defaultFS</name>
<value>file:///</value>
</property>
```
3. **配置HDFS配置文件** (`conf/hdfs-site.xml`),保留默认配置即可,因为伪分布模式不需要NameNode和DataNode分离。
4. **修改`conf/slaves` 文件**:此文件为空,表示仅有一个节点作为所有角色(Master和Worker)。
5. **启动Hadoop守护进程**:
- 启动NameNode(ResourceManager):运行 `bin/start-dfs.sh`
- 启动DataNode:运行 `bin/start-yarn.sh` 或 `bin/start-datanode.sh` (注意:对于Hadoop 2.x,需要分开运行)
6. **验证Hadoop是否成功启动**:
- 查看进程状态:`jps` 命令查看是否有JobTracker、TaskTracker等进程。
- 访问Web界面:浏览器访问 `http://localhost:50070` 和 `http://localhost:19888` 分别查看HDFS和YARN的UI。
7. **停止守护进程**:
- 停止HDFS:运行 `bin/stop-dfs.sh`
- 停止YARN:运行 `bin/stop-yarn.sh`
注意:由于是伪分布式,内存限制通常较小,不适合大规模数据处理。完成上述步骤后,你就可以在本地进行MapReduce或Hadoop Streaming的开发和测试了。