首页linux 启动hadoop

linux 启动hadoop

时间: 2024-12-28 14:16:42 浏览: 8

### 启动Hadoop集群或单机版Hadoop #### 配置环境变量为了确保命令可以在任何位置执行，在`~/.bashrc`或者`/etc/profile`文件中添加Hadoop路径设置。具体操作是在文件末尾追加以下内容： ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存并退出编辑器之后，通过运行`source /etc/profile`来使更改立即生效[^3]。 #### 初始化HDFS文件系统对于首次启动或是重新初始化集群的情况，需要格式化NameNode节点上的分布式文件系统(HDFS)，这一步骤仅需在主节点上完成一次: ```bash hdfs namenode -format ``` 此命令会创建一个新的文件系统实例，并清除之前所有的数据，请谨慎使用。 #### 启动Hadoop服务一旦完成了上述准备工作，则可以按照下面的方式启动整个Hadoop集群的服务程序： - **启动HDFS** 使用`sbin/start-dfs.sh`脚本来启动DataNodes以及NameNode进程。如果一切正常的话，应该可以看到各个节点的日志信息显示成功连接到了Namenode。 - **启动YARN资源管理框架** 接下来还需要启动ResourceManager及其对应的NodeManager组件，可以通过执行`sbin/start-yarn.sh`实现这一点。以上两个步骤适用于多台机器组成的集群模式；而对于本地测试用途的伪分布式的单机版本来说也同样适用，只是所有角色都会在同一物理主机上运行而已。最后确认各组件均已正确启动的方法之一就是查看Web界面的状态页面，默认情况下访问地址分别为： - NameNode Web UI: `http://<namenode-host>:50070` - ResourceManager Web UI:` http://<resourcemanager-host>:8088`

阅读全文