hadoop集群搭建小结

Hadoop 集群搭建通常包括以下几个关键步骤：

1. **安装 Hadoop**：首先需要下载 Hadoop 的安装包，通常是tar.gz格式。对于Hadoop 2.x版本，通常会包含HDFS（分布式文件系统）和MapReduce框架。

2. **配置环境变量**：编辑`~/.bashrc`或`~/.bash_profile`，添加Hadoop的bin目录到PATH中，并设置JAVA_HOME环境变量指向正确的JDK路径。

3. **配置核心-site.xml**：这是Hadoop的主要配置文件之一，用于设定Hadoop运行的基本参数，如namenode和datanode的地址等。

4. **格式化命名空间**：通过Hadoop命令行工具`hdfs namenode -format`对HDFS进行初始格式化。

5. **启动守护进程**：运行`start-all.sh`或`sbin/start-dfs.sh`（HDFS）以及`sbin/start-yarn.sh`（YARN）命令，启动DataNode、NameNode、ResourceManager和NodeManager等服务。

6. **验证集群状态**：可以使用`jps`命令检查是否所有服务都在运行，然后通过Web界面（默认http://localhost:50070/）查看Hadoop的健康状况和任务进度。

7. **部署应用程序**：将MapReduce程序打包成jar文件，通过YARN提交任务执行。

8. **安全性和资源管理**：如果涉及到生产环境，还需要考虑权限管理（Kerberos）、资源调度（如公平调度或容量调度）等方面的配置。