hadoop集群启动全过程

Hadoop 集群的启动过程主要包括以下几个步骤：

1. **安装Hadoop**：首先，你需要在每个节点上安装 Hadoop。这通常包括主节点（NameNode）和数据节点（DataNodes），以及可以选择的其他组件如Secondary NameNode、HDFS客户端等。

2. **配置环境变量**：在系统环境变量中设置HADOOP_HOME，以便系统能够找到Hadoop的安装目录。

3. **配置核心文件**：编辑`conf/core-site.xml`文件，配置基本的网络设置、名称节点地址等；编辑`conf/hdfs-site.xml`，配置HDFS的相关参数。

4. **启动守护进程**：在每个节点上分别运行Hadoop的守护进程。主节点启动NameNode (`bin/start-dfs.sh`) 和 JobTracker (`sbin/start-yarn.sh`)，数据节点启动DataNode (`sbin/start-datanode.sh`)。

5. **检查服务状态**：可以使用`jps`命令查看各个进程是否已经启动，并通过`hadoop dfsadmin -report`或`yarn node -list all`检查HDFS和YARN的状态。

6. **验证集群**：通过Hadoop命令行工具（如hadoop fs、hdfs dfs、yarn jar等）测试服务是否正常工作，比如上传文件到HDFS，运行MapReduce任务等。

7. **安全模式**：在NameNode启动期间会进入安全模式，直到所有DataNode报告成功，此时集群才完全就绪。在安全模式下，不允许对HDFS进行写操作。