hadoop集群部署centos

Hadoop 集群部署到 CentOS 系统通常涉及以下几个步骤：

1. **操作系统准备**：
- 更新系统：`sudo yum update`
- 安装基本软件包：如 SSH、curl 和 tar

2. **安装必要的组件**：
- Hadoop 包括 HDFS (Hadoop Distributed File System) 和 MapReduce 或 YARN（Yet Another Resource Negotiator）。你可以通过添加 EPEL (Extra Packages for Enterprise Linux)仓库获取最新版本：

     sudo yum install epel-release
     sudo yum install hadoop hadoop-client hadoop- 创建并编辑 `~/.bashrc` 或 `~/.bash_profile` 文件，加入 Hadoop 的环境变量设置。

4. **启动守护进程**：
   - 初始化 HDFS：

sudo sbin/hadoop namenode -format
sudo start-dfs.sh

   - 启动 Hadoop Master节点（ResourceManager, NameNode）：

sudo start-yarn.sh
sudo start-hadoop-daemons.sh --config /etc/hadoop/conf --script hdfs dfs namenode jps yarn-resourcemanager

5. **验证集群状态**：
   使用命令行工具检查各个服务是否正常运行，如 `jps` 检查进程列表，`hdfs dfsadmin -report` 查看 HDFS 资源报告。

6. **监控和安全管理**：
   - 可能需要安装 Nagios 或 Zabbix 进行集群健康检查。
   - 配置防火墙规则允许必要的网络通信。

7. **客户端访问**：
   如果要在其他机器上操作 Hadoop，需要配置 SSH 免密登录。