Centos7配置Hadoop

CentOS 7上配置Hadoop主要包括以下几个步骤：

1. **安装依赖**：
首先需要安装必要的软件包，如Java Development Kit (JDK) 和 Git。运行以下命令安装它们：

   sudo yum install java-1.8.0-openjdk-devel git

2. **下载Hadoop**：
使用Git克隆Hadoop的源码仓库到`hadoop`目录下：

   sudo mkdir /usr/local/hadoop
   cd /usr/local/hadoop
   sudo git clone https://github.com/apache/hadoop.git hadoop-project

3. **配置环境变量**：
在`.bashrc`或`.bash_profile`文件中添加以下行，设置Hadoop的环境变量：

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
   export HADOOP_HOME=/usr/local/hadoop/hadoop-project
   export PATH=$PATH:$HADOOP_HOME/bin

4. **修改配置文件**：
- `core-site.xml`：通常位于`conf`目录下，配置Hadoop的基础信息，如文件系统相关的路径。
- `hdfs-site.xml`：配置HDFS的具体参数，如块大小、副本数等。
- `yarn-site.xml`：如果启用YARN，这里配置资源管理器的参数。

5. **格式化HDFS集群**：

   hdfs namenode -format

这将初始化HDFS名称节点的数据。

6. **启动服务**：

   start-dfs.sh 或者 start-yarn.sh

7. **验证安装**：
可通过访问Web UI来检查Hadoop是否正常工作。HDFS的默认Web界面是http://localhost:9870/，而YARN的则是http://localhost:8088/