centos7hadoop集群搭建

在CentOS 7上搭建Hadoop集群的步骤如下：

1. 首先，确保你的CentOS 7系统已经安装了JDK，并配置好了JAVA_HOME环境变量。

2. 下载Hadoop的压缩包，并解压到指定目录。例如，将压缩包解压到/usr/soft/hadoop-2.7.5目录下。

3. 进入Hadoop解压后的文件夹中的/etc/hadoop/目录，并修改以下四个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。

4. 在yarn-site.xml中，添加以下属性：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

5. 在hdfs-site.xml中，添加以下属性：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///usr/soft/hadoop-2.7.5/etc/hadoop/dfs/name</value>
  <description>NameNode directory for namespace and transaction logs storage.</description>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///usr/soft/hadoop-2.7.5/etc/hadoop/dfs/data</value>
  <description>DataNode directory</description>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

6. 创建必要的文件夹：

sudo mkdir -p /usr/soft/hadoop-2.7.5/etc/hadoop/dfs/name
sudo mkdir -p /usr/soft/hadoop-2.7.5/etc/hadoop/dfs/data

7. 配置集群的主机名和IP地址。确保所有的节点都能够相互访问。

8. 启动Hadoop集群：

sudo /usr/soft/hadoop-2.7.5/sbin/start-dfs.sh
sudo /usr/soft/hadoop-2.7.5/sbin/start-yarn.sh

9. 验证集群是否正常工作。可以通过访问Hadoop的Web界面来确认。