hadoop分布式集群搭建

要搭建Hadoop分布式集群，你需要按照以下步骤进行操作：

1. 安装Java：Hadoop是用Java编写的，所以首先需要安装Java环境。确保你的系统上已经安装了Java，并设置好JAVA_HOME环境变量。

2. 下载Hadoop：从Apache官网下载最新版本的Hadoop。选择一个稳定版本并下载压缩包。

3. 解压Hadoop压缩包：将下载的压缩包解压到你选择的目录中。

4. 配置Hadoop：进入解压后的Hadoop目录，编辑`etc/hadoop/core-site.xml`文件，设置以下属性：

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
   </property>

编辑`etc/hadoop/hdfs-site.xml`文件，设置以下属性：

   <property>
     <name>dfs.replication</name>
     <value>3</value>
   </property>

编辑`etc/hadoop/mapred-site.xml.template`文件，设置以下属性：

   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>

将该文件另存为`etc/hadoop/mapred-site.xml`。

5. 配置主机文件：在`etc/hadoop/workers`文件中，列出你希望成为集群节点的主机名或IP地址。每行一个主机。

6. 配置SSH免密码登录：确保你可以通过SSH免密码登录到所有集群节点。可以使用`ssh-keygen`命令生成SSH密钥对，并将公钥拷贝到所有节点的`~/.ssh/authorized_keys`文件中。

7. 格式化HDFS：运行以下命令来格式化HDFS：

   bin/hdfs namenode -format

8. 启动Hadoop集群：运行以下命令启动Hadoop集群：

   sbin/start-dfs.sh
   sbin/start-yarn.sh

运行以上命令后，你的Hadoop分布式集群就会启动起来。

这是一个基本的Hadoop分布式集群搭建过程，你可以根据自己的需求进行进一步的配置和调优。还有其他一些配置文件和命令可以帮助你管理和监控Hadoop集群，你可以查阅Hadoop官方文档来获取更多详细信息。