Ubuntu安装hadoop集群

Ubuntu安装Hadoop集群通常分为以下几个步骤：

1. **更新系统**:
首先，确保你的Ubuntu系统是最新的。打开终端并运行以下命令：

   sudo apt update && sudo apt upgrade

2. **安装依赖包**:
Hadoop需要一些基础软件包，如Java、SSH等。安装它们：

   sudo apt install openjdk-8-jdk sshfs

或者如果你需要最新的Java版本，可以替换为`openjdk-11-jdk`。

3. **配置SSH无密码登录**:
创建一个SSH密钥对，并将公钥添加到root用户账户的`.ssh/authorized_keys`文件中，以便免密登录。参考官方文档：https://help.ubuntu.com/community/SSH/OpenSSH/Keys

4. **下载Hadoop**:
使用HTTPS访问Apache官网下载适合你系统的Hadoop发行版（如Hadoop 2.x或Hadoop 3.x），解压到指定目录：

   wget https://www.apache.org/dist/hadoop/common/hadoop-3.x.x/hadoop-3.x.x.tar.gz
   tar -xvf hadoop-3.x.x.tar.gz

5. **配置Hadoop**:
- 进入Hadoop目录，编辑配置文件，例如`conf/core-site.xml`, `conf/hdfs-site.xml` 和 `conf/yarn-site.xml`。
- 根据需求设置Master和Worker节点信息，包括hostname和网络端口。

6. **启动服务**:
- 初始化HDFS和YARN：

     cd hadoop-x.x.x
     ./sbin/start-dfs.sh
     ./sbin/start-yarn.sh

- 查看日志确认服务是否正常启动：

     tail -f /var/log/hadoop-hdfs/*log
     tail -f /var/log/hadoop-yarn/*.log

7. **验证集群**:
使用Hadoop命令行工具（如`hdfs dfs`和`yarn`）测试HDFS和YARN是否工作正常。