ecs中ubuntu上做HDFS

在Elastic Cloud Server (ecs) 上部署Ubuntu并安装Hadoop分布式文件系统（HDFS），需要按照以下步骤操作：

1. **环境准备**：
- 登录到您的ECS服务器，确保它有足够资源（CPU、内存和磁盘空间）运行HDFS。
- 安装基础软件包，如SSH、Git等。

2. **更新系统**：

   sudo apt-get update && sudo apt-get upgrade

3. **安装依赖**：

   sudo apt-get install openjdk-8-jdk

4. **下载Hadoop**：

   wget https://archive.apache.org/dist/hadoop/common/hadoop-3.x.tar.gz

5. **解压并配置**：

   tar xvf hadoop-3.x.tar.gz
   cd hadoop-3.x
   cp conf/hadoop-env.sh.template conf/hadoop-env.sh

修改`hadoop-env.sh`中的JAVA_HOME指向正确的JDK路径，并配置其他必要的参数，如HADOOP_HEAP_SIZE和HADOOP_NAMENODE_OPTS。

6. **配置HDFS**：
- 配置`core-site.xml`, `hdfs-site.xml`, 和`yarn-site.xml`（如果启用YARN）。这通常涉及到修改数据存储路径（`fs.defaultFS`）和集群名称等信息。
- 创建HDFS目录结构：

     hdfs namenode -format
     start-dfs.sh

7. **启动服务**：
- 启动NameNode (`start-dfs.sh`) 和 DataNodes (`hadoop-daemon.sh start datanode`).
- 如果启用了YARN，还需要启动ResourceManager和NodeManager (`start-ls /`命令检查根目录是否可以列出内容。
- 可以使用web浏览器访问 Namenode 的默认地址（通常是 http://<your-ecs-ip>:50070）查看HDFS WebUI。

9. **安全设置**（可选）：
- 如果需要，可以配置 Kerberos 或者其他的认证机制。