搭建Hadoop＋yarn平台搭建

搭建Hadoop YARN平台通常涉及以下几个步骤：

1. **安装前提**：首先需要在一台机器上安装Linux操作系统，并具备一定的基础系统管理能力。

2. **下载并配置Hadoop**：从Apache官方网站下载Hadoop源码包，解压后配置环境变量，包括JAVA_HOME、HADOOP_HOME等。编辑`core-site.xml`、`hdfs-site.xml` 和 `yarn-site.xml` 等配置文件，设置集群相关的参数。

3. **构建HDFS**：启动Hadoop分布式文件系统（HDFS），这涉及到NameNode（主节点）和DataNodes（数据节点）。通过命令行运行`sbin/start-dfs.sh` 启动服务。

4. **初始化YARN**：创建ResourceManager (RM) 节点，它是YARN的控制节点，负责资源分配。运行`sbin/start-yarn.sh` 启动ResourceManager以及ApplicationMaster (AM) 的守护进程。

5. **添加NodeManager**：NodeManager是在各个工作节点上运行的组件，它负责管理和监控Container。在每个DataNode所在的机器上，启动`sbin/start-yarn-node.sh`。

6. **测试和服务监控**：使用Hadoop自带的工具如`jps` 和 `hadoop dfs` 来检查服务是否正常运行，可以尝试上传一个小文件到HDFS验证访问。

7. **安全设置**：如果在生产环境中，可能还需要配置Kerberos认证和SSL/TLS加密。