hadoop yarn的配置与启动

Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个模块，它作为一个统一的资源调度平台，负责管理和调度Hadoop MapReduce任务以及其他的计算框架，如Apache Spark。以下是YARN的基本配置和启动过程：

1. **配置文件**：
- `yarn-site.xml`: 存储YARN的全局配置信息，例如资源配置策略、名称节点地址等。
- `mapred-site.xml` (现在称为`hadoop-yarn-site.xml`): 包含了作业调度相关的配置，比如任务队列策略、应用程序优先级等。

2. **修改配置**：
- 使用文本编辑器打开配置文件，可以调整如内存分配、磁盘空间限制、网络设置等参数。
- 检查`<property>`标签内的`<value>`元素，确保值适合您的集群规模和需求。

3. **启动服务**：
- 在命令行中，首先启动ResourceManager (RM)：

     $ sbin/start-yarn.sh

- 启动NodeManager (NM)：

     $ cd [HADOOP_HOME]/yarn
     $ sbin/start-dfs-namenode.sh

4. **验证启动**：
- 可以使用`jps`命令检查服务是否已经成功启动，并确认ResourceTracker和NodeManager进程运行正常。
- 登录到Hadoop WebUI（默认端口8088），查看YARN资源的状态和应用程序管理界面。

5. **停止服务**：
- 当不再需要YARN服务时，使用类似命令停止RM和NM：

     $ sbin/stop-yarn.sh