YARN MRv2搭建与配置详解

"YARN（MRv2）搭建指南" YARN（Yet Another Resource Negotiator）是Hadoop 2.0版本引入的一个新的资源管理和调度框架，用于替代MapReduce 1.x版本中的JobTracker角色。在YARN架构中，资源管理器（ResourceManager，RM）负责全局资源的管理和分配，而节点管理器（NodeManager，NM）则在各个工作节点上执行任务的调度和监控。 首先，让我们来部署YARN组件。对于每个节点的角色，你需要按照以下步骤进行： 1. Resourcemanager节点：在`master004`节点上安装YARN资源管理器。使用`yum`命令安装相关软件包： ``` yum -y install hadoop-yarn-resourcemanager ``` 2. Nodemanager和MapReduce节点：在`slave001-slave064`节点上安装YARN节点管理器和MapReduce组件： ``` yum -y install hadoop-yarn-nodemanager hadoop-mapreduce ``` 这些节点将负责处理任务的执行和资源请求。 3. MapReduce历史服务器：在`master006`节点上安装MapReduce历史服务器和YARN代理服务器： ``` yum -y install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver ``` 4. 所有节点的Hadoop客户端：为了方便管理和交互，所有节点应安装Hadoop客户端： ``` yum -y install hadoop-client ``` 接下来，配置YARN的核心配置文件`/etc/hadoop/conf/mapred-site.xml`。此文件包含了关键的YARN设置： - `<property>`标签定义了`mapreduce.framework.name`，将其值设置为`yarn`，表示使用YARN作为MapReduce框架。 - `mapreduce.task.io.sort.mb`设置MapReduce任务的内存限制，用于排序中间结果，值为1024MB。 - `mapred.child.java.opts`指定MapReduce任务的Java运行时参数，包括内存限制。 - `yarn.app.mapreduce.am.command-opts`定义应用程序Master（AM）的额外Java选项，这里设置为2048MB。 - `mapreduce.jobhistory.address`设置了MapReduce历史服务器的地址和端口，指向`master006:10020`。 YARN的这些配置确保了集群内的任务调度、资源分配以及历史记录的存储都是通过YARN的架构进行的。正确配置和管理YARN环境是Hadoop分布式计算的重要组成部分，它优化了资源利用，并支持了大数据处理的并行化和扩展性。 在实际操作中，还需要确保网络畅通、权限设置合理、监控工具的配置以及安全相关的设置，如Kerberos认证等。随着Hadoop生态的发展，YARN的优化和改进也在不断进行，以适应更复杂的数据处理需求。