MapReduce部署

### MapReduce 部署指南

#### Hadoop分布式计算框架中的MapReduce组件介绍

Hadoop是一个开源的大数据解决方案框架，用于分布式存储、分布式计算以及云计算环境下的商品硬件上运行[^1]。作为Hadoop核心模块之一的MapReduce提供了一种编程模型，专门用来处理大规模数据集上的并行运算。

#### 准备工作

为了成功部署MapReduce，在开始之前需确保已经安装配置好Java环境，并下载了适合版本的Hadoop二进制包。解压该压缩文件到指定目录下之后，设置必要的环境变量如`$HADOOP_HOME`指向此路径。

#### 安装与配置

编辑`etc/hadoop/core-site.xml`文件来定义NameNode的位置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

接着修改`yarn-site.xml`以支持YARN资源管理器:

<configuration>
    <!-- YARN ResourceManager -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
    </property>

    <!-- NodeManager memory settings -->
    <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>8192</value>
     </property>
</configuration>

对于MapReduce特定参数，则可以在`mapred-site.xml.template`基础上创建新的`mapred-site.xml`文件，并加入如下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

#### 启动服务

完成上述所有步骤后，可以通过执行以下命令启动相关守护进程：

sbin/start-dfs.sh   # Start NameNodes and DataNodes.
sbin/start-yarn.sh  # Start ResourceManager and NodeManagers.
mr-jobhistory-daemon.sh start historyserver  # Optional but recommended for job tracking.

此时应该能够正常提交简单的WordCount作业测试集群状态了。