Ubuntu16.04Hadoop配置

### 安装和配置Hadoop

#### 环境准备
为了确保顺利安装并运行Hadoop，在开始之前需确认已成功安装Ubuntu 16.04操作系统，并完成了基本的系统设置及配置[^1]。

#### 下载与解压Hadoop压缩包
前往Apache官方网站下载适合版本的Hadoop压缩包，将其放置于合适位置后进行解压操作。通常建议创建专门目录用于存放大数据软件及其相关组件。

tar -xzvf hadoop-x.x.x.tar.gz -C /usr/local/

此处`x.x.x`代表具体版本号，请根据实际情况调整路径名。

#### 修改环境变量
为了让命令行工具能够识别到Hadoop指令集，需要更新系统的环境变量文件`.bashrc`。通过Vim或其他文本编辑器打开该文件：

sudo vim ~/.bashrc

在文件末尾追加如下几行内容以便正确加载Hadoop环境变量[^5]:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存更改后的文件并使之生效:

source ~/.bashrc

#### 编辑核心配置文件core-site.xml
进入Hadoop配置文件夹内找到名为`core-site.xml`的核心站点配置文件，对其进行必要的修改来适应单机模式下的测试需求。主要涉及的是指定临时存储数据的位置以及默认FS URI等参数设定。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

#### 设置YARN资源管理器配置yarn-site.xml
同样地，对于分布式计算框架而言，还需要针对YARN部分做额外的定制化处理。编辑位于相同目录中的`yarn-site.xml`文档，添加或替换相应属性值以满足集群运作的要求。

<configuration>
    <!-- 启动NodeManager Web界面 -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

    <!-- ResourceManager地址 -->
    <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>localhost</value>
    </property>

    <!-- NodeManager日志聚合功能开关 -->
    <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
    </property>
    
    <!-- 日志保留时间(单位毫秒) -->
    <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>-1</value>
    </property>
</configuration>

#### 初始化NameNode
首次启动前务必执行格式化名称节点的操作，即初始化DFS命名空间结构。注意这条命令仅限初次部署时调用一次即可。

/usr/local/hadoop/bin/hdfs namenode -format

#### 启动HDFS服务
利用提供的Shell脚本来激活整个HDFS文件系统的服务端口监听状态。

/usr/local/hadoop/sbin/start-dfs.sh

此时可以通过浏览器访问http://master-ip:50070查看Web UI界面上显示出来的集群健康状况报告。

#### 启动YARN调度程序
最后一步就是开启YARN相关的守护线程，从而允许提交MapReduce作业任务至远程服务器上并发执行[^4].

/usr/local/hadoop/sbin/start-yarn.sh

至此便已完成了一个简易版伪分布式的Hadoop平台搭建流程介绍。当然实际生产环境中往往还会涉及到更多复杂的网络拓扑规划、安全机制加固等方面考量因素。