hdfs安装与配置单机

### HDFS 单机环境安装配置教程

#### 准备工作
确保操作系统已更新至最新状态并安装必要的依赖包。对于基于Debian的系统，如Ubuntu，可以通过以下命令安装Java和其他必要工具[^2]。

sudo apt-get update && sudo apt-get install default-jdk

对于CentOS或其他Red Hat系列发行版，则可使用yum进行相同操作：

sudo yum install java-1.8.0-openjdk-devel.x86_64

#### 下载与解压Hadoop软件包
前往官方网站获取最新的稳定版本，并将其放置于合适的位置，比如`/usr/local`目录下。这里假设下载的是Hadoop 3.3.6版本[^5]。

tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/
cd /usr/local/
ln -s ./hadoop-3.3.6/ hadoop

#### 设置环境变量
编辑用户的shell profile文件（`.bashrc`, `.zshrc`等），添加如下路径以便能够全局调用Hadoop命令[^3]。

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

验证设置是否成功：

echo $HADOOP_HOME
which hdfs

#### 修改Hadoop配置文件
进入Hadoop配置文件夹(`$HADOOP_HOME/etc/hadoop`)并对几个主要XML配置文档做出相应调整。这些更改主要是为了适应本地测试的需求而不是生产级别的集群部署[^4]。

##### core-site.xml
定义默认的文件系统名称以及临时数据存储位置。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

##### hdfs-site.xml
指定NameNode和DataNode的工作模式为单节点伪分布形式。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/app/hadoop/data/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/app/hadoop/data/datanode</value>
    </property>
</configuration>

##### yarn-site.xml 和 mapred-site.xml
如果计划在同一台机器上运行YARN资源管理器和服务进程，则还需要适当修改这两个文件的内容。不过，在仅关注HDFS的情况下，默认值通常就足够了。

#### 初始化并启动服务
首次使用前需格式化新的文件系统实例。

hdfs namenode -format

接着就可以通过sbin脚本来开启所有必需的服务组件了。

start-dfs.sh

此时应该能够在浏览器中访问http://localhost:9870来监控HDFS的状态信息。

#### 测试基本功能
尝试创建一些简单的目录结构或上传文件以确认一切正常运作。

hadoop fs -mkdir -p /test_1/
hadoop fs -put README.txt /
hadoop fs -ls /

以上即完成了HDFS在单一主机上的简易搭建过程[^1]。