Hadoop的本地与伪分布环境搭建

Hadoop是一个开源框架，允许在计算机集群上使用简单的编程模型存储和处理大数据。搭建Hadoop的本地模式（也称单机模式）和伪分布模式（也称单节点集群模式）可以用于开发和测试。

1. Hadoop本地模式搭建：
本地模式是指在一台机器上模拟Hadoop集群的环境，无需多台机器参与。这通常用于开发和测试小规模的程序。

- 步骤：
a. 安装JDK：确保系统中安装了Java开发工具包，并配置了JAVA_HOME环境变量。
b. 下载并解压Hadoop：从Apache官网下载Hadoop的稳定版本，并解压到本地目录。
c. 配置Hadoop环境变量：设置HADOOP_HOME环境变量，并将Hadoop的bin目录添加到PATH中。
d. 配置Hadoop：编辑Hadoop配置文件，主要是修改`hadoop-env.sh`文件来设置JAVA_HOME，以及编辑`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`文件来配置核心服务、HDFS和MapReduce等。
e. 格式化文件系统：使用Hadoop命令`hdfs namenode -format`格式化HDFS文件系统。
f. 启动Hadoop服务：使用`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop的DFS和YARN服务。

2. Hadoop伪分布模式搭建：
伪分布模式是在一台机器上模拟一个完整的Hadoop集群环境，每个节点的角色（NameNode、DataNode、ResourceManager等）都在同一台机器上实现。

- 步骤与本地模式类似，但需要额外的配置：
a. 在配置文件中，将Hadoop的各个组件设置为在独立的进程中启动。
b. 在`core-site.xml`中设置fs.defaultFS为hdfs://localhost:9000。
c. 在`hdfs-site.xml`中配置副本数量，通常设置为1。
d. 在`mapred-site.xml`中设置MapReduce作业的历史服务器地址。
e. 在`yarn-site.xml`中配置YARN的ResourceManager地址以及NodeManager和ResourceManager的HTTP地址。
f. 格式化文件系统并启动服务的步骤与本地模式相同。