“Hadoop单机环境搭建.md”主要介绍了如何在单机环境下搭建Hadoop，包括前置条件、SSH免密登录的配置以及Hadoop HDFS和YARN环境的搭建步骤。
## 一、前置条件
在搭建Hadoop之前，首先要确保系统已经安装了Java Development Kit (JDK)。JDK是Hadoop运行的基础，因为Hadoop是用Java编写的，它的各个组件都需要Java环境。安装JDK的步骤可以参考链接文档：“Linux下JDK的安装”。
## 二、配置SSH免密登录
Hadoop的各个组件之间需要通过Secure Shell (SSH) 进行通信。为了简化这个过程，我们需要配置SSH免密登录：
1. 在`/etc/hosts`文件中添加主机名和IP地址的映射，例如：`192.168.43.202 hadoop001`。
2. 使用`ssh-keygen -t rsa`命令生成SSH的公钥和私钥对。
3. 进入`~/.ssh`目录，将公钥（id_rsa.pub）的内容追加到`authorized_keys`文件中，以允许无密码登录。同时，确保`authorized_keys`文件的权限设置为600，即`chmod 600 authorized_keys`。
## 三、Hadoop (HDFS)环境搭建
1. 下载与解压：从指定网址（如http://archive.cloudera.com/cdh5/cdh/5/）下载Hadoop的安装包，然后使用`tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz`命令解压缩。
2. 配置环境变量：为了能够全局访问Hadoop，需要将Hadoop的安装路径添加到系统的PATH环境变量中。这通常在`~/.bashrc`或`~/.bash_profile`文件中完成，添加如下内容：
```bash
export HADOOP_HOME=/path/to/hadoop-install-dir
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
保存修改后，通过`source ~/.bashrc`或`source ~/.bash_profile`使更改生效。
3. 配置Hadoop：在Hadoop的conf目录下，需要修改以下配置文件：
- core-site.xml：配置HDFS的默认FS（默认文件系统），例如：
```xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
```
- hdfs-site.xml：配置HDFS的参数，如数据块大小和副本数，例如：
```xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
```
- mapred-site.xml：配置MapReduce框架，如果是YARN，需设置为：
```xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
```
- yarn-site.xml：配置YARN参数，例如内存和CPU分配：
```xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
```
4. 格式化HDFS：首次启动Hadoop前，需要对HDFS进行格式化：
```bash
hdfs namenode -format
```
5. 启动Hadoop：启动HDFS和YARN服务：
```bash
sbin/start-dfs.sh
sbin/start-yarn.sh
```
6. 验证启动：通过浏览器访问`http://localhost:50070` 和 `http://localhost:8088`，检查NameNode和ResourceManager是否正常运行。
至此，一个基本的Hadoop单机环境就已经搭建完成了。你可以在这个环境中运行Hadoop MapReduce作业，进行数据处理和分析。然而，这只是Hadoop分布式环境的一个起点，实际生产环境中通常会涉及到多节点集群的部署和更复杂的配置。
我的内容管理
展开
