Hadoop单机环境配置指南

“Hadoop单机环境搭建.md”主要介绍了如何在单机环境下搭建Hadoop，包括前置条件、SSH免密登录的配置以及Hadoop HDFS和YARN环境的搭建步骤。 ## 一、前置条件 在搭建Hadoop之前，首先要确保系统已经安装了Java Development Kit (JDK)。JDK是Hadoop运行的基础，因为Hadoop是用Java编写的，它的各个组件都需要Java环境。安装JDK的步骤可以参考链接文档：“Linux下JDK的安装”。 ## 二、配置SSH免密登录 Hadoop的各个组件之间需要通过Secure Shell (SSH) 进行通信。为了简化这个过程，我们需要配置SSH免密登录： 1. 在`/etc/hosts`文件中添加主机名和IP地址的映射，例如：`192.168.43.202 hadoop001`。 2. 使用`ssh-keygen -t rsa`命令生成SSH的公钥和私钥对。 3. 进入`~/.ssh`目录，将公钥（id_rsa.pub）的内容追加到`authorized_keys`文件中，以允许无密码登录。同时，确保`authorized_keys`文件的权限设置为600，即`chmod 600 authorized_keys`。 ## 三、Hadoop (HDFS)环境搭建 1. 下载与解压：从指定网址（如http://archive.cloudera.com/cdh5/cdh/5/）下载Hadoop的安装包，然后使用`tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz`命令解压缩。 2. 配置环境变量：为了能够全局访问Hadoop，需要将Hadoop的安装路径添加到系统的PATH环境变量中。这通常在`~/.bashrc`或`~/.bash_profile`文件中完成，添加如下内容： ```bash export HADOOP_HOME=/path/to/hadoop-install-dir export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存修改后，通过`source ~/.bashrc`或`source ~/.bash_profile`使更改生效。 3. 配置Hadoop：在Hadoop的conf目录下，需要修改以下配置文件： - core-site.xml：配置HDFS的默认FS（默认文件系统），例如： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` - hdfs-site.xml：配置HDFS的参数，如数据块大小和副本数，例如： ```xml <property> <name>dfs.replication</name> <value>1</value> </property> ``` - mapred-site.xml：配置MapReduce框架，如果是YARN，需设置为： ```xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` - yarn-site.xml：配置YARN参数，例如内存和CPU分配： ```xml <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property> ``` 4. 格式化HDFS：首次启动Hadoop前，需要对HDFS进行格式化： ```bash hdfs namenode -format ``` 5. 启动Hadoop：启动HDFS和YARN服务： ```bash sbin/start-dfs.sh sbin/start-yarn.sh ``` 6. 验证启动：通过浏览器访问`http://localhost:50070` 和 `http://localhost:8088`，检查NameNode和ResourceManager是否正常运行。 至此，一个基本的Hadoop单机环境就已经搭建完成了。你可以在这个环境中运行Hadoop MapReduce作业，进行数据处理和分析。然而，这只是Hadoop分布式环境的一个起点，实际生产环境中通常会涉及到多节点集群的部署和更复杂的配置。