本文档是对Hadoop环境搭建过程的一个全面总结,主要关注于以下几个关键步骤:
1. tar解压:首先,从下载的Hadoop-3.1.1.tar.gz压缩包中进行解压,使用`tar -zxvf hadoop-3.1.1.tar.gz`命令来展开Hadoop源代码,这是安装Hadoop的第一步。
2. 免密登录设置:为了方便在服务器之间进行通信,通过`ssh-keygen`命令生成SSH密钥对,包括私钥id_rsa和公钥id_rsa.pub。然后将公钥添加到目标服务器的~/.ssh/authorized_keys文件中,并设置权限`chmod 0600`以确保安全。
3. 配置文件编辑:
- `hadoop-env.sh`:这是一个环境变量设置文件,通常用于指定Java的安装路径。在这里,`export JAVA_HOME=/opt/java/jdk1.8.0_172`设置了Hadoop使用的Java版本。
- `core-site.xml`:这个文件包含了Hadoop的核心配置,如`fs.defaultFS`属性,定义了默认文件系统(HDFS)的地址,如`hdfs://servera:9000`,以及`io.file.buffer.size`,用于优化文件读写性能。
- `hdfs-site.xml`:主要用于NameNode的配置,包括NameNode数据目录位置(`dfs.namenode.name.dir`)和块大小(`dfs.blocksize`)等。
- 其他如`yarn-site.xml`和`mapred-site.xml`是YARN和MapReduce组件的配置文件,分别负责资源管理和任务调度。
4. 目录结构管理:指定了一些重要配置文件的存放路径,如`workers`目录下的Hadoop-YARN和Hadoop-Common项目的配置文件,这些配置文件的正确管理对于Hadoop集群的运行至关重要。
5. 启动和格式化文件系统:在完成配置后,需要对HDFS进行格式化,这一步通常在集群初始化时进行,确保文件系统的正确创建和组织。
通过以上步骤,可以建立起一个基本的Hadoop环境,接下来需要根据具体需求进行配置调整、数据导入和部署作业,才能使Hadoop集群正常运行并发挥分布式计算的优势。同时,Hadoop的运行依赖于Hadoop Distributed File System (HDFS) 和 MapReduce框架,理解这些配置项的含义对于管理和优化集群性能至关重要。