hadoop3.36安装教程
时间: 2024-09-17 08:08:51 浏览: 83
hadoop安装教程.docx
Hadoop是一个开源的大数据处理框架,用于分布式存储和计算海量数据。Hadoop 3.36 版本主要是稳定性和性能改进后的版本。以下是安装Hadoop 3.36 的基本步骤:
1. **下载Hadoop**: 访问Apache Hadoop官网(https://hadoop.apache.org/releases.html),找到对应版本的二进制包,例如`hadoop-3.3.6.tar.gz`,然后下载到本地。
2. **配置环境变量**:
- 在系统环境变量中添加 `HADOOP_HOME` 指向Hadoop的安装目录,如 `/usr/local/hadoop-3.3.6`
- 添加 `HADOOP_PATH` 变量,将 `bin` 目录加入其中,如 `export PATH=$PATH:$HADOOP_HOME/bin`
3. **安装依赖**:
- 如果需要,先安装Java Development Kit (JDK)。Hadoop通常需要JDK 8或更高版本。
- 对于Linux系统,可能还需要安装其他依赖,如 SSH、Zookeeper 等。
4. **解压并配置文件**:
- 解压缩下载的文件,例如 `tar xvf hadoop-3.3.6.tar.gz`
- 进入解压后的目录,编辑核心配置文件 `conf/core-site.xml`, `hdfs-site.xml`, 和 `yarn-site.xml`,配置集群的相关信息。
5. **初始化HDFS和YARN**:
- 运行 `./sbin/start-dfs.sh` 初始化Hadoop Distributed File System (HDFS)
- 运行 `./sbin/start-yarn.sh` 启动Yet Another Resource Negotiator (YARN)
6. **验证安装**:
- 使用命令 `jps` 来查看服务是否正在运行,如Hadoop守护进程如NameNode, DataNode, ResourceManager等。
- 可以访问 http://localhost:9870/ 查看YARN web界面,http://localhost:50070/ 查看HDFS的web界面,确认是否可以正常工作。
阅读全文