hadoop下载与配置
时间: 2024-10-04 17:00:19 浏览: 11
Hadoop是一个开源的大数据处理框架,主要用于分布式存储和处理大量数据。首先,你需要下载Hadoop:
1. **下载Hadoop**:访问Apache官网(http://hadoop.apache.org/),选择稳定版本如Hadoop 3.x或Hadoop 2.x(注意,Hadoop 1.x已经停止维护)。点击"Download"链接,选择适合的操作系统(Linux、macOS或Windows)。
2. **安装Hadoop**:对于Linux用户,通常会下载tar.gz包,解压后在`./configure`然后`make`和`sudo make install`。Windows用户可以选择预编译的二进制包,直接运行安装程序。
3. **配置环境变量**:编辑`~/.bashrc`或`$HOME/.profile`(取决于你的shell),添加Hadoop的bin目录到PATH环境变量,并设置JAVA_HOME指向正确的Java安装路径。
4. **配置核心配置文件**:Hadoop有两份重要配置文件,分别是`core-site.xml`(全局配置)和`hdfs-site.xml`(HDFS配置)。它们通常位于`etc/hadoop`目录下。配置内容包括名称节点(NameNode)、数据节点(DataNodes)地址等。
5. **启动服务**:通过`sbin/start-dfs.sh` 和 `sbin/start-yarn.sh`命令分别启动Hadoop的HDFS和YARN服务。如果需要,还可以启动守护进程监控(JPS)和日志查看工具(jps, jstack等)。