hadoop安装教程 Linux版

Hadoop是一个开源的大数据处理框架，通常用于分布式存储和计算。在Linux上安装Hadoop主要包括以下几个步骤：

1. **下载Hadoop**: 访问Apache Hadoop官网(https://hadoop.apache.org/downloads.html) 下载适合你Linux发行版的Hadoop版本，比如`hadoop-3.x.x.tar.gz`。

2. **创建文件夹**: 安装前需要准备一些目录结构，比如：

   /usr/local/hadoop
   /usr/local/hadoop/etc/hadoop
   /usr/local/hadoop/data

3. **解压并配置环境**: 将下载的tar包解压到`/usr/local/hadoop`，然后编辑`conf/core-site.xml`、`hdfs-site.xml`等配置文件，设置重要信息如HDFS地址和NameNode位置。

4. **配置Java**: 确保JDK已经安装并且环境变量设置正确。Hadoop依赖于Java，所以需要将JAVA_HOME添加到PATH中。

5. **启动服务**: 运行`sbin/start-dfs.sh`开始HDFS集群，`sbin/start-yarn.sh`启动YARN服务。你可以通过`jps`命令查看服务是否正在运行。

6. **验证安装**: 使用`bin/hdfs dfs -ls /`检查HDFS是否可以正常访问，`bin yarn jar`尝试运行一个MapReduce程序来测试YARN。

**注意事项**:
- 由于步骤较多且涉及到系统配置，建议按照官方文档（https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleClusterSetup.html）进行操作，并确保权限设置正确。
- 如果遇到问题，检查日志文件可能会有所帮助，通常在`/usr/local/hadoop/logs`目录下。