hadoop安装与配置centos单机

Hadoop是一个分布式计算框架，用于存储和处理大量数据。在CentOS单机上安装和配置Hadoop分为几个步骤：

1. **安装前准备**：
- 更新系统包列表：`sudo yum update`
- 安装依赖库：`sudo yum install java-1.8.0-openjdk-devel`

2. **下载Hadoop**：
- 访问Apache Hadoop官网（https://hadoop.apache.org/releases.html）下载对应版本的Hadoop源码tarball。

3. **解压并创建目录结构**：

   sudo tar xzf hadoop*.tar.gz
   cd hadoop*

4. **配置环境变量**：
- 配置`conf/core-site.xml`，设置Hadoop的名称节点（NameNode）为本地路径，如：

     <property>
       <name>fs.defaultFS</name>
       <value>file:///path/to/hadoop/data</value>
     </property>

- 配置`conf/hdfs-site.xml`，设置默认副本数等参数。

5. **创建Hadoop用户和目录**：

   sudo groupadd hdfs
   sudo useradd -g hdfs hadoop
   sudo mkdir -p /path/to/hadoop/data /path/to/hadoop/logs
   sudo chown -R hadoop:hadoop /path/to/hadoop/

6. **配置Hadoop**：
- `cd`到Hadoop源码目录，运行`./configure`，然后运行`sudo make`和`sudo make install`完成安装。

7. **启动服务**：
- 启动HDFS：`sudo sbin/start-dfs.sh`
- 启动MapReduce：`sudo sbin/start-yarn.sh`

8. **验证安装**：
- 可以通过命令行访问HDFS的Web界面（http://localhost:50070）检查是否正常工作。
- 使用`jps`查看YARN任务管理器、ResourceManager是否运行。