centos安装Hadoop

在 CentOS 上安装 Hadoop 可以分为以下几个步骤：

1. 安装 Java 环境：Hadoop 是建立在 Java 上的，因此您需要安装 Java 环境。建议安装 Java 8 或更高版本。

   sudo yum install java-1.8.0-openjdk-devel

2. 下载 Hadoop 安装包：您可以从官方网站下载 Hadoop 安装包。请确保下载与您的系统相对应的 Hadoop 版本。

   wget https://archive.apache.org/dist/hadoop/common/hadoop-x.y.z/hadoop-x.y.z.tar.gz

3. 解压 Hadoop 安装包：将下载的 Hadoop 安装包解压到您选择的目录中。可以使用以下命令解压：

   tar -xzf hadoop-x.y.z.tar.gz

其中，x.y.z 表示 Hadoop 版本号。

4. 配置环境变量：您需要设置以下环境变量：

   export HADOOP_HOME=/path/to/your/hadoop/home
   export PATH=$HADOOP_HOME/bin:$PATH

`HADOOP_HOME` 变量应该指向 Hadoop 安装目录的路径。

5. 配置 Hadoop：打开 `$HADOOP_HOME/etc/hadoop` 目录，并进行以下配置：

- core-site.xml：添加以下配置：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>

- hdfs-site.xml：添加以下配置：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
     </configuration>

- mapred-site.xml：将 `$HADOOP_HOME/etc/hadoop/mapred-site.xml.template` 文件重命名为 mapred-site.xml，并添加以下配置：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>

- yarn-site.xml：添加以下配置：

     <configuration>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
             <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
     </configuration>

6. 格式化 Hadoop 文件系统：在终端中输入以下命令：

   hdfs namenode -format

7. 启动 Hadoop：使用以下命令启动 Hadoop：

   start-all.sh

这将启动 Hadoop 文件系统和 YARN。

完成上述步骤后，您可以使用以下命令检查 Hadoop 是否成功安装：

- 检查 Hadoop 文件系统是否运行：

  jps

如果您看到 NameNode、DataNode、SecondaryNameNode 和 ResourceManager 进程正在运行，则说明 Hadoop 文件系统正在运行。

- 检查 YARN 是否运行：

  yarn node -list

如果您看到 NodeManager 进程正在运行，则说明 YARN 正在运行。

注意：在使用 Hadoop 时，您需要确保您的机器具有足够的内存和处理能力，以处理您要处理的数据量。