Linux中Hadoop环境搭建

搭建Hadoop环境需要以下步骤：

1. 安装Java环境：Hadoop运行需要Java环境，执行以下命令安装：

   sudo apt-get update
   sudo apt-get install default-jdk

2. 下载Hadoop：从官网下载Hadoop二进制文件，或使用以下命令下载：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

3. 解压Hadoop：执行以下命令解压Hadoop：

   tar -xzf hadoop-3.3.1.tar.gz

4. 配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行以下命令使配置生效：

   source /etc/profile

5. 配置Hadoop集群：编辑hadoop-3.3.1/etc/hadoop/core-site.xml文件，添加以下内容：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>

编辑hadoop-3.3.1/etc/hadoop/hdfs-site.xml文件，添加以下内容：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/path/to/hdfs/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/path/to/hdfs/datanode</value>
       </property>
   </configuration>

6. 格式化Hadoop文件系统：执行以下命令格式化Hadoop文件系统：

   hdfs namenode -format

7. 启动Hadoop服务：执行以下命令启动Hadoop服务：

   start-dfs.sh
   start-yarn.sh

执行以下命令查看服务状态：

   jps

如果看到以下进程，则表示Hadoop服务启动成功：

   ResourceManager
   NameNode
   SecondaryNameNode
   DataNode
   NodeManager

至此，Hadoop环境搭建完成。