在ubuntu上搭建hadoop平台完成分布式存储

搭建Hadoop平台需要以下步骤：

1. 安装Java：Hadoop是用Java编写的，因此需要先安装Java运行环境。在Ubuntu上，可以使用以下命令安装OpenJDK 8：

   sudo apt-get update
   sudo apt-get install openjdk-8-jdk

2. 下载和解压Hadoop：从Apache Hadoop官网上下载最新版本的Hadoop，并将其解压到目标文件夹中。可以使用以下命令下载和解压Hadoop：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
   tar -xzvf hadoop-3.3.1.tar.gz
   mv hadoop-3.3.1 /usr/local/hadoop

3. 配置Hadoop环境变量：在~/.bashrc文件中添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin

然后运行以下命令使其生效：

   source ~/.bashrc

4. 配置Hadoop：在Hadoop的安装目录下，找到etc/hadoop/core-site.xml文件和etc/hadoop/hdfs-site.xml文件，并分别进行如下配置：

core-site.xml：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>

hdfs-site.xml：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
       </property>
   </configuration>

这里将Hadoop的数据存储在了/usr/local/hadoop/hadoop_data目录下，可以根据自己的需要进行修改。

5. 格式化Hadoop：在Hadoop的安装目录下，运行以下命令：

   hdfs namenode -format

6. 启动Hadoop：在Hadoop的安装目录下，运行以下命令：

   start-all.sh

这将启动Hadoop的所有服务，包括NameNode、DataNode、ResourceManager和NodeManager。可以使用以下命令查看Hadoop的状态：

   jps

如果看到以下进程，则说明Hadoop启动成功：

   NameNode
   DataNode
   ResourceManager
   NodeManager
   Jps

7. 测试Hadoop：可以使用以下命令创建一个文件，并将其上传到Hadoop中：

   echo "hello world" > test.txt
   hdfs dfs -mkdir /test
   hdfs dfs -put test.txt /test

然后使用以下命令查看该文件：

   hdfs dfs -cat /test/test.txt

如果看到输出“hello world”，则说明Hadoop已经正常工作。

以上步骤完成后，就可以在Ubuntu上搭建Hadoop平台完成分布式存储。