linux系统安装hadoop

1. 下载hadoop安装包

可以从Hadoop官方网站或者Apache软件基金会的官方网站下载到最新版本的Hadoop。

2. 配置Java环境

Hadoop是用Java编写的，因此需要先安装Java环境。可以使用以下命令检查Java是否已经安装：

java -version

如果Java环境未安装，则可以使用以下命令安装：

sudo apt-get update
sudo apt-get install default-jdk

3. 解压安装包

解压下载好的Hadoop安装包到指定的目录下，如：

tar -zxvf hadoop-2.9.2.tar.gz -C /usr/local/

4. 配置Hadoop环境变量

需要将Hadoop的bin目录添加到PATH环境变量中，可以使用以下命令：

export PATH=$PATH:/usr/local/hadoop-2.9.2/bin

还需要设置Hadoop的JAVA_HOME环境变量：

export JAVA_HOME=/usr/lib/jvm/default-java

可以将以上两个命令添加到~/.bashrc文件中，以保证每次登录自动加载。

5. 修改配置文件

Hadoop有多个配置文件，需要根据实际情况进行修改。其中，核心的配置文件是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

hadoop-env.sh文件中需要设置JAVA_HOME环境变量：

export JAVA_HOME=/usr/lib/jvm/default-java

core-site.xml文件中需要设置Hadoop的文件系统类型、Hadoop的默认文件系统、以及Hadoop的主机名和端口号：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.9.2/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
</configuration>

hdfs-site.xml文件中需要设置Hadoop的数据存储路径：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.9.2/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.9.2/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml文件中需要设置MapReduce框架的运行模式、框架名称和框架运行地址：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>512</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>512</value>
    </property>
</configuration>

yarn-site.xml文件中需要设置YARN的资源管理器地址和端口号：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

6. 格式化HDFS文件系统

在启动Hadoop之前，需要先格式化HDFS文件系统，使用以下命令：

hdfs namenode -format

7. 启动Hadoop

使用以下命令启动Hadoop：

start-all.sh

也可以使用以下命令分别启动Hadoop的各个服务：

start-dfs.sh
start-yarn.sh

8. 访问Hadoop

可以通过Web界面访问Hadoop，地址为http://localhost:50070/。如果看到了Hadoop的Web界面，则说明已经成功安装并启动了Hadoop。