linux虚拟机yarn安装及环境配置

在Linux虚拟机上安装YARN（Yet Another Resource Negotiator）并进行环境配置，可以按照以下步骤进行：

### 1. 安装Java
YARN依赖于Java环境，因此首先需要安装Java。

sudo apt-get update
sudo apt-get install openjdk-8-jdk

验证Java安装：

java -version

### 2. 下载Hadoop
YARN是Hadoop生态系统的一部分，因此需要下载Hadoop。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop

### 3. 配置环境变量
编辑`~/.bashrc`文件，添加Hadoop和Java的环境变量。

nano ~/.bashrc

在文件末尾添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存并退出，然后使配置生效：

source ~/.bashrc

### 4. 配置Hadoop
编辑`$HADOOP_HOME/etc/hadoop/hadoop-env.sh`文件，设置Java路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

编辑`$HADOOP_HOME/etc/hadoop/core-site.xml`文件，添加以下配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑`$HADOOP_HOME/etc/hadoop/hdfs-site.xml`文件，添加以下配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

编辑`$HADOOP_HOME/etc/hadoop/mapred-site.xml`文件，添加以下配置：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

编辑`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件，添加以下配置：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

### 5. 格式化HDFS
格式化HDFS文件系统：

hdfs namenode -format

### 6. 启动Hadoop和YARN
启动Hadoop和YARN：

start-dfs.sh
start-yarn.sh

### 7. 验证安装
可以通过以下命令验证YARN是否安装成功：

jps

你应该能看到类似以下的输出：

NameNode
DataNode
ResourceManager
NodeManager