如何在Hadoop集群中正确配置defaultFS和tmp.dir参数，并确保环境变量设置有效？

在Hadoop集群部署和管理中，正确配置defaultFS和tmp.dir参数至关重要，它们分别决定了NameNode的位置和Hadoop运行时产生的临时文件存放位置。环境变量的设置也需要同步进行，以确保集群中所有节点能够访问到正确的路径和配置。以下是详细步骤：

参考资源链接：[Hadoop集群配置详解：环境与参数设置](https://wenku.csdn.net/doc/1mphmppwmo?spm=1055.2569.3001.10343)

1. 首先，修改`core-site.xml`文件，以设置defaultFS和tmp.dir的值。以编辑器打开该文件，找到`<configuration>`部分，并添加或修改以下内容：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode-host:8020</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/path/to/tmp/hadoop-tmp</value>
</property>

请将`namenode-host`替换为NameNode的实际主机名或IP地址，`/path/to/tmp/hadoop-tmp`替换为你希望设定的Hadoop临时文件存放路径。

2. 确保环境变量设置有效，首先在所有Hadoop集群节点上配置HADOOP_HOME环境变量。可以通过修改`/etc/profile`文件或者用户家目录下的`.bashrc`文件来实现。例如，在`.bashrc`中添加如下行：

export HADOOP_HOME=/path/to/hadoop-install
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

这里的`/path/to/hadoop-install`是Hadoop安装目录的路径。之后，执行`source ~/.bashrc`使配置生效。

3. 对于守护进程环境变量的设置，编辑`hadoop-env.sh`文件，一般位于`$HADOOP_HOME/etc/hadoop/`目录下，添加JAVA_HOME环境变量，例如：

export JAVA_HOME=/path/to/java-install

这里的`/path/to/java-install`是Java安装目录的路径。

4. 如果需要为MapReduce或YARN设置特定的环境变量，如`mapred-env.sh`和`yarn-env.sh`文件中的配置，也请进行相应的编辑和配置。

5. 配置完成后，重启Hadoop集群的所有守护进程，以确保新的配置生效。可以使用如下命令：

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

6. 通过运行`hdfs dfs -ls /`命令检查是否可以正确列出HDFS根目录，以及运行`yarn node -list`查看YARN节点状态，验证配置是否成功。

以上步骤详细介绍了如何在Hadoop集群中配置defaultFS和tmp.dir参数，同时确保环境变量设置的有效性。确保你熟悉XML配置文件的编辑，并且在修改配置文件后执行了正确的验证步骤。为了进一步掌握Hadoop集群的配置与管理，建议深入学习《Hadoop集群配置详解：环境与参数设置》这本书籍，其中详细描述了配置文件的格式、环境变量的设置以及集群配置信息的获取等关键知识点。

参考资源链接：[Hadoop集群配置详解：环境与参数设置](https://wenku.csdn.net/doc/1mphmppwmo?spm=1055.2569.3001.10343)