Hadoop 2.7.3 启动脚本详解：关键步骤与配置

hadoop2.7.3

脚本

需积分: 38 4 浏览量更新于2024-09-08 收藏 13KB TXT 举报

身份认证购VIP最低享 7 折!

30元优惠券

在Hadoop 2.7.3的启动脚本流程中，主要涉及到以下几个关键步骤： 1. **脚本执行入口**：首先，脚本从`--->нűstart-all.sh`开始执行。这个可能是Hadoop集群的初始化或启动命令。 2. **定位脚本目录**：使用`bin=`dirname"${BASH_SOURCE-$0}"`获取当前脚本的目录，然后通过`cd`命令切换到该目录并获取其路径，这将用于后续变量设置。 3. **设置默认和自定义库执行目录**： `DEFAULT_LIBEXEC_DIR`被设置为`bin`目录的上级目录`../libexec`，`HADOOP_LIBEXEC_DIR`如果未指定，则使用`DEFAULT_LIBEXEC_DIR`。这一步是为Hadoop组件提供可执行的辅助程序和配置文件的路径。 4. **加载配置**： `nű$HADOOP_LIBEXEC_DIR/hadoop-config.sh`被调用，这可能包含了一些通用的配置处理，如设置环境变量、检查配置文件等。 5. **解析脚本和目录路径**：通过`this`、`common_bin`和`script`变量，获取当前脚本的完整路径，以便正确引用Hadoop共享目录（如`HADOOP_COMMON_DIR`、`HDFS_DIR`等）。 6. **定义Hadoop组件目录**： - `HADOOP_COMMON_DIR`表示Hadoop通用模块的安装目录。 - `HADOOP_COMMON_LIB_JARS_DIR`用于存放通用模块的jar包。 - `HADOOP_COMMON_LIB_NATIVE_DIR`存放通用模块的本地编译库。 - `HDFS_DIR`是Hadoop分布式文件系统模块的安装目录。 - `HDFS_LIB_JARS_DIR`存放HDFS相关的jar包。 - `YARN_DIR`和`YARN_LIB_JARS_DIR`与YARN（Yet Another Resource Negotiator）模块有关。 - `MAPRED_DIR`和`MAPRED_LIB_JARS_DIR`则对应MapReduce模块。这些变量的设置确保了Hadoop各个组件的资源可以被正确地定位和加载，对于启动时的依赖查找和配置生效至关重要。通过理解这些脚本中的路径和变量，我们可以深入理解Hadoop 2.7.3的部署结构和启动过程，这对于理解和维护大型分布式计算平台非常有帮助。当遇到问题时，这些信息也可以帮助我们定位和解决问题。

资源详情

资源推荐

--->运行脚本start-all.sh
--->bin=`dirname "${BASH_SOURCE-$0}"`
--->bin=`cd "$bin"; pwd`
--->DEFAULT_LIBEXEC_DIR="$bin"/../libexec
--->HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}
--->运行脚本$HADOOP_LIBEXEC_DIR/hadoop-config.sh
--->this="${BASH_SOURCE-$0}"
--->common_bin=$(cd -P -- "$(dirname -- "$this")" && pwd -P)
--->script="$(basename -- "$this")"
--->this="$common_bin/$script"
--->HADOOP_COMMON_DIR=${HADOOP_COMMON_DIR:-"share/hadoop/common"}
--->HADOOP_COMMON_LIB_JARS_DIR=${HADOOP_COMMON_LIB_JARS_DIR:-"share/hadoop/common/lib"}
--->HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_COMMON_LIB_NATIVE_DIR:-"lib/native"}
--->HDFS_DIR=${HDFS_DIR:-"share/hadoop/hdfs"}
--->HDFS_LIB_JARS_DIR=${HDFS_LIB_JARS_DIR:-"share/hadoop/hdfs/lib"}
--->YARN_DIR=${YARN_DIR:-"share/hadoop/yarn"}
--->YARN_LIB_JARS_DIR=${YARN_LIB_JARS_DIR:-"share/hadoop/yarn/lib"}
--->MAPRED_DIR=${MAPRED_DIR:-"share/hadoop/mapreduce"}
--->MAPRED_LIB_JARS_DIR=${MAPRED_LIB_JARS_DIR:-"share/hadoop/mapreduce/lib"}
--->HADOOP_DEFAULT_PREFIX=$(cd -P -- "$common_bin"/.. && pwd -P)
--->HADOOP_PREFIX=${HADOOP_PREFIX:-$HADOOP_DEFAULT_PREFIX}
--->判断是否带参数，如果有且是--config则赋值给HADOOP_CONF_DIR
--->判断是否带参数，如果有且是--loglevel则赋值给HADOOP_LOGLEVEL
--->判断${HADOOP_PREFIX}/conf/hadoop-env.sh是否存在，且设置DEFAULT_CONF_DIR
--->export HADOOP_CONF_DIR="${HADOOP_CONF_DIR:-$HADOOP_PREFIX/$DEFAULT_CONF_DIR}"
--->判断是否带参数，如果有且是--hosts则赋值给HADOOP_SLAVES
--->判断是否带参数，如果有且是--hostnames则赋值给HADOOP_SLAVE_NAMES
--->运行脚本${HADOOP_CONF_DIR}/hadoop-env.sh
--->export JAVA_HOME=${JAVA_HOME}
--->export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}