$hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer -Dmapreduce.job.queuename=hive /warehouse/$APP/ods/ods_log/dt=$do_date什么意思
时间: 2023-07-01 07:27:36 浏览: 203
这是一个Hadoop命令行的语句,它的作用是在Hadoop集群中运行一个Java程序,这个程序是LZO压缩格式的索引构建器,它可以为指定的LZO压缩文件构建索引,以提高读取压缩文件的速度。该语句的具体参数和含义如下:
- hadoop jar:表示运行一个Hadoop的Java程序
- /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar:表示要运行的Java程序所在的jar包路径
- com.hadoop.compression.lzo.DistributedLzoIndexer:表示要运行的Java程序的类名
- -Dmapreduce.job.queuename=hive:表示将该作业提交到Hive队列,以便在执行时获得更好的资源调度
- /warehouse/$APP/ods/ods_log/dt=$do_date:表示要为该路径下指定日期的LZO压缩文件构建索引。其中$APP和$do_date是shell脚本中的环境变量,需要在运行脚本时先定义好。
相关问题
hive /home/ys/soft/hive/bin/hive:行247: /tmp/ys/stderr: 权限不够 Unable to determine Hadoop version information. 'hadoop version' returned: WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Hadoop 3.1.3 Source code repository Unknown -r Unknown Compiled by root on 2021-10-30T04:34Z Compiled with protoc 2.5.0 From source with checksum ec785077c385118ac91aadde5ec9799 This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
这错误提示包含两个问题:
权限不够: 在执行hive命令时,无法写入/tmp/ys/stderr文件,可能是由于/tmp目录没有写权限导致的。您可以尝试更改/tmp目录的权限,或者将/tmp目录更改为具有写权限的其他目录。您也可以尝试手动创建/tmp/ys目录以及stderr文件,并授予相应的写权限。
无法确定Hadoop版本信息: 在执行hive命令时,系统无法确定Hadoop的版本信息。这可能是由于Hadoop安装路径不正确或Hadoop版本不兼容导致的。您需要检查$HADOOP_HOME或$HADOOP_PREFIX环境变量是否正确设置,并确保Hadoop版本与Hive版本兼容。另外,您还可以尝试手动执行"hadoop version"命令来查看Hadoop版本信息,并检查是否存在其他错误提示。
相关推荐










