hive关闭本地模式命令
时间: 2023-10-18 22:07:52 浏览: 247
如果你正在使用Hive的本地模式,可以使用以下命令关闭本地模式:
```
set mapreduce.framework.name=yarn;
set hive.execution.engine=tez;
```
这样就会将Hive的执行引擎切换为Tez,并将MapReduce框架的执行引擎设置为YARN。这样就可以关闭Hive的本地模式,让其在集群上运行。
相关问题
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
引用中描述的错误信息,这个问题是由于处理语句时出现了错误,返回代码为1,具体错误信息来自于org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask。引用中提到的解决方案是将本地模式关闭,可以尝试执行以下命令解决该问题:set hive.exec.mode.local.auto=false;。这样即可关闭本地模式,避免出现执行错误。
#!/bin/sh un_config_day=`date +%Y%m01` #本月第一天 first_run_month=`date -d "${un_config_day} last day" +%Y%m` #上个月月份 config_day=`date -d "${day_id}" +%Y%m01` #设置月第一天 last_config_month=`date -d "${config_day} last day" +%Y%m` #设置月上个月月份 if [[ ${un_config_day} -eq ${config_day} ]];then nowmonth=$first_run_month else nowmonth=$last_config_month fi sleep 180 hive -e "select * from u_eda_lx_grp01.liugs_tmp_llzy_dpi_bytes_zj_cnt where month_id='${nowmonth}'" > /data1/u_eda_lx_grp01/lgs/llzy/dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat sed -i 's/NULL//g' /data1/u_eda_lx_grp01/lgs/llzy/dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat sed -i 's/\t/|@|/g' /data1/u_eda_lx_grp01/lgs/llzy/dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat sleep 120 ftp -i -n<<! open 10.7.6.118 21 user infa 0jJ_rvom bin cd /ftpdata/receive/eda_in/in_2015/ lcd /data1/u_eda_lx_grp01/lgs/llzy prompt put dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat close bye ! 这段代码什么意思
这段代码是一个Shell脚本,主要功能是将Hive中的数据导出到文件,然后通过FTP上传到远程服务器。
首先,通过`date`命令获取当前日期和月份。`un_config_day`表示本月的第一天,`first_run_month`表示上个月的月份。
接着,使用`date -d`命令将`day_id`转换为日期格式,并通过`last day`参数获取设置月份的上个月月份,保存在`last_config_month`变量中。
然后,使用条件判断语句判断本月第一天和设置月第一天是否相等。如果相等,则将`first_run_month`赋值给`nowmonth`变量;如果不相等,则将`last_config_month`赋值给`nowmonth`变量。
然后,脚本暂停执行180秒。
接下来,使用Hive命令从表`u_eda_lx_grp01.liugs_tmp_llzy_dpi_bytes_zj_cnt`中查询指定月份的数据,并将结果输出到文件`/data1/u_eda_lx_grp01/lgs/llzy/dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat`。
然后,使用`sed`命令对文件进行处理,将其中的NULL字符串替换为空格,并将制表符替换为特殊字符串"|@|"。
然后,脚本再次暂停执行120秒。
最后,使用FTP命令连接到远程服务器,通过用户名和密码进行验证。然后切换到指定目录`/ftpdata/receive/eda_in/in_2015/`,设置本地目录为`/data1/u_eda_lx_grp01/lgs/llzy`,启用被动模式。接着,将文件`dwi_db_dwi_in_2015_llzy_dpi_bytes_zj_cnt.dat`上传到远程服务器。最后,关闭FTP连接。
这段代码的作用是将Hive表中指定月份的数据导出到文件,并通过FTP上传到远程服务器。
阅读全文