Stdoutput Warning: /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail. Stdoutput Please set $ACCUMULO_HOME to the root of your Accumulo installation. Exit code of the Shell command 1 <<< Invocation of Shell command completed <<< java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:410) at org.apache.oozie.action.hadoop.LauncherAM.access$300(LauncherAM.java:55) at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:223) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:217) at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:153) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:141) Caused by: org.apache.oozie.action.hadoop.LauncherMainException at org.apache.oozie.action.hadoop.ShellMain.run(ShellMain.java:76) at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:104) at org.apache.oozie.action.hadoop.ShellMain.main(ShellMain.java:63) ... 16 more Failing Oozie Launcher, Main Class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher, uploading action data to HDFS sequence file: hdfs://nameservice0/user/admin/oozie-oozi/0000118-230724100647793-oozie-oozi-W/shell-af10--shell/action-data.seq Stopping AM Callback notification attempts left 0 Callback notification trying http://nn.hdfs.offline:11000/oozie/callback?id=0000118-230724100647793-oozie-oozi-W@shell-af10&status=FAILED Callback notification to http://nn.hdfs.offline:11000/oozie/callback?id=0000118-230724100647793-oozie-oozi-W@shell-af10&status=FAILED succeeded Callback notification succeeded
时间: 2023-11-03 07:04:29 浏览: 188
根据您提供的信息,看起来您在运行一个 Oozie 作业时遇到了一个问题。错误信息显示无法找到 Accumulo 目录,并建议您设置 $ACCUMULO_HOME 变量为 Accumulo 安装的根目录。此外,还有一些关于 Oozie Launcher 的错误信息和回调通知。
对于此问题,您可以尝试执行以下步骤来解决:
1. 确保在您的系统中正确安装了 Accumulo,并且 ACCUMULO_HOME 变量已经设置。您可以通过在终端中运行 `echo $ACCUMULO_HOME` 来验证是否设置了此变量。如果没有设置,请根据您的安装位置手动设置此变量。
2. 检查您的 Oozie 作业配置文件中是否正确设置了 Accumulo 相关的属性。特别是,检查是否指定了正确的 Accumulo 目录路径。
3. 如果您已经确认设置了正确的 ACCUMULO_HOME 和配置文件,并且问题仍然存在,请确保在运行 Oozie 作业之前已经正确设置了环境变量。您可以在 Oozie 作业的启动脚本中添加必要的环境变量设置。
如果以上步骤无法解决问题,请提供更多关于您的环境、Oozie 作业配置和其他相关信息,以便进一步帮助您解决此问题。
相关问题
ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException java.lang.NullPointerException at org.json.JSONObject.<init>(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:867) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:393) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:379) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:255) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:747) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:536) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:633) at org.apache.sqoop.Sqoop.run(Sqoop.java:146) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:182) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:233) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:242) at org.apache.sqoop.Sqoop.main(Sqoop.java:251) Log Type: stdout Log Upload Time: Mon Jul 24 10:47:38 +0800 2023 Log Length: 74530 Showing 4096 bytes of 74530 total. Click here for the full log. 35517561_3806_01_000001: PRELAUNCH_OUT=/yarn/container-logs/application_1683335517561_3806/container_1683335517561_3806_01_000001/prelaunch.out: NM_AUX_SERVICE_mapreduce_shuffle=AAA0+gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=: NM_PORT=8041: HADOOP_YARN_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn: USER=admin: CLASSPATH=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001:/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/*:/etc/hadoop/conf.cloudera.yarn:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/lib/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-hdfs/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn/lib/*:: PRELAUNCH_ERR=/yarn/container-logs/application_1683335517561_3806/container_1683335517561_3806_01_000001/prelaunch.err: HADOOP_TOKEN_FILE_LOCATION=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/container_tokens: LOCAL_USER_DIRS=/yarn/nm/usercache/admin/: OOZIE_ACTION_CONF_XML=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/action.xml: SHLVL=2: HOME=/home/: CONTAINER_ID=container_1683335517561_3806_01_000001: MALLOC_ARENA_MAX=4:怎么回事
根据您提供的日志,看起来您在运行 Sqoop 时遇到了一个 NullPointerException 异常。异常堆栈跟踪显示在 SqoopOptions 类的 writeProperties 方法中出现了空指针异常,而导致此异常的原因是在 SqoopJsonUtil 类中的 getJsonStringforMap 方法中使用了空的 JSONObject。
要解决这个问题,您可以尝试以下几个步骤:
1. 检查您的 Sqoop 配置文件中是否有任何错误或缺失的配置。确保所有必要的配置项都已正确设置,并且没有任何错误。
2. 检查您的输入数据是否有效,并且没有任何问题导致 Sqoop 无法解析或处理输入数据。确保您的输入数据符合 Sqoop 的要求,并且没有任何格式或内容上的问题。
3. 确保您正在使用的 Sqoop 版本与您的环境兼容,并且已正确安装和配置。检查 Sqoop 的版本和依赖项,确保它们与您当前的环境兼容。
4. 如果问题仍然存在,请尝试重新安装或更新 Sqoop,并确保使用最新版本。有时候,旧版本可能存在一些已知的问题或错误,通过更新或升级到最新版本可以解决这些问题。
如果上述步骤无法解决问题,请提供更多关于您的环境配置、Sqoop 版本、输入数据和任何其他相关信息,以便我们能够更好地帮助您解决此问题。
在CentOS 7.6上进行离线安装CDH6.3.2时,如何确保遵守Cloudera的付费墙政策,并正确配置PHOENIX相关的组件?
在进行CDH6.3.2的离线安装时,首先确保您已经获得了相应的订阅授权。Cloudera自2021年1月31日起实施了付费订阅政策,因此,所有企业或个人用户都必须通过合法渠道购买订阅,以获得软件包及其后续更新和官方支持。在没有互联网连接的环境下,您需要提前下载好所需的安装包和配置文件。
参考资源链接:[CDH6.3.2离线安装包与教程下载及注意事项](https://wenku.csdn.net/doc/52bujadwkv?spm=1055.2569.3001.10343)
根据《CDH6.3.2离线安装包与教程下载及注意事项》文档,您可以在百度网盘上获取所有必要的安装文件,使用提取码 `6h1x` 下载安装包和教程文件。下载的内容应包括所有必要的`parcel`文件、`manifest.json`配置文件以及`cloudera-manager-server`、`cloudera-manager-agent`、`cloudera-manager-daemons`等RPM安装包。
在进行安装前,请确保系统时间同步并关闭防火墙和SELinux,以避免安装过程中出现权限问题。使用如下命令进行安装和配置:
```bash
# 安装cloudera-manager-server
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
# 启动cloudera-manager-server服务
service cloudera-scm-server start
# 安装CDH parcel文件
sudo mv /path/to/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcels/
sudo mv /path/to/manifest.json /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7/
# 设置权限
sudo chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7/ -R
# 使用cloudera-manager安装CDH和相关服务
sudo -u cloudera-scm /opt/cloudera/cm/schema/scm_prepare_database.sh mysql --database-name=cloudera_manager --user=root --password=your_password
# 重启cloudera-manager-server服务
service cloudera-scm-server restart
# 在其他节点上安装cloudera-manager-agent和CDH parcel
# 重复上述安装步骤,并使用cloudera-manager-agent的rpm包
```
请确保在执行上述步骤前,替换路径、用户名和密码等信息为您的实际配置。在安装过程中,Cloudera Manager会自动识别本地的CDH parcel,并提示您配置集群。如果您的环境中包含PHOENIX数据库,还需按照文档中的说明安装和配置`PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel`包。
完成安装后,确保您所有的软件包都是官方授权的,以符合Cloudera的付费墙政策。如果需要进一步的官方支持或更新,请通过Cloudera官方渠道进行订阅和购买。此过程中的每一个步骤都需要谨慎操作,以保证安装的成功和系统的稳定性。
参考资源链接:[CDH6.3.2离线安装包与教程下载及注意事项](https://wenku.csdn.net/doc/52bujadwkv?spm=1055.2569.3001.10343)
阅读全文