cdh6.3.2启动spark提示Failed to bind HistoryServer java.io.IOException: /run/cloudera-scm-agent/process/342-spark_on_yarn-SPARK_YARN_HISTORY_SERVER is a directory

这个问题可能是由于 Spark 历史服务器的目录路径设置错误导致的。你可以尝试以下步骤来解决这个问题：

1. 在 Cloudera Manager 中停止 Spark 服务。
2. 进入 Spark 的配置页面，找到“Spark on YARN”的“配置属性”。
3. 在“高级”选项卡中，找到“历史服务器目录”属性。
4. 确保此属性的值是一个文件路径，而不是一个目录路径。如果是目录路径，请将其更改为一个文件路径。
5. 保存更改，然后重新启动 Spark 服务。

如果问题仍然存在，请检查所配置的历史服务器目录是否存在，并且 Spark 用户是否有足够的权限访问该目录。

相关问题

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException java.lang.NullPointerException at org.json.JSONObject.<init>(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:867) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:393) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:379) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:255) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:747) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:536) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:633) at org.apache.sqoop.Sqoop.run(Sqoop.java:146) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:182) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:233) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:242) at org.apache.sqoop.Sqoop.main(Sqoop.java:251) Log Type: stdout Log Upload Time: Mon Jul 24 10:47:38 +0800 2023 Log Length: 74530 Showing 4096 bytes of 74530 total. Click here for the full log. 35517561_3806_01_000001: PRELAUNCH_OUT=/yarn/container-logs/application_1683335517561_3806/container_1683335517561_3806_01_000001/prelaunch.out: NM_AUX_SERVICE_mapreduce_shuffle=AAA0+gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=: NM_PORT=8041: HADOOP_YARN_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn: USER=admin: CLASSPATH=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001:/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/*:/etc/hadoop/conf.cloudera.yarn:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/lib/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-hdfs/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn/lib/*:: PRELAUNCH_ERR=/yarn/container-logs/application_1683335517561_3806/container_1683335517561_3806_01_000001/prelaunch.err: HADOOP_TOKEN_FILE_LOCATION=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/container_tokens: LOCAL_USER_DIRS=/yarn/nm/usercache/admin/: OOZIE_ACTION_CONF_XML=/yarn/nm/usercache/admin/appcache/application_1683335517561_3806/container_1683335517561_3806_01_000001/action.xml: SHLVL=2: HOME=/home/: CONTAINER_ID=container_1683335517561_3806_01_000001: MALLOC_ARENA_MAX=4:怎么回事

根据您提供的日志，看起来您在运行 Sqoop 时遇到了一个 NullPointerException 异常。异常堆栈跟踪显示在 SqoopOptions 类的 writeProperties 方法中出现了空指针异常，而导致此异常的原因是在 SqoopJsonUtil 类中的 getJsonStringforMap 方法中使用了空的 JSONObject。

要解决这个问题，您可以尝试以下几个步骤：

1. 检查您的 Sqoop 配置文件中是否有任何错误或缺失的配置。确保所有必要的配置项都已正确设置，并且没有任何错误。

2. 检查您的输入数据是否有效，并且没有任何问题导致 Sqoop 无法解析或处理输入数据。确保您的输入数据符合 Sqoop 的要求，并且没有任何格式或内容上的问题。

3. 确保您正在使用的 Sqoop 版本与您的环境兼容，并且已正确安装和配置。检查 Sqoop 的版本和依赖项，确保它们与您当前的环境兼容。

4. 如果问题仍然存在，请尝试重新安装或更新 Sqoop，并确保使用最新版本。有时候，旧版本可能存在一些已知的问题或错误，通过更新或升级到最新版本可以解决这些问题。

如果上述步骤无法解决问题，请提供更多关于您的环境配置、Sqoop 版本、输入数据和任何其他相关信息，以便我们能够更好地帮助您解决此问题。

which: no hbase in (/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/apache-hive-2.1.1-bin/bin:/home/sqoop-1.4.5-cdh5.3.6/bin:/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/apache-hive-2.1.1-bin/bin:/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/jdk1.8.0_144/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/hadoop-2.8.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Connecting to jdbc:hive2://localhost:10000 23/07/19 10:32:24 [main]: WARN jdbc.HiveConnection: Failed to connect to localhost:10000 Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the administrator to check the server status. Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: java.net.ConnectException: Connection refused (Connection refused) (state=08S01,code=0) Beeline version 2.1.1 by Apache Hive

根据您提供的信息，您尝试连接到Hive Server2的端口10000时出现了连接失败的错误。该错误提示表明无法连接到Hive Server2，可能有几个原因：

1. Hive Server2未运行：请确保Hive Server2已经成功启动。您可以使用以下命令检查Hive Server2的状态：

sudo systemctl status hive-server2

如果Hive Server2未运行，请使用以下命令启动它：

sudo systemctl start hive-server2

2. 端口号不正确：请确保您正在使用正确的端口号。默认情况下，Hive Server2使用端口10000进行通信，但在某些情况下，该端口可能被修改。确保您正在使用正确的端口号。

3. 防火墙或网络问题：如果您的系统上启用了防火墙，请确保允许通过端口10000进行连接。或者，您的网络环境可能存在问题，导致无法连接到端口10000。请检查网络配置和防火墙设置，确保可以从您的系统访问到目标主机的端口10000。

请根据实际情况检查上述可能的原因，并尝试解决问题。如果问题仍然存在，请提供更多详细信息，以便我能够更好地帮助您。