ambari 集成dolphinscheduler 报错: Caused by: java.lang.IllegalArgumentException: Could not resolve placeholder 'zookeeper.quorum' in value "${zookeeper.quorum}"
时间: 2023-10-12 14:09:31 浏览: 188
这个错误是因为Spring无法找到名为'zookeeper.quorum'的属性值。在Ambari集成DolphinScheduler时,需要将zookeeper的配置信息添加到DolphinScheduler配置文件中。请检查DolphinScheduler的配置文件中是否有以下类似的配置:
```properties
ds.zookeeper.quorum=${zookeeper.quorum}
```
如果没有,请手动添加。如果已经存在,请检查占位符`${zookeeper.quorum}`是否正确。如果仍然无法解决问题,请检查Ambari的zookeeper配置是否正确,并确保在DolphinScheduler的配置文件中使用了正确的配置属性名称。
相关问题
如何获取 ambari 集成dolphinscheduler的插件包
你可以从 DolphinScheduler 的官方仓库中获取 Ambari 插件包。具体步骤如下:
1. 访问 DolphinScheduler 的官方仓库:https://github.com/apache/dolphinscheduler/releases
2. 找到对应版本的 Ambari 插件包,下载到本地。
3. 在 Ambari 管理界面中选择“服务”标签页,点击“添加服务”。
4. 在“选择服务”页面中,选择“DolphinScheduler”服务,并单击“下一步”。
5. 在“分配主机”页面中,选择要部署 DolphinScheduler 服务的主机,然后单击“下一步”。
6. 在“配置服务”页面中,填写 DolphinScheduler 的相关配置信息,例如数据库连接信息、Zookeeper 集群地址等。
7. 完成配置后,单击“下一步”,验证配置信息。
8. 验证通过后,单击“下一步”,开始安装 DolphinScheduler 服务。
9. 安装完成后,可以在 Ambari 管理界面的“服务”标签页中看到 DolphinScheduler 服务已经成功部署。
需要注意的是,安装 DolphinScheduler 服务之前,需要先安装和配置好相关的依赖组件,例如 MySQL 数据库、Zookeeper 集群等。
ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize spark_shuffle java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2726) at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.createAuxServiceFromConfiguration(AuxServices.java:204)
这个错误是关于 Hadoop YARN 中的辅助服务 (Auxiliary Services) 初始化失败的问题。根据错误信息,发生了两个异常:`java.lang.RuntimeException` 和 `java.lang.ClassNotFoundException`。
首先,`java.lang.RuntimeException` 表示在初始化辅助服务时出现了一个运行时异常。其次,`java.lang.ClassNotFoundException` 表示找不到类 `org.apache.spark.network.yarn.YarnShuffleService`。
根据错误信息,可能是由于缺少 Spark Shuffle 服务的类所导致的。Spark Shuffle 服务是 Spark 在 YARN 上执行时用于数据传输和共享的组件。
要解决这个问题,您可以尝试以下几个步骤:
1. 确保您的环境中已正确安装和配置了 Spark,并且 Spark 相关的 JAR 文件在您的应用程序或 Hadoop 的类路径中可用。
2. 检查您的配置文件,确保在 YARN 的配置中包含了正确的 Spark Shuffle 服务配置。您可以参考 Spark 和 Hadoop 的官方文档以了解正确的配置方式。
3. 确保在 YARN 的 `yarn-site.xml` 配置文件中正确设置了 Spark Shuffle 服务的类路径。您可以检查 `yarn.nodemanager.aux-services` 和 `yarn.nodemanager.aux-services.spark_shuffle.class` 这两个属性的设置。
4. 如果您使用的是自定义的 Spark Shuffle 服务实现,确保相关的 JAR 文件已正确放置在 YARN 的类路径中。
5. 如果您使用的是 Hadoop 集群管理工具(如 Ambari、Cloudera Manager 等),请确保您的工具已正确配置 Spark Shuffle 服务。
请注意,根据您的具体环境和配置,解决此问题可能需要进一步调查和调试。您还可以查看 Hadoop 和 Spark 的官方文档、社区支持资源以及相关错误日志,以获取更多关于此错误的详细信息和解决方案。
阅读全文