配置hadoop没有resourcemanager
时间: 2024-05-01 11:20:20 浏览: 89
如果你在配置 Hadoop 时没有启用 ResourceManager,那么你需要按照以下步骤进行配置:
1. 在 Hadoop 的配置文件中,找到 yarn-site.xml 文件。
2. 在 yarn-site.xml 文件中,将以下属性设置为 false:
```
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>false</value>
</property>
```
3. 在 yarn-site.xml 文件中,找到以下属性:
```
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
```
将其修改为:
```
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle,spark_shuffle</value>
</property>
```
这将启用 Spark Shuffle 服务,以便让 Spark 应用程序在没有 ResourceManager 的情况下运行。
4. 将 Spark 配置文件中的 spark.master 属性设置为 yarn-client 或 yarn-cluster,具体取决于你的应用程序运行模式。
5. 启动 Spark 应用程序时,使用以下命令:
```
./bin/spark-submit \
--class <main-class>
--master yarn
--deploy-mode client
<application-jar>
```
这将使用 YARN 作为 Spark 的资源管理器,并以客户端模式启动。
注意:这种配置方式并不是最佳实践,因为启用 ResourceManager 可以更好地管理资源和任务。如果可能的话,建议启用 ResourceManager。
阅读全文
相关推荐

















