CDH如何安装yarn tag扩展
时间: 2023-03-02 15:54:33 浏览: 92
要在CDH集群上安装YARN标签扩展,您可以按照以下步骤进行操作:
1. 打开集群中的任何一台机器,并使用root用户登录。
2. 下载需要的YARN标签扩展JAR包,可以从官方网站或第三方网站下载。
3. 将JAR包放在HDFS的某个路径下,例如/user/yarn。
4. 使用以下命令将JAR包添加到YARN的类路径中:
`sudo -u yarn hadoop fs -copyFromLocal /user/yarn/yarn-tag-*.jar /user/yarn && hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /user/yarn /user/yarn/output`
这个命令将JAR包复制到HDFS上的/user/yarn目录下,并执行一个简单的MapReduce作业以确保YARN标签扩展正确加载。
5. 重启YARN服务: `sudo service hadoop-yarn-resourcemanager restart`
6. 确认YARN标签扩展是否成功安装: `yarn classpath | grep yarn-tag`
完成上述步骤后,您就可以在CDH集群上使用YARN标签扩展了。
相关问题
cdh安装的yarn后台有没有这个文件呢
在CDH(Cloudera Distribution of Hadoop)中,YARN的配置文件通常位于`/etc/hadoop/conf`目录下,而不是`/etc`目录。因此,`yarn-default.xml`文件也应该位于`/etc/hadoop/conf`目录中。
您可以使用以下命令来查找`yarn-default.xml`文件的确切路径:
```bash
sudo find /etc/hadoop/conf -name yarn-default.xml
```
如果文件存在,您将能够看到其完整路径。请注意,这只是默认位置,实际路径可能会因CDH的安装方式和版本而有所不同。
cdh flink on yarn
根据引用中的信息,CDH5.16.2上配置Flink on yarn可以通过flink官网提供的集成方式和HA配置方式来进行。具体的配置方式可以参考官方文档来完成。此外,根据引用中的信息,使用flink的web ui可以重新访问flink on yarn ha测试完成后。如果要提交任务到CDH flink on yarn上,可以使用引用中提供的命令:`./bin/flink run -m yarn-cluster -yid application_1589377449274_0645 ./examples/batch/WordCount.jar`。这个命令会将任务提交到指定的yarn-session上。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Flink on Yarn - CDH5](https://blog.csdn.net/baidu_31618421/article/details/106866551)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]