Flink如何提交任务到集群上
时间: 2024-03-05 14:47:19 浏览: 137
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
5星 · 资源好评率100%
在Flink中,我们可以使用多种方式提交任务到集群上,以下是其中常用的两种方式:
1. 使用Flink Web UI提交任务:Flink提供了一个Web UI,我们可以通过该界面方便地提交任务到集群上。具体步骤如下:
1. 打开Flink Web UI,地址为 `http://<flink-master>:8081`,其中 `<flink-master>` 是Flink集群的Master节点的IP地址或主机名。
2. 点击页面右上角的 "Submit new Job" 按钮,进入任务提交界面。
3. 在任务提交界面中,选择要提交的任务Jar包,填写任务相关参数(例如并行度、任务名称等),然后点击 "Submit" 按钮即可。
2. 使用Flink命令行工具提交任务:Flink还提供了一个命令行工具 `flink run`,我们可以通过该工具在命令行中提交任务到集群上。具体步骤如下:
1. 在Flink集群的任意节点上打开终端,输入以下命令进入Flink安装目录:
```
cd <flink-install-dir>
```
其中 `<flink-install-dir>` 是Flink的安装目录。
2. 使用以下命令提交任务:
```
./bin/flink run -c <job-class> <job-jar> [options]
```
其中:
- `<job-class>` 是Flink应用程序的主类名。
- `<job-jar>` 是Flink应用程序的Jar包路径。
- `[options]` 是可选参数,可以指定任务相关的参数,例如并行度、任务名称等。
例如,如果我们要提交一个名为 `WordCount` 的Flink应用程序,其主类为 `com.example.WordCount`,Jar包路径为 `/path/to/WordCount.jar`,并行度为4,可以使用以下命令提交任务:
```
./bin/flink run -c com.example.WordCount -p 4 /path/to/WordCount.jar
```
以上是两种常用的提交Flink任务到集群的方式,可以根据实际需求选择。
阅读全文