Flink1.9.1Standalone集群部署.pdf_flink单机部署

需积分: 46 797 浏览量更新于2023-03-03 评论收藏 373KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Flink 1.9.1 Standalone

集群部署

1. 前置条件

 两台 CentOS 7.x 主机（一台作为 Master，另一台作为 Worker）

 配置正确的 IP 地址和主机名（flink 和 flink-worker）

 卸载自带的 JDK，安装 JDK1.8 并配置环境变量

 关闭防火墙

 关闭 SELinux

 配置 SSH 免密登录（保证 Master 可以免密登录到 Worker）

2. 安装并配置 Flink

安装

下载如下软件包：

上传到 Master 中，解压，得到如下目录：

配置

进入 conf 目录，修改 flink-conf.yaml 文件的如下参数：

jobmanager.rpc.address: flink

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余8页未读，立即下载

flink standalone集群搭建

### 回答1： Flink standalone集群搭建步骤如下： 1. 下载Flink安装包并解压缩到指定目录。 2. 配置Flink集群的masters和workers节点，可以在conf目录下的masters和workers文件中进行配置。 3. 启动Flink集群的masters节点，可以使用bin/start-cluster.sh命令启动。 4. 启动Flink集群的worke

Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.table.planner.plan.rules.FlinkStreamRuleSets$ at org.apache.flink.table.planner.plan.optimize.program.FlinkStreamProgram$.buildProgram(FlinkStreamProgram.scala:56) at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.$anonfun$optimizeTree$1(StreamCommonSubGraphBasedOptimizer.scala:158) at scala.Option.getOrElse(Option.scala:121) at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.optimizeTree(StreamCommonSubGraphBasedOptimizer.scala:158) at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.doOptimize(StreamCommonSubGraphBasedOptimizer.scala:83) at org.apache.flink.table.planner.plan.optimize.CommonSubGraphBasedOptimizer.optimize(CommonSubGraphBasedOptimizer.scala:77) at org.apache.flink.table.planner.delegation.PlannerBase.optimize(PlannerBase.scala:287) at org.apache.flink.table.planner.delegation.PlannerBase.translate(PlannerBase.scala:160) at org.apache.flink.table.api.internal.TableEnvironmentImpl.translate(TableEnvironmentImpl.java:1329) at org.apache.flink.table.api.internal.TableEnvironmentImpl.executeInternal(TableEnvironmentImpl.java:676) at org.apache.flink.table.api.internal.StatementSetImpl.execute(StatementSetImpl.java:98) at com.dtstack.chunjun.util.SqlTaskUtil.executeSql(SqlTaskUtil.java:117) at com.dtstack.chunjun.util.SqlTaskUtil.executeSqlJob(SqlTaskUtil.java:97) at com.dtstack.chunjun.Main.main(Main.java:59) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:366) at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:235) at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:158) ... 14 more

这是一个 Java 异常，具体原因是找不到类 org.apache.flink.table.planner.plan.rules.FlinkStreamRuleSets，可能是因为缺少相关的依赖库或者版本不匹配。您需要检查您的代码中是否引入了正确的依赖库，并且确认版本是否正确。如果仍然存在问题，建议您查看详细的异常信息，了解更多的上下文信息，以更好地定位问题。

org.apache.flink.table.delegation.ExecutorFactory maven

如果你想在 Maven 中使用 `org.apache.flink.table.delegation.ExecutorFactory`，需要添加 Flink Table API 的依赖。在 Maven 的 `pom.xml` 文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId

flink-connector-jdbc.jar下载

Flink-connector-jdbc.jar是Flink框架的一个外部扩展，适用于将Flink与关系型数据库进行集成。JDBC是Java数据库连接的缩写，使用该扩展可以使Flink能够在运行时连接数据库，并读取或写入数据。下载flink-connector-jdbc.jar有两种方法：（一）通过Flink官网下载（建议使用此方法）在Flink官网的下载页面中，可以找到完整的Flin

org.apache.flink.util.FlinkException: No cluster id was specified. Please specify a cluster to which you would like to connect. at org.apache.flink.client.cli.CliFrontend.runClusterAction(CliFrontend.java:994) at org.apache.flink.client.cli.CliFrontend.list(CliFrontend.java:427) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1060) at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132)

这个错误提示表明您在运行Flink命令时没有指定集群ID。您需要将Flink命令中的`-cid`或`--clusterid`选项设置为您要连接的集群的ID。例如： ``` ./bin/flink list -cid myCluster ``` 其中，`myCluster`是您要连接的集群的ID。请确保您输入的集群ID与您要连接的集群的ID相匹配。如果您不知道要连接的集群的ID，请联系您的系统管

Caused by: org.apache.flink.client.program.ProgramInvocationException: The program plan could not be fetched - the program aborted pre-maturely. at org.apache.flink.client.program.PackagedProgramUtils.generateException(PackagedProgramUtils.java:264) at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:184) at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:82) at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:117) at com.dtstack.engine.flink.FlinkClient.lambda$processExecuteSql$19(FlinkClient.java:2108) ... 11 more

这个错误信息提示程序无法获取程序计划导致程序过早终止。可能的原因包括： 1.程序出现了异常，导致程序过早终止； 2.程序中存在死锁或者无限循环等问题，导致程序无法正常执行； 3.程序所需的资源不足，例如内存、磁盘空间等，导致程序无法正常执行； 4.程序代码有误，例如语法错误、逻辑错误等，导致程序无法正常执行。要解决这个问题，可以检查程序代码，确保程序没有语法错误和逻辑错误，并且程序能够正常运

import org.apache.flink.api.java.io.TextInputFormat import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.scala._ //输入数据的样例类 case class UserBehavior( userId: Long, itemId: Long, categoryId: Int, behavior: String, timestamp: Long ) object Test1 { def main(args: Array[String]): Unit = { //flink的流执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment //设定Time类型为EventTime env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) //并发为1 env.setParallelism(1) //获得数据源的文件 val stream = env.readFile[String]( new TextInputFormat(null), "/data/workspace/myshixun/pflinkhotitems1_2/src/UserBehavior1.csv") // Begin // End stream1.writeAsText("/root/files/result.txt").setParallelism(1) env.execute("获得数据") } }

根据提示，我们需要在输入数据之后添加代码来对数据进行处理。可以使用 Flink 中的 DataStream API 对数据进行操作，例如过滤、分组、聚合等。下面是一个示例代码，将读取的数据流按照用户行为分组，统计每个行为的数量，并将结果输出到文件中： ```scala import org.apache.flink.api.java.io.TextInputFormat import org

Could not find any factories that implement 'org.apache.flink.table.delegation.ExecutorFactory' in the classpath.

这个错误的意思是在 classpath 中找不到任何实现 org.apache.flink.table.delegation.ExecutorFactory 的工厂。这通常是因为 Flink Table API 找不到可用的执行器。你可以尝试以下解决方案： 1. 确保你已经在 pom.xml 文件中添加了正确的 Flink 依赖，具体可以参考 Flink 官网上的说明。 2. 确保你的 F

Receiver class org.apache.flink.client.deployment.executors.LocalExecutor does not define or inherit an implementation of the resolved method 'abstract java.util.concurrent.CompletableFuture execute(org.apache.flink.api.dag.Pipeline, org.apache.flink.configuration.Configuration, java.lang.ClassLoader)' of interface org.apache.flink.core.execution.PipelineExecutor.

这个问题是由于 `LocalExecutor` 类没有实现 `PipelineExecutor` 接口的 `execute` 方法引起的。根据报错信息，`execute` 方法的签名应该是 `CompletableFuture execute(Pipeline, Configuration, ClassLoader)`。你可以检查一下 `LocalExecutor` 类是否正确实现了接口，并确保方

exception in thread "main" java.util.concurrent.executionexception: org.apache.flink.runtime.client.jobexecutionexception: job execution failed.

### 回答1：异常：在主线程中的java.util.concurrent.ExecutionException：org.apache.flink.runtime.client.JobExecutionException：作业执行失败。 ### 回答2：这是一个Java程序中常见的异常信息。在Flink中这种异常通常出现在任务执行失败时。这个异常信息本质上告诉开发者，正在运行的Java

flink写入hbase报错org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

这个错误信息表明 Flink 作业遇到了无法恢复的错误并且已经停止了。在这种情况下，Flink 使用 NoRestartBackoffTimeStrategy 来防止无限重启作业。要解决这个问题，你需要先了解导致作业失败的原因。可能是你的 HBase 配置有误，导致 Flink 在写入 HBase 时发生了错误。你可以检查一下 Flink 作业日志，看看是否有更详细的错误信息。如果有，可以根据

Flink的Standalone模式分为

在Flink的Standalone模式中，Flink集群的Master节点和Worker节点都运行在同一台机器上，任务提交和数据传输都是在本地进行的。在Standalone模式下，Flink又分为以下两种模式： 1. 单机模式（Single Node）：在单机模式下，Flink的Master节点和Worker节点都运行在同一台机器上，可以通过命令行启动Flink集群，然后在Master节点上提交

高阶圣堂武士

粉丝: 0
资源: 32

会员权益专享

Flink 1.9.1 Standalone 集群部署.pdf

评论0

会员权益专享

最新资源

Flink 1.9.1 Standalone 集群部署.pdf

评论0

flink standalone集群搭建

org.apache.flink.table.delegation.ExecutorFactory maven

flink-connector-jdbc.jar下载

Could not find any factories that implement 'org.apache.flink.table.delegation.ExecutorFactory' in the classpath.

exception in thread "main" java.util.concurrent.executionexception: org.apache.flink.runtime.client.jobexecutionexception: job execution failed.

org.apache.flink.api.scala.DataSet@35fc6dc4

flink安装配置到部署

使用Flink1.14.6实现索引数据到Elasticsearch7.17 同时实现自定义scheam 设置分片数和复制数 实现这样完整的程序代码

flink1.4.14-scala 集群部署无hadoop

flink写入hbase报错org.apache.commons.io.IOUtils.closeQuietly(Ljava/io/Closeable;)V

flink读取kafka数据批量写入到impala代码示例

flink clickhouse 实战 .pdf

flink写入hbase报错org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

Flink的Standalone模式分为

会员权益专享

最新资源

使用Flink1.14.6实现索引数据到Elasticsearch7.17 同时实现自定义scheam 设置分片数和复制数实现这样完整的程序代码