Flink在CDH配置部署及读取kafka的实例验证；_用ｆｌｉｎｋ实时计算ｋａｆｋａ数据需要搭建ｆｌｉｎｋ集群嘛 - CSDN文库

1星需积分: 50 39 浏览量更新于2023-03-16 评论 1 收藏 678KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Flink On Yarn 部署测试及后续规划

1 部署准备

为了与 Hadoop 生态圈整合，以及节约计算资源，本次 Flink 搭建采用 Flink

On Yarn 部署模式。本次 Flink 部署所依赖相关组件（如 HDFS、Yarn、Zookeeper、

Kafka 等）均为 CDH5.14 所集成组件。因其对应 Hadoop 版本为 2.6.0，故相关安

装包版本信息如下表所示:

组件名称

版本信息

JDK

jdk-8u181-linux-x64.tar.gz

Flink

flink-1.6.0-bin-hadoop26-scala_2.11.tgz

Scala

scala-2.11.0.tgz

本次 Flink Client 部署选取 cdh2 主机进行部署（随机选取）。

2 部署过程

2.1 创建新用户并赋予 root 权限

以 root 用户登录 cdh2 主机，创建新用户 flink_test，并在/etc/sudoers 文件中

给该用户赋予 root 权限。

2.2 配置环境变量

在 flink_test 目录下配置 JAVA_HOME 、 SCALA_HOME 、 HADOOP_HOME 、

FLINK_HOME 等相关环境变量，如下图所示：

2.3Flink 环境配置

Flink On Yarn 模式主要修改 flink-conf.yaml 文件，其主要配置如图所示，主要包含：

(1)Jobmanager 的 rpc 端口、内存大小（以 MB 为单位）

(2)Taskmanager 的内存大小

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

评论1

xuyingzhong

2019-08-22

性价比够低的

A叶子叶

粉丝: 1w+
资源: 26

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈