基于flink的风电数据实时采集项目总结_电力数据采集

4星 · 超过85%的资源需积分: 50 93 浏览量更新于2023-03-16 评论 11 收藏 2.62MB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

一、前言：.............................................................................................................4

二、项目说明：........................................................................................ .... .... .....4

架构图............................................................................................................................4

流程图............................................................................................................................6

三、程序运行环境：..............................................................................................6

四、实现过程:..................................................................................................... ..7

五、集群配置过程：..............................................................................................7

修改  默认  源为 ...............................................7

分别配置 、、配置  文件.......................................................7

分别  安全配置以及  认证登录...........................................................9

测试免密钥连接：如图成功..................................................................................10

四、配置 java 环境变量.....................................................................................10

五、搭建 hadoop 集群(master,slave1 和 slave2)..................................10

切换进配置文件路径..............................................................................................10

增加  节点......................................................................................................11

配置 ...............................................................................................11

配置 ...............................................................................................11

创建  需要用的文件目录................................................................................11

初始化  文件系统............................................................................................12

!启动  文件系统................................................................................................12

"网址查看：..............................................................................................................12

#在  中准备运行目录........................................................................................12

六、搭建 yarn 集群.................................................................................... ........13

配置 ...............................................................................................13

配置 ........................................................................................15

配置  的本地目录...........................................................................................17

启动  服务.......................................................................................................17

验证..........................................................................................................................18

七、安装配置 ume 步骤：........................................................... .... ...............18

下载安装包并解压..............................................................................................18

修改 $配置文件%主要是 &'(')*+, 变量设置...................18

配置 $ 文件.................................................................................................19

启动 $..........................................................................................................20

八、Flink 及 kafka 安装部署............................................................... .... ........ 20

、简介.......................................................................................................................20

、- 的开发准备.................................................................................................22

、集群环境准备.......................................................................................................23

九、配置 Hbase 集群........................................................................................26

配置文件 .....................................................................................26

配置修改 ........................................................................................28

3.配置修改修改 regionservers..................................................................................28

4.准备 hbase 目录......................................................................................................28

5.修改环境变量...........................................................................................................29

6.启动 Hbase 集群.....................................................................................................29

十、OpenTSDB 部署............................................................................ ...........30

十一、组件连接：...................................................................... .... .... .................31

一、$ 连接 .................................................................................................31

二、$ 连接 ..........................................................................................33

十二、打包.......................................................................................................... .36

（一）创建工程之前的准备.....................................................................................36

（二）创建步骤.........................................................................................................36

十三、启动服务及运行............................................................................... .... .... . 48

、首先启动 / 集群................................................................................48

、启动  集群（ 台都要启动）...................................................................49

、启动 ..............................................................................................................50

、启动 - 集群...................................................................................................50

、在 $ 的 . 目录下提交计划........................................................................55

图：Mainclass 路径.....................................................................................................56

十四、Grafana 部署安装..................................................................................61

下载 0 压缩包............................................................................................61

解压到指定目录.....................................................................................................61

为了使用饼状图，我们需要安装 1 插件..............................................61

安装日志服务插件.................................................................................................61

安装好插件后重启 0..................................................................61

登录查看.................................................................................................................61

剩余63页未读，继续阅读

zhangfeng185703

2020-06-12

课件还行，不是很详细

WuGenQiang

粉丝: 403
资源: 11

会员权益专享

基于flink的风电数据实时采集项目总结

评论4

会员权益专享

最新资源

基于flink的风电数据实时采集项目总结

评论4

基于Flink+ClickHouse构建亿级电商实时数据分析平台（PC、移动、小程序）.txt

flink 资料

Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）

flink 风电项目

基于flink的严选实时数仓实践

flink可以做数据采集吗

基于Flink新闻热点实时分析系统的不足

大数据存储项目-基于Flink的高速公路ETC入深圳数据实时分析平台

flink实时数仓项目代码

flink实时数仓项目实战

基于flink+flinkcdc+flinksql+clickhouse构建实时数据仓库(2022年10月完结新课)

flink采集数据方式

帮我实现基于flink的数据血缘

flink 和es 实时数据

基于flink+clickhouse如何实现

基于flink与groovy实现全实时动态规则智能营销与风控系统

使用 Scala 语言基于 Flink 完成 Kafka 中的数据消费， 将数据分发至 Kafka 的 dwd 层中，并在 HBase 中进行备 份同时建立 Hive 外表，基 于 Flink 完成相关的数据 指标计算并将计算结果存 入 Redis、ClickHouse 中。

flink 数据流增量

flink纯实时应用场景

基于Flink获取kafka数据

会员权益专享

最新资源

使用 Scala 语言基于 Flink 完成 Kafka 中的数据消费，将数据分发至 Kafka 的 dwd 层中，并在 HBase 中进行备份同时建立 Hive 外表，基于 Flink 完成相关的数据指标计算并将计算结果存入 Redis、ClickHouse 中。