没有合适的资源?快使用搜索试试~ 我知道了~
首页apache nifi使用指南
apache nifi使用指南
需积分: 46 435 浏览量
更新于2023-05-28
评论 1
收藏 5.32MB DOCX 举报
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一。 NiFi是基于Java的,使用Maven支持包的构建管理。 NiFi基于Web方式工作,后台在服务器上进行调度。用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎、任务调度等组件。
资源详情
资源评论
资源推荐

0
Apache ni
开发指南
版本:V 1.6
日期:2018 年 6 月 13 日

1
1. Apache Ni 概念
1.1. NiFi 简介
是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统 ,
用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中
介逻辑,支持从多种数据源动态拉取数据。 原来是 的一个项目,目前已经代码开
源,是 基金会的顶级项目之一。
是基于 的,使用 支持包的构建管理。 基于 方式工作,后
台在服务器上进行调度。用户可以为数据处理定义为一个流程,然后进行处理,后台具有
数据处理引擎、任务调度等组件。
1.2. Ni 核心概念
FlowFile:表示通过系统移动的每个对象,包含数据流的基本属性
FlowFile Processor(处理器):负责实际对数据流执行工作
Connection(连接线):负责不同处理器之间的连接,是数据的有界
缓冲区
Flow Controller(流量控制器):管理进程使用的线程及其分配
Process Group(过程组):进程组是一组特定的进程及其连接,允
许组合其他组件创建新组件
1.3. NIFI 架构
是基于 的, 的核心部件在 里的位置如下图所示:

2
在主机操作系统上的 内执行。 上的 的主要组件如下:
网络服务器
服务器的目的是托管 的基于 的命令和控制 。
流控制器
流控制器是操作的大脑。它提供用于扩展程序运行的线程,并管理扩展程序接收资源以
执行的时间表。
扩展
有各种类型的 扩展在其他文档中描述。这里的关键是扩展在 中运行和执行。
存储库
存储库是 跟踪目前在流程中活动的给定 的知识状态。存储库
实现是可插拔的。默认方法是位于指定磁盘分区上的持久写入前端日志。
内容存储库
!""#$"%& 是给定 的实际内容字节。存储库的实现是可插拔的。默

3
认方法是一个相当简单的机制,它将数据块存储在文件系统中。可以指定多个文件系统
存储位置,以便获得不同的物理分区,以减少任何单个卷上的争用。
'源头存储库
%#$"%& 是存储所有来源的事件数据的地方。存储库构造是可插入的 ,
默认实现是使用一个或多个物理磁盘卷。在每个位置内,事件数据被索引和可搜索。
(作为功能强大的数据处理和分发组件, 自然原生支持集群部署方式(推荐部署方
式)。 集群部署模式如下图:
集群模式下, 集群中的每个节点对数据执行相同的任务,但是每个节点都在不同的
数据集上进行操作。和大部分大数据组件一样, 集群使用 )*% 提
供协调服务。 )*% 选择一个 节点作为集群协调器,故障转移由
)*% 自动处理。 所有集群节点向集群协调器报告心跳和状态信息。集群协调器
负责节点的断开和连接。 此外,)*% 会为每个集群选举一个节点作为集群主节
点。 作为 +" 管理器,您可以通过任何节点的用户界面(,)与 集群进行
交互。您所做的任何更改都会同步到集群中的所有节点,从而允许多个入口点。

4
2. NiFi 的搭建
2.1. 单机开发环境搭建
运行环境准备。
- 即可运行在 .$ 平台,也可运行在 /01 平台,需要安装 2.3(-
1 以上需要 2.34 以上,51 需 2.3( 以上)和 6(至少 5 以上版本)。
下载
下载地址:""788-%98.."6
下载当前版本的 二进制工程,目前最新的版本为 '5。
下载之后无需安装直接解压即可。
支持浏览器:
:"%";1%%<=>$"?
:@%1=
:A9!%6'=
:B%4
剩余63页未读,继续阅读


















米西米西
- 粉丝: 89
- 资源: 10
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
最新资源
- Xilinx SRIO详解.pptx
- Informatica PowerCenter 10.2 for Centos7.6安装配置说明.pdf
- 现代无线系统射频电路实用设计卷II 英文版.pdf
- 电子产品可靠性设计 自己讲课用的PPT,包括设计方案的可靠性选择,元器件的选择与使用,降额设计,热设计,余度设计,参数优化设计 和 失效分析等
- MPC5744P-DEV-KIT-REVE-QSG.pdf
- 通信原理课程设计报告(ASK FSK PSK Matlab仿真--数字调制技术的仿真实现及性能研究)
- ORIGIN7.0使用说明
- 在VMware Player 3.1.3下安装Redhat Linux详尽步骤
- python学生信息管理系统实现代码
- 西门子MES手册 13 OpcenterEXCR_PortalStudio1_81RB1.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制

评论0