没有合适的资源?快使用搜索试试~ 我知道了~
首页大数据治理统一流程模型概述和明确元数据管理策略.docx
大数据治理的核心是为业务提供持续的、可度量的价值。大数据治理人员需要定期与企业高层管理人员进行沟通,保证大数据治理计划可以持续获得支持和帮助。相信随着时间的推移,大数据将成为主流,企业可以从海量的数据中获得更多的价值,而大数据治理的范围和严格程度也将逐步上升。为了更好地帮助企业进行大数据治理,笔者在 IBM 数据治理统一流程模型基础上结合在电信、金融、政府等行业进行大数据治理的经验,整理了大数据治理统一流程参考模型,整个参考模型分为必选步骤和可选步骤两部分。
资源详情
资源评论
资源推荐
大数据治理统一流程模型概述和明确元
数据管理策略
大数据治理的核心是为业务提供持续的、可度量的价值
大数据治理概述
(狭义)大数据是指无法使用传统流程或工具在合理的时间和成本内处理或分
析的信息,这些信息将用来帮助企业更智慧地经营和决策。而广义的大数据更
是指企业需要处理的海量数据,包括传统数据以及狭义的大数据。(广义)大
数据可以分为五个类型:Web 和社交媒体数据、机器对机器(M2M)数据、
海量交易数据、生物计量学数据和人工生成的数据。
Web 和社交媒体数据:比如各种微博、博客、社交网站、购物网站中的数据和内
容。
M2M 数据:也就是机器对机器的数据,比如 RFID 数据、GPS 数据、智能仪表、
监控记录数据以及其他各种传感器、监控器的数据。
海量交易数据:是各种海量的交易记录以及交易相关的半结构化和非结构化数据,
比如电信行业的 CDR、3G 上网记录等,金融行业的网上交易记录、core
banking 记录、理财记录等,保险行业的各种理赔等。
生物计量学数据:是指和人体识别相关的生物识别信息,如指纹、DNA、虹膜、
视网膜、人脸、声音模式、笔迹等。
人工生成的数据:比如各种调查问卷、电子邮件、纸质文件、扫描件、录音和电子
病历等。
在各行各业中,随处可见因数量、速度、种类和准确性结合带来的大数据问题,
为了更好地利用大数据,大数据治理逐渐提上日程。在传统系统中,数据需要
先存储到关系型数据库/数据仓库后再进行各种查询和分析,这些数据我们称之
为静态数据。而在大数据时代,除了静态数据以外,还有很多数据对实时性要
求非常高,需要在采集数据时就进行相应的处理,处理结果存入到关系型数据
库/数据仓库、MPP 数据库、Hadoop 平台、各种 NoSQL 数据库等,这些数
据我们称之为动态数据。比如高铁机车的关键零部件上装有成百上千的传感器,
每时每刻都在生成设备状态信息,企业需要实时收集这些数据并进行分析,当
发现设备可能出现问题时及时告警。再比如在电信行业,基于用户通信行为的
精准营销、位置营销等,都会实时的采集用户数据并根据业务模型进行相应的
营销活动。
大数据治理的核心是为业务提供持续的、可度量的价值。大数据治理人员需要
定期与企业高层管理人员进行沟通,保证大数据治理计划可以持续获得支持和
帮助。相信随着时间的推移,大数据将成为主流,企业可以从海量的数据中获
得更多的价值,而大数据治理的范围和严格程度也将逐步上升。为了更好地帮
助企业进行大数据治理,笔者在 IBM 数据治理统一流程模型基础上结合在电信、
金融、政府等行业进行大数据治理的经验,整理了大数据治理统一流程参考模
型,整个参考模型分为必选步骤和可选步骤两部分。
大数据治理统一流程参考模型
如图 1 所示,大数据治理统一流程参考模型必要步骤分为两个方向:一条子线
是在制定元数据管理策略和确立体系结构的基础上实施全面的元数据管理,另
一条子线是在定义业务问题、执行成熟度评估的基础上定义数据治理路线图以
及定义数值治理相关的度量值。在 11 个必要步骤的基础上,企业可以在 7 个
可选步骤中选择一个或多个途径进行特定领域的数据治理,可选步骤为:主数
据监管、(狭义)大数据监管、信息单一视图监管、运营分析监管、预测分析
监管、管理安全与隐私以及监管信息生命周期。企业需要定期对大数据治理统
一流程进行度量并将结果发送给主管级发起人。
图 1. 大数据治理统一流程参考模型
第一步:明确元数据管理策略
在最开始的时候,元数据(Meta Data)是指描述数据的数据,通常由信息结
构的描述组成,随着技术的发展元数据内涵有了非常大的扩展,比如 UML 模
型、数据交易规则、用 Java,.NET,C++等编写的 APIs、业务流程和工作流
模型、产品配置描述和调优参数以及各种业务规则、术语和定义等 [1]。在大
数据时代,元数据还应该包括对各种新数据类型的描述,如对位置、名字、用
户点击次数、音频、视频、图片、各种无线感知设备数据和各种监控设备数据
等的描述等。元数据通常分为业务元数据、技术元数据和操作元数据等。业务
元数据主要包括业务规则、定义、术语、术语表、运算法则和系统使用业务语
言等,主要使用者是业务用户。技术元数据主要用来定义信息供应链
(Information Supply Chain,ISC)各类组成部分元数据结构,具体包括各
个系统表和字段结构、属性、出处、依赖性等,以及存储过程、函数、序列等
各种对象。操作元数据是指应用程序运行信息,比如其频率、记录数以及各个
组件的分析和其它统计信息等。
从整个企业层面来说,各种工具软件和应用程序越来越复杂,相互依存度逐年
增加,相应的追踪整个信息供应链各组件之间数据流动、了解数据元素含义和
上下文的需求越来越强烈。在从应用议程往信息议程的转变过程中,元数据管
理也逐渐从局部存储和管理转向共享。从总量上来看,整个企业的元数据越来
越多,光现有的数据模型中就包含了成千上万的表,同时还有更多的模型等着
上线,同时随着大数据时代的来临,企业需要处理的数据类型越来越多。为了
剩余16页未读,继续阅读
olderp
- 粉丝: 0
- 资源: 11
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0