没有合适的资源?快使用搜索试试~ 我知道了~
首页2021-2022年大数据治理体系详解:架构、模块与实战应用
2021-2022年大数据治理体系详解:架构、模块与实战应用
0 下载量 194 浏览量
更新于2024-06-28
收藏 4.39MB DOCX 举报
本专题资料涵盖了2021-2022年的大数据治理体系的关键要素和实施细节。首先,文件从范围和规范性引用文件的概述开始,确保了整个体系的法律和技术依据。接下来,定义了术语和缩略语,以便读者理解文档中使用的专业词汇。 在总体说明部分,阐述了大数据治理体系的目标,即实现数据的有效管理和利用,提升决策效率和业务洞察力。基本原则强调了数据隐私保护、合规性、透明度和持续改进。体系结构被分为组织架构、系统架构和数据治理核心模块。 组织架构部分详细描述了数据治理体系中的组织构成,包括明确的职能划分和角色职责,如数据管理团队、技术团队等,确保责任明晰。系统架构方面,明确了系统功能框架,包括数据采集、存储、处理和分析等环节,并描述了系统模块流程,以保证数据流转的高效有序。 数据治理的核心模块是本文的重点。数据标准管理部分介绍了数据标准化的重要性和具体操作,涉及业务分类、技术要求以及本期建设的内容和实施步骤。元数据管理则关注数据的描述和跟踪,元模型标准、运维和重点建设内容都被深入探讨。数据质量管理强调了与传统系统区别,提出范围、原则和与其他模块的互动,以及本期的数据质量目标和运维需求。 数据资产管理涵盖数据资产的定义、范围及其与其它模块的关系,以及本期所需实现的功能。数据安全管理则围绕数据保护原则,建设内容、边界关系、技术和管理要求展开。两个具体的业务场景——银行伪卡交易判别和手机贷业务,展示了数据治理体系在实际应用中的作用。 最后,附录提供了数据标准框架的详细设计,为整个治理体系提供了技术支撑和标准化指南。这个全面的文档旨在帮助企业建立和执行一套有效的大数据治理体系,确保数据价值的最大化,同时符合法规和行业最佳实践。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/87199412/bgb.jpg)
5
[70]
QB-Y-045.3-2012
《中国移动省级 NG2-BASS(v4.0)技术
规范外部接口分册》
中国移动通信集团
公司
[72]
QB-Y-045.4-2012
《中国移动省级 NG2-BASS(v4.0)技术
规范元数据管理分册》
中国移动通信集团
公司
[73]
QB-Y-045.5-2012
《中国移动省级 NG2-BASS(v4.0)技术
规范数据质量管理子系统分册》
中国移动通信集团
公司
[74]
QB-Y-046-2012
《中国移动省级增值业务综合运营平
台业务规范 V2.0.0》
中国移动通信集团
公司
[75]
QB-Y-047-2012
《中国移动省级增值业务综合运营平
台技术规范 V2.0.0》
中国移动通信集团
公司
[76]
QB-Y-047.1-2012
《中国移动省级增值业务综合运营平
台技术规范数据管理分册 V2.0.0》
中国移动通信集团
公司
[77]
QB-Y-044-2013
《中国移动省级 NG2-BASS(v4.5)业务
规范》
中国移动通信集团
公司
[78]
QB-Y-045-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范总册》
中国移动通信集团
公司
[79]
QB-Y-045.1-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范数据集市分册》
中国移动通信集团
公司
[80]
QB-Y-045.2-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范逻辑模型分册》
中国移动通信集团
公司
[81]
QB-Y-045.3-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范外部接口分册》
中国移动通信集团
公司
[82]
QB-Y-045.4-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范元数据管理分册》
中国移动通信集团
公司
[83]
QB-Y-045.5-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范数据质量管理子系统分册》
中国移动通信集团
公司
[84]
QB-Y-045.6-2013
《中国移动省级 NG2-BASS(v4.5)技术
规范安全管理技术方案》
中国移动通信集团
公司
[85]
QB-Y-046-2013
《中国移动省级增值业务综合运营平
台业务规范 V2.5.0》
中国移动通信集团
公司
[86]
QB-Y-047-2013
《中国移动省级增值业务综合运营平
台技术规范 V2.5.0》
中国移动通信集团
公司
[87]
QB-Y-047.1-2013
《中国移动省级增值业务综合运营平
台技术规范数据管理分册 V2.5.0》
中国移动通信集团
公司
3. 术语、定义和缩略语
下列术语、定义适用于本规范:
![](https://csdnimg.cn/release/download_crawler_static/87199412/bgc.jpg)
6
字母
名词
解释
C
CWM
CWM 标准是 OMG 组织定义的数据仓库和相关系统的国际元数
据标准,给出了各种元数据结构的标准定义。CWM 标准的目的
在于:使数据仓库和商业智能软件的元数据在异构的数据分析
工具、数据仓库平台、元数据存储库等系统之间进行交互。
E
ETL
特指从数据源系统到大数据平台的数据抽取、转换和加载。
G
管理元数据
描述大数据平台中管理领域相关概念、关系、规则的数据,主
要包括人员角色、岗位职责、管理流程等信息。
H
核心元模型
大数据平台核心元模型是以 CWM 为基础扩展形成的,针对大
数据平台的物理模型、逻辑模型、数据处理过程、接口单元、
指标和维度编码等主要实体进行精确定义,并要求各省大数据
平台统一遵循的元模型。定义核心元模型的目的是建立大数据
平台的统一元数据管理标准,为元数据管理的功能层与应用层
解耦、为企业级总部大数据平台和企业级省大数据平台的元数
据交换和相互理解提供统一的语义基础。
H
核心元模型参
照表
核心元模型参照表是对核心元模型中的枚举类型属性进行枚举
值定义的编码表。参照表为枚举类型属性的每个枚举值定义了
唯一的编码,并明确该编码的语义,是核心元模型标准化定义
的重要组成部分。
J
技术元数据
描述大数据平台中技术领域相关概念、关系、规则的数据。主
要包括对数据结构、数据处理方面的特征描述,覆盖大数据平
台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现
等全部数据处理环节。
S
数据处理过程
数据从数据源系统到大数据平台前端使用的整个处理过程,包
含大数据平台数据仓库内部的数据抽取、转换和加载。
S
数据采集点
覆盖大数据平台数据处理环节的、获取每个环节运行状态的实
体。该实体可以是程序实体也可以是任务实体
S
数据质量报告
数据质量报告是对数据质量日常监控以及质量评估等过程累积
的各种信息进行汇总、梳理、统计和分析,形成的统计报告
![](https://csdnimg.cn/release/download_crawler_static/87199412/bgd.jpg)
7
字母
名词
解释
S
数据质量监控
通过获取大数据平台各环节的数据质量监控信息,结合元数据
库中的有关检查规则,对各个环节的数据质量情况进行判断,
并及时向数据质量监控人员报告。
S
数据质量规则
库
数据质量规则库是对数据质量管理活动所用到的各种判断及校
验规则进行归类和存放的存储结构,存储的内容包括采集规则、
监控规则、告警规则和审计规则等
S
数据质量信息
库
数据质量管理子系统存储层上的存储结构,用于存储数据质量
信息采集程序采集的数据质量信息、质量评估信息、问题解决
方案和问题处理流程信息等
S
省公司
中国移动通信集团各省(直辖市、自治区)移动通信有限公司。
S
SQL 脚本
自动解析
SQL 脚本自动解析指通过对 SQL 脚本的词法、语法和语义进行
分析,自动生成满足 CWM 规范要求的数据处理过程的技术元
数据的功能。
Y
业务元数据
描述大数据平台中业务领域相关概念、关系、规则的数据。主
要包括业务术语、信息分类、指标定义(指标口径)、业务规则
等信息。
Y
元模型
元模型是描述元数据的基础模型结构,用于说明元数据对象的
各种属性、结构和关系。
Y
元数据
元数据是描述数据间关系的数据。大数据平台中元数据泛指描
述数据概念(Concepts)、数据间关系(Roles)、数据处理规则
(Rules)的数据,其中,领域语义(Semantics)和知识(Knowledge)
也属于元数据的范畴。
D
数据标准
指在中国移动台企业级省大数据平台下为了使企业内外部使用
和交换的数据是一致和准确的,经协商一致制定并由大数据治
理委员会主管机构批准,具有行业特点且共同使用和重复使用
的一种规范性约束。
D
数据标准体系
指数据标准按照中国移动企业级省大数据平台需求对数据进行
标准化的划分归类。
剩余61页未读,继续阅读
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
matlab大师
- 粉丝: 2543
- 资源: 8万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 谷歌文件系统下的实用网络编码技术在分布式存储中的应用
- 跨国媒体对南亚农村社会的影响:以斯里兰卡案例的社会学分析
- RFM2g接口驱动操作手册:API与命令行指南
- 基于裸手的大数据自然人机交互关键算法研究
- ABAQUS下无人机机翼有限元分析与局部设计研究
- TCL基础教程:语法、变量与操作详解
- FPGA与数字前端面试题集锦:流程、设计与Verilog应用
- 2022全球互联网技术人才前瞻:元宇宙驱动下的创新与挑战
- 碳排放权交易实战手册(第二版):设计与实施指南
- 2022新经济新职业洞察:科技驱动下的百景变革
- 红外与可见光人脸融合识别技术探究
- NXP88W8977:2.4/5 GHz 双频 Wi-Fi4 + Bluetooth 5.2 合体芯片
- NXP88W8987:集成2.4/5GHz Wi-Fi 5与蓝牙5.2的单芯片解决方案
- TPA3116D2DADR: 单声道数字放大器驱动高达50W功率
- TPA3255-Q1:315W车载A/D类音频放大器,高保真、宽频设计
- 42V 输入 5A 降压稳压器 TPS54540B-Q1 的特点和应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)