中国移动省级NG2-BASS(v5.0)技术规范数据质量管理子系统分册.docx

1. 范围.................................................................................................................1

2. 规范性引用文件.................................................................................................1

3. 术语、定义和缩略语...........................................................................................5

4. 总体说明...........................................................................................................8

4.1. 概述........................................................................................................8

4.2. 建设目标.................................................................................................9

4.3. 系统架构.................................................................................................9

4.3.1. 功能架构........................................................................................9

5.1.4. 管理问题域...................................................................................18

5.2. 应用专题...............................................................................................19

5.2.1. 开放式个人 KPI 监控......................................................................19

5.2.2. 数据质量满意度反馈......................................................................22

5.2.3. 新数据源质量稽核.........................................................................24

5.2.4. 关键维度一致性监控......................................................................26

5.2.5. 数据质量计分卡............................................................................28

5.2.6. 数据质量图形化运维......................................................................29

5.2.7. KPI 急报快报................................................................................33

5.2.8. 指标波动阈值预测.........................................................................39

6.1.3. 处理过程信息采集.........................................................................49

6.1.4. 指标信息采集...............................................................................50

6.1.5. Hadoop 结构化数据采集...............................................................50

6.2. 数据采集功能.........................................................................................50

7. 数据质量存储层...............................................................................................51

7.1. 数据质量存储内容..................................................................................51

7.1.1. 数据质量规则库............................................................................51

7.1.2. 数据质量信息库............................................................................53

7.1.3. 数据质量知识库............................................................................54

8.1.4. 数据质量评估...............................................................................80

8.1.5. 数据质量报告...............................................................................92

8.1.6. 数据质量对外服务.........................................................................97

8.1.7. 数据质量两级联动.........................................................................98

8.2. 开放式个人 KPI 监控.............................................................................114

8.2.1. 功能框架....................................................................................114

8.2.2. 处理流程....................................................................................116

8.2.3. 功能要求....................................................................................119

8.3. 数据质量满意度反馈.............................................................................123

8.3.1. 功能框架....................................................................................123

8.5.3. 处理流程....................................................................................130

8.5.4. 功能要求....................................................................................131

8.6. 关键维度一致性监控.............................................................................134

8.6.1. 功能架构....................................................................................134

8.6.2. 处理流程....................................................................................135

8.6.3. 功能要求....................................................................................137

8.7. 数据质量计分卡....................................................................................138

8.7.1. 功能架构....................................................................................138

8.7.2. 处理流程....................................................................................140

8.7.3. 功能要求....................................................................................141

8.9.2. 功能架构....................................................................................161

8.9.3. 急报快报订阅.............................................................................162

8.9.6. 急报快报问题反馈.......................................................................165

8.10. 指标波动阈值挖掘分析........................................................................166

8.10.1. 挖掘分析功能...........................................................................166

8.10.2. 挖掘分析流程...........................................................................168

8.10.3. 挖掘分析模型...........................................................................169

8.10.4. 挖掘分析范围...........................................................................171

8.11. 接口数据内容检查..............................................................................173

8.11.1. 内容检查功能...........................................................................173

8.11.2. 内容检查流程...........................................................................176

8.11.3. 内容检查方法...........................................................................177

8.12. 中断式监控预警..................................................................................178

8.12.1. 业务流程..................................................................................178

8.12.2. 功能架构..................................................................................179

8.12.3. 监控告警..................................................................................180

9.3. Hadoop 结构化数据稽核.......................................................................187

9.4. 新数据源质量稽核................................................................................187

9.5. 关键维度一致性监控.............................................................................187

9.6. 数据质量计分卡....................................................................................188

9.7. 数据质量图形化运维.............................................................................188

9.8. 数据质量两级联动管理..........................................................................188

9.9. KPI 急报快报........................................................................................188

9.10. 指标波动阈值预测..............................................................................189

9.11. 接口数据内容检查..............................................................................189

9.12. 中断式监控预警..................................................................................190

9.13. BOSS 接口数据稽核...........................................................................190

9.15. 数据质量知识.....................................................................................191

10.2.2. 数据质量告警处理流程...............................................................195

10.2.3. 数据质量问题处理流程...............................................................196

10.2.4. 数据质量报告管理流程...............................................................198

10.3. 管理范围...........................................................................................199

10.4. 定期报告...........................................................................................199

10.4.1. 系统数据质量监控点报告...........................................................199

10.4.2. 数据质量问题处理率报告...........................................................200

11. 系统技术要求..............................................................................................200

11.1. 数据采集技术要求..............................................................................200

11.2. 数据存储要求.....................................................................................200