银行ODS系统:整体架构与实施策略解析

版权申诉
0 下载量 27 浏览量 更新于2024-06-19 收藏 1.7MB PDF 举报
"该文档是关于银行ODS系统(Operational Data Store)的整体架构及其实施案例的详细介绍。文档由现代设备(中国)有限公司和北京环亚时代信息技术有限公司联合发布,作者为Rachel Jiang,时间戳为12/8/2010。内容包括ODS的总体介绍、系统架构、技术实现以及具体的实施案例。" ODS系统,即操作数据存储,是一个设计用于满足企业即时性、操作性和集成信息需求的特定数据集合。它经常作为数据仓库的过渡阶段,也是数据仓库项目的一种选择。按照Kimball的数据仓库生命周期工具集定义,ODS是操作型系统中的集成,服务于当前和历史细节查询,同时也为决策支持提供当前的细节数据。 ODS的特性主要包括面向业务主题构建,集成多源操作型业务系统数据,强调当前数据并含有较短的历史记录,数据集合可变,存储结构尽量与业务数据库保持一致,支持细节查询和应用主题的进一步加工汇总。这些特性使得ODS能够快速响应业务需求,提供标准化和规范化的数据,降低开发成本,提高效率。 建立ODS的主要目标是为了实现全行一体化的数据服务,统一客户视图,提供准实时共享数据接口,控制数据质量,统一报表展示,监控关键绩效指标和经营风险,以及进行跨系统数据的批量计算。通过ODS,企业可以按照企业数据模型整合数据,提供运营数据共享,提升数据质量,支撑跨系统数据应用。 在系统逻辑架构方面,ODS系统建设前,数据分散在各个业务系统中,难以统一管理和使用。而建立ODS后,系统定位为企业的基础数据平台,负责数据集成加工和查询服务。ODS不改变源数据,而是通过数据抽取、加载过程将生产系统数据更新到自身,主要提供细粒度运营数据,同时也包含部分粗粒度数据,以满足不同层次的查询和分析需求。 在实施案例中,可能会详细阐述ODS如何与现有业务系统对接,如何处理数据抽取、转换和加载(ETL)过程,以及如何在实际运营中解决具体问题,提升效率和服务质量。通过这样的案例,读者可以了解到ODS在银行业务中的实际应用场景和价值。

Error: java.io.IOException: File copy failed: hdfs://192.168.101.31:8020/apps/hive/warehouse/orig.db/ods_alarm_detail_808/pdt=2023-05-01/phour=00/events-k2-00.1682870400001. gz --> hdfs://172.21.194.129:8020/distcp/apps/hive/warehouse/orig.db/ods_alarm_detail_808/pdt=2023-05-01/phour=00/events-k2-00.1682870400001.gz at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:299) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:266) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:52) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164) Caused by: java.io.IOException: Couldn't run retriable-command: Copying hdfs://192.168.101.31:8020/apps/hive/warehouse/orig.db/ods_alarm_detail_808/pdt=2023-05-01/phour=00/e vents-k2-00.1682870400001.gz to hdfs://172.21.194.129:8020/distcp/apps/hive/warehouse/orig.db/ods_alarm_detail_808/pdt=2023-05-01/phour=00/events-k2-00.1682870400001.gz at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:101) at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:296)

2023-06-07 上传