你是一个ETL工程师,请介绍你做的银行信用卡数据开发业务,从抽数开始,是基于hadoop,说说你主要负责的指标是什么,有哪些表
时间: 2024-02-06 14:13:15 浏览: 160
好的,下面我将介绍我做的银行信用卡数据开发业务,从抽数开始,基于Hadoop平台,并讲述我主要负责的指标和表。
我们的银行信用卡数据开发业务主要涉及以下几个方面:
1. 数据抽数:从银行信用卡的各个数据源中抽取数据,并将其导入到大数据平台中。我们使用了Sqoop工具来实现数据的批量导入。
2. 数据清洗:对数据进行清洗和预处理,包括去重、缺失值处理、异常值处理等。我们使用了Kettle工具来实现数据的清洗和转换。
3. 数据转换:将原始数据转换为目标格式,以满足业务需求。例如,将数据转换为Hive表格格式、Oracle数据表格式等。我们使用了Hive作为数据仓库,用于将数据存储在分布式文件系统中,并提供了SQL查询和分析能力。
4. 数据加载:将处理后的数据加载到目标数据库中。我们使用了Sqoop工具来实现数据的加载,可以将大量数据批量导入到目标数据库中。
5. 数据监控:对数据进行监控和管理,确保数据的质量和完整性。我们使用了FineBI工具来实现数据监控和报表生成。
在这些业务中,我主要负责的指标是信用卡用户的月度消费金额和还款金额。我们将这些指标存储在Hive表格中,以便于进行数据分析和查询。具体的表格包括:
1. raw_credit_card_transactions:存储原始的信用卡交易数据,包括交易金额、交易时间、交易地点等信息。
2. cleaned_credit_card_transactions:存储经过清洗和处理后的信用卡交易数据,包括去重、缺失值处理、异常值处理等。
3. credit_card_users:存储信用卡用户的基本信息,包括用户ID、姓名、身份证号、电话号码等。
4. credit_card_monthly_consumption:存储信用卡用户的月度消费金额,包括用户ID、消费月份、消费金额等。
5. credit_card_monthly_repayment:存储信用卡用户的月度还款金额,包括用户ID、还款月份、还款金额等。
这些表格是我们进行信用卡数据分析和查询的基础,可以帮助我们了解用户的消费和还款情况,从而为银行提供更好的服务。
阅读全文