申玉宝分享:HBase在大搜车金融中的实战应用与GPS风控策略

需积分: 10 9 下载量 16 浏览量 更新于2024-07-19 收藏 6.8MB PDF 举报
在大搜车金融业务中,HBase作为一款分布式、列式存储的NoSQL数据库,被高级数据架构师申玉宝在2017年杭州云栖大会上深度剖析了其在多个关键业务场景的应用实践。首先,业务介绍部分涵盖了HBase如何支撑大搜车的金融业务,可能是贷款、保险或二手车交易等方面的数据处理需求。 数据大屏实践是申玉宝分享的重要环节。他强调了车辆轨迹大屏的构建,通过车载GPS设备采集数据,GPS上报网关负责接收并转发这些数据。数据存储在HBase的Table GPS.TRACES中,采用ROWKEY设计,包括DEVICE_ID和时间戳,以及Lon、Lat、VENDOR_ID、CITY_ID和ACC等字段。通过索引优化,如ONGPS.TRACES表的GIS索引,可以快速查询地理位置信息,同时利用WebSocket技术减少HTTP请求的延迟,提高数据渲染效率。 实时成交大屏展示的是交易数据,通过埋点日志和消息队列MQ来收集和传输数据。基础数据库Mysql和HBase(通过Phoenix)配合,用于存储不同的维度和事实数据。数据网关在此过程中起到整合和分发数据的作用,确保数据安全和性能。 GPS风控实践是核心部分,涉及到GPS上报网关的设备接入和数据处理流程,包括里程纠偏、设备注册和实时轨迹特征提取。HBase在这个场景下既是数据存储平台,也是实时数据处理和风控模型运行的基础。风控模型和规则引擎基于HBase的实时数据进行运行,提供预警服务,同时实现轨迹监控、停留点分析和电子围栏等功能,确保业务安全。 业务架构方面,MQ被用来维护状态更新和进行聚集分析,特别是通过GeoHash算法将地球划分为多个区域,便于空间数据的高效处理。在地理聚集分析中,HBase的高效查询能力发挥了关键作用,使得业务系统能够快速响应并做出决策。 总结来说,申玉宝的分享展示了HBase在大搜车金融业务中的实际应用,涉及业务数据存储、实时数据可视化、地理位置风控等多个维度,体现了HBase在大数据处理和实时分析方面的强大功能。这种应用实践不仅提升了业务效率,也展示了HBase在复杂业务环境下的稳健性和扩展性。