申玉宝分享:HBase在大搜车金融中的实战应用与GPS风控策略
需积分: 10 16 浏览量
更新于2024-07-19
收藏 6.8MB PDF 举报
在大搜车金融业务中,HBase作为一款分布式、列式存储的NoSQL数据库,被高级数据架构师申玉宝在2017年杭州云栖大会上深度剖析了其在多个关键业务场景的应用实践。首先,业务介绍部分涵盖了HBase如何支撑大搜车的金融业务,可能是贷款、保险或二手车交易等方面的数据处理需求。
数据大屏实践是申玉宝分享的重要环节。他强调了车辆轨迹大屏的构建,通过车载GPS设备采集数据,GPS上报网关负责接收并转发这些数据。数据存储在HBase的Table GPS.TRACES中,采用ROWKEY设计,包括DEVICE_ID和时间戳,以及Lon、Lat、VENDOR_ID、CITY_ID和ACC等字段。通过索引优化,如ONGPS.TRACES表的GIS索引,可以快速查询地理位置信息,同时利用WebSocket技术减少HTTP请求的延迟,提高数据渲染效率。
实时成交大屏展示的是交易数据,通过埋点日志和消息队列MQ来收集和传输数据。基础数据库Mysql和HBase(通过Phoenix)配合,用于存储不同的维度和事实数据。数据网关在此过程中起到整合和分发数据的作用,确保数据安全和性能。
GPS风控实践是核心部分,涉及到GPS上报网关的设备接入和数据处理流程,包括里程纠偏、设备注册和实时轨迹特征提取。HBase在这个场景下既是数据存储平台,也是实时数据处理和风控模型运行的基础。风控模型和规则引擎基于HBase的实时数据进行运行,提供预警服务,同时实现轨迹监控、停留点分析和电子围栏等功能,确保业务安全。
业务架构方面,MQ被用来维护状态更新和进行聚集分析,特别是通过GeoHash算法将地球划分为多个区域,便于空间数据的高效处理。在地理聚集分析中,HBase的高效查询能力发挥了关键作用,使得业务系统能够快速响应并做出决策。
总结来说,申玉宝的分享展示了HBase在大搜车金融业务中的实际应用,涉及业务数据存储、实时数据可视化、地理位置风控等多个维度,体现了HBase在大数据处理和实时分析方面的强大功能。这种应用实践不仅提升了业务效率,也展示了HBase在复杂业务环境下的稳健性和扩展性。
2023-09-09 上传
2021-09-20 上传
点击了解资源详情
2021-01-27 上传
2018-08-13 上传
2023-09-09 上传
点击了解资源详情
2018-03-18 上传
2019-11-09 上传
bloodskyml1
- 粉丝: 0
- 资源: 26
最新资源
- 探索数据转换实验平台在设备装置中的应用
- 使用git-log-to-tikz.py将Git日志转换为TIKZ图形
- 小栗子源码2.9.3版本发布
- 使用Tinder-Hack-Client实现Tinder API交互
- Android Studio新模板:个性化Material Design导航抽屉
- React API分页模块:数据获取与页面管理
- C语言实现顺序表的动态分配方法
- 光催化分解水产氢固溶体催化剂制备技术揭秘
- VS2013环境下tinyxml库的32位与64位编译指南
- 网易云歌词情感分析系统实现与架构
- React应用展示GitHub用户详细信息及项目分析
- LayUI2.1.6帮助文档API功能详解
- 全栈开发实现的chatgpt应用可打包小程序/H5/App
- C++实现顺序表的动态内存分配技术
- Java制作水果格斗游戏:策略与随机性的结合
- 基于若依框架的后台管理系统开发实例解析