![](https://csdnimg.cn/release/download_crawler_static/12068695/bg1.jpg)
2016.04--2016.11 上海润和信息技术服务有限公司
大数据开发工程师 | 6001-8000 元/月
行业类别:计算机软件 | 企业性质:上市公司 | 规模:1000-9999 人
工作内容:项目:开发银联总公司对银联卡报文的监控系统
开发技术:JAVA、HADOOP、HDFS、IMPALA、spark STREAMING、REDIS、KAFKA、
ZOOKEEPER、MYSQL
个人工作:
(1) 搭建开发环境:HADOOP 搭建、spark 搭建、REDIS 搭建、KAFKA 搭建、
ZOOKEEPER 搭建、IMPALA 建表等。
(2) 代码开发搭建:在项目中导入开发 HADOOP、spark、KAFKA 需要的 JAR;
编写连接 HADOOP、spark、REDIS 的一些 JAVA 类和操作工具。
(3) 跟银联应用部门了解公共部分、运维查询、全渠道监控、国业系统、TCP
监控等功能的需求。
(4) 公共部分开发:用 spark STREAMING 实时统计报文中不同系统不同对象
的响应成功率、响应状态、响应达标率、响应耗时、每秒调用次数等指标,其中
响应码 需 要 从 HTML 、XML 、 JSON 、 KEYVALUE 文本格 式 中 解 析 得 到 , spark
STREAMING 实时从 KAFKA 中订阅报文将统计结果保存到 IMPALA 和 REDIS 供前端
调用。
(5) 运维查询开发:spark STREAMING 实时解析报文并保存到 IMPALA 供前端
调用。
(6) 全渠道监控开发:spark STREAMING 实时监控商户、机构的验签失败并保
存到 IMPALA。
(7) 国业系统开发:国业系统开发困难度比较大,跟公共部分差不多一个等
级。一笔交易是由 4 笔报文组成的,所以要解决如何确定一笔交易和如何确定报
文属于交易的哪个阶段。然后用 spark STREAMING 统计机构和交易的响应时间。
(8) TCP 监控开发:主要监控节点接的流量、TCP 包、建链、拆链、重置。统
计指标并保存到 IMPALA 和 REDIS。
项目技术简介:用 spark STREAMING 的 BATCH、WINDOW、SLIDE 保证能统计到
有延迟的数据,例如:时间 T1、T2、T3,其中 T3 为当前时间,而现在我们用 spark
STREAMING 统计时间点为 T2 的数据,这样就保证了不会有数据丢失。
IMPALA 供前端查询历史数据,REDIS 供前端查询实时数据。
2016.04--至今上海润和信息技术服务有限公司
大数据开发工程师 | 10001-15000 元/月
行业类别:计算机软件
工作内容:2016 年 11 月—2018 年 7 月 上海润和信息技术服务有限公司
大数据开发工程师
项目:互联网交易监控系统
开发技 术:JAVA、HADOOP、HDFS、IMPALA、REDIS、KAFKA、MYSQL、MONGODB、
OPENTSDB、spark MLIB
系统简介: 由采集模块、转换模块、预统计模块、汇总统计模块、规则模块、
事件模块、持久化模块、
清理模块、健康自检模块、健康子系统模块、规则自适应模块组成
的分布式互联网交易属性监控系统。模块间