"链家网大数据平台枢纽——工具链" 链家网大数据平台的发展历程始于2015年,那时大数据部门开始建设基于Hadoop的技术架构,主要服务于运营数据报表和公司核心指标的需求。随着链家网线上业务的快速发展,toB和toC业务并行推进,2016年数据需求呈现爆炸式增长,数据量达到了PB级别。这促使团队寻找新的解决方案,以提升数据处理和分析的效率,以应对未来不断增加的数据需求。 在初期,面对零散的数据请求,链家网采用的是配置定时任务和脚本的方式,通过邮件传递数据结果。然而,随着需求增加和人员增多,邮件方式逐渐暴露出信息传递不便、历史数据查找困难以及技术层面的邮件发送阻塞等问题。因此,团队在2015年采用了ROLAP(Relational Online Analytical Processing)技术,构建了初步的报表系统。 这个早期的报表系统主要由数据开发工程师负责,他们通过Oozie定时任务来处理Hive中的数据,然后将处理后的结果推送到MySQL关系型数据库。这个过程中涉及多个步骤,包括需求沟通、数据接入、数据加工、任务编写和调度、数据推送及展示。尽管此系统后续演进为“地动仪”,允许用户自助选择维度进行报表查看,但其流程长、依赖性强、信息传递多的问题仍然存在。 “地动仪”虽然改善了邮件系统的缺陷,提供了Web界面查询和历史数据功能,但在处理非定制化需求、数据探索和深度数据分析方面的能力有限。因此,链家网大数据部门开始规划更为先进和灵活的数据分析平台,旨在满足日益增长的数据分析需求,提高数据处理速度,减少流程中的依赖和信息传递,以实现更快的数据洞察和决策支持。这样的工具链将更加适应大数据时代的需求,助力链家网在房地产领域的数据分析和业务洞察。
下载后可阅读完整内容,剩余4页未读,立即下载
- 粉丝: 4
- 资源: 933
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 多传感器数据融合手册:国外原版技术指南
- MyEclipse快捷键大全,提升编程效率
- 从零开始的编程学习:Linux汇编语言入门
- EJB3.0实例教程:从入门到精通
- 深入理解jQuery源码:解析与分析
- MMC-1电机控制ASSP芯片用户手册
- HS1101相对湿度传感器技术规格与应用
- Shell基础入门:权限管理与常用命令详解
- 2003年全国大学生电子设计竞赛:电压控制LC振荡器与宽带放大器
- Android手机用户代理(User Agent)详解与示例
- Java代码规范:提升软件质量和团队协作的关键
- 浙江电信移动业务接入与ISAG接口实战指南
- 电子密码锁设计:安全便捷的新型锁具
- NavTech SDAL格式规范1.7版:车辆导航数据标准
- Surfer8中文入门手册:绘制等高线与克服语言障碍
- 排序算法全解析:冒泡、选择、插入、Shell、快速排序