作业帮Doris:实时数仓实践与业务优化
版权申诉
81 浏览量
更新于2024-07-05
收藏 1.15MB PDF 举报
"作业帮Doris在数仓中的实践报告详细探讨了作业帮公司在构建实时数仓系统时采用的创新解决方案和实践经验。该报告由糜利敏撰写,重点关注了业务需求、架构设计、以及Doris技术在其中的作用。
首先,报告介绍了业务与背景,强调了原有的业务支持模式存在问题,如开发成本高、重复建设、接口非标准化,以及使用Spark和ES时存在的学习曲线陡峭、性能不佳和稳定性问题。这促使公司转向寻求更高效、可复用的解决方案。
Doris的引入解决了这些问题。DorisOnES作为一种关键组件,将数据摄入、实时查询和数据清洗整合在统一的平台上,通过OpenAPI和Flink-Sql提供强大的查询能力。Flume和Canal被用于数据传输,确保数据的实时性。Doris的优势在于其易运维、社区活跃以及对Mysql接口的支持,这显著提升了开发效率和查询性能。
报告还展示了从过去到现在的转变,包括技术选型的变化,如放弃API和ES,转而专注于Doris和DorisOnES。通过基础数据的Doris写入,业务线可以基于SQL进行高效查询,查询速度得到了显著提升。例如,处理千万级数据的查询时间从原来的小时级别缩短到了分钟甚至秒级别,极大地提高了数据分析的响应速度。
此外,报告指出Doris的稳定性和社区支持使得公司的运维成本降低,且在半年内成功应用于7个以上的业务线,处理了近1TB的数据,期间未发生重大故障(P2及以上级别)。这表明Doris在实际生产环境中表现出色,成为推动作业帮业务增长的关键工具。
总结来说,这份报告深入展示了作业帮如何通过Doris技术优化数仓架构,解决传统方法的痛点,并实现显著的性能提升和运维效率改善,是值得其他企业借鉴的最佳实践案例。"
2024-10-15 上传
2024-10-15 上传
2024-10-15 上传
2024-10-15 上传
Build前沿
- 粉丝: 698
- 资源: 2079
最新资源
- C语言快速排序算法的实现与应用
- KityFormula 编辑器压缩包功能解析
- 离线搭建Kubernetes 1.17.0集群教程与资源包分享
- Java毕业设计教学平台完整教程与源码
- 综合数据集汇总:浏览记录与市场研究分析
- STM32智能家居控制系统:创新设计与无线通讯
- 深入浅出C++20标准:四大新特性解析
- Real-ESRGAN: 开源项目提升图像超分辨率技术
- 植物大战僵尸杂交版v2.0.88:新元素新挑战
- 掌握数据分析核心模型,预测未来不是梦
- Android平台蓝牙HC-06/08模块数据交互技巧
- Python源码分享:计算100至200之间的所有素数
- 免费视频修复利器:Digital Video Repair
- Chrome浏览器新版本Adblock Plus插件发布
- GifSplitter:Linux下GIF转BMP的核心工具
- Vue.js开发教程:全面学习资源指南