流式数据处理在百度数据工厂的应用与实践
李俊卿
本文整理自百度李俊卿在 QCon 上的演讲：《流式数据处理在百度数据工厂的
应用与实践》。
百度数据工厂最原先用 Hive 引擎，进行离线批量数据分析和 PB 级别的查询，
处理一些核心报表数据。但是在我们推广过程中发现，用户其实还是有复杂分析、
实时处理、数据挖掘的请求，我们在 Spark1.0 推出的时候，就开始跟进 Spark。
在 Spark1.6 时候彻底在团队中推广起来，当时是 Spark Streaming。当时
Spark1.6 的 API 基于 RDD，它和 Spark 批式处理的 API 并不同步。后来在
Spark2.2、2.3 发布的时候，Spark 推出了 Struct Streaming，它的 API 和批处
理 API 已经完全一致，这时候我们迎来一次完整的架构升级，基于 Spark 做了
一次更强大的封装；以 Spark 为基础，加上其他的 CRM，PFS 等各种模块来做
统一元数据处理；统一的资源调度；以 Spark 为基础做了统一的一个计算引擎，
以前 Hive 的一套也有完全融入到 Spark 里来；包括多种提交方式；安全管理
等等。最后形成一套完整的成品。
剩余15页未读，继续阅读
评论0