百度大数据生态：Spark的应用历程与关键实践案例

Spark在百度大数据生态中的应用与实践始于2015年6月的SparkUserBeijingMeetup活动，汪凯来自百度基础架构部，分享了Spark在百度的发展历程及其在实际项目中的关键应用。早期的Spark版本（0.8-0.9）引入百度后，迅速与内部HDFS系统和数据传输系统集成，提供了对百度内部环境的支持。Spark 1.0版本加入了对百度开放云的支持，并且成功上线了第一个内部业务，标志着Spark在百度的落地生根。 随着Spark版本的升级，1.1版增加了对内部数据仓库系统的支持，并对外开放了SQLService，使得数据处理更加灵活。此外，还与Tachyon进行了对接，提升了数据存储和传输的性能。Spark 1.2版本进一步扩展了功能，如对接Normandy，增强了分布式调度能力，并支持了与百度内部更大规模的PETA级HDFS集群兼容。 Spark在百度的应用不仅仅局限于技术层面，还涉及到了业务场景的深度整合。例如，通过支持BIGPIPE数据源，Spark成为了流式计算的重要选项；UDW数据接入使得SparkSQL可以直接操作UDW表格，提高了数据处理效率；CloudQuery作为高速UDW查询引擎，提供了快速查询服务。同时，Tachyon被整合为透明缓存层，优化了数据访问性能。 更重要的是，Spark 1.2之后，SparkInBaidu开始支持百度公有云产品BMR，不仅满足了内部需求，还对外提供了大数据计算服务，表明Spark已经成为了百度大数据战略的核心组件。通过对接Normandy调度器，Spark实现了计算资源的统一调度和计算分布的灵活性，显著提升了整个大数据处理平台的性能和效率。 这场演讲深入探讨了Spark如何在百度的生态系统中不断演进，从技术引进到深度定制，再到商业化的应用部署，展现了Spark的强大适应性和百度对于先进技术的采纳和推动。