360公司大规模Spark应用实践与经验分享

"360公司的Spark平台实践与经验分享，包括平台的演进历程、集群配置、业务应用以及面临的挑战和改进措施。" 在360公司，Spark被广泛应用于大规模数据处理，特别是在机器学习和图计算领域。演讲者李远策分享了360在Spark上的实践经验，涵盖了平台的各个发展阶段。 首先，360-Spark集群分为不同的类型，如通用计算集群、SparkSQL集群以及专门用于机器学习和图计算的集群。通用计算集群拥有超过3000个节点，每个节点配备64GB内存，并与MapReduce（MR）混部。SparkSQL集群每天执行超过1.5万个作业，而机器学习集群则有500多个节点，每个节点内存高达288GB，确保对计算密集型任务的高效支持。 随着Spark平台的发展，360经历了从最初的standalone部署模式到standalone+自研多租户，再到后来的Yarn集成。这期间，他们解决了Yarn与公司HDFS的兼容问题，并逐步扩大集群规模。到了2016年2月，通用计算集群已扩展至3000多个节点，每天的作业数总计达到2万个以上，服务于几十个业务部门。 在应用方面，360利用Spark的MLLib库进行机器学习任务，如LDA、LR、FP-Growth、ALS、KMeans和随机森林等，这些算法应用于新闻主题分类、推荐系统、恶意代码识别等场景。GraphX则用于图计算，例如PageRank和Louvain算法，服务于搜索PageValue和网站安全监测。SparkSQL取代了大部分的Hive作业，显著提升了处理效率，减少了对MapReduce的依赖。 在面临的问题与改进上，针对千亿边规模的PageRank计算，360发现内置的PageRank算法在GraphX上表现不佳。因此，他们自定义了核心代码来优化这个过程，以适应大规模的数据处理需求。 360公司在Spark的应用上积累了丰富的经验，不断优化集群架构和算法实现，以满足日益增长的业务需求和数据处理挑战。这些实践对于其他大型企业采用Spark进行大数据处理提供了有价值的参考。