深度学习与大数据融合困境与探索

"这篇文档是腾讯应用研究员李立关于深度学习与大数据系统融合的思考和应用的分享。文章探讨了深度学习与大数据系统的整合面临的挑战、现有的项目进展以及可能的发展方向。作者指出，尽管有一些尝试如Databricks的TensorFlow与Spark融合、Yahoo!的TensorFlow on Spark以及阿里的Flink-AI-Extended，但这类融合项目尚未广泛应用于工业界，主要原因包括Kubernetes（K8S）集群的崛起和大数据系统对GPU调度的不成熟支持。" 深度学习和大数据系统的融合旨在将深度学习模型的训练和预测集成到大数据处理平台中，例如Spark或Flink。2016年，Databricks尝试将TensorFlow与Spark结合，但仅支持推理；随后Yahoo!研究院的TensorFlow on Spark支持了训练功能；阿里则推出了结合TensorFlow和Flink的Flink-AI-Extended项目。然而，这些努力并未取得显著成功，主要因为K8S的普及以及深度学习模型对GPU资源的需求与大数据系统调度能力之间的矛盾。 在分析现状后，作者提出了"北上"与"南下"的路线选择，即在K8S主导的环境中寻找差异化应用场景。针对中小规模算法团队，可能的方向包括广告、推荐或搜索业务，这些业务通常需要大规模深度学习能力和在线深度学习能力。团队的目标包括满足分布式训练需求，例如图深度学习用于CVR/CTR预估模型；以及在线更新模型，以实现实时的CVR/CTR预估；此外，团队还需要构建利用现有集群的分布式训练组件。 这篇文档深入讨论了深度学习与大数据系统融合的困境，提出了解决问题的策略，并展示了团队在应对这一挑战时可能采取的技术路径。尽管当前面临困难，但作者仍然在探索可能的差异化竞争策略，寻求在深度学习与大数据系统融合领域找到新的机遇。