LinkedIn大数据应用与Azkaban深度解析

"LinkedIn大数据应用和Azkaban是LinkedIn Hadoop核心团队成员俞晨杰在2013中国大数据技术大会上的演讲主题，涵盖了LinkedIn如何利用大数据以及介绍作业流管理平台Azkaban。" LinkedIn作为全球最大的职业社交网络，其大数据应用广泛且深入。在演讲中，俞晨杰介绍了LinkedIn的主要大数据应用场景，包括数据产品的开发和优化，如推荐系统、相关性引擎、A/B试验平台以及报告平台等。 1. 推荐系统：LinkedIn的推荐系统是其核心功能之一，它基于用户的行为、教育背景、工作经验等信息，通过复杂的算法（如三角闭合）进行推荐，如推荐工作、人才、新闻、公司和联系人。随着用户数量的增长，Oracle数据库无法支撑这种大规模的数据处理，因此LinkedIn转向了Hadoop。使用Hadoop后，LinkedIn的推荐系统处理速度显著提升，例如，2009年的PYMK（People You May Know）功能，在3天内完成了过去需要6周到6个月的工作，运行了76个Hadoop作业，处理了100TB的输入数据，生成4TB的输出。 2. A/B试验平台：为了确保新特性的有效性和用户体验，LinkedIn建立了通用的A/B试验平台。所有新特性都需经过A/B测试，以验证其效果。Hadoop在这个过程中发挥了重要作用，用于计算试验用户群体并验证结果。 3. 报告平台和商业运行/分析：LinkedIn还利用Hadoop处理大量数据来生成报告，进行商业运行和分析，帮助决策者理解用户行为，优化产品，以及支持公司的战略决策。 4. Azkaban：Azkaban是LinkedIn内部开发的一个作业流管理平台，专门用于管理和调度Hadoop作业。它解决了大数据处理中的作业依赖关系问题，使得复杂的作业流程能够按序执行，提高了整体数据处理的效率和可靠性。 5. Hadoop相关技术：除了Azkaban，LinkedIn还使用了一系列与Hadoop相关的技术，如HDFS（Hadoop分布式文件系统）和MapReduce，这些工具和技术共同构建了LinkedIn强大的大数据基础设施。 LinkedIn通过利用大数据技术和工具，如Hadoop和Azkaban，成功地处理和分析海量用户数据，实现了高效的数据驱动产品优化，提升了用户体验，并推动了公司的业务发展。这些经验对于其他希望利用大数据的公司具有重要的参考价值。