LinkedIn推荐背后的存储基础设施：ESPRESSO与Voldemort技术揭秘

在2017年的QCon大会上，LinkedIn的工程经理Siddharth Singh发表了一场关于《LinkedIn推荐系统背后的存储基础设施》的演讲。LinkedIn作为全球最大的专业社交网络，每天处理着庞大的用户数据，包括4亿多会员和每秒新增的成员，每月有超过1亿的独立访客。该演讲深入探讨了LinkedIn的核心业务——推荐系统，以及支撑其背后的存储架构。 首先，LinkedIn的高可用web架构由前端、中间层和主要数据库（Primary Databases）组成，这些数据库主要用于存储用户的基本信息。而推荐系统的数据则更为复杂，分为原始数据（Primary Data）和衍生数据（Derived Data）。原始数据主要包括用户的个人资料、职业经历等，而衍生数据则是基于这些原始信息通过算法计算得出的，如用户之间的相似度、潜在联系人推荐等。 演讲中重点介绍了两个关键的存储解决方案：ESPRESSO和Voldemort。ESPRESSO是LinkedIn用于存储和检索原始数据的主要工具，它可能涉及到关系型数据库或者NoSQL技术，确保数据的一致性和性能。Voldemort则是一个分布式数据存储系统，被用于衍生数据的读取，特别是在推荐系统中，它支持只读（RO）模式，提供高效的数据访问。 Voldemort的架构包括了分布式存储节点、一致性策略以及缓存机制，以提升读取性能。LinkedIn采用了Lambda架构，这是一种容错和实时处理的架构模式，允许在批处理和实时流处理之间进行平衡。然而，LinkedIn并未止步于此，他们进一步发展了Venice架构，这是一个更高级别的服务架构，旨在优化数据处理速度和响应时间。 演讲中还提到了在实施这些技术过程中所遇到的挑战，例如数据一致性、扩展性、性能优化以及实时处理的复杂性。LinkedIn通过持续的技术创新和优化，成功地解决了这些问题，并获得了早期的显著成果。未来，LinkedIn将继续关注存储基础设施的演进，以适应不断增长的用户需求和业务挑战。 最后，演讲以问答环节结束，参会者有机会提问，进一步深入了解LinkedIn在推荐系统存储解决方案上的最佳实践和未来规划。这场演讲不仅展示了LinkedIn在处理海量数据时的聪明才智，也提供了对于现代互联网企业如何设计和优化存储基础设施的重要参考。