微博系统设计：微博Cache架构解析

"timyang新浪微博设计" 本文主要探讨了新浪微博的设计，特别是其核心的微博架构和Cache设计，由知名专家TimYang分享的内部培训资料。在微博系统中，数据的分发、聚合以及展现是关键技术点，每条微博在技术层面上被称为status或feed。本文主要围绕Feed架构、Push和Pull两种feed设计模式，以及Cache设计展开讨论。 首先，Feed架构是微博系统的基础，它包括两种主要模式：Push和Pull。Push模式将feed比作邮件，当用户发表微博时，信息会存储到所有粉丝的收件箱（Inbox）中，而查看时则直接访问自己的发件箱（Outbox）。Push模式的优点在于实现简单，但缺点在于分发量大，可能面临峰值挑战。相反，Pull模式下，发表的微博仅存储在个人的发件箱，查看时需要获取所有关注对象的收件箱，这种方式节省存储空间，但计算量大，特别是在流量高峰时。 为了应对峰值挑战，微博采用异步处理方式来优化性能。在Cache设计方面，它对于实时性和大规模可扩展性的Web应用至关重要。微博的Cache架构分为多个部分：hotcache、Vectorcache、Total Cache、Inbox Cache、Outbox Cache、Social Graph Cache和Archive Cache。 Hotcache主要用于存储在线用户的“我的首页”，包含id列表，新增元素时需先获取再设置，适合使用Redis的list或set实现。Outbox Cache保存用户发出的最新微博，以id列表形式存储，历史内容使用LRU策略进行管理。Social Graph Cache则存储关注者（Following）和粉丝（Followers）的ids，由于这些集合变更频繁且可能导致大量操作，所以需要谨慎处理。 Content Cache是微博内容体的缓存，用于存储热门内容，通常会有多个副本以防止单点访问瓶颈，并预先生成最终的XML和JSON格式，以满足OpenAPI的返回需求。此外，还提到减少使用followers列表的场景，以降低变更时的处理压力。 新浪微博的设计考虑了实时性、可扩展性和性能优化，通过智能的Cache策略和Feed处理模式，有效地处理了海量数据的分发和聚合，为用户提供流畅的使用体验。