QQ空间日志重构与性能优化实践

"这篇资料是关于腾讯大讲堂的一次分享，主要探讨了QQ空间（Qzone）的性能优化，特别是日志信息模块的重构，旨在解决后台性能问题，提高用户体验。" 在Qzone的性能优化过程中，日志信息模块是关键的优化点。在重构前，日志信息模块存在一些问题，如数据量增长迅速，每天增加约20GB，导致存储压力巨大。同时，Cache命中率低至50%，这加重了数据库（DB）的压力。旧系统的模块间相互独立，虽然实现了部分业务异步化和CACHE内存化以提升性能，但因为CACHE容量有限，对DB的依赖性强，且容易引发数据不一致。 为了改善这些问题，Qzone进行了日志重构，主要策略包括： 1. 区分近期日志与往期日志，将数据划分为活跃数据、非活跃数据和历史归档数据。这样可以减少Cache中的数据量，提升Cache命中率，减轻DB的压力。 2. 引入二级缓存机制，结合内存和文件存储，以适应不同活跃度的数据需求。 3. 针对单个号码进行路由，实现更精细化的数据管理。 4. 系统重构后分为三个模块：日志信息、日志标题和访问计数。CGI层对各模块有不同的读/写权限，确保数据操作的正确性和效率。 重构后的效果显著，Cache命中率得到了提升，DB的扩容更加合理。例如，日志标题Cache从10台69G提升到10台128G，命中率从90%降至88%，但整体性能得到优化。日志信息模块的Cache减少了机器数量，但提升了命中率，从50%提升到80%。 Qzone在访问速度方面也进行了优化，通过减少HTTP请求、使用CDN、设置Expires头、启用Gzip压缩以及将CSS放在顶部等 Yahoo14性能优化规则，显著提升了页面加载速度，降低了用户的CPU消耗，从而提高了用户访问体验。 这次日志信息模块的重构和Qzone的整体访问优化，体现了性能优化不仅限于后台技术层面，还包括前端用户体验的提升，通过合理的架构设计和数据管理策略，实现了整体性能的显著改善。